Odměna Signál Středního mozku Dopamin Neuronů

Když mnohobuněčných organismů vznikl prostřednictvím evoluce self-reprodukci molekuly, oni vyvinuli endogenní, autoregulační mechanismy, které ujistil, že jejich potřeby pro blaho a přežití byly splněny. Subjektů zapojit se do různých forem chování přístup k získání prostředků pro udržení homeostatické rovnováhy a reprodukovat sami. O těchto biologických zdrojích se říká, že mají“ odměňující “ funkce, protože vyvolávají a posilují přístupové chování. Ačkoli původně souvisely s biologickými potřebami, odměny se dále vyvíjely během vývoje vyšších savců na podporu sofistikovanějších forem individuálního a sociálního chování. Vyšší formy odměn jsou často založeny na kognitivních reprezentacích a týkají se takových objektů a konstrukcí, jako je novinka, výzva, uznání, moc, peníze, území a bezpečnost. Biologické a kognitivní potřeby tedy definují povahu odměn a dostupnost odměn určuje některé ze základních parametrů životních podmínek subjektu.

odměny mají tři základní funkce (1). Za prvé, vyvolávají přístup a konzumní chování a slouží jako cíle dobrovolného chování. Přitom přerušují probíhající chování a mění priority behaviorálních akcí. Za druhé, odměny mají pozitivní posilující účinky. Zvyšují frekvenci a intenzitu chování vedoucího k takovým objektům (učení) a udržují naučené chování tím, že zabraňují vyhynutí. Tato funkce představuje podstatu „návratu pro více“ a souvisí s pojmem přijímání odměn za to, že jste udělali něco užitečného. Učení probíhá, když se odměny vyskytují nepředvídatelně a zpomalují se, jak se odměny stávají stále více předvídatelnými (8). Učení založené na odměně tedy závisí na rozporu nebo „chybě“ mezi predikcí odměny a jejím skutečným výskytem. Ve své třetí funkci odměny vyvolávají subjektivní pocity potěšení (hedonia) a pozitivní emoční stavy. Tuto funkci je obtížné zkoumat u zvířat.

snížená neurotransmise dopaminu u parkinsonských pacientů a experimentálně lézovaných zvířat je spojena s těžkými deficity v pohybu, motivaci, pozornosti a poznání. Jeden konzistentní motivační deficit se týká využití informací o odměnách pro učení a udržování přístupu a konzumního chování(2, 9). Deficity se vyskytují hlavně s zničení projekce ze středního dopaminu neurony nucleus accumbens a, v menší míře, frontální kortex a striatum (nucleus caudatus a putamen). Tyto systémy se také podílejí na návykových vlastnostech hlavních zneužívání drog, jako je kokain, amfetamin, heroin a nikotin.

Buňka těla středního mozku dopaminové neurony jsou umístěny ve skupinách A8 (hřbetní, aby boční substantia nigra), A9 (pars compacta ze substantia nigra) a A10 (ventrální tegmentální oblasti mediální aby substantia nigra). Tyto neurony uvolňují dopamin nervovými impulsy z axonálních varikozit ve striatu, nucleus accumbens a frontální kůře, abychom jmenovali nejdůležitější místa(obr. 1). Zaznamenáváme impulsní aktivitu z buněčných těl jednotlivých dopaminových neuronů během období 20-60 minut s pohyblivými mikroelektrody z extracelulárních pozic, zatímco opice se učí a provádějí behaviorální úkoly. Neurony jsou snadno odlišitelné od ostatních neuronů středního mozku svými charakteristickými polyfázickými, relativně dlouhými impulsy vypouštěnými při nízkých frekvencích.

neustále se nám nedaří najít jasné kovariace s pohyby. Naopak, dopamin neuronů ukazují, fázová aktivací po odměnu-související události a některé pozornost-navozující podněty somatosenzorické, vizuální a sluchové modality (5, 10, 12). Tyto reakce se vyskytují velmi podobným způsobem u 60-80% neuronů ve skupinách A8, A9 a A10 v řadě behaviorálních situací, zatímco zbývající dopaminové neurony vůbec nereagují. Testované situace patří klasické podmiňování, různé jednoduché a volba reakční doba úkoly, přímé a zpožděné go-č. jít úkoly, prostorové zpoždění odezvy úkol, prostorové opožděné střídání, vizuální diskriminace, a self-zahájil pohyby. Neurony reagují mírně větší v mediální, střední mozek regionů, jako je ventrální tegmentální oblasti a středový substantia nigra, ve srovnání s více boční regiony, rozdíl, který občas dosahuje statistické významnosti. Aktivací se vyskytují s podobnými latence (50-110 ms) a doby trvání (<200 ms), po jídlo a tekutiny odměny, podmíněné podněty, a pozornost vyvolávající podněty. Tedy dopamin reakci představuje relativně homogenní, skalární populace signál, že je odstupňována podle reakcí velikost jednotlivých neuronů a zlomky neuronů reagovat.

Třífázové aktivací dochází, když zvířata dotknout sousto skryté jídlo, nebo když kapky kapaliny jsou dodávány do jejich úst mimo behaviorálních úkolů nebo při učení (Obr. 2, nahoře). Dopaminové neurony rozlišit odměny z nonreward objekty, ale nezdá se, že rozlišovat mezi různými objekty potravin nebo tekuté odměny. Jen pár ukázat fázová aktivací po primární averzivní podněty, jako je nonnoxious vzduchu obláčky na ruku nebo hypertonický solný roztok do úst (7). Tyto podněty jsou averzivní, protože narušují chování a vyvolávají aktivní vyhýbací reakce.

Většina dopaminu neurony jsou také aktivovány podmíněné vizuální a sluchové podněty, které se staly platné odměnu prediktory přes opakované a podmíněné párování s odměnami v operant nebo klasické postupy kondicionování (Obr. 2, uprostřed). V kontrastu, jen pár dopaminu neurony jsou phasically aktivuje se dozvěděl, vizuální nebo sluchové podněty v aktivním vyhýbání se úkolům, v nichž zvířata uvolnit klíč, aby se zabránilo vzduchu z listového nebo kapku hypertonický solný roztok.

Souběžně s rozvojem dopaminu reakci na odměnu-předvídání podnětů během učení, reakce na předpokládané odměnu sám je ztracen, jako je-li odpověď je převedena z odměny odměna-předpovídání podnětem (Obr. 2, horní vs. střední). Toto je pozorováno při volné odměny jsou dodávány mimo behaviorální úkoly a stát se předpovídal podmíněné podněty prostřednictvím učení, nebo když odměny se vyskytují překvapivě v průběhu jednotlivých výukových etap a stát se předvídat, kdy fáze je plně získal. Odměny jsou tedy účinné pouze při aktivaci dopaminových neuronů, pokud nejsou předpovězeny fázovými podněty.

dopaminové neurony mají omezenou schopnost rozlišovat mezi chutnými a neutrálními nebo averzními podněty. Pouze podněty, které jsou fyzicky dostatečně odlišné, jsou dobře diskriminovány. Podněty, které nejsou výslovně předpovědět, odměny, ale fyzicky se podobají odměnu-předpovídání podněty indukují malé aktivací následuje deprese v omezeném zlomek neuronů.

Dopaminu neurony jsou v depresi, v obvyklé době odměnu, když předpověděl, odměna nedojde po chybě zvířete, srážková experimentátor, nebo opožděné dodání (Obr. 2, dole). Deprese nastává v nepřítomnosti podnětu bezprostředně předcházejícího vynechané odměně. To odráží proces očekávání založený na interních hodinách, které se týkají přesného času předpokládané odměny. Na druhé straně aktivace následuje odměnu, když je prezentována v jiném čase ,než se předpokládalo (obr. 3). Tato data naznačují, že predikce ovlivňující dopaminové neurony se týká jak výskytu, tak doby odměny.

Pozornost vyvolávající podněty, jako je román nebo fyzicky intenzivní podněty nemusí být nutně týkající se odměny, vyvolat aktivací v dopaminové neurony, které jsou často následovanou depresí. Novinka reakce odezní spolu s behaviorální orientace reakcí po několika stimulu opakování, trvání je delší s fyzicky mnohem výraznější podněty. Intenzivní podněty, jako jsou hlasitá kliknutí nebo velké obrázky bezprostředně před zvířetem, vyvolávají silné reakce, které stále vyvolávají měřitelné aktivace po >1000 pokusech. Reakce na nové nebo intenzivní podněty však během kondicionování aktivního vyhýbání se chování rychle ustupují. Tato data naznačují, že dopaminové neurony nejsou poháněny výhradně podněty souvisejícími s odměnou, ale jsou také ovlivněny podněty vyvolávajícími pozornost.

dohromady většina dopaminových neuronů vykazuje fázové aktivace po odměnách jídla a tekutin a po podmíněných odměnách. Ukazují dvoufázová aktivace-deprese reakce po podněty, které se podobají odměnu-předvídání podnětů nebo jsou nové nebo zvláště charakteristické. Avšak jen málo fázických aktivací následuje averzivní podněty. Dopaminové neurony tak označují environmentální podněty chutnou „značkou“, předpovídají a detekují odměny a signalizují varovné a motivující události.

všechny reakce na odměny a podněty předpovídající odměnu závisí na předvídatelnosti události, která se týká přesného času odměny. Zdá se, že toničtější environmentální kontext předpovídající odměnu, ve kterém dochází k odměně, neovlivňuje dopaminové neurony. Zdá se, že odpověď na odměnu dopaminu naznačuje, do jaké míry se odměna vyskytuje jinak, než se předpokládalo, což se nazývá „chyba“ v predikci odměny. Dopaminové neurony tedy vykazují odměny ve vztahu k jejich predikci, spíše než signalizují odměny bezpodmínečně. Zdají se být vybaveny detektory pro dobro akcí v oblasti životního prostředí vzhledem k předpovědi, se aktivuje obohacující události, které jsou lepší než se předpokládalo, zbývající ovlivněni událostmi, které jsou tak dobré, jak se očekávalo, a být v depresi o události, které jsou horší, než se předpokládalo (Obr. 2). Nicméně, oni nedokáží rozlišovat mezi různé odměny a tak se objeví vydávat varování zprávu o překvapující přítomnost nebo nepřítomnost odměny bez uvedení konkrétní povahu každého odměnu. Zpracovávají čas a predikci odměn, ale ne povahu konkrétní odměny.

Potenciální využití odměna chyba predikce signálu

mírně praská, krátké trvání, téměř synchronní odpověď většiny dopamin neuronů vede k optimální, simultánní uvolňování dopaminu z většiny blízkých varikozit ve striatu a mozkové kůře čelního laloku. Krátký obláček dopaminu rychle dosáhne regionálně homogenních koncentrací, které pravděpodobně ovlivní dendrity pravděpodobně všech striatálních a mnoha kortikálních neuronů. Tímto způsobem, odměna předpověď chybová zpráva v 60-80% dopaminových neuronů je vysílán jako odlišné, spíše globální posílení signálu do striata, nucleus accumbens, a frontální kůře, phasically ovlivňují maximální počet synapsí, které se podílejí na zpracování podnětů a opatření vedoucí k odměně. Snížení uvolňování dopaminu vyvolané depresemi s vynechanými odměnami by snížilo tonickou stimulaci dopaminových receptorů okolním dopaminem.

základní uspořádání synaptických vlivy dopaminu neurony na striatální a frontální mozkové kůry neurony se skládá z triádě dendritické trny, excitační kortikální terminály na špičce dendritické trny, a dopaminu varikozit kontaktování stejné dendritické trny (Obr. 4). Každý středně velký striatální ostnatý neuron přijímá ~1,000 dopaminergní synapse na svých dendritických trnech a ~5,000 kortikální synapse. Toto uspořádání by umožnilo dopaminovým neuronům ovlivňovat synaptické účinky kortikálních vstupů do striatálních neuronů. Uvolněný dopamin může působit na striatální a kortikální neurony několika možnými způsoby. 1) okamžitý účinek může spočívat ve změně kortikostriatální neurotransmise. To by upravit informace cirkulující v kortiko-bazální ganglia smyčky a vliv neuronů v kortikálních struktur se podílejí strukturování chování výstupu. 2) relativně pomalý časový průběh působení dopaminové membrány může zanechat krátkou stopu události odměny a na krátkou dobu ovlivnit veškerou následnou aktivitu. 3) potenciální dopaminu závislé plasticity ve striatu a pozorované formy dopaminu reakce může vyvolat plastické změny v striatální a kortikálních synapsí současně aktivován událostí, které vedly k odměně.

V modelu dopaminu vlivy na striatální neurotransmise, a a B jsou vstupy, které samostatně kontaktovat dendritické trny z striatální neuron I (Obr. 4). Synaptické váhy a → I a B → I jsou krátkodobé nebo dlouhodobé Hebbovské modifikovatelné. Stejné trny jsou bez rozdílu kontaktováni globální odměnu chyba predikce signálu z dopaminu vstup X. Oba neuronu X a neuron, ale ne neuron B jsou aktivovány, když odměnu související s signál se setkáváme. Neuron X vysílá zprávu, že obohacující událost nastala, aniž by konkrétní detaily, vzhledem k tomu, že neuron A odešle zprávu o jednu z několika detailní aspekty odměnu-související události, jako je barva, textura, pozice, okolí, atd. stimulu nebo může kódovat pohyb vedoucí k získání odměny. Váhy striatální synapsí by mohl být upraven podle učení pravidlo Δω = ϵ• r•i•o, kde ω je synaptická váha, ϵ je učení konstanta, r je dopamin chyba predikce signálu, i je vstupní aktivace, a o je aktivace striatální neurony. Díky simultánnosti nebo blízké simultánnosti aktivity v A A X může aktivita neuronu X vyvolat změnu neurotransmise při aktivní synapsi a → I, ale ponechá neaktivní neurotransmisi b → I beze změny. V případě trvalé změny v synaptické transmise, další vstup z neuronu by vést ke zvýšené reakce v neuronu já, vzhledem k tomu, že vstup z neuronu B vede k nezměněné reakce v neuronu I. to Znamená, že synaptické změny → a B → jsem neurotransmise je podmíněno dopaminu neuronu, X je společně aktivní, s nebo B.

dopamin reakci kódování chyby v predikci odměny podobá ve všech hlavních aspektech posílení signálu z mimořádně efektivní třídy výztuže modely, které obsahují časový rozdíl algoritmy (6, 13, 15). Jsou založeny na behaviorálních teoriích učení, které předpokládají, že učení závisí zásadně na rozporu nebo chybě mezi predikcí výztuže a jejím skutečným výskytem (1, 8). V těchto modelech modul critic generuje signál globální výztuže a odešle jej do modulu actor, který se učí a provádí behaviorální výstup. Architektura kritik-herec se velmi podobá konektivitě bazálních ganglií, včetně projekce dopaminu do striatu a reciproční striatonigrální projekce. Modely využívající časový rozdíl algoritmy, naučit širokou škálu behaviorální úkoly, dosahující z vyrovnávací tyč na kolo vozíku pro hraní world-class backgammon (odkazy viz Ref. 11). Roboti používající algoritmy časového rozdílu se naučí pohybovat se v dvojrozměrném prostoru a vyhýbat se překážkám, dosáhnout a uchopit nebo vložit kolík do díry. Neurobiologically inspiroval časový rozdíl modely replikovat potravní chování včel, simulovat lidské rozhodování, a naučit se orientovat reakce, pohyby očí, sekvenční pohyby a prostorové zpoždění odezvy na úkoly. To je zvláště zajímavé vidět, že výuka signálů pomocí predikce chyby mají za následek rychlejší a úplnější učení, ve srovnání s bezpodmínečnou výztuže signály.

Závěry a rozšíření

vyšetřování aktivitu dopaminových neuronů vyústil v překvapivé zjištění, že tyto neurony nejsou upraveny ve vztahu k pohybu, i když pohyby jsou nedostatkem pacienty s parkinsonovou nemocí. Dopaminové neurony spíše kódují ve velmi zvláštní formě odměňující aspekty environmentálních podnětů spolu s určitými charakteristikami vyvolávajícími pozornost. Reakce jsou vyvolané primární odměny („nepodmíněné podněty“), podmíněná odměna-předpovídání podněty, podněty připomínající odměnu související podněty a nové a intenzivní podněty. Podněty související s odměnou jsou však hlášeny pouze tehdy, když se vyskytují jinak, než se předpokládalo, predikce týkající se výskytu I doby události. Chybová zpráva predikce je velmi silným signálem pro řízení chování a navození učení, podle teorií učení zvířat a modelů zesílení. Dopaminový signál však nespecifikuje přesně, jaká odměna se vyskytuje jinak, než se předpokládalo, nebo zda se jedná o odměnu nebo spíše o stimul předpovídající odměnu. Podněty připomínající odměny a nové nebo zvláště charakteristické podněty vyvolat aktivace-deprese sekvence, které se podobají monofázické aktivace vyvolané nepředvídatelné odměnu související podněty. Dopaminový signál se tak jeví jako převážně signál upozorňující na odměnu a jiné mozkové systémy musí zpracovávat další informace pro učení správných behaviorálních reakcí na motivující podněty prostředí.

Informace týkající se potravin a tekutin odměny je také zpracovány v mozkových struktur jiných než dopaminové neurony, jako dorzální a ventrální striatum, subtalamická jádra, amygdala, dorzolaterální prefrontální kortex, orbitofrontální cortex a anterior cinguli cortex. Zdá se však, že tyto struktury nevydávají signál chyby předpovědi globální odměny podobný dopaminovým neuronům. Tyto struktury ukazují 1) přechodné reakce po doručení odměn, 2) přechodné odpovědi na odměnu-předpovídání podněty, 3) trvalou aktivaci během očekávání odměny, a 4) modulace chování-činnost související s tím, že předpokládané odměny (odkazy viz Ref. 11). Mnoho z těchto neuronů dobře rozlišuje mezi různými odměnami za jídlo nebo tekutiny. Mohou tedy zpracovat specifickou povahu odměňující události. Nějakou odměnu reakce závisí na odměnu nepředvídatelnost být snížena nebo chybí, když odměna je předpovídal podmíněný podnět, i když není jasné, zda se signál chyby predikce podobné dopaminu neurony. Zdá se tedy, že zpracování konkrétní odměny pro učení a udržování chování přístup by výrazně profitovat ze spolupráce mezi dopaminové neurony signalizace nepředvídatelné události nebo opomenutí odměnu a neuronů v jiných struktur, současně označující specifickou povahu odměnu.

Porucha neurotransmise dopaminu u Parkinsonovy nemoci, experimentální léze, nebo neuroleptické léčby je spojeno s mnoha behaviorální deficity v pohybu (akineze, třes, tuhost), poznávání (pozornost, bradyphrenia, plánování, učení) a motivace (snížená emoční reakce, deprese). Největší deficity jsou výrazně zlepšena systémové prekurzor dopaminu nebo agonisty receptoru terapie, která nelze jednoduchým způsobem restitute na phasic, přenos informací pomocí nervových impulsů. Zdá se, že dopaminové neurotransmise hraje dvě samostatné funkce v mozku, fázová zpracování appetitive a varování informace a tonikum umožňuje z velkého množství motorických, kognitivních a motivačních procesů, bez časové kódování (11). Tonická funkce dopaminu je založena na nízkých, trvalých extracelulárních koncentracích dopaminu ve striatu (5-10 nM) a dalších oblastech inervovaných dopaminem. Okolní dopaminu koncentrace je regulována lokálně v úzkém rozmezí spontánní impulsy, synaptické přetečení, zpětného vychytávání transport, metabolismus, autoreceptor-řízené uvolňování a syntézu, a presynaptický vysílač interakce. Tonická stimulace dopaminových receptorů by neměla být příliš nízká ani příliš vysoká pro optimální funkci dané oblasti mozku. Jiné neurotransmitery existují v podobně nízkých koncentracích, jako jsou glutamátu ve striatu, mozkové kůře, hipokampu a mozečku, aspartát a GABA ve striatu a mozkové kůře čelního laloku, a adenosinu v hipokampu. Neurony v mnoha mozkových strukturách jsou zjevně koupány v „polévce“ neurotransmiterů, které mají silné, specifické fyziologické účinky na neuronální excitabilitu. S ohledem na obecný význam tonikum extracelulární koncentrace neurotransmiterů, zdá se, že široké spektrum parkinsonské příznaky by neměly být způsobena nedostatkem přenosu informace odměna podle dopaminové neurony, ale bude odrážet poruchu striatální a kortikální neurony, způsobené poruchou umožnit snížením okolního dopaminu. Dopaminové neurony by neměl být aktivně zapojen v široké škále procesů nedostatkem parkinsonismus, ale poskytují důležité zázemí koncentrace dopaminu nezbytné pro udržení řádného fungování striatální a kortikální neurony zapojené do těchto procesů.