Belöningssignalen för midbrain dopaminneuroner

när multicellulära organismer uppstod genom utvecklingen av självreproducerande molekyler utvecklade de endogena, autoregulatoriska mekanismer som försäkrade att deras behov av välfärd och överlevnad var uppfyllda. Ämnen engagerar sig i olika former av tillvägagångssätt för att få resurser för att upprätthålla homeostatisk balans och att reproducera sig själva. Dessa biologiska resurser sägs ha” givande ” funktioner eftersom de framkallar och förstärker tillvägagångssätt. Även om det ursprungligen var relaterat till biologiska behov utvecklades belöningar ytterligare under utvecklingen av högre däggdjur för att stödja mer sofistikerade former av individuellt och socialt beteende. Högre former av belöningar är ofta baserade på kognitiva representationer, och de berör sådana föremål och konstruktioner som nyhet, utmaning, acclaim, makt, pengar, territorium och säkerhet. Således definierar biologiska och kognitiva behov karaktären av belöningar, och tillgängligheten av belöningar bestämmer några av de grundläggande parametrarna för ämnets livsförhållanden.

belöningar har tre grundläggande funktioner (1). Först framkallar de tillvägagångssätt och fullbordande beteende och tjänar som mål för frivilligt beteende. På så sätt avbryter de pågående beteenden och ändrar prioriteringarna för beteendeåtgärder. För det andra har belöningar positiva förstärkande effekter. De ökar frekvensen och intensiteten av beteende som leder till sådana objekt (lärande) och upprätthåller lärt beteende genom att förhindra utrotning. Denna funktion utgör kärnan i att” komma tillbaka för mer ” och relaterar till begreppet att få belöningar för att ha gjort något användbart. Lärande fortsätter när belöningar uppstår oförutsägbart och saktar när belöningar blir mer och mer förutsagda (8). Således beror belöningsdrivet lärande på skillnaden eller ”felet” mellan förutsägelsen av belöning och dess faktiska förekomst. I sin tredje funktion inducerar belöningar subjektiva känslor av nöje (hedonia) och positiva känslomässiga tillstånd. Denna funktion är svår att undersöka hos djur.

minskad dopamin-neurotransmission hos Parkinsonpatienter och experimentellt skadade djur är förknippad med allvarliga underskott i rörelse, motivation, uppmärksamhet och kognition. Ett konsekvent motivationsunderskott gäller användningen av belöningsinformation för att lära sig och upprätthålla tillvägagångssätt och fullbordande beteende (2, 9). Underskotten uppträder huvudsakligen med förstörelse av utsprång från dopaminneuroner i mitten av hjärnan till nucleus accumbens och i mindre utsträckning till frontal cortex och striatum (caudatkärna och putamen). Dessa system är också involverade i de beroendeframkallande egenskaperna hos stora missbruksdroger, såsom kokain, amfetamin, heroin och nikotin.

cellkroppar av dopaminneuroner i mellanhjärnan finns i grupperna A8 (dorsal till lateral substantia nigra), A9 (pars compacta av substantia nigra) och A10 (ventral tegmental area medial till substantia nigra). Dessa neuroner frigör dopamin med nervimpulser från axonala varicositeter i striatum, nucleus accumbens och frontal cortex, för att nämna de viktigaste platserna (Fig. 1). Vi registrerar impulsaktiviteten från cellkroppar av enstaka dopaminneuroner under perioder av 20-60 min med rörliga mikroelektroder från extracellulära positioner medan apor lär sig och utför beteendemässiga uppgifter. Neuronerna är lätt att skilja från andra mellanhjärnneuroner genom deras karakteristiska polyfasiska, relativt långa impulser som släpps ut vid låga frekvenser.

vi misslyckas konsekvent med att hitta tydliga samvariationer med rörelser. Däremot visar dopaminneuroner fasiska aktiveringar efter belöningsrelaterade händelser och vissa uppmärksamhetsinducerande stimuli av somatosensorisk, visuell och auditiv modalitet (5, 10, 12). Dessa svar förekommer på ett mycket liknande sätt i 60-80% av neuronerna i grupperna A8, A9 och A10 i en rad beteendesituationer, medan de återstående dopaminneuronerna inte svarar alls. Testade situationer inkluderar klassisk konditionering, olika enkla och valreaktionstidsuppgifter, direkta och fördröjda go-no go-uppgifter, rumslig fördröjd responsuppgift, rumslig fördröjd växling, visuell diskriminering och självinitierade rörelser. Neuroner svarar något mer i mediala mellanhjärnregioner, såsom det ventrala tegmentala området och mediala substantia nigra, jämfört med mer laterala regioner, en skillnad som ibland når statistisk signifikans. Aktiveringarna sker med liknande latenser (50-110 ms) och varaktigheter (<200 ms) efter mat-och vätskebelöningar, konditionerade stimuli och uppmärksamhetsinducerande stimuli. Således utgör dopaminresponsen en relativt homogen, skalär populationssignal som graderas av responsstorleken hos enskilda neuroner och av fraktionerna av neuroner som svarar.

Fasiska aktiveringar uppstår när djur rör vid en bit dold mat eller när droppar vätska levereras till munnen utanför beteendeuppgifter eller under inlärning (Fig. 2, överst). Dopaminneuroner skiljer belöningar från icke-reward-objekt men verkar inte skilja mellan olika matobjekt eller flytande belöningar. Endast ett fåtal visar de fasiska aktiveringarna efter primära aversiva stimuli, såsom icke-toxiska luftpuffar till handen eller hypertonisk saltlösning i munnen (7). Dessa stimuli är aversiva eftersom de stör beteendet och inducerar aktiva undvikande reaktioner.

de flesta dopaminneuroner aktiveras också av konditionerade visuella och auditiva stimuli som har blivit giltiga belöningsprediktorer genom upprepad och kontingent parning med belöningar i operanta eller klassiska konditioneringsprocedurer (Fig. 2, mitten). Däremot aktiveras endast några få dopaminneuroner fasiskt av inlärda visuella eller auditiva stimuli i aktiva undvikande uppgifter där djur släpper ut en nyckel för att undvika en luftpuff eller en droppe hypertonisk saltlösning.

samtidigt med utvecklingen av dopaminresponsen på belöningsspecifika stimuli under inlärning förloras svaret på den förutsagda belöningen i sig, som om svaret överförs från belöningen till den belöningsspecifika stimulansen (Fig. 2, Topp vs. mitten). Detta observeras när gratis belöningar levereras utanför beteendeuppgifter och förutses av konditionerade stimuli genom inlärning eller när belöningar inträffar överraskande under individuella inlärningsfaser och förutses när en fas är helt förvärvad. Således är belöningar endast effektiva för att aktivera dopaminneuroner när de inte förutses av fasiska stimuli.

dopaminneuroner har en begränsad förmåga att skilja mellan aptitliga och neutrala eller aversiva stimuli. Endast stimuli som är fysiskt tillräckligt olika är väl diskriminerade. Stimuli som inte uttryckligen förutsäger belöningar men fysiskt liknar belöningsspecifika stimuli inducerar små aktiveringar följt av depressioner i en begränsad fraktion av neuroner.

dopaminneuroner är deprimerade vid den vanliga tiden för belöning när en förutsagd belöning inte inträffar efter ett fel hos djuret, undanhållande av försöksledaren eller försenad leverans (Fig. 2, botten). Depressionen sker i avsaknad av en stimulans som omedelbart föregår den utelämnade belöningen. Detta återspeglar en förväntningsprocess baserad på en intern klocka som gäller den exakta tiden för den förutsagda belöningen. Å andra sidan följer en aktivering belöningen när detta presenteras vid en annan tidpunkt än förutsagt (Fig. 3). Dessa data tyder på att förutsägelsen som påverkar dopaminneuroner berör både förekomsten och tiden för belöning.

Uppmärksamhetsinducerande stimuli, såsom nya eller fysiskt intensiva stimuli som inte nödvändigtvis är relaterade till belöningar, framkallar aktiveringar i dopaminneuroner som ofta följs av depressioner. Nyhetssvar avtar tillsammans med beteendeorienterande reaktioner efter flera stimulansrepetitioner, varaktigheten är längre med fysiskt mer framträdande stimuli. Intensiva stimuli, som höga klick eller stora bilder omedelbart framför ett djur, framkallar starka svar som fortfarande inducerar mätbara aktiveringar efter >1000 försök. Svar på nya eller intensiva stimuli avtar emellertid snabbt under konditionering av aktivt undvikande beteende. Dessa data tyder på att dopaminneuroner inte uteslutande drivs av belöningsrelaterade stimuli utan också påverkas av uppmärksamhetsinducerande stimuli.

sammantaget visar de flesta dopaminneuroner fasiska aktiveringar efter mat och vätskebelöningar, och efter konditionerad, belöningförutsägandestimuli. De visar bifasiska aktiveringsdepressionsresponser efter stimuli som liknar belöningsspecifika stimuli eller är nya eller särskilt framträdande. Men bara få fasiska aktiveringar följer aversiva stimuli. Således märker dopaminneuroner miljöstimuli med en appetitiv ”tagg”, förutsäger och upptäcker belöningar och signalerar varning och motiverande händelser.

alla svar på belöningar och belöningsspecifika stimuli beror på händelsens förutsägbarhet som gäller den exakta belöningstiden. Det mer toniska belöningsförutsägandet miljökontext där en belöning inträffar verkar inte påverka dopaminneuroner. Dopaminbelöningssvaret verkar indikera i vilken utsträckning en belöning inträffar annorlunda än förutsagt, benämnt ett ”fel” i förutsägelsen av belöning. Således rapporterar dopaminneuroner belöningar i förhållande till deras förutsägelse, snarare än att signalera belöningar ovillkorligt. De verkar vara funktionsdetektorer för godheten hos miljöhändelser i förhållande till förutsägelse, aktiveras av givande händelser som är bättre än förutsagda, förblir opåverkade av händelser som är lika bra som förutsagda och deprimeras av händelser som är sämre än förutsagda (Fig. 2). De misslyckas dock med att skilja mellan olika belöningar och verkar därmed avge ett varningsmeddelande om den överraskande närvaron eller frånvaron av belöningar utan att ange varje belönings särskilda karaktär. De bearbetar tid och förutsägelse av belöningar men inte arten av den särskilda belöningen.

potentiell användning av belöningsprognosfelsignalen

det måttligt sprängande, kortvariga, nästan synkrona svaret hos majoriteten av dopaminneuroner leder till optimal, samtidig dopaminfrisättning från majoriteten av nära åtskilda varicositeter i striatum och frontal cortex. Den korta puffen av dopamin når snabbt regionalt homogena koncentrationer som sannolikt påverkar dendriterna hos förmodligen alla striatala och många kortikala neuroner. På detta sätt sänds belöningsprognosfelmeddelandet i 60-80% av dopaminneuroner som en divergerande, ganska global förstärkningssignal till striatum, nucleus accumbens och frontal cortex, som påverkar ett maximalt antal synapser som är involverade i behandlingen av stimuli och åtgärder som leder till belöning. Minskningen av dopaminfrisättning inducerad av depressioner med utelämnade belöningar skulle minska tonisk stimulering av dopaminreceptorer med omgivande dopamin.

det grundläggande arrangemanget av synaptiska influenser av dopaminneuroner på striatala och frontala cortexneuroner består av en triad bestående av dendritiska ryggraden, excitatoriska kortikala terminaler vid spetsen av dendritiska ryggraden och dopamin varicositeter som kontaktar samma dendritiska ryggraden (Fig. 4). Varje medelstor striatal spiny neuron får ~1000 dopaminerga synapser vid dess dendritiska spines och ~5000 kortikala synapser. Detta arrangemang skulle tillåta dopaminneuroner att påverka de synaptiska effekterna av kortikala ingångar till striatala neuroner. Den frisatta dopaminet kan verka på striatala och kortikala neuroner på flera möjliga sätt. 1) den omedelbara effekten kan bestå i en förändring av kortikostriatal neurotransmission. Detta skulle modifiera information som cirkulerar i kortikobasala gangliaslingor och påverka neuroner i kortikala strukturer som är involverade i strukturering av beteendeproduktion. 2) den relativt långsamma tidsförloppet för dopaminmembranverkan kan lämna ett kort spår av belöningshändelsen och påverka all efterföljande aktivitet under en kort stund. 3) den potentiella dopaminberoende plasticiteten i striatum och de observerade formerna av dopaminsvar kan inducera plastförändringar i striatala och kortikala synapser samtidigt aktiverade av händelserna som leder till belöning.

i en modell av dopaminpåverkan på striatal neurotransmission är A och B ingångar som separat kontaktar dendritiska ryggar av en striatal neuron I (Fig. 4). De synaptiska vikterna a exportorienterade i och B exportorienterade i är kortsiktiga eller långsiktiga Hebbianska modifierbara. Samma ryggar kontaktas urskillningslöst av den globala belöningsprognosfelsignalen från dopaminingång X. både neuron X och neuron A, men inte neuron B, aktiveras när en belöningsrelaterad signal påträffas. Neuron X sänder meddelandet att en givande händelse har inträffat utan att ge specifika detaljer, medan neuron a skickar ett meddelande om en av flera detaljerade aspekter av belöningsrelaterad händelse, såsom färg, struktur, position, omgivning, etc. av stimulans eller kan koda en rörelse som leder till att få belöningen. Vikterna av striatala synapser kan modifieras enligt inlärningsregeln https: / / r• i•o, där det finns en synaptisk vikt, en lärandekonstant, R är felsignal för dopaminprediktion, jag är inmatad aktivering och O är aktivering av striatal neuron. Således, genom samtidighet eller nära samtidighet av aktivitet i A och X, kan aktiviteten hos neuron X inducera en förändring i neurotransmission vid den aktiva a Kazaki i-synapsen, men lämna den inaktiva b Kazaki i-neurotransmissionen oförändrad. I fallet med varaktiga förändringar i synaptisk överföring skulle efterföljande inmatning från neuron A leda till ett ökat svar i neuron I, medan inmatning från neuron B leder till ett oförändrat svar i neuron I. således är de synaptiska förändringarna av en neurotransmission av en neurotransmission av A i och B i I beroende av att dopaminneuron X är tillsammans aktiv med A eller B.

dopaminresponsen som kodar ett fel i förutsägelsen av belöning liknar i alla större aspekter förstärkningssignalen för en särskilt effektiv klass av förstärkningsmodeller som innehåller temporala skillnadsalgoritmer (6, 13, 15). De är baserade på beteendeinlärningsteorier som antar att lärande beror väsentligt på skillnaden eller felet mellan förutsägelsen av förstärkning och dess faktiska förekomst (1, 8). I dessa modeller genererar en kritikermodul en global förstärkningssignal och skickar den till aktörsmodulen som lär sig och utför beteendeproduktion. Kritikerskådespelararkitekturen liknar nära anslutningen av de basala ganglierna, inklusive dopaminprojektionen till striatum och den ömsesidiga striatonigralprojektionen. Modeller som använder temporala skillnadsalgoritmer lär sig en mängd olika beteendeuppgifter, från att balansera en stolpe på ett vagnhjul till att spela backgammon i världsklass (för referenser, se Ref. 11). Robotar som använder tidsskillnadsalgoritmer lär sig att röra sig om tvådimensionellt utrymme och undvika hinder, nå och ta tag i eller sätt in en pinne i ett hål. Neurobiologiskt inspirerade temporala skillnadsmodeller replikerar foderbeteende hos honungsbin, simulerar mänskligt beslutsfattande och lär sig orienterande reaktioner, ögonrörelser, sekventiella rörelser och rumsliga fördröjda svarsuppgifter. Det är särskilt intressant att se att undervisningssignaler med prediktionsfel resulterar i snabbare och mer fullständigt lärande jämfört med ovillkorliga förstärkningssignaler.

slutsatser och förlängningar

undersökningen av aktiviteten hos dopaminneuroner resulterade i det överraskande konstaterandet att dessa neuroner inte moduleras i förhållande till rörelser, även om rörelser är bristfälliga hos Parkinsonpatienter. Snarare kodar dopaminneuroner i en mycket speciell form de givande aspekterna av miljöstimuli, tillsammans med vissa uppmärksamhetsinducerande egenskaper. Svaren framkallas av primära belöningar (”okonditionerade stimuli”), konditionerade belöningsspecifika stimuli, stimuli som liknar belöningsrelaterade stimuli och nya eller intensiva stimuli. Belöningsrelaterade stimuli rapporteras emellertid endast när de uppträder annorlunda än förutsagt, förutsägelsen om både händelsen och tidpunkten för händelsen. Prediktionsfelmeddelandet är en mycket kraftfull signal för att styra beteende och inducera lärande, enligt teorier om djurinlärning och förstärkningsmodeller. Dopaminsignalen anger emellertid inte exakt vilken belöning det är som inträffar annorlunda än förutsagt eller om det verkligen är en belöning eller snarare en belöningsspecifik stimulans. Stimuli som liknar belöningar och nya eller särskilt framträdande stimuli framkallar aktiveringsdepressionssekvenser som liknar de monofasiska aktiveringarna som framkallas av oförutsedda belöningsrelaterade stimuli. Dopaminsignalen verkar således vara en övervägande belöningsvarningssignal, och andra hjärnsystem måste bearbeta ytterligare information för att lära sig korrekta beteendemässiga reaktioner på motiverande miljöstimuli.

Information om mat-och vätskebelöningar behandlas också i andra hjärnstrukturer än dopaminneuroner, såsom dorsal och ventral striatum, subthalamisk kärna, amygdala, dorsolateral prefrontal cortex, orbitofrontal cortex och anterior cingulate cortex. Dessa strukturer verkar emellertid inte avge en global belöningsprognosfelsignal som liknar dopaminneuroner. Dessa strukturer visar 1) övergående svar efter leverans av belöningar, 2) övergående svar på belöningsspecifika signaler, 3) ihållande aktiveringar under förväntan om belöningar och 4) moduleringar av beteenderelaterad aktivitet med förutsagda belöningar (för referenser, se Ref. 11). Många av dessa neuroner skiljer sig väl mellan olika mat-eller vätskebelöningar. Således kan de bearbeta den specifika karaktären hos den givande händelsen. Vissa belöningssvar beror på belöningens oförutsägbarhet när den reduceras eller saknas när belöningen förutses av en konditionerad stimulans, även om det är oklart om de signalerar förutsägelsesfel som liknar dopaminneuroner. Det verkar således att behandlingen av specifika belöningar för att lära sig och upprätthålla tillvägagångssätt beteende skulle starkt dra nytta av ett samarbete mellan dopaminneuroner som signalerar den oförutsedda förekomsten eller utelämnandet av belöning och neuroner i de andra strukturerna samtidigt som indikerar belöningens specifika karaktär.

nedsatt dopamin-neurotransmission med Parkinsons sjukdom, experimentella lesioner eller neuroleptisk behandling är förknippad med många beteendeunderskott i rörelse (akinesi, tremor, styvhet), kognition (uppmärksamhet, bradyfreni, planering, lärande) och motivation (minskad känslomässig respons, depression). De flesta underskott förbättras avsevärt av systemisk dopaminprekursor eller receptoragonistterapi, som inte på ett enkelt sätt kan återställa den fasiska informationsöverföringen med neuronala impulser. Det verkar som om dopamin neurotransmission spelar två separata funktioner i hjärnan, den fasiska behandlingen av appetitiv och varningsinformation och tonisk möjliggörande av ett stort antal motoriska, kognitiva och motivationsprocesser utan tidsmässig kodning (11). Den toniska dopaminfunktionen är baserad på låga, ihållande extracellulära dopaminkoncentrationer i striatum (5-10 nM) och andra dopamin-innerverade områden. Den omgivande dopaminkoncentrationen regleras lokalt inom ett smalt område genom spontana impulser, synaptisk överflöde, återupptagstransport, metabolism, autoreceptorstyrd frisättning och syntes och presynaptisk sändarinteraktion. Den toniska stimuleringen av dopaminreceptorer bör varken vara för låg eller för hög för en optimal funktion av en given hjärnregion. Andra neurotransmittorer finns i liknande låga omgivningskoncentrationer, såsom glutamat i striatum, hjärnbark, hippocampus och cerebellum, aspartat och GABA i striatum och frontal cortex och adenosin i hippocampus. Neuroner i många hjärnstrukturer badas tydligen i en” soppa ” av neurotransmittorer som har kraftfulla, specifika fysiologiska effekter på neuronal excitabilitet. Med tanke på den allmänna betydelsen av toniska extracellulära koncentrationer av neurotransmittorer verkar det som om det stora utbudet av parkinsoniska symtom inte skulle orsakas av bristande överföring av belöningsinformation av dopaminneuroner men skulle återspegla ett fel i striatala och kortikala neuroner orsakade av nedsatt möjliggörande genom minskad omgivande dopamin. Dopaminneuroner skulle inte vara aktivt involverade i det stora utbudet av processer som är bristfälliga i parkinsonism men skulle ge den viktiga bakgrundskoncentrationen av dopamin som är nödvändig för att upprätthålla en korrekt funktion av striatala och kortikala neuroner som är involverade i dessa processer.