het Beloningssignaal van Midbrain Dopamine neuronen

toen meercellige organismen ontstonden door de evolutie van zelf-reproducerende moleculen, ontwikkelden ze endogene, autoregulerende mechanismen die ervoor zorgden dat aan hun behoeften aan welzijn en overleving werd voldaan. Onderwerpen houden zich bezig met verschillende vormen van benaderingsgedrag om middelen te verkrijgen voor het handhaven van homeostatische balans en om zichzelf te reproduceren. Van deze biologische hulpbronnen wordt gezegd dat ze “belonende” functies hebben omdat ze het benaderingsgedrag opwekken en versterken. Hoewel aanvankelijk gerelateerd aan biologische behoeften, ontwikkelde beloningen zich verder tijdens de evolutie van hogere zoogdieren om meer geavanceerde vormen van individueel en sociaal gedrag te ondersteunen. Hogere vormen van beloningen zijn vaak gebaseerd op cognitieve representaties, en ze hebben betrekking op objecten en constructies zoals nieuwheid, uitdaging, bijval, macht, geld, grondgebied en veiligheid. Zo bepalen biologische en cognitieve behoeften de aard van beloningen, en de beschikbaarheid van beloningen bepaalt enkele fundamentele parameters van de levensomstandigheden van het subject.

beloningen hebben drie basisfuncties (1). Ten eerste, ze ontlokken aanpak en consummatory gedrag en dienen als doelen van vrijwillig gedrag. Door dit te doen, onderbreken ze voortdurend gedrag en veranderen de prioriteiten van gedragsacties. Ten tweede hebben beloningen positieve versterkende effecten. Ze verhogen de frequentie en intensiteit van gedrag dat leidt tot dergelijke objecten (leren) en handhaven geleerd gedrag door extinctie te voorkomen. Deze functie vormt de essentie van” terugkomen voor meer ” en heeft betrekking op de notie van het ontvangen van beloningen voor iets nuttigs te hebben gedaan. Leren gaat door wanneer beloningen onvoorspelbaar plaatsvinden en vertraagt naarmate beloningen meer en meer worden voorspeld (8). Dus, beloning-gedreven leren hangt af van de discrepantie of “fout” tussen de voorspelling van de beloning en de werkelijke gebeurtenis. In hun derde functie veroorzaken beloningen subjectieve gevoelens van plezier (hedonia) en positieve emotionele toestanden. Deze functie is moeilijk te onderzoeken bij dieren.

verminderde dopamine neurotransmissie bij parkinsonpatiënten en experimenteel gedoseerde dieren wordt geassocieerd met ernstige tekorten in beweging, motivatie, aandacht en cognitie. Een consistent motiveringstekort betreft het gebruik van beloningsinformatie voor het leren en handhaven van benadering en consummatisch gedrag (2, 9). De tekorten komen voornamelijk voor bij vernietiging van projecties van de dopamine neuronen in het midden van de hersenen tot de nucleus accumbens en, in mindere mate, tot frontale cortex en striatum (caudate nucleus en putamen). Deze systemen zijn ook betrokken bij de verslavende eigenschappen van belangrijke drugs van misbruik, zoals cocaïne, amfetamine, heroïne en nicotine.

cellichamen van midbrain dopamine neuronen bevinden zich in groepen A8 (dorsaal tot laterale substantia nigra), A9 (pars compacta van substantia nigra) en A10 (ventraal tegmentaal gebied mediaal tot substantia nigra). Deze neuronen geven dopamine vrij met zenuwimpulsen van axonale varicositeiten in het striatum, nucleus accumbens, en frontale cortex, om de belangrijkste plaatsen te noemen (Fig. 1). We registreren de impulsactiviteit van cellichamen van enkele dopamine neuronen gedurende perioden van 20-60 minuten met beweegbare micro-elektroden uit extracellulaire posities terwijl apen leren en gedragstaken uitvoeren. De neuronen zijn gemakkelijk te onderscheiden van andere middenhersenen neuronen door hun karakteristieke polyfasische, relatief lange impulsen afgevoerd bij lage frequenties.

we slagen er consequent niet in duidelijke covariaties met bewegingen te vinden. Dopamine neuronen daarentegen vertonen fasische activeringen na beloningsgerelateerde gebeurtenissen en bepaalde aandacht-inducerende stimuli van de somatosensorische, visuele en auditieve modaliteit (5, 10, 12). Deze reacties komen op een zeer gelijkaardige manier in 60-80% van neuronen in groepen A8, A9, en A10 in een waaier van gedragssituaties voor, terwijl de resterende dopamine neuronen helemaal niet reageren. Geteste situaties omvatten klassieke conditionering, verschillende eenvoudige en keuze reactietijd taken, directe en vertraagde go-no go taken, ruimtelijke vertraagde reactie taak, ruimtelijke vertraagde afwisseling, visuele discriminatie, en zelf-geïnitieerde bewegingen. Neuronen reageren iets meer in mediale middenhersengebieden, zoals het ventrale tegmentale gebied en mediale substantia nigra, vergeleken met meer laterale gebieden, een verschil dat soms statistische significantie bereikt. De activeringen treden op met vergelijkbare latenties (50-110 ms) en duur (<200 ms) Na voedsel en vloeistof beloningen, geconditioneerde stimuli en aandacht-inducerende stimuli. Zo vormt de dopamine-respons een relatief homogeen, scalair populatiesignaal dat wordt gesorteerd door de responsgrootte van individuele neuronen en door de fracties van neuronen die reageren.

fasische activeringen treden op wanneer dieren een stukje verborgen voedsel aanraken of wanneer druppels vloeistof buiten hun gedragstaken of tijdens het leren in hun mond worden gebracht (Fig. 2, boven). Dopamine neuronen onderscheiden beloningen van nonreward objecten, maar lijken geen onderscheid te maken tussen verschillende voedsel objecten of vloeibare beloningen. Slechts een paar tonen de fasische activeringen na primaire aversieve stimuli, zoals niet onaangename luchtpijpen aan de hand of hypertone zoutoplossing aan de mond (7). Deze stimuli zijn aversief omdat ze gedrag verstoren en actieve vermijdingsreacties veroorzaken.

de meeste dopamine neuronen worden ook geactiveerd door geconditioneerde visuele en auditieve stimuli die geldige beloningsvoorspellers zijn geworden door herhaalde en voorwaardelijke koppeling met beloningen in operante of klassieke conditioneringsprocedures (Fig. 2, Midden). In tegenstelling, worden slechts enkele dopamine neuronen phasisch geactiveerd door geleerde visuele of auditieve stimuli in actieve vermijdingstaken waarbij dieren een sleutel vrijgeven om een luchtdons of een druppel hypertone zoutoplossing te vermijden.

gelijktijdig met de ontwikkeling van de dopamine-respons op beloningsvoorspellende stimuli tijdens het leren, gaat de respons op de voorspelde beloning zelf verloren, alsof de respons wordt overgedragen van de beloning naar de beloningsvoorspellende stimuli (Fig. 2, boven VS. Midden). Dit wordt waargenomen wanneer gratis beloningen worden geleverd buiten de gedragstaken en worden voorspeld door geconditioneerde stimuli door het leren of wanneer beloningen verrassend plaatsvinden tijdens individuele leerfasen en worden voorspeld wanneer een fase volledig is verworven. Aldus zijn beloningen slechts efficiënt in het activeren van dopamine neuronen wanneer zij niet door phasic stimuli worden voorspeld.Dopamine neuronen hebben een beperkte capaciteit om eetlustige en neutrale of aversieve stimuli te onderscheiden. Alleen stimuli die fysiek voldoende verschillend zijn, worden goed gediscrimineerd. Stimuli die niet expliciet beloningen voorspellen maar fysiek lijken op beloningsvoorspellende stimuli veroorzaken kleine activeringen gevolgd door depressies in een beperkte fractie van neuronen.

Dopamine neuronen zijn depressief op het gebruikelijke tijdstip van beloning wanneer een voorspelde beloning niet optreedt na een fout van het dier, het achterhouden door de experimentator of een vertraagde bevalling (Fig. 2, bodem). De depressie treedt op bij afwezigheid van een stimulus onmiddellijk voorafgaand aan de weggelaten beloning. Dit weerspiegelt een verwachtingsproces op basis van een interne klok die betrekking heeft op de precieze tijd van de voorspelde beloning. Aan de andere kant volgt een activering de beloning wanneer deze wordt gepresenteerd op een ander tijdstip dan voorspeld (Fig. 3). Deze gegevens suggereren dat de voorspelling die dopamine neuronen beïnvloeden zowel het voorkomen als de tijd van beloning betreft.

aandacht-inducerende stimuli, zoals nieuwe of fysiek intense stimuli die niet noodzakelijkerwijs verband houden met beloningen, wekken activeringen in dopamine neuronen op die vaak worden gevolgd door depressies. Nieuwe reacties verdwijnen samen met gedragsoriëntatie reacties na verschillende stimulus herhalingen, de duur is langer met fysiek meer opvallende stimuli. Intense stimuli, zoals luide klikken of grote foto ‘ s direct voor een dier, wekken sterke reacties op die nog steeds meetbare activeringen veroorzaken na >1.000 proeven. Nochtans, verdwijnen de reacties op nieuwe of intense stimuli snel tijdens het conditioneren van actief vermijdingsgedrag. Deze gegevens suggereren dat dopamine neuronen niet uitsluitend worden gedreven door beloningsgerelateerde stimuli, maar ook worden beïnvloed door aandacht-inducerende stimuli.

samen vertonen de meeste dopamine-neuronen fasische activeringen na voedsel-en vloeistofbeloningen en na geconditioneerde, belonende stimuli. Zij tonen bifasische activering-depressie reacties na stimuli die beloning-voorspellende stimuli lijken of zijn nieuw of bijzonder opvallend. Echter, slechts enkele fasische activeringen volgen aversieve stimuli. Zo etiketteren de dopamine neuronen omgevingsstimuli met een appetitief “label”, voorspellen en ontdekken beloningen, en signaleren alarmerende en motiverende gebeurtenissen.

alle reacties op beloningen en beloningsvoorspellende stimuli zijn afhankelijk van de voorspelbaarheid van gebeurtenissen die betrekking hebben op het precieze tijdstip van beloning. De meer tonische beloning-voorspellende milieucontext waarin een beloning optreedt lijkt niet dopamine neuronen te beïnvloeden. De dopamine reward response lijkt aan te geven in welke mate een beloning anders plaatsvindt dan voorspeld, genoemd een “fout” in de voorspelling van beloning. Aldus melden de dopamine neuronen beloningen met betrekking tot hun voorspelling, eerder dan het signaleren van beloningen onvoorwaardelijk. Ze lijken feature detectors te zijn voor de goedheid van omgevingsgebeurtenissen ten opzichte van voorspellingen, worden geactiveerd door het belonen van gebeurtenissen die beter zijn dan voorspeld, blijven niet beïnvloed door gebeurtenissen die zo goed zijn als voorspeld, en worden depressief door gebeurtenissen die slechter zijn dan voorspeld (Fig. 2). Ze maken echter geen onderscheid tussen verschillende beloningen en lijken dus een waarschuwende boodschap uit te zenden over de verrassende aanwezigheid of afwezigheid van beloningen zonder de specifieke aard van elke beloning aan te geven. Ze verwerken de tijd en voorspelling van beloningen, maar niet de aard van de specifieke beloning.

potentieel gebruik van het beloningsvoorspellings-foutsignaal

de matig barstende, kortdurende, bijna synchrone respons van de meerderheid van de dopamine-neuronen leidt tot optimale, gelijktijdige afgifte van dopamine uit de meerderheid van dicht bij elkaar gelegen varicositeiten in het striatum en de frontale cortex. De korte puff van dopamine bereikt snel regionaal homogene concentraties die de dendrieten van waarschijnlijk alle striatale en vele corticale neuronen kunnen beïnvloeden. Op deze manier wordt de foutmelding van de beloning voorspelling in 60-80% van dopamine neuronen uitgezonden als een divergente, eerder globale versterkingssignaal naar het striatum, nucleus accumbens, en frontale cortex, fasisch beà nvloeden van een maximum aantal synapsen betrokken bij de verwerking van stimuli en acties die leiden tot beloning. De vermindering van dopamine release geïnduceerd door depressies met weggelaten beloningen zou de tonische stimulatie van dopamine receptoren door omringende dopamine verminderen.

de basisindeling van synaptische invloeden van dopamine neuronen op striatale en frontale cortex neuronen bestaat uit een triade bestaande uit dendritische stekels, prikkelende corticale terminals aan de top van dendritische stekels en dopamine varicositeiten die met dezelfde dendritische stekels in contact komen (Fig. 4). Elk middelgroot striataal stekelneuron ontvangt ~1.000 dopaminerge synapsen aan zijn dendritische stekels en ~ 5.000 corticale synapsen. Deze regeling zou dopamine neuronen toestaan om de synaptische gevolgen van corticale input aan striatale neuronen te beà nvloeden. Vrijgegeven dopamine kan op verschillende mogelijke manieren op de striatale en corticale neuronen inwerken. 1) het onmiddellijke effect kan bestaan in een verandering van corticostriatale neurotransmissie. Dit zou informatie wijzigen die in cortico-basale ganglia loops circuleert en neuronen in corticale structuren beà nvloeden die betrokken zijn bij het structureren van gedragsoutput. 2) de relatief langzame tijdscursus van dopamine membraan actie kan een kort spoor van de beloningsgebeurtenis verlaten en alle daaropvolgende activiteit voor een korte tijd beà nvloeden. 3) de potentiële dopamine-afhankelijke plasticiteit in het striatum en de waargenomen vormen van dopaminerespons kunnen plastische veranderingen in striatale en corticale synapsen veroorzaken die gelijktijdig worden geactiveerd door gebeurtenissen die leiden tot beloning.

in een model van dopamine invloeden op striatale neurotransmissie, A en B zijn inputs die afzonderlijk contact dendritische stekels van een striatale neuron I (Fig. 4). De synaptische gewichten a → I en B → I zijn op korte of lange termijn Hebbiaans modificeerbaar. Dezelfde stekels worden willekeurig gecontacteerd door het globale beloningsvoorspellingssignaal van dopamine input X. zowel neuron X als neuron A, maar niet neuron B, worden geactiveerd wanneer een beloningsgerelateerd signaal wordt aangetroffen. Neuron X zendt de boodschap dat een belonende gebeurtenis heeft plaatsgevonden zonder specifieke details te geven, terwijl neuron A een boodschap stuurt over een van de verschillende gedetailleerde aspecten van de beloningsgerelateerde gebeurtenis, zoals kleur, textuur, positie, omgeving, enz. van de stimulus of kan een beweging coderen die leidt tot het verkrijgen van de beloning. De gewichten van striatale synapsen kunnen worden aangepast volgens de leerregel Δω = δ• r•i•o, waar ω synaptische gewicht, ϵ is het leren constant, R is dopamine voorspelling fout signaal, I is input activering, en o is activering van striatale neuron. Dus, door de simultaneïteit of bijna simultaneïteit van activiteit In A en X, kan de activiteit van neuron X een verandering in neurotransmissie veroorzaken bij de actieve a → i synaps, maar de inactieve B → I neurotransmissie onveranderd laten. In het geval van blijvende veranderingen in synaptische transmissie, zou de daaropvolgende input van neuron A leiden tot een verhoogde respons in neuron I, terwijl de input van neuron B leidt tot een onveranderde respons in neuron I. de synaptische veranderingen van A → I en B → I neurotransmissie zijn dus afhankelijk van het feit dat dopamine neuron X gezamenlijk actief is met A of B.

de dopaminerespons die een fout in de voorspelling van beloning codeert, lijkt in alle belangrijke aspecten op het versterkingssignaal van een bijzonder effectieve klasse van versterkingsmodellen die temporele verschilalgoritmen bevatten (6, 13, 15). Ze zijn gebaseerd op gedragsleringstheorieën die veronderstellen dat leren in belangrijke mate afhangt van de discrepantie of fout tussen de voorspelling van versterking en het werkelijke voorkomen ervan (1, 8). In deze modellen genereert een critic module een globaal versterkingssignaal en stuurt het naar de actor module die gedragsoutput leert en uitvoert. De architectuur van de criticus-acteur lijkt sterk op de connectiviteit van de basale ganglia, inclusief de dopamine-projectie op het striatum en de wederkerige striatonigrale projectie. Modellen met behulp van temporele verschil algoritmen leren een breed scala van gedragstaken, het bereiken van het balanceren van een paal op een kar wiel tot het spelen van wereldklasse backgammon (voor referenties, zie Ref. 11). Robots met behulp van temporale verschil algoritmen leren om te bewegen over tweedimensionale ruimte en obstakels te vermijden, te bereiken en te grijpen, of steek een PIN in een gat. Neurobiologisch geïnspireerde temporale verschilmodellen repliceren foerageergedrag van honingbijen, simuleren menselijke besluitvorming en leren oriëntatiereacties, oogbewegingen, sequentiële bewegingen en ruimtelijke vertraagde-responstaken. Het is bijzonder interessant om te zien dat onderwijssignalen met behulp van voorspellingsfouten resulteren in sneller en completer leren, vergeleken met onvoorwaardelijke versterkingssignalen.

conclusies en uitbreidingen

het onderzoek naar de activiteit van dopamine neuronen resulteerde in de verrassende bevinding dat deze neuronen niet gemoduleerd zijn in relatie tot bewegingen, hoewel bewegingen deficiënt zijn bij parkinsonpatiënten. In plaats daarvan coderen dopamine neuronen in een zeer speciale vorm de belonende aspecten van omgevingsstimuli, samen met bepaalde aandacht-inducerende kenmerken. De reacties worden opgewekt door primaire beloningen (“ongeconditioneerde stimuli”), geconditioneerde beloningsvoorspellende stimuli, stimuli die lijken op beloningsgerelateerde stimuli, en nieuwe of intense stimuli. Beloningsgerelateerde stimuli worden echter alleen gerapporteerd wanneer ze anders optreden dan voorspeld, de voorspelling met betrekking tot zowel het optreden als het tijdstip van de gebeurtenis. De voorspelling foutmelding is een zeer krachtig signaal voor het sturen van gedrag en het induceren van leren, volgens dieren leren theorieën en versterking modellen. Het dopamine-signaal geeft echter niet precies aan welke beloning het is die anders optreedt dan voorspeld, of dat het echt een beloning is of eerder een stimulus die een beloning voorspelt. Stimuli die op beloningen en nieuwe of in het bijzonder opvallende stimuli lijken wekken activering-depressie opeenvolgingen op die op de monofasische activeringen lijken die door onvoorspelbare beloningsgerelateerde stimuli worden opgewekt. Het dopamine-signaal lijkt dus een voornamelijk beloningswaarschuwend signaal te zijn, en andere hersenensystemen moeten aanvullende informatie verwerken voor het leren van correcte gedragsreacties op motiverende omgevingsprikkels.

informatie over voedsel en vloeistof beloningen wordt ook verwerkt in hersenstructuren anders dan dopamine neuronen, zoals dorsale en ventrale striatum, subthalamische kern, amygdala, dorsolaterale prefrontale cortex, orbitofrontale cortex, en anterior cingulate cortex. Nochtans, schijnen deze structuren niet om een globaal beloningsvoorspelling foutsignaal uit te zenden gelijkend op dopamine neuronen. Deze structuren tonen 1) voorbijgaande reacties na de levering van beloningen, 2) voorbijgaande reacties op beloningsvoorspellende signalen, 3) aanhoudende activeringen tijdens de verwachting van beloningen, en 4) modulaties van gedraggerelateerde activiteit door voorspelde beloningen (voor referenties, zie Ref. 11). Veel van deze neuronen differentiëren goed tussen verschillende voedsel of vloeistof beloningen. Zo kunnen zij de specifieke aard van de belonende gebeurtenis verwerken. Sommige beloningsreacties hangen af van de onvoorspelbaarheid van de beloning in het worden verminderd of afwezig wanneer de beloning door een geconditioneerde stimulus wordt voorspeld, hoewel het onduidelijk is of zij voorspellingsfouten gelijkend op dopamine neuronen signaleren. Het lijkt er dus op dat de verwerking van specifieke beloningen voor het leren en het handhaven van benaderingsgedrag sterk zou profiteren van een samenwerking tussen dopamine neuronen die het onvoorspelbare voorkomen of weglaten van beloning signaleren en neuronen in de andere structuren die tegelijkertijd de specifieke aard van de beloning aangeven.Verminderde dopamine-neurotransmissie met de ziekte van Parkinson, experimentele laesies of neuroleptische behandeling wordt geassocieerd met veel gedragstekorten in beweging (akinesie, tremor, rigiditeit), cognitie (aandacht, bradyfrenie, planning, leren) en motivatie (verminderde emotionele reacties, depressie). De meeste tekorten worden aanzienlijk verbeterd door systemische dopamine precursor of receptor agonist therapie, die niet op een eenvoudige manier de fasische informatieoverdracht door neuronale impulsen kan restitueren. Het blijkt dat dopamine neurotransmissie twee afzonderlijke functies in de hersenen speelt, de fasische verwerking van appetieve en alarmerende informatie en de tonic waardoor een grote verscheidenheid aan motorische, cognitieve en motiverende processen zonder temporele codering mogelijk wordt (11). De tonische dopaminefunctie is gebaseerd op lage, aanhoudende extracellulaire dopamineconcentraties in het striatum (5-10 nM) en andere dopamine-geïnnerveerde gebieden. De omringende dopamine concentratie wordt lokaal binnen een smal gebied gereguleerd door spontane impulsen, synaptische overloop, heropnametransport, metabolisme, autoreceptor-gecontroleerde afgifte en synthese, en presynaptische transmitter interactie. De tonische stimulatie van dopaminereceptoren mag niet te laag of te hoog zijn voor een optimale functie van een bepaald hersengebied. Andere neurotransmitters bestaan in gelijkaardige lage omringende concentraties, zoals glutamaat in striatum, cerebrale cortex, hippocampus, en cerebellum, aspartaat en GABA in striatum en frontale cortex, en adenosine in hippocampus. Neuronen in veel hersenstructuren zijn blijkbaar gebaad in een” soep ” van neurotransmitters die krachtige, specifieke fysiologische effecten op neuronale prikkelbaarheid hebben. Gezien het algemene belang van tonische extracellulaire concentraties van neurotransmitters, lijkt het erop dat het brede scala van parkinsonsymptomen niet zou worden veroorzaakt door een gebrekkige overdracht van beloningsinformatie door dopamine-neuronen, maar zou wijzen op een storing van striatale en corticale neuronen veroorzaakt door een verminderde werking door verminderde omringende dopamine. Dopamine neuronen zouden niet actief betrokken zijn bij de brede waaier van processen gebrekkig in parkinsonisme maar zouden de belangrijke achtergrondconcentratie van dopamine verstrekken die nodig is om het goede functioneren van striatale en corticale neuronen betrokken bij deze processen te handhaven.