Belønningssignalet til Midbrain Dopaminneuroner

når multicellulære organismer oppsto gjennom utviklingen av selvreproduserende molekyler, utviklet de endogene, autoregulerende mekanismer som forsikret at deres behov for velferd og overlevelse ble oppfylt. Emner engasjere seg i ulike former for tilnærming atferd for å få ressurser for å opprettholde homeostatisk balanse og å reprodusere seg selv. Disse biologiske ressursene sies å ha» givende » funksjoner fordi de fremkaller og forsterker tilnærmingsadferd. Selv om det i utgangspunktet var relatert til biologiske behov, utviklet belønningene videre under utviklingen av høyere pattedyr for å støtte mer sofistikerte former for individuell og sosial atferd. Høyere former for belønning er ofte basert på kognitive representasjoner, og de angår slike objekter og konstruksjoner som nyhet, utfordring, anerkjennelse, makt, penger, territorium og sikkerhet. Dermed definerer biologiske og kognitive behov belønningens natur, og tilgjengeligheten av belønninger bestemmer noen av de grunnleggende parametrene for fagets livsbetingelser.

Belønninger har tre grunnleggende funksjoner (1). Først, de lokke fram tilnærming og consummatory atferd og tjene som mål for frivillig atferd. Ved å gjøre det, avbryter de pågående atferd og endrer prioritetene til atferdshandlinger. For det andre har belønninger positive forsterkende effekter. De øker frekvensen og intensiteten av atferd som fører til slike objekter (læring) og opprettholder lært atferd ved å forhindre utryddelse. Denne funksjonen utgjør essensen av å «komme tilbake for mer» og relaterer seg til tanken om å motta belønninger for å ha gjort noe nyttig. Læring fortsetter når belønninger oppstår uforutsigbart og bremser etter hvert som belønninger blir mer og mer spådd (8). Dermed avhenger belønningsdrevet læring av uoverensstemmelsen eller «feilen» mellom prediksjonen av belønning og dens faktiske forekomst. I sin tredje funksjon induserer belønninger subjektive følelser av glede (hedonia) og positive følelsesmessige tilstander. Denne funksjonen er vanskelig å undersøke hos dyr.

Redusert dopamin nevrotransmisjon hos parkinson pasienter og eksperimentelt lesioned dyr er forbundet med alvorlige underskudd i bevegelse, motivasjon, oppmerksomhet og kognisjon. Et konsekvent motivasjonsunderskudd handler om bruk av belønningsinformasjon for å lære og opprettholde tilnærming og forbruksadferd (2, 9). Underskuddene forekommer hovedsakelig med ødeleggelse av fremspring fra midbrain dopaminneuroner til nucleus accumbens og, i mindre grad, til frontal cortex og striatum(caudate nucleus og putamen). Disse systemene er også involvert i de vanedannende egenskapene til store rusmidler, som kokain, amfetamin, heroin og nikotin.

cellelegemer av midbrain dopaminneuroner er lokalisert I grupper A8 (dorsal til lateral substantia nigra), A9 (pars compacta av substantia nigra) og A10 (ventral tegmental område medial til substantia nigra). Disse nevronene frigjør dopamin med nerveimpulser fra aksonale varicosities i striatum, nucleus accumbens og frontal cortex, for å nevne de viktigste stedene (Fig. 1). Vi registrerer impulsaktiviteten fra cellelegemer av enkle dopaminneuroner i perioder på 20-60 minutter med bevegelige mikroelektroder fra ekstracellulære stillinger mens aper lærer og utfører atferdsoppgaver. Nevronene er lett å skille fra andre midbrainneuroner ved deres karakteristiske polyfasiske, relativt lange impulser utladet ved lave frekvenser.

vi klarer konsekvent ikke å finne klare kovariasjoner med bevegelser. Dopaminneuroner viser derimot fasiske aktiveringer etter belønningsrelaterte hendelser og visse oppmerksomhetsinduserende stimuli av den somatosensoriske, visuelle og auditive modaliteten (5, 10, 12). Disse responsene forekommer på en svært lik måte i 60-80% av nevronene I gruppe A8, A9 og A10 i en rekke atferdssituasjoner, mens de resterende dopaminneuronene ikke reagerer i det hele tatt. Testede situasjoner inkluderer klassisk kondisjonering, ulike enkle og valgreaksjonstidsoppgaver, direkte og forsinket go-no go-oppgaver, romlig forsinket responsoppgave, romlig forsinket veksling, visuell diskriminering og selvinitierte bevegelser. Neuroner reagerer litt mer i medial midbrain regioner, som ventral tegmental området og medial substantia nigra, sammenlignet med flere laterale regioner, en forskjell som noen ganger når statistisk signifikans. Aktiveringene oppstår med lignende latenser (50-110 ms) og varighet (< 200 ms) etter mat og væskebelønninger, betingede stimuli og oppmerksomhetsinduserende stimuli. Dermed utgjør dopaminresponsen et relativt homogent, skalar populasjonssignal som er gradert av responsstørrelsen til individuelle nevroner og av fraksjonene av nevroner som reagerer.

Fasiske aktiveringer oppstår når dyr berører et stykke skjult mat eller når væskedråper leveres til munnen utenfor atferdsoppgaver eller under læring (Fig. 2, topp). Dopaminneuroner skiller belønninger fra ikke-reward objekter, men ser ikke ut til å diskriminere mellom forskjellige matobjekter eller flytende belønninger. Bare noen få viser fasiske aktiveringer etter primære aversive stimuli, som ikke-giftige luftpust til hånden eller hypertonisk saltvann til munnen (7). Disse stimuli er aversive fordi de forstyrrer atferd og induserer aktive unngåelsesreaksjoner.

de fleste dopaminneuroner aktiveres også av betingede visuelle og auditive stimuli som har blitt gyldige belønningspådommer gjennom gjentatt og betinget parring med belønninger i operante eller klassiske kondisjoneringsprosedyrer (Fig. 2, midten). I motsetning til dette blir bare noen få dopaminneuroner fasisk aktivert av lærte visuelle eller auditive stimuli i aktive unngåelsesoppgaver der dyr frigjør en nøkkel for å unngå luftpust eller en dråpe hypertonisk saltvann.

Samtidig med utviklingen av dopaminresponsen for å belønne-forutsi stimuli under læring, går responsen på den forutsagte belønningen i seg selv tapt, som om responsen overføres fra belønningen til belønningsforutsigende stimulus (Fig. 2, topp vs midten). Dette observeres når gratis belønninger leveres utenfor atferdsoppgaver og blir spådd av betingede stimuli gjennom læring eller når belønninger oppstår overraskende under individuelle læringsfaser og blir spådd når en fase er fullt oppkjøpt. Dermed er belønninger bare effektive for å aktivere dopaminneuroner når de ikke forutsies av fasiske stimuli.

Dopaminneuroner har en begrenset kapasitet til å diskriminere mellom appetittvekkende og nøytrale eller aversive stimuli. Bare stimuli som er fysisk tilstrekkelig ulik, er godt diskriminert. Stimuli som ikke eksplisitt forutsier belønninger, men fysisk ligner belønning-forutsi stimuli induserer små aktiveringer etterfulgt av depressioner i en begrenset brøkdel av nevroner.

Dopaminneuroner er deprimerte på det vanlige tidspunktet for belønning når en spådd belønning ikke oppstår etter en feil av dyret, tilbakeholdt av eksperimentøren eller forsinket levering (Fig. 2, nederst). Depresjonen oppstår i fravær av en stimulus umiddelbart før den utelatte belønningen. Dette gjenspeiler en forventningsprosess basert på en intern klokke som gjelder den nøyaktige tiden for den forutsagte belønningen. På den annen side følger en aktivering belønningen når denne presenteres på et annet tidspunkt enn forutsatt (Fig. 3). Disse dataene tyder på at prediksjonen som påvirker dopaminneuroner, gjelder både forekomsten og tidspunktet for belønning.

Oppmerksomhetsinduserende stimuli, som nye eller fysisk intense stimuli som ikke nødvendigvis er relatert til belønninger, fremkaller aktiveringer i dopaminneuroner som ofte følges av depressioner. Nyhetsresponser avtar sammen med atferdsmessige orienteringsreaksjoner etter flere stimulusrepetisjoner, varigheten blir lengre med fysisk mer fremtredende stimuli. Intense stimuli, som høye klikk eller store bilder rett foran et dyr, fremkaller sterke responser som fortsatt induserer målbare aktiveringer etter > 1000 forsøk. Imidlertid avtar responser på nye eller intense stimuli raskt under kondisjonering av aktiv unngåelsesadferd. Disse dataene tyder på at dopaminneuroner ikke utelukkende drives av belønningsrelaterte stimuli, men påvirkes også av oppmerksomhetsinduserende stimuli.

Til sammen viser de fleste dopaminneuroner faseaktiveringer etter mat og væskebelønninger, og etter betingede, belønnerforutsigende stimuli. De viser bifasisk aktivering-depresjon svar etter stimuli som ligner belønning forutsi stimuli eller er romanen eller spesielt fremtredende. Imidlertid følger bare få fasiske aktiveringer aversive stimuli. Dermed merker dopaminneuroner miljøstimuli med en appetittvekkende «tag», forutsier og oppdager belønninger, og signaliserer varsling og motiverende hendelser.

alle svar på belønninger og belønning-forutsi stimuli avhenger av hendelsen forutsigbarhet som gjelder nøyaktig tidspunkt for belønning. Den mer toniske belønningen-forutsi miljøkonteksten der en belønning oppstår, ser ikke ut til å påvirke dopaminneuroner. Dopaminbelønningsresponsen ser ut til å indikere i hvilken grad en belønning skjer annerledes enn spådd, betegnet en «feil» i prediksjonen av belønning. Dermed rapporterer dopaminneuroner belønninger i forhold til deres prediksjon, i stedet for å signalisere belønninger ubetinget. De ser ut til å være funksjonsdetektorer for godheten til miljøhendelser i forhold til prediksjon, aktiveres ved å belønne hendelser som er bedre enn spådd, forblir upåvirket av hendelser som er like gode som spådd, og blir deprimert av hendelser som er verre enn spådd (Fig. 2). Imidlertid unnlater de å diskriminere mellom forskjellige belønninger og ser dermed ut til å sende ut en varslingsmelding om den overraskende tilstedeværelsen eller fraværet av belønninger uten å indikere den spesielle naturen til hver belønning. De behandler tid og prediksjon av belønninger, men ikke arten av den aktuelle belønningen.

Potensiell bruk av belønningsfeilsignalet

den moderat sprengende, kortvarige, nesten synkrone responsen til flertallet av dopaminneuroner fører til optimal, samtidig dopaminfrigivelse fra flertallet av tett adskilte varicosities i striatum og frontal cortex. Den korte puffen av dopamin når raskt regionalt homogene konsentrasjoner som sannsynligvis vil påvirke dendriter av sannsynligvis alle striatale og mange kortikale nevroner. På denne måten sendes belønningsfeilmeldingen i 60-80% av dopaminneuronene som et divergerende, ganske globalt forsterkningssignal til striatum, nucleus accumbens og frontal cortex, som fasisk påvirker et maksimalt antall synapser involvert i behandling av stimuli og handlinger som fører til belønning. Reduksjonen av dopaminfrigivelse indusert av depressioner med utelatte belønninger vil redusere tonisk stimulering av dopaminreseptorer ved omgivende dopamin.

det grunnleggende arrangementet av synaptiske påvirkninger av dopaminneuroner på striatale og frontale cortexneuroner består av en triade bestående av dendritiske spines, eksitatoriske kortikale terminaler på spissen av dendritiske spines og dopamin varicosities som kontakter de samme dendritiske spines(Fig . 4). Hver mellomstor striatal spiny neuron mottar ~1000 dopaminerge synapser ved sine dendritiske spines og ~5000 kortikale synapser. Dette arrangementet vil tillate dopaminneuroner å påvirke de synaptiske effektene av kortikale innganger til striatale nevroner. Den frigjorte dopamin kan virke på striatale og kortikale nevroner på flere mulige måter. 1) den umiddelbare effekten kan bestå i en endring av kortikostriatal nevrotransmisjon. Dette vil endre informasjon som sirkulerer i cortico-basal ganglia looper og påvirke nevroner i kortikale strukturer involvert i strukturering av atferdsutgang. 2) den relativt langsomme tiden for dopaminmembranhandling kan etterlate et kort spor av belønningshendelsen og påvirke all etterfølgende aktivitet i en kort stund. 3) den potensielle dopaminavhengige plastisiteten i striatumet og de observerte former for dopaminrespons kan indusere plastendringer i striatale og kortikale synapser samtidig aktivert av hendelsene som fører til belønning.

i en modell av dopaminpåvirkning på striatal nevrotransmisjon Er A Og B innganger som separat kontakter dendritiske spines av en striatal neuron I (Fig . 4). Synaptiske vekter En → i og B → i er kortsiktige eller langsiktige Hebbiske modifiserbare. De samme spines blir ukritisk kontaktet av det globale belønningsfeilsignalet fra dopamininngang X. både neuron X Og neuron A, men Ikke neuron B, aktiveres når et belønningsrelatert signal oppstår. Neuron x sender meldingen om at en givende hendelse har skjedd uten å gi spesifikke detaljer, mens neuron a sender en melding om en av flere detaljerte aspekter av belønningsrelatert hendelse, for eksempel farge, tekstur, posisjon, omgivelser, etc. av stimulans eller kan kode en bevegelse som fører til å skaffe belønning. Vektene på striatale synapser kan endres i henhold til læringsregelen Δω = ϵ• r•i•o, der ω er synaptisk vekt, ϵ lærer konstant, r er dopaminprognosefeilsignal, i er input aktivering, og o er aktivering av striatal neuron. På grunn av simultanitet eller nær simultanitet av aktivitet I A Og X kan aktiviteten til neuron X indusere en endring i nevrotransmisjonen ved den aktive a → i synapse, men la den inaktive b → i nevrotransmisjonen være uendret. Ved varige endringer i synaptisk overføring vil påfølgende input fra nevron A føre til økt respons i nevron I, mens input Fra nevron B fører til uendret respons i nevron I. dermed er de synaptiske forandringene Av nevrotransmisjonen en → i og B → betinget av at dopamin nevron X er sammenhengende aktiv med A Eller B.

dopaminresponskodingen en feil i prediksjonen av belønning ligner i alle viktige aspekter forsterkningssignalet til en spesielt effektiv klasse av forsterkningsmodeller som inkorporerer tidsmessige differansealgoritmer (6, 13, 15). De er basert på atferdsmessige læringsteorier som antar at læring avhenger av avvik eller feil mellom prediksjon av forsterkning og dens faktiske forekomst(1, 8). I disse modellene genererer en kritikkmodul et globalt forsterkningssignal og sender det til aktørmodulen som lærer og utfører atferdsutgang. Den kritiker-skuespiller arkitektur ligner tilkobling av basalgangliene, inkludert dopamin projeksjon til striatum og gjensidig striatonigral projeksjon. Modeller som bruker temporale differansealgoritmer lærer et bredt spekter av atferdsoppgaver, og strekker seg fra å balansere en pol på et vognhjul til å spille backgammon i verdensklasse (For referanser, Se Ref. 11). Roboter som bruker temporale differansealgoritmer lærer å bevege seg rundt todimensjonalt rom og unngå hindringer, nå og gripe, eller sett inn en pinne i et hull. Neurobiologisk inspirerte temporale forskjellsmodeller replikerer foraging oppførsel av honningbier, simulerer menneskelig beslutningstaking, og lærer orienterende reaksjoner, øyebevegelser, sekvensielle bevegelser og romlige forsinkede responsoppgaver. Det er spesielt interessant å se at undervisningssignaler ved hjelp av prediksjonsfeil gir raskere og mer fullstendig læring, sammenlignet med ubetingede forsterkningssignaler.

Konklusjoner og utvidelser

undersøkelsen av aktiviteten til dopaminneuroner resulterte i det overraskende funnet at disse nevronene ikke er modulert i forhold til bevegelser, selv om bevegelser er mangelfulle hos parkinsonpasienter. I stedet koder dopaminneuroner i en veldig spesiell form de givende aspektene av miljøstimuli, sammen med visse oppmerksomhetsinducerende egenskaper. Svarene fremkalles av primære belønninger («ubetingede stimuli»), betinget belønning-forutsi stimuli, stimuli som ligner belønningsrelaterte stimuli, og nye eller intense stimuli. Belønningsrelaterte stimuli rapporteres imidlertid bare når de forekommer annerledes enn spådd, prediksjonen om både forekomsten og tidspunktet for hendelsen. Prediksjonsfeilmeldingen er et veldig kraftig signal for å styre atferd og indusere læring, ifølge dyrelæringsteorier og forsterkningsmodeller. Dopaminsignalet angir imidlertid ikke nøyaktig hvilken belønning det er som skjer annerledes enn spådd, eller om det virkelig er en belønning eller snarere en belønningsforutsigende stimulans. Stimuli som ligner belønninger og nye eller spesielt fremtredende stimuli fremkaller aktivering-depresjonssekvenser som ligner monofasiske aktiveringer fremkalt av uforutsigbare belønningsrelaterte stimuli. Dopaminsignalet ser dermed ut til å være et overveiende belønningsvarslingssignal, og andre hjernesystemer må behandle tilleggsinformasjon for å lære riktige atferdsreaksjoner på motiverende miljøstimuli.

Informasjon om mat og væskebelønninger behandles også i andre hjernestrukturer enn dopaminneuroner, som dorsal og ventral striatum, subthalamuskjerner, amygdala, dorsolateral prefrontal cortex, orbitofrontal cortex og anterior cingulate cortex. Imidlertid ser disse strukturene ikke ut til å gi et globalt belønningsfeilsignal som ligner dopaminneuroner. Disse strukturene viser 1) forbigående svar etter levering av belønninger, 2) forbigående svar på belønning-forutsi signaler, 3) vedvarende aktiveringer under forventning om belønninger, og 4) moduleringer av atferdsrelatert aktivitet ved spådde belønninger (for referanser, Se Ref. 11). Mange av disse nevronene skiller seg godt mellom forskjellige mat-eller væskebelønninger. Dermed kan de behandle den spesifikke naturen til den givende hendelsen. Noen belønningsresponser avhenger av belønnings uforutsigbarhet ved å bli redusert eller fraværende når belønningen er spådd av en betinget stimulus, selv om det er uklart om de signaliserer prediksjonsfeil som ligner dopaminneuroner. Det ser således ut til at behandlingen av spesifikke belønninger for å lære og opprettholde tilnærmingsadferd vil sterkt dra nytte av et samarbeid mellom dopaminneuroner som signaliserer uforutsigbar forekomst eller utelatelse av belønning og nevroner i de andre strukturer samtidig som det indikerer belønningens spesifikke natur.

Svekket dopamin nevrotransmisjon Med Parkinsons sykdom, eksperimentelle lesjoner eller neuroleptisk behandling er forbundet med mange atferdsmessige underskudd i bevegelse (akinesi, tremor, stivhet), kognisjon (oppmerksomhet, bradyphreni, planlegging, læring) og motivasjon (reduserte følelsesmessige responser, depresjon). De fleste underskuddene blir betydelig forbedret ved systemisk dopaminforløper eller reseptoragonistbehandling, som ikke på en enkel måte kan gjenopprette den fasiske informasjonsoverføringen av nevronimpulser. Det ser ut til at dopamin nevrotransmisjon spiller to separate funksjoner i hjernen, fasisk behandling av appetitt og varslingsinformasjon og tonisk muliggjøring av et stort utvalg av motoriske, kognitive og motiverende prosesser uten tidsmessig koding (11). Tonisk dopaminfunksjon er basert på lave, vedvarende ekstracellulære dopaminkonsentrasjoner i striatum (5-10 nM) og andre dopamin-innerverte områder. Den omgivende dopaminkonsentrasjonen reguleres lokalt innenfor et smalt område ved spontane impulser, synaptisk overløp, gjenopptakstransport, metabolisme, autoseptorstyrt frigjøring og syntese og presynaptisk transmitterinteraksjon. Tonisk stimulering av dopaminreseptorer bør ikke være for lav eller for høy for en optimal funksjon av en gitt hjernegruppe. Andre nevrotransmittere finnes i tilsvarende lave omgivelseskonsentrasjoner, slik som glutamat i striatum, hjernebarken, hippocampus og lillehjernen, aspartat og GABA i striatum og frontal cortex, og adenosin i hippocampus. Neuroner i mange hjernestrukturer er tilsynelatende badet i en» suppe » av nevrotransmittere som har kraftige, spesifikke fysiologiske effekter på nevronal spenning. Gitt den generelle betydningen av toniske ekstracellulære konsentrasjoner av nevrotransmittere, ser det ut til at det brede spekteret av parkinsoniske symptomer ikke ville være forårsaket av mangelfull overføring av belønningsinformasjon av dopaminneuroner, men ville gjenspeile en funksjonsfeil i striatale og kortikale nevroner forårsaket av nedsatt aktivering av redusert omgivende dopamin. Dopaminneuroner ville ikke være aktivt involvert i det brede spekteret av prosesser som er mangelfull i parkinsonisme, men ville gi den viktige bakgrunnskonsentrasjonen av dopamin som er nødvendig for å opprettholde riktig funksjon av striatale og kortikale nevroner involvert i disse prosessene.