keskiaivojen Dopamiinineuronien Palkitsemissignaali

kun monisoluiset organismit syntyivät itseään lisääntyvien molekyylien evoluution kautta, ne kehittivät endogeenisia, autoregulatorisia mekanismeja, jotka varmistivat, että niiden hyvinvoinnin ja selviytymisen tarpeet täyttyivät. Koehenkilöt harjoittavat erilaista lähestymiskäyttäytymistä saadakseen resursseja homeostaattisen tasapainon ylläpitämiseen ja itsensä lisääntymiseen. Näillä biologisilla resursseilla sanotaan olevan” palkitsevia ” toimintoja, koska ne synnyttävät ja vahvistavat lähestymiskäyttäytymistä. Vaikka palkkiot liittyivät alun perin biologisiin tarpeisiin, ne kehittyivät edelleen korkeampien nisäkkäiden evoluution aikana tukemaan kehittyneempiä yksilön ja sosiaalisen käyttäytymisen muotoja. Korkeammat palkitsemismuodot perustuvat usein kognitiivisiin representaatioihin, ja ne koskevat sellaisia esineitä ja rakenteita kuin uutuus, haaste, Suosio, valta, raha, alue ja turvallisuus. Täten biologiset ja kognitiiviset tarpeet määrittelevät palkintojen luonteen, ja palkintojen saatavuus määrittää joitakin koehenkilön elinehtojen perusparametreja.

palkinnoilla on kolme perustehtävää (1). Ensinnäkin ne synnyttävät lähestymistä ja täyttymystä ja toimivat vapaaehtoisen käyttäytymisen tavoitteina. Näin tehdessään ne keskeyttävät jatkuvan käyttäytymisen ja muuttavat käyttäytymistoimien prioriteetteja. Toiseksi palkkioilla on positiivisia vahvistavia vaikutuksia. Ne lisäävät tällaisiin esineisiin (oppimiseen) johtavan käyttäytymisen tiheyttä ja voimakkuutta ja ylläpitävät opittua käyttäytymistä estämällä sukupuuttoa. Tämä toiminto muodostaa ”paluun lisää varten” ytimen ja liittyy ajatukseen palkintojen saamisesta siitä, että on tehnyt jotain hyödyllistä. Oppiminen etenee, kun palkinnot tapahtuvat arvaamattomasti, ja hidastuu, kun palkinnot muuttuvat yhä ennustetummiksi (8). Palkitsemiseen perustuva oppiminen riippuu siis ristiriidasta eli” virheestä ” palkitsemisen ennustamisen ja sen todellisen esiintymisen välillä. Kolmannessa toiminnossaan palkinnot synnyttävät subjektiivisia mielihyvän tunteita (hedonia) ja positiivisia tunnetiloja. Tätä toimintoa on vaikea tutkia eläimillä.

alentunut dopamiinin välittäjäaine Parkinsonin tautia sairastavilla potilailla ja kokeellisesti leslioivilla eläimillä on yhteydessä vakaviin vajauksiin liikkeessä, motivaatiossa, tarkkaavaisuudessa ja kognitiossa. Yksi johdonmukainen motivaatiovaje koskee palkitsemistietojen käyttöä oppimiseen ja lähestymistavan ylläpitämiseen ja täydellistyneeseen käyttäytymiseen (2, 9). Vajaukset tapahtuvat pääasiassa tuhoamalla ulokkeita keskiaivojen dopamiinineuroneista tumaan accumbens ja vähäisemmässä määrin frontal cortexiin ja striatumiin (caudate tuma ja putamen). Näihin järjestelmiin liittyy myös tärkeimpien väärinkäyttöön tarkoitettujen lääkkeiden, kuten kokaiinin, amfetamiinin, heroiinin ja Nikotiinin, riippuvuutta aiheuttavia ominaisuuksia.

keskiaivojen dopamiinineuronien solurungot sijaitsevat ryhmissä A8 (dorsal to lateral substantia nigra), A9 (Pars compacta of substantia nigra) ja A10 (ventraalinen tegmental area medial to substantia nigra). Nämä hermosolut vapauttavat dopamiinia hermoimpulssien kanssa aksonaalisista varikositeeteista striatumissa, nucleus accumbensissa ja frontal cortexissa, nimetäkseen tärkeimmät paikat (Kuva. 1). Tallennamme yksittäisten dopamiinineuronien impulssiaktiivisuuden 20-60 minuutin aikana solunulkoisista asennoista peräisin olevilla liikuteltavilla mikroelektrodeilla apinoiden oppiessa ja suorittaessa käyttäytymistehtäviä. Neuronit on helppo erottaa muista keskiaivojen neuroneista niiden tyypillisten polyfaasisten, suhteellisen pitkien matalilla taajuuksilla purkautuvien impulssien perusteella.

 kuva 1.

kuva 1. Yleiskatsaus keskiaivojen dopamiinineuronien projektioalueista. Dopamiinineuronien solurungot sijaitsevat pääasiassa substantia nigran pars compactassa ja mediaalisesti viereisellä ventraalisella tegmenttialueella. Niiden aksonit projisoituvat pääasiassa striatumiin (caudate nucleus, putamen), ventraaliseen striatumiin, mukaan lukien nucleus accumbens, ja otsalohkoon (dorsolateral, ventrolateral ja orbital prefrontal cortex). Dopamiini vapautuu aksonipäätteistä impulsseilla ja vaikuttaa hermosoluihin näissä rakenteissa. Kokeemme tutkivat impulssiaktiivisuutta dopamiinisolukehojen tasolla.

emme johdonmukaisesti löydä selkeitä kovariaatioita liikkeistä. Sen sijaan dopamiinineuroneissa näkyy vaiheisia aktivaatioita palkitsemiseen liittyvien tapahtumien jälkeen ja tiettyjä somatosensorisen, visuaalisen ja auditiivisen modaliteetin (5, 10, 12) huomiota herättäviä ärsykkeitä. Nämä reaktiot tapahtuvat hyvin samalla tavalla 60-80%: lla A8 -, A9-ja A10-ryhmien neuroneista erilaisissa käyttäytymistilanteissa, kun taas loput dopamiinineuronit eivät reagoi lainkaan. Testattuja tilanteita ovat klassinen ehdollistaminen, erilaiset yksinkertaiset ja valinnaiset reaktioaikatehtävät, suorat ja viivästyneet go-No go-tehtävät, spatiaalinen viivästynyt vastaustehtävä, spatiaalinen viivästynyt vuorottelu, visuaalinen erottelu ja itse aloitetut liikkeet. Neuronit reagoivat hieman enemmän mediaalisilla keskiaivojen alueilla, kuten ventraalisella tegmentaalialueella ja mediaalisella substantiaalialueella, verrattuna enemmän lateraalisiin alueisiin, ero, joka toisinaan saavuttaa tilastollisen merkityksen. Aktivaatiot tapahtuvat samanlaisilla viiveillä (50-110 ms) ja kestoilla (<200 ms) ruoan ja nesteen palkitsemisen, ehdollistuneiden ärsykkeiden ja huomiota herättävien ärsykkeiden jälkeen. Näin dopamiinivaste muodostaa suhteellisen homogeenisen, skalaarisen populaatiosignaalin, joka luokitellaan yksittäisten neuronien vastesuuruuden ja reagoivien neuronien fraktioiden perusteella.

vaiheisia aktivaatioita tapahtuu, kun Eläimet koskettavat piilotetun ruoan palasta tai kun niiden suuhun tuodaan nestepisaroita käyttäytymistehtävien ulkopuolella tai oppimisen aikana(Kuva. 2, ylhäällä). Dopamiinineuronit erottavat palkinnot ei-takertuvista kohteista, mutta eivät näytä erottelevan eri ruoka-esineitä tai nestemäisiä palkintoja toisistaan. Vain harvoissa ilmenee vaiheisia aktivaatioita primaaristen aversiivisten ärsykkeiden jälkeen, kuten ei-toksiset ilmanpuuskat käteen tai hypertoninen keittosuolaliuos suuhun (7). Nämä ärsykkeet ovat aversiivisia, koska ne häiritsevät käyttäytymistä ja aiheuttavat aktiivisia välttämisreaktioita.

 kuva 2.

kuva 2. Dopamiinineuronit raportoivat palkkioista sikäli kuin ne poikkeavat ennustamisesta (virhe palkitsemisen ennustamisessa). Yläosa: nestepalkkion (R) pisara tapahtuu, vaikka mitään palkintoa ei tällä hetkellä ennusteta. Palkitsemisen esiintyminen on siis positiivinen virhe palkitsemisen ennustamisessa. Dopamiinineuroni aktivoituu nesteen arvaamattomasta esiintymisestä. Keskellä: opittu ärsyke (ehdollinen ärsyke, CS) ennustaa palkintoa, ja palkinto tapahtuu ennusteen mukaan, joten palkitsemisen ennustamisessa ei ole virhettä. Dopamiinineuroni ei aktivoidu ennustetusta palkinnosta (oikealla). Siinä näkyy myös Palkintoa ennustavaa ärsykettä seuraava aktivaatio (vas.). Pohja: ehdollinen ärsyke ennustaa palkkion,mutta palkkio jätetään pois. Dopamiinineuronin toiminta masentuu juuri siinä vaiheessa, kun palkitseminen olisi tapahtunut. Huomaa masennus, joka tapahtuu >1 s ehdollistuneen ärsykkeen jälkeen ilman väliintulevia ärsykkeitä, paljastaen sisäisen palkitsemisen odotuksen tietyllä hetkellä. Yksittäisten paneelien pisteet kuvaavat hermoimpulsseja. Jokainen pisterivi näyttää yhden kokeen, jonka alkuperäinen järjestys kussakin paneelissa on ylhäältä alas. Uusintapainos Ref: n luvalla. 11. Copyright (1997) American Association for the Advancement of Science.

useimmat dopamiinineuronit aktivoituvat myös ehdollistetuilla visuaalisilla ja auditiivisilla ärsykkeillä, joista on tullut päteviä palkitsemisen ennustajia toistuvien ja ehdollisten parien kautta palkintojen kanssa operantissa tai klassisissa ehdollistamismenetelmissä (Kuva. 2, keskellä). Sen sijaan opitut visuaaliset tai auditiiviset ärsykkeet aktivoivat vaiheittain vain muutamia dopamiinineuroneja aktiivisissa välttämistehtävissä, joissa eläimet vapauttavat avaimen välttääkseen ilmahuuhtelun tai pisaran hypertonista suolaliuosta.

samanaikaisesti kun dopamiinivaste kehittyy palkintoa ennustaviin ärsykkeisiin oppimisen aikana, reaktio itse ennustettuun palkintoon menetetään, ikään kuin vaste siirtyisi palkinnosta palkintoa ennustavaan ärsykkeeseen (Kuva. 2, top vs. middle). Tämä havaitaan, kun ilmaisia palkintoja annetaan käyttäytymistehtävien ulkopuolella ja ne ennustetaan ehdollistettujen ärsykkeiden avulla oppimisen kautta tai kun palkinnot tapahtuvat yllättäen yksittäisten oppimisvaiheiden aikana ja tulevat ennustetuiksi, kun jokin vaihe on täysin saavutettu. Näin ollen palkinnot aktivoivat dopamiinineuroneja tehokkaasti vain silloin, kun vaiheiset ärsykkeet eivät niitä ennusta.

Dopamiinineuroneilla on rajallinen kyky erotella ruokahalua kiihottavia ja neutraaleja tai aversiivisia ärsykkeitä. Vain ärsykkeitä, jotka ovat fyysisesti riittävän erilaisia, syrjitään hyvin. Ärsykkeet, jotka eivät nimenomaisesti ennusta palkintoja, mutta fyysisesti muistuttavat palkintoa ennustavia ärsykkeitä, aiheuttavat pieniä aktivaatioita, joita seuraa painaumia pienessä murto-osassa hermosoluja.

Dopamiinineuronit masentuvat tavanomaisena palkitsemisajankohtana, kun ennustettu palkkio ei toteudu eläimen virheen, kokeen suorittajan pidättämisen tai synnytyksen viivästymisen jälkeen (kuva. 2, pohja). Masennus ilmenee siinä, että heti pois jätettyä palkintoa edeltävää ärsykettä ei ole. Tämä kuvastaa sisäiseen kelloon perustuvaa odotusprosessia, joka koskee ennustetun palkitsemisen tarkkaa ajankohtaa. Toisaalta aktivointi seuraa palkintoa, kun tämä esitetään eri aikaan kuin on ennustettu (Kuva. 3). Nämä tiedot viittaavat siihen, että dopamiinineuroneihin vaikuttava ennuste koskee sekä palkitsemisen esiintymistä että ajankohtaa.

 kuva 3.

kuva 3. Dopamiinineuronien koodaama ennustevirhe sisältää ajallisia näkökohtia. Käyttäytymistehtävässä hyvin opittu värikuva ilmestyy tietokoneen näyttöön (CS on), eläin painaa kuvan alapuolella olevaa vipua, johon toiminta CS kytkeytyy pois päältä ja pisara mehupalkintoa toimitetaan pian sen jälkeen eläimen suuhun. Aktiivisuus kirjataan yhdestä dopamiinineuronista, kun taas vipukosketus-palkitsemisväli vaihtelee. Vaikka palkitseminen ennustetulla, tavanomaisella ajalla ei aiheuta dopamiinivastetta (top trial block), äkillinen palkitsemisen viivästyminen 0.5 s: llä heikentää dopamiinineuronin aktiivisuutta palkitsemisen alkuperäisenä ajankohtana ja indusoi aktivaation uuteen aikaan (myöhempi tutkimus block). Aktivaatio havaitaan vain, kun palkkio tapahtuu ennustettua aikaisemmin (toinen koelohko alhaalta). Alkuperäinen koejärjestys on ylhäältä alas. Uusintapainos Ref. 4 luvalla Nature America.

huomiota herättävät ärsykkeet, kuten uudet tai fyysisesti voimakkaat ärsykkeet, jotka eivät välttämättä liity palkitsemiseen, saavat aikaan aktivaatioita dopamiinineuroneissa, joita seuraa usein masennuksia. Uutuusvasteet laantuvat yhdessä käyttäytymiseen suuntautuvien reaktioiden kanssa useiden ärsyke-toistojen jälkeen, jolloin kesto on pidempi fyysisesti voimakkaammilla ärsykkeillä. Voimakkaat ärsykkeet, kuten voimakkaat naksahdukset tai suuret kuvat välittömästi eläimen edessä, saavat aikaan voimakkaita vasteita, jotka vielä aiheuttavat mitattavissa olevia aktivaatioita >1000 kokeen jälkeen. Kuitenkin vastaukset uusiin tai voimakkaisiin ärsykkeisiin häviävät nopeasti aktiivisen välttämiskäyttäytymisen ehdollistamisen aikana. Nämä tiedot viittaavat siihen, että dopamiinineuroneja eivät ohjaa pelkästään palkitsemiseen liittyvät ärsykkeet, vaan niihin vaikuttavat myös huomiota herättävät ärsykkeet.

yhdessä useimmissa dopamiinineuroneissa näkyy vaiheisia aktivaatioita ruoan ja nesteen palkitsemisen jälkeen sekä ehdollistettujen, ennakoivien ärsykkeiden jälkeen. Niissä näkyy kaksivaiheinen aktivaatio-masennus-vaste ärsykkeiden jälkeen, jotka muistuttavat palkintoa ennustavia ärsykkeitä tai ovat uusia tai erityisen merkittäviä. Kuitenkin vain harva vaiheinen aktivaatio seuraa aversiivisia ärsykkeitä. Näin dopamiinineuronit leimaavat ympäristön ärsykkeitä ruokahalua herättävällä ”tagilla”, ennustavat ja havaitsevat palkintoja ja viestivät hälyttäviä ja motivoivia tapahtumia.

kaikki vastaukset palkitsemiseen ja palkitsemista ennakoiviin ärsykkeisiin riippuvat tapahtuman ennustettavuudesta, joka koskee palkitsemisen tarkkaa ajankohtaa. Piristävämpi palkintoa ennustava ympäristökonteksti, jossa palkitseminen tapahtuu, ei näytä vaikuttavan dopamiinineuroneihin. Dopamiinin palkitsemisvaste näyttää osoittavan, missä määrin palkkio tapahtuu eri tavalla kuin ennustettu, jota kutsutaan” virheeksi ” palkitsemisen ennustamisessa. Näin dopamiinineuronit raportoivat palkkioista suhteessa niiden ennustamiseen sen sijaan, että ne viestisivät palkinnoista ehdoitta. Ne näyttävät olevan ominaisuusilmaisimia ympäristötapahtumien hyvyydelle suhteessa ennustamiseen, ne aktivoituvat palkitsemalla ennustettua parempia tapahtumia, pysyvät vaikuttamattomina tapahtumilla, jotka ovat yhtä hyviä kuin ennustetut, ja masentuvat ennustettua huonommista tapahtumista (Kuva. 2). Ne eivät kuitenkaan tee eroa eri palkintojen välillä, ja siksi ne näyttävät antavan varoittavan viestin palkintojen yllättävästä läsnäolosta tai puuttumisesta ilmoittamatta kunkin palkkion erityisluonnetta. He käsittelevät palkintojen aikaa ja ennustamista, mutta eivät tietyn palkinnon luonnetta.

palkitsemisen ennustevirhesignaalin mahdollinen käyttö

useimpien dopamiinineuronien kohtalaisen puhkeava, lyhytkestoinen, lähes synkroninen vaste johtaa optimaaliseen, samanaikaiseen dopamiinin vapautumiseen useimmista striatumin ja frontaalisen aivokuoren lähekkäin olevista varikositeeteista. Dopamiinin lyhyt pullahdus saavuttaa nopeasti alueellisesti homogeeniset pitoisuudet, jotka todennäköisesti vaikuttavat kaikkien striataalisten ja monien aivokuoren neuronien dendriitteihin. Näin palkitsemisennustuksen virheviesti 60-80%: ssa dopamiinineuroneista lähetetään poikkeavana, melko globaalina vahvistussignaalina striatumille, nucleus accumbensille ja frontal cortexille, mikä vaikuttaa vaiheittain maksimimäärään synapseja, jotka osallistuvat ärsykkeiden ja palkitsemiseen johtavien toimien käsittelyyn. Depressioiden aiheuttama dopamiinin vapautumisen väheneminen ilman palkintoja vähentäisi ympäristön dopamiinin aiheuttamaa dopamiinireseptorien tonic-stimulaatiota.

dopamiinineuronien synaptisten vaikutusten perusjärjestely striataalisissa ja frontaalisissa aivokuoren neuroneissa koostuu Triadista, joka koostuu dendriittisistä piikeistä, eksitatorisista aivokuoren terminaaleista dendriittisten piikien kärjessä ja dopamiinivarikooseista, jotka koskettavat samoja dendriittisiä piikkejä (Kuva. 4). Jokainen keskikokoinen striataalinen piikkinen neuroni vastaanottaa ~1000 dopaminergistä synapsia dendriittisiin piikkeihinsä ja ~5000 aivokuoren synapsia. Tämä järjestely antaisi dopamiinineuroneille mahdollisuuden vaikuttaa aivokuoren syöttöjen synaptisiin vaikutuksiin striataalisiin neuroneihin. Vapautunut dopamiini voi vaikuttaa striataalisiin ja aivokuoren neuroneihin useilla mahdollisilla tavoilla. 1) välitön vaikutus voi olla kortikostriataalisen neurotransmission muutos. Tämä muuttaisi kortico – tyvitumakkeiden silmukoissa kiertävää informaatiota ja vaikuttaisi aivokuoren rakenteissa oleviin hermosoluihin, jotka osallistuvat käyttäytymistuotoksen jäsentämiseen. 2) dopamiinikalvon suhteellisen hidas ajankulku voi jättää lyhyen jäljen palkitsemistapahtumasta ja vaikuttaa kaikkeen myöhempään toimintaan lyhyen aikaa. 3) mahdollinen dopamiiniriippuvainen plastisuus striatumissa ja havaitut dopamiinivasteen muodot voivat aiheuttaa muovisia muutoksia striatumin ja aivokuoren synapseissa, jotka palkitsemiseen johtavat tapahtumat aktivoivat samanaikaisesti.

 kuva 4.

kuva 4. Basic design of possible influence of dopamiini prediction error signal on neurotransmission in the striatum. Yhdestä dopamiiniaksonista X ja 2 aivokuoren aksonista A ja B peräisin olevat synaptiset syötöt koskettavat tyypillistä keskikokoista piikkistä striataalista hermosolua I. Kortikostriataalista transmissiota voidaan muuttaa siten, että dopamiinitulo X koskettaa umpimähkäisesti dendriittisten piikien varsia, joihin myös kohdistuu erityisiä aivokuoren syötteitä A ja B. Tässä esimerkissä aivokuoren syöttö A, mutta ei B, on aktiivinen samanaikaisesti dopamiinineuroni X: n (varjostettu alue) kanssa, esim.palkitsemiseen liittyvän tapahtuman jälkeen. Tämä voi johtaa A → i-lähetyksen muuttumiseen, mutta jättää B → I-lähetyksen muuttumattomaksi. Anatominen piirustus perustuu anatomisiin tietoihin (3) ja on muokattu aiemmasta kuvasta (14).

mallissa, jossa dopamiini vaikuttaa striataaliseen neurotransmissioon, A ja B ovat sisääntuloja, jotka ottavat erikseen yhteyttä striataalisen neuronin I dendriittisiin piikkeihin (Fig. 4). Synaptiset painot a → i ja B → I ovat lyhyen tai pitkän aikavälin hebbien muunneltavissa. Dopamiinitulo X: n maailmanlaajuinen palkitsemisen ennustusvirhesignaali ottaa samoihin piikkeihin umpimähkäisesti yhteyttä.sekä neuroni X että neuroni A, mutta ei neuroni B, aktivoituvat palkitsemiseen liittyvän signaalin kohdatessa. Neuron X välittää viestin palkitsevasta tapahtumasta antamatta tarkkoja yksityiskohtia, kun taas neuron A lähettää viestin yhdestä palkitsevaan Tapahtumaan liittyvistä yksityiskohtaisista seikoista, kuten väristä, tekstuurista, asennosta, ympäristöstä jne. ärsykkeen tai voi koodata liikkeen, joka johtaa palkkion saamiseen. Striataalisten synapsien painoja voidaan muokata oppimissäännön Δω = ϵ * r * i * o mukaan, jossa ω on synaptinen paino, ϵ on oppimisvakio, r on dopamiinin ennustevirhesignaali, i on tuloaktivaatio ja o on striataalisen neuronin aktivaatio. A: n ja X: n toiminnan samanaikaisuuden tai lähes samanaikaisuuden kautta neuroni X: n aktiivisuus voi siis aiheuttaa muutoksen neurotransmissiossa aktiivisessa a → i-synapsissa, mutta jättää inaktiivisen B → I-neurotransmission ennalleen. Jos synaptisessa transmissiossa tapahtuu pysyviä muutoksia, a-hermosolun myöhempi anto johtaa lisääntyneeseen vasteeseen I-hermosolussa, kun taas B-hermosolun anto johtaa muuttumattomaan vasteeseen I-hermosolussa. näin ollen a → i-ja b → i-neurotransmission synaptisten muutosten ehtona on, että dopamiinisolu X on yhtäjaksoisesti Aktiivinen A-tai b-hermosolun kanssa.

dopamiinivaste, joka koodaa virheen palkitsemisen ennustamisessa, muistuttaa kaikilta keskeisiltä osin erityisen tehokkaiden vahvistusmallien vahvistussignaalia, joka sisältää aikaeroalgoritmeja (6, 13, 15). Ne perustuvat behavioraaliseen oppimiseen liittyviin teorioihin, joiden mukaan oppiminen riippuu ratkaisevasti vahvistumisen ennustamisen ja sen todellisen esiintymisen välisestä ristiriidasta tai virheestä (1, 8). Näissä malleissa kriitikkomoduuli luo globaalin vahvistussignaalin ja lähettää sen näyttelijämoduulille, joka oppii ja suorittaa käyttäytymistuotoksen. Kriitikko-toimija-arkkitehtuuri muistuttaa läheisesti tyvitumakkeiden yhteyttä, muun muassa dopamiiniprojektiota striatumiin ja vastavuoroista striatonigral-projektiota. Aikaeroalgoritmeja käyttävät mallit oppivat monenlaisia käyttäytymistehtäviä, jotka ulottuvat tangon tasapainottamisesta kärrynpyörällä maailmanluokan backgammonin pelaamiseen (viittaukset, Katso Ref. 11). Aikaeroalgoritmeja käyttävät robotit oppivat liikkumaan kaksiulotteisessa avaruudessa ja välttämään esteitä, kurottautumaan ja tarttumaan tai työntämään tapin reikään. Neurobiologisesti inspiroidut ajalliset erotusmallit jäljittelevät mehiläisten ravinnonhankintakäyttäytymistä, simuloivat ihmisen päätöksentekoa ja oppivat suuntaamaan reaktioita, silmien liikkeitä, peräkkäisiä liikkeitä ja spatiaalisia viivästyneitä vastetehtäviä. On erityisen mielenkiintoista nähdä, että opetussignaalit ennustevirheiden avulla johtavat nopeampaan ja täydellisempään oppimiseen verrattuna ehdottomiin vahvistussignaaleihin.

johtopäätökset ja laajennukset

dopamiinineuronien aktiivisuuden tutkimuksessa saatiin yllättävä havainto, että nämä neuronit eivät moduloidu suhteessa liikkeisiin, vaikka liikkeet ovat puutteellisia parkinsonilaisilla potilailla. Sen sijaan dopamiinineuronit koodaavat aivan erityisessä muodossa ympäristön ärsykkeiden palkitsevia puolia yhdessä tiettyjen huomiota herättävien ominaisuuksien kanssa. Vasteet saavat alkunsa primaarisista palkinnoista (”ehdoitta annetuista ärsykkeistä”), ehdollisista palkintoa ennustavista ärsykkeistä, palkitsemiseen liittyviä ärsykkeitä muistuttavista ärsykkeistä sekä uusista tai voimakkaista ärsykkeistä. Palkitsemiseen liittyvistä ärsykkeistä ilmoitetaan kuitenkin vain silloin, kun ne tapahtuvat eri tavalla kuin on ennustettu, sekä tapahtuman esiintymistä että ajankohtaa koskeva ennuste. Ennustevirheviesti on eläinoppimisteorioiden ja vahvistusmallien mukaan erittäin voimakas signaali käyttäytymisen ohjaamiseen ja oppimisen indusointiin. Dopamiinisignaali ei kuitenkaan määrittele tarkasti, mikä palkinto on se, joka tapahtuu eri tavalla kuin ennustetaan tai onko se todella palkinto tai pikemminkin palkintoa ennustava ärsyke. Palkintoja muistuttavat ärsykkeet ja uudet tai erityisen tärkeät ärsykkeet saavat aikaan aktivaatio-masennussekvenssejä, jotka muistuttavat arvaamattomien palkitsemiseen liittyvien ärsykkeiden aikaansaamia monofaasisia aktivaatioita. Dopamiinisignaali näyttääkin olevan pääasiassa palkitseva hälytyssignaali, ja muiden aivojärjestelmien on prosessoitava lisätietoa oppiakseen oikeita käyttäytymisreaktioita motivoiviin ympäristöärsykkeisiin.

ravinto-ja nestepalkintoja koskevia tietoja käsitellään myös muissa aivojen rakenteissa kuin dopamiinineuroneissa, kuten selkä-ja ventraalisessa striatumissa, subtalaamisessa tumakkeessa, amygdalassa, dorsolateraalisessa etuotsalohkossa, orbitofrontaalisessa aivokuoressa ja anteriorisessa cingulate cortexissa. Nämä rakenteet eivät kuitenkaan näytä säteilevän dopamiinineuronien kaltaista maailmanlaajuista palkitsemisen ennustamisvirhesignaalia. Nämä rakenteet osoittavat 1) ohimeneviä vasteita palkintojen jakamisen jälkeen, 2) ohimeneviä vasteita palkintoa ennustaviin vihjeisiin, 3) jatkuvia aktivaatioita palkintojen odotuksen aikana ja 4) käyttäytymiseen liittyvän aktiivisuuden modulaatioita ennustettujen palkintojen mukaan (viittaukset, katso viite. 11). Monet näistä neuroneista erottavat hyvin toisistaan erilaiset ruoka-tai nestepalkinnot. Näin he voivat käsitellä palkitsevan tapahtuman erityisluonnetta. Jotkut palkitsemisvasteet riippuvat palkitsemisen arvaamattomuudesta siinä, että se vähenee tai puuttuu, kun ehdollinen ärsyke ennustaa palkintoa, vaikka on epäselvää, viestivätkö ne ennustevirheitä, jotka ovat samanlaisia kuin dopamiinineuronit. Näyttää siis siltä, että tiettyjen palkkioiden käsittely oppimisesta ja lähestymiskäyttäytymisen ylläpitämisestä hyötyisi voimakkaasti dopamiinineuronien välisestä yhteistyöstä, joka viestii palkitsemisen ennalta arvaamattomasta esiintymisestä tai poisjättämisestä, ja neuronien välillä muissa rakenteissa osoittaen samalla palkitsemisen erityisluonteen.

heikentynyt dopamiinin välittäjäaine Parkinsonin tautiin, kokeellisiin leesioihin tai neuroleptihoitoon liittyy monia käyttäytymisen häiriöitä liikkumisessa (akinesia, vapina, jäykkyys), kognitiossa (tarkkaavaisuus, bradyphrenia, suunnittelu, oppiminen) ja motivaatiossa (alentunut tunne-elämän vaste, masennus). Suurin osa vajauksista korjaantuu huomattavasti systeemisellä dopamiinin esiasteella tai reseptoriagonistihoidolla, joka ei yksinkertaisesti pysty palauttamaan vaiheista informaatiota hermoimpulssien välityksellä. Vaikuttaa siltä, että dopamiinin neurotransmissiolla on kaksi erillistä toimintoa aivoissa, ruokahalua herättävän ja hälyttävän tiedon vaiheittainen käsittely ja monien motoristen, kognitiivisten ja motivoivien prosessien tooninen mahdollistaminen ilman ajallista koodausta (11). Toonisen dopamiinin toiminta perustuu alhaisiin, pitkäkestoisiin solunulkoisiin dopamiinipitoisuuksiin striatumissa (5-10 nM) ja muilla dopamiinin innervatoimisilla alueilla. Ympäristön dopamiinipitoisuutta säätelevät paikallisesti kapealla alueella spontaanit impulssit, synaptinen ylivuoto, takaisinoton kuljetus, aineenvaihdunta, autoreceptorin kontrolloima vapautuminen ja synteesi sekä presynaptinen lähettimen vuorovaikutus. Dopamiinireseptorien toonisen stimulaation ei pitäisi olla liian alhainen eikä liian korkea tietyn aivoalueen optimaalisen toiminnan kannalta. Muita välittäjäaineita on yhtä pieninä pitoisuuksina ympäristössä, kuten glutamaatti striatumissa, aivokuoressa, hippokampuksessa ja pikkuaivoissa, aspartaatti ja GABA striatumissa ja frontaalisessa aivokuoressa sekä adenosiini hippokampuksessa. Monien aivorakenteiden hermosolut ovat ilmeisesti kylpeneet välittäjäaineiden ”keitossa”, jolla on voimakkaita, spesifisiä fysiologisia vaikutuksia hermosolujen kiihtyvyyteen. Kun otetaan huomioon neurotransmittereiden toonisten solunulkoisten pitoisuuksien yleinen merkitys, Näyttää siltä, että Parkinsonin taudin oireet eivät johtuisi dopamiinineuronien puutteellisesta palkitsemisinformaation välittämisestä, vaan heijastaisivat striataalisten ja aivokuoren neuronien toimintahäiriötä, joka johtuu alentuneen ympäristön dopamiinin aiheuttamasta heikentyneestä mahdollistamisesta. Dopamiinineuronit eivät osallistuisi aktiivisesti parkinsonismin puutteellisiin monenlaisiin prosesseihin, mutta ne tarjoaisivat tärkeän dopamiinin taustapitoisuuden, joka on tarpeen näihin prosesseihin osallistuvien striataalisten ja kortikaalisten neuronien asianmukaisen toiminnan ylläpitämiseksi.

kokeellista työtä tukivat Sveitsin kansallinen tiedesäätiö, Human Capital and Mobility ja Euroopan yhteisön Biomed 2-ohjelmat Sveitsin koulutus – ja Tiedetoimiston James S. McDonnell Foundation, Roche Research Foundation, United Parkinson Foundation (Chicago) ja British Council.

W. Schultzille myönnettiin 1997 Sveitsin lääketieteen Akatemian Theodore Ott-palkinto tässä artikkelissa tarkastellusta työstä.

viittauksia on rajoitettu toimituksellisten rajoitusten vuoksi

  • 1 Dickinson, A. Contemporary Animal Learning Theory. Cambridge, Iso-Britannia: Cambridge Univ. Lehdistö, 1980.
    Google Scholar
  • 2 Fibiger, H. C. ja A. G. Phillips. Palkitseminen, motivaatio, kognitio: psychobiology of mesotelenkefalic dopamiinijärjestelmät. Julkaisussa: Handbook of Physiology. hermosto. Aivojen sisäiset säätelyjärjestelmät. Bethesda, MD: Am. Fysiolia. Soc., 1986, lahko. 1, vol. IV luku 12, 647-675.
    Google Scholar
  • 3 Freund, T. F., J. F. Powell ja A. D. Smith. Tyrosiinihydroksylaasi-immunoreaktiiviset boutonit synaptisessa kosketuksessa tunnistettujen striatonigraalisten neuronien kanssa, erityisesti dendriittisten piikkien osalta. Neuroscience 13: 1189-1215, 1984.
    Crossref | PubMed | ISI / Google Scholar
  • 4 Hollerman, J. R. ja W. Schultz. Dopamiinineuronit ilmoittavat virheestä palkitsemisen aikaennusteessa oppimisen aikana. Luonnon Neurotutkija. 1: 304–309, 1998.
    Crossref | PubMed | ISI / Google Scholar
  • 5 Ljungberg, T., P. Apicella ja W. Schultz. Apinoiden dopamiinineuronien reaktiot käyttäytymisreaktioiden oppimisen aikana. J. Neurofysioli. 67: 145–163, 1992.
    Link | ISI / Google Scholar
  • 6 Montague, P. R., P. Dayan ja T. J. Sejnowski. Puitteet mesenkefalisille dopamiinijärjestelmille, jotka perustuvat ennakoivaan hebbian-oppimiseen. J. Neurotutkija. 16: 1936–1947, 1996.
    Crossref | PubMed | ISI / Google Scholar
  • 7 Mirenowicz, J. ja W. Schultz. Keskiaivojen dopamiinineuronien ensisijainen aktivointi mielihaluisilla eikä aversiivisilla ärsykkeillä. Nature 379: 449-451, 1996.
    Crossref | PubMed | ISI / Google Scholar
  • 8 Rescorla, R. A. ja A. R. Wagner. A theory of Pavlovian conditioning: variations in the efficiency of vahvistaminen and nonreinforcement. Julkaisussa: Classical Conditioning II: Current Research and Theory, toim.A. H. Black ja W. F. Prokasy. New York: Appleton Century Crofts, 1972, s. 64-99.
    Google Scholar
  • 9 Robbins, T. W. ja B. J. Everitt. Neurobehaviouraaliset palkitsemisen ja motivaation mekanismit. Kurr. Opinista. Neurobioli. 6: 228–236, 1996.
    Crossref | PubMed | ISI / Google Scholar
  • 10 Romo, R. ja W. Schultz. Apinan keskiaivojen dopamiinineuronit: vasteet aktiiviseen kosketukseen itse aloitettujen käsivarsien liikkeiden aikana. J. Neurofysioli. 63: 592–606, 1990.
    Link | ISI / Google Scholar
  • 11 Schultz, W. Dopamiinineuronien ennakoiva palkintosignaali. J. Neurofysioli. 80: 1–27, 1998.
    Link | ISI / Google Scholar
  • 12 Schultz, W., P. Apicella ja T. Ljungberg. Apinoiden dopamiinineuronien reaktiot palkitsemaan ja ehdollistettuihin ärsykkeisiin viivästyneen vastetehtävän oppimisen peräkkäisten vaiheiden aikana. J. Neurotutkija. 13: 900–913, 1993.
    Crossref | PubMed | ISI / Google Scholar
  • 13 Schultz, W., P. Dayan ja R. P. Montague. Ennustamisen ja palkitsemisen neuraalinen substraatti. Science 275: 1593-1599, 1997.
    Crossref | PubMed | ISI / Google Scholar
  • 14 Smith, A. D. ja J. P. Bolam. Tyvitumakkeiden hermoverkko, kuten tunnistettujen neuronien synaptisten yhteyksien tutkimus paljasti. Trends Neurosci. 13: 259–265, 1990.
    Crossref | PubMed | ISI / Google Scholar
  • 15 Sutton, R. S. ja A. G. Barto. Kohti nykyaikaista adaptiivisten verkkojen teoriaa: odotus ja Ennustus. Psychol. Rev. 88: 135-170, 1981.
    Crossref / PubMed / ISI / Google Scholar

You might also like

Vastaa

Sähköpostiosoitettasi ei julkaista.