a középagy dopamin neuronjainak Jutalomjele

amikor a többsejtű organizmusok az önreprodukáló molekulák evolúciója révén keletkeztek, endogén, autoregulációs mechanizmusokat fejlesztettek ki, amelyek biztosítják, hogy jóléti és túlélési igényeik kielégültek. Az alanyok a megközelítési viselkedés különböző formáiban vesznek részt, hogy forrásokat szerezzenek a homeosztatikus egyensúly fenntartásához és önmaguk reprodukálásához. Ezeknek a biológiai erőforrásoknak állítólag “jutalmazó” funkcióik vannak, mert kiváltják és megerősítik a megközelítési viselkedést. Bár kezdetben a biológiai szükségletekhez kapcsolódtak, a magasabb rendű Emlősök evolúciója során a jutalmak tovább fejlődtek, hogy támogassák az egyéni és társadalmi viselkedés kifinomultabb formáit. A jutalmak magasabb formái gyakran kognitív reprezentációkon alapulnak, és olyan tárgyakra és konstrukciókra vonatkoznak, mint az újdonság, a kihívás, az elismerés, a hatalom, a pénz, a terület és a biztonság. Így a biológiai és kognitív szükségletek határozzák meg a jutalmak természetét, a jutalmak elérhetősége pedig meghatározza az alany életkörülményeinek néhány alapvető paraméterét.

a jutalmaknak három alapvető funkciójuk van (1). Először a megközelítést és a tökéletes viselkedést váltják ki, és az önkéntes viselkedés céljaiként szolgálnak. Ennek során megszakítják a folyamatban lévő viselkedést és megváltoztatják a viselkedési cselekvések prioritásait. Másodszor, a jutalmaknak pozitív megerősítő hatása van. Növelik az ilyen tárgyakhoz vezető viselkedés gyakoriságát és intenzitását (tanulás), és fenntartják a tanult viselkedést a kihalás megelőzésével. Ez a funkció képezi a “többért való visszatérés” lényegét, és kapcsolódik ahhoz a fogalomhoz, hogy jutalmat kapjunk azért, mert valami hasznosat tettünk. A tanulás akkor megy végbe, amikor a jutalmak kiszámíthatatlanul jelentkeznek, és lelassul, ahogy a jutalmak egyre inkább megjósolódnak (8). Így a jutalom-vezérelt tanulás a jutalom előrejelzése és annak tényleges előfordulása közötti eltéréstől vagy “hibától” függ. Harmadik funkciójukban a jutalmak szubjektív örömérzetet (Hedonia) és pozitív érzelmi állapotokat váltanak ki. Ezt a funkciót állatokon nehéz megvizsgálni.

a Parkinson-kórban szenvedő betegeknél és kísérletileg sérült állatoknál a dopamin neurotranszmisszió csökkenése a mozgás, a motiváció, a figyelem és a megismerés súlyos hiányával jár. Az egyik következetes motivációs hiány a jutalmazási információk felhasználására vonatkozik a tanulás és a megközelítés és a tökéletes viselkedés fenntartása érdekében (2, 9). A deficitek elsősorban a középagy dopamin neuronjaitól a nucleus accumbensig, kisebb mértékben a frontális kéregig és a striatumig (caudate nucleus és putamen) történő vetületek megsemmisítésével fordulnak elő. Ezek a rendszerek szerepet játszanak a főbb kábítószer-függőségi tulajdonságokban is, mint például a kokain, az amfetamin, a heroin és a nikotin.

a középagy dopamin neuronjainak Sejttestei az A8 (dorsalis to lateral substantia nigra), az A9 (Pars compacta of substantia nigra) és az A10 (ventralis tegmental area medial to substantia nigra) csoportokban helyezkednek el. Ezek a neuronok idegimpulzusokkal szabadítják fel a dopamint a striatum, a nucleus accumbens és a frontális kéreg axonális varicositásaiból, hogy megnevezzék a legfontosabb helyeket (ábra. 1). 20-60 perc közötti periódusokban rögzítjük az egyes dopamin neuronok sejttestéből származó impulzusaktivitást extracelluláris pozíciókból származó mozgatható mikroelektródákkal, miközben a majmok megtanulják és viselkedési feladatokat látnak el. Az idegsejtek könnyen megkülönböztethetők a többi középagyi idegsejttől jellegzetes polifázisos, viszonylag hosszú impulzusaikkal, amelyeket alacsony frekvenciákon bocsátanak ki.

következetesen nem találunk egyértelmű kovariációkat a mozgásokkal. Ezzel szemben a dopamin neuronok fázisos aktiválódásokat mutatnak a jutalomhoz kapcsolódó események és a szomatoszenzoros, vizuális és auditív modalitás bizonyos figyelemindukáló ingerei után (5, 10, 12). Ezek a reakciók nagyon hasonló módon fordulnak elő az A8, A9 és A10 csoportok neuronjainak 60-80% – ában különböző viselkedési helyzetekben, míg a fennmaradó dopamin neuronok egyáltalán nem reagálnak. A tesztelt helyzetek közé tartoznak a klasszikus kondicionálás, a különböző egyszerű és választható reakcióidő-feladatok, a közvetlen és késleltetett go-no GO feladatok, a térbeli késleltetett válasz-feladat, a térbeli késleltetett váltakozás, a vizuális diszkrimináció és az önindított mozgások. A neuronok valamivel jobban reagálnak a mediális középagyi régiókban, például a ventrális tegmentális területen és a mediális substantia nigra-ban, szemben a laterális régiókkal, ez a különbség időnként eléri a statisztikai szignifikanciát. Az aktivációk hasonló latenciával (50-110 ms) és időtartammal (<200 ms) fordulnak elő étel-és folyadékjutalmak, kondicionált ingerek és figyelemindukáló ingerek után. Így a dopamin válasz egy viszonylag homogén, skaláris populációs jelet alkot, amelyet az egyes neuronok válasznagysága és a válaszoló neuronok frakciói osztályoznak.

fázisos aktiválások akkor fordulnak elő, amikor az állatok megérintik a rejtett táplálék falatát, vagy amikor a viselkedési feladatokon kívül vagy a tanulás során folyadékcseppeket juttatnak a szájukba (ábra. 2, felső). A dopamin neuronok megkülönböztetik a jutalmakat a nem jutalmazott tárgyaktól, de úgy tűnik, hogy nem tesznek különbséget a különböző élelmiszer-tárgyak vagy folyékony jutalmak között. Csak kevesen mutatják a fázisos aktiválódásokat az elsődleges averzív ingerek után, mint például a kézre nem mérgező levegő vagy a szájra hipertóniás sóoldat (7). Ezek az ingerek averzívek, mert megzavarják a viselkedést és aktív elkerülési reakciókat váltanak ki.

a legtöbb dopamin neuront kondicionált vizuális és hallási ingerek is aktiválják, amelyek érvényes jutalom-előrejelzővé váltak az operáns vagy klasszikus kondicionáló eljárások ismételt és függő párosításával. 2, középső). Ezzel szemben csak néhány dopamin Neuron fokozatosan aktiválódik tanult vizuális vagy hallási ingerek által az aktív elkerülési feladatok során, amelyek során az állatok elengednek egy kulcsot, hogy elkerüljék a légpuffadást vagy egy csepp hipertóniás sóoldatot.

a tanulás során a jutalom-előrejelző ingerekre adott dopamin válasz kialakulásával párhuzamosan a megjósolt jutalomra adott válasz elvész, mintha a válasz a jutalomról a jutalom-előrejelző ingerre kerülne át (ábra. 2, felső vs. középső). Ez akkor figyelhető meg, amikor az ingyenes jutalmakat a viselkedési feladatokon kívül szállítják, és a tanulás során kondicionált ingerek jósolják meg, vagy amikor a jutalmak meglepően előfordulnak az egyes tanulási fázisok során, és megjósolhatóvá válnak, amikor egy fázist teljesen megszereznek. Így a jutalmak csak akkor hatékonyak a dopamin neuronok aktiválásában,ha azokat fázisos ingerek nem jósolják meg.

a dopamin neuronok korlátozott kapacitással rendelkeznek az étvágygerjesztő és a semleges vagy averzív ingerek megkülönböztetésére. Csak a fizikailag kellően eltérő ingereket különböztetik meg jól. Azok az ingerek, amelyek nem kifejezetten jósolják meg a jutalmakat, de fizikailag hasonlítanak a jutalom-előrejelző ingerekre, kis aktiválódásokat indukálnak, amelyeket az idegsejtek korlátozott hányadában depressziók követnek.

a dopamin neuronok a jutalom szokásos időpontjában depressziósak, amikor az előre jelzett jutalom nem következik be az állat hibája, a kísérletező visszatartása vagy a késleltetett szállítás után (ábra. 2, alsó). A depresszió a kihagyott jutalmat közvetlenül megelőző inger hiányában jelentkezik. Ez egy belső órán alapuló elvárási folyamatot tükröz, amely a megjósolt jutalom pontos idejét érinti. Másrészt egy aktiválás követi a jutalmat, ha ezt az előrejelzéstől eltérő időpontban mutatják be (ábra. 3). Ezek az adatok arra utalnak, hogy a dopamin neuronokat befolyásoló előrejelzés mind a jutalom előfordulását, mind az idejét érinti.

a figyelmet kiváltó ingerek, például újszerű vagy fizikailag intenzív ingerek, amelyek nem feltétlenül kapcsolódnak a jutalmakhoz, aktivációkat váltanak ki a dopamin neuronokban, amelyeket gyakran depressziók követnek. Az újdonságra adott válaszok a viselkedésbeli orientáló reakciókkal együtt elmúlnak több inger ismétlés után, az időtartam hosszabb, fizikailag szembetűnőbb ingerekkel. Az intenzív ingerek, például hangos kattintások vagy nagy képek közvetlenül az állat előtt, erős válaszokat váltanak ki, amelyek >1000 kísérlet után is mérhető aktiválódásokat váltanak ki. Az új vagy intenzív ingerekre adott válaszok azonban gyorsan alábbhagynak az aktív elkerülési viselkedés kondicionálása során. Ezek az adatok arra utalnak, hogy a dopamin neuronokat nem kizárólag a jutalommal kapcsolatos ingerek vezérlik, hanem a figyelmet kiváltó ingerek is befolyásolják őket.

összességében a legtöbb dopamin Neuron fázisos aktivációt mutat az étel és a folyadék jutalma után, valamint kondicionált, jutalmazó ingerek után. Kétfázisú aktivációs-depressziós válaszokat mutatnak olyan ingerek után, amelyek hasonlítanak a jutalom-előrejelző ingerekre, vagy újszerűek vagy különösen szembetűnőek. Azonban csak néhány fázisos aktiválás követi az averzív ingereket. Így a dopamin neuronok étvágygerjesztő “címkével” jelölik a környezeti ingereket, megjósolják és észlelik a jutalmakat, és jelzik a figyelmeztető és motiváló eseményeket.

minden válasz a jutalmakra és a jutalom-előrejelző ingerekre az esemény kiszámíthatóságától függ, amely a jutalom pontos idejét érinti. A tónusosabb jutalom-előrejelző környezeti kontextus, amelyben a jutalom bekövetkezik, úgy tűnik, hogy nem befolyásolja a dopamin neuronokat. Úgy tűnik, hogy a dopamin jutalomválasz jelzi, hogy a jutalom milyen mértékben fordul elő másképp, mint az előre jelzett, amelyet “hibának” neveznek a jutalom előrejelzésében. Így a dopamin neuronok a jutalmakról számolnak be előrejelzésükhöz képest, ahelyett, hogy feltétel nélkül jeleznék a jutalmakat. Úgy tűnik, hogy a környezeti események jóságának detektorai az előrejelzéshez képest, az előrejelzésnél jobb események jutalmazásával aktiválódnak, az előrejelzettnél jobb események nem befolyásolják őket, és az előrejelzésnél rosszabb események nyomják le őket (ábra. 2). Azonban nem tesznek különbséget a különböző jutalmak között, és úgy tűnik, hogy figyelmeztető üzenetet bocsátanak ki a jutalmak meglepő jelenlétéről vagy hiányáról anélkül, hogy jeleznék az egyes jutalmak sajátos jellegét. Feldolgozzák a jutalmak idejét és előrejelzését, de nem az adott jutalom természetét.

a jutalom-előrejelzési hibajel lehetséges felhasználása

a dopamin neuronok többségének Közepesen felszakadó, rövid időtartamú, majdnem szinkron válasza optimális, egyidejű dopamin felszabadulást eredményez a striatum és a frontális kéreg szorosan elhelyezkedő varicositásainak többségéből. A dopamin rövid puffadása gyorsan eléri a regionálisan homogén koncentrációkat, amelyek valószínűleg befolyásolják az összes striatális és sok kortikális Neuron dendritjét. Ily módon a jutalom előrejelzési Hibaüzenet a dopamin neuronok 60-80% – ában divergens, inkább globális megerősítési jelként kerül sugárzásra a striatum, a nucleus accumbens és a frontális kéreg számára, fokozatosan befolyásolva a jutalomhoz vezető ingerek és cselekvések feldolgozásában részt vevő szinapszisok maximális számát. A depresszió által kiváltott dopamin felszabadulás csökkentése kihagyott jutalmakkal csökkentené a dopamin receptorok tónusos stimulációját a környezeti dopamin által.

a dopamin neuronok striatális és frontális cortex neuronokra gyakorolt szinaptikus hatásainak alapvető elrendezése egy triádból áll, amely dendritikus tüskékből, a dendritikus tüskék csúcsán lévő gerjesztő kortikális terminálisokból és ugyanazon dendritikus tüskékkel érintkező dopamin varikózisokból áll (ábra. 4). Minden közepes méretű striatális tüskés neuron ~1000 dopaminerg szinapszist kap a dendritikus tüskéknél és ~5000 kortikális szinapszist. Ez az elrendezés lehetővé tenné a dopamin neuronok számára, hogy befolyásolják a striatális neuronok kortikális bemeneteinek szinaptikus hatásait. A felszabaduló dopamin számos lehetséges módon hathat a striatális és a kortikális neuronokra. 1) az azonnali hatás a kortikosztriatális neurotranszmisszió megváltozásából állhat. Ez módosítaná a kortiko-bazális ganglionhurkokban keringő információkat, és befolyásolná a viselkedési kimenet strukturálásában részt vevő agykérgi struktúrák neuronjait. 2) a dopamin membrán hatásának viszonylag lassú időbeli lefolyása rövid nyomot hagyhat a jutalom eseményéről, és rövid ideig befolyásolhatja az összes későbbi aktivitást. 3) a striatum potenciális dopamin-függő plaszticitása és a dopaminválaszok megfigyelt formái a striatális és a kortikális szinapszisokban plasztikus változásokat idézhetnek elő, amelyeket a jutalomhoz vezető események egyidejűleg aktiválnak.

a dopamin striatális neurotranszmisszióra gyakorolt hatásának modelljében az A és a B olyan bemenetek, amelyek külön-külön érintkeznek az I striatális neuron dendritikus tüskéivel (ábra. 4). Az A és B I szinaptikus súlyok rövid vagy hosszú távon módosíthatók. Ugyanazokkal a tüskékkel válogatás nélkül kapcsolatba lép a globális jutalom-előrejelzési hibajel a dopamin bemenetről X. mind az X, mind az a neuron, de a B neuron nem aktiválódik, amikor jutalomhoz kapcsolódó jel fordul elő. Az X Neuron konkrét részletek megadása nélkül továbbítja azt az üzenetet, hogy jutalmazó esemény történt, míg az a neuron üzenetet küld a jutalommal kapcsolatos esemény számos részletes aspektusának egyikéről, például színről, textúráról, helyzetről, környezetről stb. az inger vagy kódolhat egy mozgást, amely a jutalom megszerzéséhez vezet. A striatális szinapszisok súlyai módosíthatók a tanulási szabály szerint, ahol a mérföldkő a szinaptikus súly, a mérföldkő a tanulási állandó, az r a dopamin előrejelzési hibajel, az i a bemeneti aktiválás, az O pedig a striatális Neuron aktiválása. Így az A és X aktivitás egyidejűsége vagy közel egyidejűsége révén az X neuron aktivitása megváltoztathatja a neurotranszmissziót az aktív a-on I-es szinapszis, de az inaktív B-t változatlanul hagyja. A szinaptikus transzmisszió tartós változásai esetén az a neuronból történő későbbi bemenet fokozott válaszhoz vezetne az I neuronban, míg a B neuronból történő bemenet változatlan válaszhoz vezet az I neuronban.

a jutalom előrejelzésében hibát kódoló dopamin válasz minden főbb szempontból hasonlít a megerősítési modellek különösen hatékony osztályának megerősítési jelére, amelyek időbeli különbség algoritmusokat tartalmaznak (6, 13, 15). Ezek olyan viselkedési tanulási elméleteken alapulnak, amelyek feltételezik, hogy a tanulás döntő mértékben függ a megerősítés előrejelzése és annak tényleges előfordulása közötti eltéréstől vagy hibától (1, 8). Ezekben a modellekben a kritikus modul globális megerősítési jelet generál, és elküldi azt az actor modulnak, amely megtanulja és végrehajtja a viselkedési kimenetet. A kritikus-színész architektúra nagyon hasonlít a bazális ganglionok összekapcsolódására, beleértve a dopamin vetületet a striatumhoz és a reciprok striatonigralis vetületet. Az időbeli különbség algoritmusokat használó modellek sokféle viselkedési feladatot tanulnak meg, a szekérkeréken lévő pólus kiegyensúlyozásától a világszínvonalú backgammon játékáig (referenciák, lásd Ref. 11). Az időbeli különbség algoritmusokat használó robotok megtanulnak mozogni a kétdimenziós térben, elkerülni az akadályokat, elérni és megfogni, vagy egy csapot behelyezni egy lyukba. A neurobiológiailag inspirált időbeli különbségmodellek megismétlik a méhek takarmányozási viselkedését, szimulálják az emberi döntéshozatalt, és megtanulják az orientáló reakciókat, a szemmozgásokat, a szekvenciális mozgásokat és a térbeli késleltetett reagálási feladatokat. Különösen érdekes látni, hogy az előrejelzési hibákat használó jelek tanítása gyorsabb és teljesebb tanulást eredményez, összehasonlítva a feltétel nélküli megerősítési jelekkel.

következtetések és kiterjesztések

a dopamin neuronok aktivitásának vizsgálata azt a meglepő megállapítást eredményezte, hogy ezek a neuronok nem modulálódnak a mozgásokkal kapcsolatban, bár a mozgások hiányosak a parkinsonos betegeknél. Inkább a dopamin neuronok nagyon különleges formában kódolják a környezeti ingerek jutalmazó aspektusait, bizonyos figyelemkeltő jellemzőkkel együtt. A válaszokat elsődleges jutalmak (“feltétel nélküli ingerek”), kondicionált jutalom-előrejelző ingerek, a jutalommal kapcsolatos ingerekre emlékeztető ingerek, valamint új vagy intenzív ingerek váltják ki. A jutalommal kapcsolatos ingereket azonban csak akkor jelentik, ha az előrejelzéstől eltérően fordulnak elő, mind az esemény előfordulására, mind az időpontra vonatkozó előrejelzés. Az előrejelzési hibaüzenet nagyon erős jelzés a viselkedés irányítására és a tanulás ösztönzésére, az állati tanulási elméletek és megerősítési modellek szerint. A dopaminjel azonban nem határozza meg pontosan, hogy melyik jutalom fordul elő másképp, mint az előre jelzett, vagy valóban jutalom, vagy inkább jutalom-előrejelző inger. A jutalmakra emlékeztető ingerek, valamint az új vagy különösen kiemelkedő ingerek aktivációs-depressziós szekvenciákat váltanak ki, amelyek hasonlítanak a kiszámíthatatlan jutalomhoz kapcsolódó ingerek által kiváltott egyfázisú aktiválásokra. A dopamin jel tehát túlnyomórészt jutalomriasztó jelnek tűnik, és más agyi rendszereknek további információkat kell feldolgozniuk ahhoz, hogy megtanulják a helyes viselkedési reakciókat a motiváló környezeti ingerekre.

az élelmiszer-és folyadékjutalmakra vonatkozó információkat a dopamin neuronoktól eltérő agyi struktúrákban is feldolgozzák, mint például a dorsalis és ventrális striatum, a subthalamicus mag, az amygdala, a dorsolaterális prefrontális kéreg, az orbitofrontális kéreg és az elülső cinguláris kéreg. Úgy tűnik azonban, hogy ezek a struktúrák nem bocsátanak ki a dopamin neuronokhoz hasonló globális jutalom-előrejelzési hibajelzést. Ezek a struktúrák 1) átmeneti válaszokat mutatnak a jutalmak átadása után, 2) átmeneti válaszokat a jutalom-előrejelző jelzésekre, 3) tartós aktiválásokat a jutalmak elvárása alatt, és 4) a viselkedéssel kapcsolatos tevékenység modulációit előre jelzett jutalmakkal (referenciák, lásd Ref. 11). Ezen idegsejtek közül sok jól megkülönbözteti a különböző étel-vagy folyadékjutalmakat. Így feldolgozhatják a jutalmazó esemény sajátos jellegét. Néhány jutalomválasz a jutalom kiszámíthatatlanságától függ, ha csökken vagy hiányzik, ha a jutalmat kondicionált inger jósolja meg, bár nem világos, hogy a dopamin neuronokhoz hasonló előrejelzési hibákat jeleznek-e. Úgy tűnik tehát, hogy a tanulásért és a megközelítési viselkedés fenntartásáért járó specifikus jutalmak feldolgozása erősen profitálna a dopamin neuronok közötti együttműködésből, amely jelzi a jutalom előre nem látható előfordulását vagy kihagyását, valamint a többi struktúrában lévő neuronokat, amelyek egyidejűleg jelzik a jutalom sajátos jellegét.

károsodott dopamin neurotranszmisszió Parkinson-kór, kísérleti elváltozások, vagy neuroleptikus kezelés számos viselkedési hiányhoz kapcsolódik mozgás (akinesia, tremor, merevség), megismerés (figyelem, bradyphrenia, tervezés, tanulás) és motiváció (csökkent érzelmi válaszok, depresszió). A legtöbb hiányt jelentősen enyhíti a szisztémás dopamin prekurzor vagy receptor agonista terápia, amely egyszerű módon nem képes helyreállítani a fázisos információátvitelt neuronális impulzusokkal. Úgy tűnik, hogy a dopamin neurotranszmisszió két különálló funkciót játszik az agyban, az étvágy és a riasztási információk fázisos feldolgozását, valamint a motoros, kognitív és motivációs folyamatok széles skáláját lehetővé tevő tonikot időbeli kódolás nélkül (11). A tónusos dopamin funkció a striatum (5-10 nM) és más dopamin-beidegzett területek alacsony, tartós extracelluláris dopaminkoncentrációján alapul. A környezeti dopamin koncentrációt lokálisan, szűk tartományon belül spontán impulzusok, szinaptikus túlcsordulás, újrafelvétel transzport, anyagcsere, autoreceptor által szabályozott felszabadulás és szintézis, valamint preszinaptikus transzmitter kölcsönhatás szabályozza. A dopamin receptorok tónusos stimulációjának nem szabad sem túl alacsonynak, sem túl magasnak lennie egy adott agyi régió optimális működéséhez. Más neurotranszmitterek hasonlóan alacsony környezeti koncentrációban léteznek, mint például a glutamát a striatumban, az agykéregben, a hippocampusban és a cerebellumban, az aszpartát és a GABA a striatumban és a frontális kéregben, és az adenozin a hippocampusban. Sok agyi struktúra neuronjai nyilvánvalóan a neurotranszmitterek “levesében” fürdenek, amelyek erőteljes, specifikus fiziológiai hatással vannak az idegsejtek ingerlékenységére. Tekintettel a neurotranszmitterek tónusos extracelluláris koncentrációjának általános fontosságára, úgy tűnik, hogy a Parkinson-kór tüneteinek széles skáláját nem a jutalominformáció dopamin neuronok általi hiányos továbbítása okozza, hanem a striatális és a kortikális neuronok hibás működését tükrözi, amelyet a csökkent környezeti dopamin károsodott engedélyezése okoz. A dopamin neuronok nem vesznek részt aktívan a parkinsonizmusban hiányos folyamatok széles skálájában, hanem biztosítják a dopamin fontos háttérkoncentrációját, amely szükséges az ezekben a folyamatokban részt vevő striatális és kortikális neuronok megfelelő működésének fenntartásához.