sygnał nagrody dla neuronów dopaminy śródmózgowia

kiedy organizmy wielokomórkowe powstały w wyniku ewolucji samoodtwarzających się cząsteczek, rozwinęły endogenne, autorskie mechanizmy, które zapewniły, że ich potrzeby w zakresie dobrostanu i przeżycia zostały spełnione. Badani angażują się w różne formy zachowania podejścia, aby uzyskać zasoby do utrzymania równowagi homeostatycznej i rozmnażania się. Mówi się, że te zasoby biologiczne mają „satysfakcjonujące” funkcje, ponieważ wywołują i wzmacniają zachowanie podejścia. Chociaż początkowo związane z potrzebami biologicznymi, nagrody rozwijały się dalej w trakcie ewolucji wyższych ssaków, aby wspierać bardziej wyrafinowane formy zachowań indywidualnych i społecznych. Wyższe formy nagród są często oparte na reprezentacjach poznawczych i dotyczą takich obiektów i konstrukcji jak nowość, wyzwanie, uznanie, władza, pieniądze, terytorium i bezpieczeństwo. Tak więc potrzeby biologiczne i poznawcze określają charakter nagród, a dostępność nagród określa niektóre z podstawowych parametrów warunków życia podmiotu.

nagrody mają trzy podstawowe funkcje (1). Po pierwsze, wywołują podejście i konsumpcyjne zachowanie i służą jako cele dobrowolnego zachowania. W ten sposób przerywają bieżące zachowanie i zmieniają priorytety działań behawioralnych. Po drugie, nagrody mają pozytywne efekty wzmacniające. Zwiększają częstotliwość i intensywność zachowań prowadzących do takich obiektów (uczenie się) i utrzymują wyuczone zachowania, zapobiegając wymieraniu. Funkcja ta stanowi istotę „powrotu po więcej” i odnosi się do pojęcia otrzymywania nagród za zrobienie czegoś pożytecznego. Nauka przebiega, gdy nagrody występują w sposób nieprzewidywalny i spowalnia, gdy nagrody stają się coraz bardziej przewidywane (8). Tak więc uczenie się oparte na nagrodzie zależy od rozbieżności lub „błędu” między przewidywaniem nagrody a jej faktycznym wystąpieniem. W trzeciej funkcji nagrody wywołują subiektywne odczucia przyjemności (hedonia) i pozytywne stany emocjonalne. Funkcja ta jest trudna do zbadania u zwierząt.

zmniejszenie neuroprzekaźnictwa dopaminowego u pacjentów z chorobą parkinsonizmu i doświadczalnie chorych zwierząt jest związane z poważnymi deficytami w ruchu, motywacji, uwagi i funkcji poznawczych. Jeden konsekwentny deficyt motywacyjny dotyczy wykorzystania informacji o nagrodzie do uczenia się i utrzymywania podejścia i zachowania konsumpcyjnego (2, 9). Deficyty występują głównie przy niszczeniu projekcji od śródmózgowia do jądra półleżącego i, w mniejszym stopniu, do kory czołowej i prążkowia (jądra ogoniastego i skorupy). Systemy te są również zaangażowane w uzależniające właściwości głównych narkotyków nadużywania, takich jak kokaina, amfetamina, heroina i nikotyna.

komórki śródmózgowia neuronów dopaminy znajdują się w grupach A8 (grzbietowa do bocznej substantia nigra), A9 (pars compacta substancji nigra) i A10 (brzuszna część nakrywki przyśrodkowa do substancji nigra). Neurony te uwalniają dopaminę z impulsami nerwowymi z żylaków aksonalnych w prążkowiu, jądrze półleżącym i korze czołowej, aby wymienić najważniejsze miejsca (rys. 1). Rejestrujemy aktywność impulsów z ciał komórkowych pojedynczych neuronów dopaminowych w okresie 20-60 minut za pomocą ruchomych mikroelektrodów z pozakomórkowych pozycji, podczas gdy małpy uczą się i wykonują zadania behawioralne. Neurony można łatwo odróżnić od innych neuronów śródmózgowia dzięki charakterystycznym, polifazowym, stosunkowo długim impulsom emitowanym przy niskich częstotliwościach.

konsekwentnie nie znajdujemy wyraźnych współzależności z ruchami. Natomiast neurony dopaminy wykazują aktywacje fazowe po zdarzeniach związanych z nagrodą i pewnych bodźcach wywołujących uwagę somatosensorycznej, wzrokowej i słuchowej modalności (5, 10, 12). Odpowiedzi te występują w bardzo podobny sposób w 60-80% neuronów w grupach A8, A9 i A10 w różnych sytuacjach behawioralnych, podczas gdy pozostałe neurony dopaminy w ogóle nie reagują. Testowane sytuacje obejmują klasyczne uwarunkowanie, różne proste i wybrane zadania czasu reakcji, bezpośrednie i opóźnione zadania go-no go, przestrzenne zadanie opóźnionej reakcji, przestrzenna opóźniona alternacja, wizualna dyskryminacja i ruchy inicjowane samodzielnie. Neurony reagują nieco bardziej w przyśrodkowych regionach śródmózgowia, takich jak brzuszny obszar nakrywki i przyśrodkowa rzeczka czarna, w porównaniu z bardziej bocznymi regionami, różnica, która czasami osiąga znaczenie statystyczne. Aktywacje występują z podobnymi opóźnieniami (50-110 ms) i czasem trwania (<200 ms) po nagrodzie pokarmowej i płynnej, bodźcach uwarunkowanych i bodźcach wywołujących uwagę. Tak więc odpowiedź dopaminowa stanowi stosunkowo jednorodny, skalarny sygnał populacji, który jest oceniany przez wielkość odpowiedzi poszczególnych neuronów i przez frakcje neuronów reagujących.

aktywacje fazowe występują, gdy zwierzęta dotykają kęsa ukrytego pokarmu lub gdy krople płynu są dostarczane do ich ust poza zadaniami behawioralnymi lub podczas uczenia się (rys. 2, Góra). Neurony dopaminowe odróżniają nagrody od obiektów nieuregulowanych, ale nie wydają się rozróżniać między różnymi obiektami żywnościowymi lub płynnymi nagrodami. Tylko nieliczne wykazują aktywacje fazowe po pierwotnych bodźcach awersyjnych, takich jak nonnoxious air puffs to the hand lub hipertonic saline to the mouth (7). Bodźce te są awersyjne, ponieważ zakłócają zachowanie i wywołują aktywne reakcje unikania.

Większość neuronów dopaminy jest również aktywowana przez uwarunkowane bodźce wzrokowe i słuchowe, które stały się ważnymi predyktorami nagrody poprzez wielokrotne i warunkowe parowanie z nagrodami w operatywnych lub klasycznych procedurach warunkujących (rys. 2, środek). W przeciwieństwie do tego, tylko kilka neuronów dopaminy jest fazowo aktywowanych przez wyuczone bodźce wzrokowe lub słuchowe w aktywnych zadaniach unikania, w których zwierzęta uwalniają klucz, aby uniknąć dmuchnięcia powietrza lub kropli hipertonicznego roztworu soli fizjologicznej.

równolegle z rozwojem reakcji dopaminy na bodźce przewidujące nagrodę podczas uczenia się, odpowiedź na samą przewidywaną nagrodę jest tracona, tak jakby odpowiedź była przenoszona z nagrody na bodziec przewidujący nagrodę (rys. 2, top vs. middle). Obserwuje się to, gdy bezpłatne nagrody są dostarczane poza zadaniami behawioralnymi i stają się przewidywane przez uwarunkowane bodźce poprzez uczenie się lub gdy nagrody występują zaskakująco podczas poszczególnych faz uczenia się i stają się przewidywane, gdy faza jest w pełni zdobyta. Tak więc nagrody są skuteczne tylko w aktywacji neuronów dopaminy, gdy nie są przewidywane przez bodźce fazowe.

neurony dopaminy mają ograniczoną zdolność rozróżniania bodźców apetytywnych i neutralnych lub awersyjnych. Tylko bodźce, które są fizycznie wystarczająco różne, są dobrze rozróżniane. Bodźce, które nie przewidują wyraźnie nagrody, ale fizycznie przypominają bodźce przewidujące nagrodę, wywołują małe aktywacje, a następnie depresje w ograniczonej części neuronów.

neurony dopaminy są przygnębione w zwyczajowym czasie nagrody, gdy przewidywana nagroda nie występuje po błędzie zwierzęcia, wstrzymaniu przez Eksperymentatora lub opóźnionym porodzie (rys. 2, dno). Depresja występuje w przypadku braku bodźca bezpośrednio poprzedzającego pominiętą nagrodę. Odzwierciedla to proces oczekiwania oparty na wewnętrznym zegarze, który dotyczy dokładnego czasu przewidywanej nagrody. Z drugiej strony, aktywacja następuje po nagrodzie, gdy jest ona prezentowana w innym czasie niż przewidywano (rys. 3). Dane te sugerują, że przewidywanie wpływające na neurony dopaminy dotyczy zarówno wystąpienia, jak i czasu nagrody.

bodźce wywołujące uwagę, takie jak nowe lub intensywne fizycznie bodźce niekoniecznie związane z nagrodami, wywołują aktywacje w neuronach dopaminy, po których często następuje depresja. Odpowiedzi Nowości ustępują wraz z behawioralnymi reakcjami orientacji po kilku powtórzeniach bodźców, czas trwania jest dłuższy z fizycznie bardziej wyraźnymi bodźcami. Intensywne bodźce, takie jak głośne kliknięcia lub duże zdjęcia bezpośrednio przed zwierzęciem, wywołują silne reakcje, które nadal wywołują mierzalne aktywacje po >1000 prób. Jednak reakcje na nowe lub intensywne bodźce ustępują szybko podczas warunkowania aktywnego zachowania unikania. Dane te sugerują, że neurony dopaminy nie są napędzane wyłącznie przez bodźce związane z nagrodą, ale są również pod wpływem bodźców wywołujących uwagę.

łącznie większość neuronów dopaminy wykazuje aktywacje fazowe po nagrodzie pokarmowej i płynnej oraz po uwarunkowanych, nagradzanych bodźcach. Wykazują one dwufazową aktywację-reakcje depresji po bodźcach, które przypominają bodźce przewidujące nagrodę lub są nowatorskie lub szczególnie istotne. Jednak tylko kilka aktywacji fazowych następuje po bodźcach awersyjnych. W ten sposób neurony dopaminy etykietują bodźce środowiskowe apetycznym „znacznikiem”, przewidują i wykrywają nagrody oraz sygnalizują zdarzenia ostrzegające i motywujące.

wszystkie reakcje na nagrody i bodźce przewidujące nagrody zależą od przewidywalności zdarzeń, która dotyczy dokładnego czasu nagrody. Bardziej tonizujący kontekst środowiskowy przewidujący nagrodę, w którym występuje nagroda, nie wydaje się wpływać na neurony dopaminy. Odpowiedź nagrody dopaminy wydaje się wskazywać, w jakim stopniu nagroda występuje inaczej niż przewidywano, określana jako „błąd” w przewidywaniu nagrody. Tak więc neurony dopaminy zgłaszają nagrody w stosunku do swoich prognoz, a nie sygnalizują nagrody bezwarunkowo. Wydają się być detektorami cech dla dobroci zdarzeń środowiskowych w stosunku do przewidywania, są aktywowane przez nagradzanie zdarzeń, które są lepsze niż przewidywano, pozostając bez wpływu na zdarzenia, które są tak dobre, jak przewidywano, i są przygnębione przez zdarzenia, które są gorsze niż przewidywano (rys. 2). Jednak nie rozróżniają różnych nagród, a tym samym wydają się emitować alarmujący komunikat o zaskakującej obecności lub braku nagród, nie wskazując na szczególny charakter każdej nagrody. Przetwarzają one czas i przewidywanie nagród, ale nie charakter konkretnej nagrody.

potencjalne wykorzystanie sygnału błędu przewidywania nagrody

umiarkowanie pękająca, krótkotrwała, prawie synchroniczna odpowiedź większości neuronów dopaminy prowadzi do optymalnego, jednoczesnego uwolnienia dopaminy z większości ściśle rozmieszczonych żylaków w prążkowiu i korze czołowej. Krótki nadmuch dopaminy szybko osiąga jednorodne stężenia regionalne, które mogą wpływać na dendryty prawdopodobnie wszystkich neuronów prążkowia i wielu neuronów korowych. W ten sposób Komunikat o błędzie przewidywania nagrody w 60-80% neuronów dopaminy jest nadawany jako rozbieżny, raczej globalny sygnał wzmacniający do prążkowia, jądra półleżącego i kory czołowej, fazowo wpływając na maksymalną liczbę synaps zaangażowanych w przetwarzanie bodźców i działań prowadzących do nagrody. Zmniejszenie uwalniania dopaminy wywołane depresją z pominięciem nagród zmniejszyłoby toniczną stymulację receptorów dopaminy przez dopaminę otoczenia.

podstawowy układ synaptycznych wpływów neuronów dopaminy na neurony prążkowia i kory czołowej składa się z triady zawierającej kolce dendrytyczne, podniecające zaciski korowe na czubku kolców dendrytycznych i żylaki dopaminowe kontaktujące się z tymi samymi kolcami dendrytycznymi (Fig. 4). Każdy średniej wielkości neuron kolczasty prążkowia otrzymuje ~1000 synaps dopaminergicznych na kolcach dendrytycznych i ~ 5000 synaps korowych. Taki układ pozwoliłby neuronom dopaminy wpływać na synaptyczne efekty korowych wejść do neuronów prążkowia. Uwolniona dopamina może działać na neurony prążkowia i kory na kilka możliwych sposobów. 1) skutkiem natychmiastowym może być zmiana neuroprzekaźnictwa kortykostriatalnego. To zmodyfikowałoby informacje krążące w pętlach zwojów korowo-podstawnych i wpłynęłoby na neurony w strukturach korowych zaangażowanych w strukturyzację wyjścia behawioralnego. 2) stosunkowo powolny przebieg działania błony dopaminowej może pozostawić krótki ślad wydarzenia nagrody i wpływać na całą późniejszą aktywność przez krótki czas. 3) potencjalna plastyczność zależna od dopaminy w prążkowiu i obserwowane formy odpowiedzi dopaminowej mogą wywoływać zmiany plastyczne w synapsach prążkowia i kory równolegle aktywowane przez zdarzenia prowadzące do nagrody.

w modelu wpływu dopaminy na neuroprzekaźnictwo prążkowia, a i B są wejściami, które oddzielnie kontaktują się z kolcami dendrytycznymi neuronu prążkowia i (Fig. 4). Masy synaptyczne a → I I B → I są modyfikowane krótko lub długoterminowo. Te same kolce są masowo kontaktowane przez globalny sygnał błędu przewidywania nagrody z wejścia dopaminy X. Zarówno neuron X, jak i neuron a, ale nie neuron B, są aktywowane, gdy napotkany jest sygnał związany z nagrodą. Neuron X przekazuje wiadomość, że wydarzenie nagradzające miało miejsce bez podania konkretnych szczegółów, podczas gdy neuron a wysyła wiadomość o jednym z kilku szczegółowych aspektów wydarzenia związanego z nagrodą, takich jak kolor, tekstura, pozycja, otoczenie itp. bodźca lub może kodować ruch prowadzący do uzyskania nagrody. Masy synaps prążkowia można modyfikować zgodnie z zasadą uczenia Δω = ϵ * r * i * o, gdzie ω to masa synaptyczna, ϵ To Stała uczenia się, r to sygnał błędu przewidywania dopaminy, i to aktywacja wejściowa, a o to aktywacja neuronu prążkowia. Tak więc, dzięki jednoczesności lub bliskiej jednoczesności aktywności w A I X, aktywność neuronu X może indukować zmianę neuroprzekaźnictwa w aktywnej synapsie a → I, ale pozostawić nieaktywną neurotransmisję B → I bez zmian. W przypadku trwałych zmian w transmisji synaptycznej, kolejne wejście z neuronu a prowadziłoby do zwiększonej odpowiedzi w neuronie i, podczas gdy wejście z neuronu B prowadziłoby do niezmienionej odpowiedzi w neuronie I. Tak więc, zmiany synaptyczne neuronu a → I I B → I są uzależnione od sprzężonej aktywności neuronu x dopaminy z A lub B.

odpowiedź dopaminowa kodująca błąd w przewidywaniu nagrody przypomina we wszystkich głównych aspektach sygnał wzmocnienia szczególnie skutecznej klasy modeli wzmocnienia, które zawierają algorytmy różnicy czasowej (6, 13, 15). Są one oparte na teoriach uczenia się behawioralnego, które zakładają, że uczenie się zależy w głównej mierze od rozbieżności lub błędu między przewidywaniem wzmocnienia a jego faktycznym wystąpieniem (1, 8). W tych modelach moduł krytyczny generuje globalny sygnał wzmocnienia i wysyła go do modułu aktora, który uczy się i wykonuje wyjście behawioralne. Architektura krytyka-aktora bardzo przypomina łączność zwojów podstawnych, w tym projekcję dopaminy z prążkowiem i wzajemną projekcję striatonigralną. Modele wykorzystujące algorytmy różnic czasowych uczą się wielu różnych zadań behawioralnych, od balansowania drążka na kole wózka po grę w światowej klasy backgammon(referencje, Patrz Ref. 11). Roboty wykorzystujące algorytmy różnic czasowych uczą się poruszać po przestrzeni dwuwymiarowej i unikać przeszkód, sięgać i chwytać, czy wkładać kołek do dziury. Zainspirowane neurobiologicznie modele różnic czasowych replikują zachowania żerujące pszczół miodnych, symulują ludzkie podejmowanie decyzji i uczą się reakcji orientacyjnych, ruchów gałek ocznych, ruchów sekwencyjnych i przestrzennych zadań opóźnionej reakcji. Szczególnie interesujące jest to, że sygnały nauczania wykorzystujące błędy predykcji powodują szybsze i pełniejsze uczenie się w porównaniu z bezwarunkowymi sygnałami wzmocnienia.

wnioski i rozszerzenia

badanie aktywności neuronów dopaminowych doprowadziło do zaskakującego odkrycia, że neurony te nie są modulowane w stosunku do ruchów, chociaż ruchy są niewystarczające u pacjentów z chorobą parkinsonizmu. Raczej neurony dopaminy kodują w bardzo szczególnej formie satysfakcjonujące aspekty bodźców środowiskowych, wraz z pewnymi cechami wywołującymi uwagę. Odpowiedzi są wywoływane przez podstawowe nagrody („bodźce bezwarunkowe”), uwarunkowane bodźce przewidujące nagrodę, bodźce przypominające bodźce związane z nagrodą oraz nowe lub intensywne bodźce. Jednak bodźce związane z nagrodą są zgłaszane tylko wtedy, gdy występują inaczej niż przewidywano, przewidując zarówno wystąpienie, jak i czas zdarzenia. Komunikat o błędzie predykcji jest bardzo silnym sygnałem do kierowania zachowaniem i indukowania uczenia się, zgodnie z teoriami uczenia się zwierząt i modelami wzmocnienia. Jednak sygnał dopaminy nie określa dokładnie, która nagroda występuje inaczej niż przewidywano, lub czy jest to naprawdę nagroda, a raczej bodziec przewidujący nagrodę. Bodźce przypominające nagrody i nowe lub szczególnie istotne bodźce wywołują aktywację-sekwencje depresji, które przypominają aktywacje jednofazowe wywoływane przez nieprzewidywane bodźce związane z nagrodą. Sygnał dopaminy wydaje się więc być głównie sygnałem ostrzegającym o nagrodzie, a inne systemy mózgowe muszą przetwarzać dodatkowe informacje w celu uczenia się prawidłowych reakcji behawioralnych na motywujące bodźce środowiskowe.

informacje dotyczące nagród żywności i płynów są również przetwarzane w strukturach mózgu innych niż neurony dopaminowe, takich jak grzbietowe i brzuszne prążkowie, jądro subtalamiczne, ciało migdałowate, grzbietowo-boczna kora przedczołowa, kora orbitofrontalna i przednia kora cingulata. Jednak struktury te nie wydają się emitować globalnego sygnału błędu przewidywania nagrody podobnego do neuronów dopaminy. Struktury te pokazują 1) przejściowe reakcje po dostarczeniu nagród, 2) przejściowe reakcje na sygnały przewidujące nagrody, 3) trwałe aktywacje podczas oczekiwania na nagrody i 4) modulacje aktywności związanej z zachowaniem przez przewidywane nagrody (w celu uzyskania referencji, patrz Ref. 11). Wiele z tych neuronów dobrze rozróżnia różne nagrody pokarmowe lub płynne. W ten sposób mogą przetwarzać specyfikę wydarzenia nagradzającego. Niektóre odpowiedzi nagrody zależą od nieprzewidywalności nagrody w zmniejszaniu lub nieobecności, gdy nagroda jest przewidywana przez uwarunkowany bodziec, chociaż nie jest jasne, czy sygnalizują błędy przewidywania podobne do neuronów dopaminy. Wydaje się zatem, że przetwarzanie określonych nagród za uczenie się i utrzymywanie zachowania podejścia byłoby silnie korzystne ze współpracy między neuronami dopaminy sygnalizującymi nieprzewidywalne występowanie lub pominięcie nagrody i neuronami w innych strukturach jednocześnie wskazującymi na specyficzny charakter nagrody.

zaburzenie neuroprzekaźnictwa dopaminowego z chorobą Parkinsona, zmianami doświadczalnymi lub leczeniem neuroleptykami wiąże się z wieloma deficytami behawioralnymi w zakresie ruchu (akinezja, drżenie, sztywność), funkcji poznawczych (Uwaga, bradyfrenia, planowanie, uczenie się) i motywacji (zmniejszone reakcje emocjonalne, depresja). Większość deficytów jest znacznie zmniejszona przez ogólnoustrojową terapię prekursorem dopaminy lub agonistą receptora, która nie może w prosty sposób przywrócić przekazywania informacji fazowej przez impulsy neuronalne. Wydaje się, że neurotransmisja dopaminy pełni dwie oddzielne funkcje w mózgu, fazowe przetwarzanie apetytywnych i alarmujących informacji oraz toniczne umożliwienie dużej różnorodności procesów motorycznych, poznawczych i motywacyjnych bez kodowania czasowego (11). Działanie dopaminy tonizującej opiera się na niskim, utrzymującym się zewnątrzkomórkowym stężeniu dopaminy w prążkowiu (5-10 nM) i innych obszarach unerwionych dopaminą. Otaczające stężenie dopaminy jest regulowane lokalnie w wąskim zakresie przez spontaniczne impulsy, przepełnienie synaptyczne, transport wychwytu zwrotnego, metabolizm, kontrolowane przez autoreceptor uwalnianie i syntezę oraz presynaptyczne oddziaływanie nadajnika. Tonizująca stymulacja receptorów dopaminy nie powinna być ani zbyt niska, ani zbyt wysoka dla optymalnego funkcjonowania danego obszaru mózgu. Inne neuroprzekaźniki występują w podobnie niskich stężeniach otoczenia, takich jak glutaminian w prążkowiu, korze mózgowej, hipokampie i móżdżku, asparaginian i GABA w prążkowiu i korze czołowej oraz adenozyna w hipokampie. Neurony w wielu strukturach mózgu są najwyraźniej skąpane w „zupie” neuroprzekaźników, które mają silny, specyficzny fizjologiczny wpływ na pobudliwość neuronów. Biorąc pod uwagę ogólne znaczenie tonicznych zewnątrzkomórkowych stężeń neuroprzekaźników, wydaje się, że szeroki zakres objawów parkinsonizmu nie byłby spowodowany niedostatecznym przekazywaniem informacji o nagrodzie przez neurony dopaminy, ale odzwierciedlałby nieprawidłowe działanie neuronów prążkowia i kory mózgowej spowodowane upośledzeniem możliwości przez zmniejszoną dopaminę z otoczenia. Neurony dopaminy nie byłyby aktywnie zaangażowane w szeroki zakres procesów z niedoborem parkinsonizmu, ale zapewniłyby ważne stężenie dopaminy w tle niezbędne do utrzymania prawidłowego funkcjonowania neuronów prążkowia i kory mózgowej zaangażowanych w te procesy.