Il segnale di ricompensa dei neuroni dopaminergici del mesencefalo

Quando gli organismi multicellulari sono sorti attraverso l’evoluzione di molecole auto-riproducenti, hanno sviluppato meccanismi endogeni e autoregolanti che hanno assicurato che i loro bisogni di benessere e sopravvivenza sono stati soddisfatti. I soggetti si impegnano in varie forme di comportamento di approccio per ottenere risorse per mantenere l’equilibrio omeostatico e riprodursi. Si dice che queste risorse biologiche abbiano funzioni “gratificanti” perché suscitano e rafforzano il comportamento di approccio. Sebbene inizialmente correlato ai bisogni biologici, le ricompense si sono sviluppate ulteriormente durante l’evoluzione dei mammiferi superiori per supportare forme più sofisticate di comportamento individuale e sociale. Le forme superiori di ricompense sono spesso basate su rappresentazioni cognitive e riguardano oggetti e costrutti come novità, sfida, acclamazione, potere, denaro, territorio e sicurezza. Così i bisogni biologici e cognitivi definiscono la natura delle ricompense, e la disponibilità di ricompense determina alcuni dei parametri fondamentali delle condizioni di vita del soggetto.

I premi hanno tre funzioni di base (1). In primo luogo, essi suscitano approccio e comportamento consumistico e servono come obiettivi di comportamento volontario. In tal modo, interrompono il comportamento in corso e cambiano le priorità delle azioni comportamentali. In secondo luogo, i premi hanno effetti positivi di rinforzo. Aumentano la frequenza e l’intensità del comportamento che porta a tali oggetti (apprendimento) e mantengono il comportamento appreso prevenendo l’estinzione. Questa funzione costituisce l’essenza del “tornare per di più” e si riferisce alla nozione di ricevere ricompense per aver fatto qualcosa di utile. L’apprendimento procede quando i premi si verificano in modo imprevedibile e rallenta man mano che i premi diventano sempre più previsti (8). Pertanto, l’apprendimento basato sulla ricompensa dipende dalla discrepanza o “errore” tra la previsione della ricompensa e il suo effettivo verificarsi. Nella loro terza funzione, le ricompense inducono sentimenti soggettivi di piacere (hedonia) e stati emotivi positivi. Questa funzione è difficile da indagare negli animali.

La ridotta neurotrasmissione della dopamina nei pazienti parkinsoniani e negli animali lesionati sperimentalmente è associata a gravi deficit di movimento, motivazione, attenzione e cognizione. Un deficit motivazionale coerente riguarda l’uso delle informazioni sulla ricompensa per l’apprendimento e il mantenimento dell’approccio e del comportamento consumatorio (2, 9). I deficit si verificano principalmente con la distruzione delle proiezioni dai neuroni della dopamina del mesencefalo al nucleo accumbens e, in misura minore, alla corteccia frontale e allo striato (nucleo caudato e putamen). Questi sistemi sono anche coinvolti nelle proprietà di dipendenza delle principali droghe d’abuso, come cocaina, anfetamina, eroina e nicotina.

I corpi cellulari dei neuroni della dopamina del mesencefalo si trovano nei gruppi A8 (dorsale a substantia nigra laterale), A9 (pars compacta di substantia nigra) e A10 (area tegmentale ventrale mediale a substantia nigra). Questi neuroni rilasciano dopamina con impulsi nervosi da varicosità assonali nello striato, nel nucleo accumbens e nella corteccia frontale, per nominare i siti più importanti (Fig. 1). Registriamo l’attività degli impulsi dai corpi cellulari dei singoli neuroni della dopamina durante periodi di 20-60 min con microelettrodi mobili da posizioni extracellulari mentre le scimmie imparano ed eseguono compiti comportamentali. I neuroni sono facilmente distinguibili dagli altri neuroni del mesencefalo per i loro caratteristici impulsi polifasici relativamente lunghi scaricati a basse frequenze.

Non riusciamo costantemente a trovare covariazioni chiare con i movimenti. Al contrario, i neuroni della dopamina mostrano attivazioni fasiche dopo eventi correlati alla ricompensa e determinati stimoli che inducono l’attenzione della modalità somatosensoriale, visiva e uditiva (5, 10, 12). Queste risposte si verificano in modo molto simile nel 60-80% dei neuroni nei gruppi A8, A9 e A10 in una serie di situazioni comportamentali, mentre i restanti neuroni della dopamina non rispondono affatto. Le situazioni testate includono il condizionamento classico, varie attività di tempo di reazione semplice e scelta, attività go-no go dirette e ritardate, attività di risposta ritardata spaziale, alternanza ritardata spaziale, discriminazione visiva e movimenti auto-iniziati. I neuroni rispondono leggermente di più nelle regioni del mesencefalo mediale, come l’area tegmentale ventrale e la substantia nigra mediale, rispetto a regioni più laterali, una differenza che occasionalmente raggiunge la significatività statistica. Le attivazioni si verificano con latenze simili (50-110 ms) e durate (<200 ms) dopo ricompense alimentari e fluide, stimoli condizionati e stimoli che inducono l’attenzione. Quindi la risposta della dopamina costituisce un segnale di popolazione relativamente omogeneo e scalare che viene classificato dalla grandezza della risposta dei singoli neuroni e dalle frazioni di neuroni che rispondono.

Le attivazioni fasiche si verificano quando gli animali toccano un boccone di cibo nascosto o quando gocce di liquido vengono consegnate alla bocca al di fuori dei compiti comportamentali o durante l’apprendimento (Fig. 2, in alto). I neuroni della dopamina distinguono i premi dagli oggetti non retrivi, ma non sembrano discriminare tra diversi oggetti alimentari o ricompense liquide. Solo alcuni mostrano le attivazioni fasiche dopo stimoli avversi primari, come soffi d’aria non fastidiosi alla mano o soluzione salina ipertonica alla bocca (7). Questi stimoli sono avversivi perché interrompono il comportamento e inducono reazioni di evitamento attive.

La maggior parte dei neuroni della dopamina sono anche attivati da stimoli visivi e uditivi condizionati che sono diventati validi predittori di ricompensa attraverso l’associazione ripetuta e contingente con ricompense in procedure di condizionamento operante o classica (Fig. 2, mezzo). Al contrario, solo pochi neuroni della dopamina sono attivati gradualmente da stimoli visivi o uditivi appresi in attività di evitamento attivo in cui gli animali rilasciano una chiave per evitare un soffio d’aria o una goccia di soluzione salina ipertonica.

In concomitanza con lo sviluppo della risposta della dopamina agli stimoli di previsione della ricompensa durante l’apprendimento, la risposta alla ricompensa prevista stessa viene persa, come se la risposta venisse trasferita dalla ricompensa allo stimolo di previsione della ricompensa (Fig. 2, superiore contro medio). Ciò si osserva quando i premi gratuiti vengono consegnati al di fuori dei compiti comportamentali e vengono predetti da stimoli condizionati attraverso l’apprendimento o quando i premi si verificano sorprendentemente durante le singole fasi di apprendimento e vengono predetti quando una fase è completamente acquisita. Quindi i premi sono efficaci solo nell’attivare i neuroni della dopamina quando non sono previsti dagli stimoli fasici.

I neuroni della dopamina hanno una capacità limitata di discriminare tra stimoli appetitivi e neutri o avversivi. Solo gli stimoli che sono fisicamente sufficientemente dissimili sono ben discriminati. Gli stimoli che non prevedono esplicitamente le ricompense ma assomigliano fisicamente agli stimoli che prevedono la ricompensa inducono piccole attivazioni seguite da depressioni in una frazione limitata di neuroni.

I neuroni della dopamina sono depressi al momento abituale della ricompensa quando una ricompensa prevista non si verifica dopo un errore dell’animale, trattenuta dallo sperimentatore o consegna ritardata (Fig. 2, in basso). La depressione si verifica in assenza di uno stimolo immediatamente precedente la ricompensa omessa. Ciò riflette un processo di aspettativa basato su un orologio interno che riguarda l’ora precisa della ricompensa prevista. D’altra parte, un’attivazione segue la ricompensa quando questa viene presentata in un momento diverso da quello previsto (Fig. 3). Questi dati suggeriscono che la previsione che influenza i neuroni della dopamina riguarda sia l’occorrenza che il tempo della ricompensa.

Stimoli che inducono l’attenzione, come stimoli nuovi o fisicamente intensi non necessariamente correlati alle ricompense, suscitano attivazioni nei neuroni della dopamina che sono spesso seguiti da depressioni. Le risposte alla novità diminuiscono insieme alle reazioni di orientamento comportamentale dopo diverse ripetizioni di stimolo, la durata è più lunga con stimoli fisicamente più salienti. Stimoli intensi, come clic forti o immagini di grandi dimensioni immediatamente davanti a un animale, suscitano risposte forti che inducono ancora attivazioni misurabili dopo >1.000 prove. Tuttavia, le risposte a stimoli nuovi o intensi diminuiscono rapidamente durante il condizionamento del comportamento di evitamento attivo. Questi dati suggeriscono che i neuroni della dopamina non sono guidati esclusivamente da stimoli legati alla ricompensa, ma sono anche influenzati da stimoli che inducono l’attenzione.

Presi insieme, la maggior parte dei neuroni della dopamina mostra attivazioni fasiche dopo ricompense alimentari e fluide e dopo stimoli condizionati e premianti. Mostrano risposte bifasiche di attivazione-depressione dopo stimoli che assomigliano a stimoli che prevedono la ricompensa o sono nuovi o particolarmente salienti. Tuttavia, solo poche attivazioni fasiche seguono stimoli avversivi. Così i neuroni della dopamina etichettano gli stimoli ambientali con un “tag” appetitoso, predicono e rilevano i premi e segnalano eventi di allarme e motivanti.

Tutte le risposte alle ricompense e agli stimoli di previsione della ricompensa dipendono dalla prevedibilità dell’evento che riguarda il momento preciso della ricompensa. Il contesto ambientale più tonico che prevede la ricompensa in cui si verifica una ricompensa non sembra influenzare i neuroni della dopamina. La risposta alla ricompensa della dopamina sembra indicare in che misura una ricompensa si verifica in modo diverso rispetto al previsto, definito un “errore” nella previsione della ricompensa. Quindi i neuroni della dopamina riportano ricompense relative alla loro previsione, piuttosto che segnalare ricompense incondizionatamente. Sembrano essere rivelatori di funzionalità per la bontà degli eventi ambientali relativi alla previsione, attivati da eventi gratificanti migliori del previsto, rimanendo non influenzati da eventi buoni come previsto e depressi da eventi peggiori del previsto (Fig. 2). Tuttavia, non riescono a discriminare tra le diverse ricompense e quindi sembrano emettere un messaggio di avviso sulla sorprendente presenza o assenza di ricompense senza indicare la natura particolare di ciascuna ricompensa. Elaborano il tempo e la previsione delle ricompense ma non la natura della ricompensa particolare.

Uso potenziale del segnale di errore di previsione della ricompensa

La risposta moderatamente scoppiante, di breve durata, quasi sincrona della maggior parte dei neuroni della dopamina porta a un rilascio ottimale e simultaneo di dopamina dalla maggior parte delle varicosità ravvicinate nello striato e nella corteccia frontale. Il breve soffio di dopamina raggiunge rapidamente concentrazioni omogenee a livello regionale che possono influenzare i dendriti di probabilmente tutti i neuroni striatali e molti corticali. In questo modo, il messaggio di errore di previsione della ricompensa nel 60-80% dei neuroni della dopamina viene trasmesso come un segnale di rinforzo divergente, piuttosto globale allo striato, al nucleo accumbens e alla corteccia frontale, influenzando gradualmente un numero massimo di sinapsi coinvolte nell’elaborazione di stimoli e azioni che portano alla ricompensa. La riduzione del rilascio di dopamina indotta da depressioni con ricompense omesse ridurrebbe la stimolazione tonica dei recettori della dopamina da parte della dopamina ambientale.

La disposizione di base delle influenze sinaptiche dei neuroni della dopamina sui neuroni della corteccia striatale e frontale consiste in una triade comprendente spine dendritiche, terminali corticali eccitatori sulla punta delle spine dendritiche e varicosità della dopamina che contattano le stesse spine dendritiche (Fig. 4). Ogni neurone spinoso striatale di medie dimensioni riceve ~ 1.000 sinapsi dopaminergiche alle sue spine dendritiche e ~ 5.000 sinapsi corticali. Questa disposizione consentirebbe ai neuroni della dopamina di influenzare gli effetti sinaptici degli input corticali ai neuroni striatali. La dopamina rilasciata può agire sui neuroni striatali e corticali in diversi modi possibili. 1) L’effetto immediato può consistere in un cambiamento della neurotrasmissione corticostriatale. Ciò modificherebbe le informazioni circolanti nei gangli cortico-basali e influenzerebbe i neuroni nelle strutture corticali coinvolte nella strutturazione dell’output comportamentale. 2) Il corso di tempo relativamente lento dell’azione della membrana della dopamina può lasciare una breve traccia dell’evento di ricompensa e influenzare tutte le attività successive per un breve periodo. 3) La potenziale plasticità dipendente dalla dopamina nello striato e le forme osservate di risposte dopaminergiche possono indurre cambiamenti plastici nelle sinapsi striatali e corticali simultaneamente attivati dagli eventi che portano alla ricompensa.

In un modello di influenze dopaminergiche sulla neurotrasmissione striatale, A e B sono input che contattano separatamente le spine dendritiche di un neurone striatale I (Fig. 4). I pesi sinaptici A → I e B → I sono modificabili Hebbian a breve o lungo termine. Le stesse spine vengono contattate indiscriminatamente dal segnale di errore di previsione della ricompensa globale dall’ingresso della dopamina X. Sia il neurone X che il neurone A, ma non il neurone B, vengono attivati quando si incontra un segnale correlato alla ricompensa. Neuron X trasmette il messaggio che si è verificato un evento gratificante senza fornire dettagli specifici, mentre neuron A invia un messaggio su uno dei numerosi aspetti dettagliati dell’evento correlato alla ricompensa, come colore, consistenza, posizione, ambiente, ecc. dello stimolo o può codificare un movimento che porta ad ottenere la ricompensa. I pesi delle sinapsi striatali potrebbero essere modificati in base alla regola di apprendimento Δω = ϵ• r•i•o, dove ω è peso sinaptico, ϵ è costante di apprendimento, r è segnale di errore di predizione della dopamina, i è attivazione di input e o è attivazione del neurone striatale. Quindi, attraverso la simultaneità o quasi simultaneità dell’attività in A e X, l’attività del neurone X può indurre un cambiamento nella neurotrasmissione alla sinapsi attiva A → I, ma lasciare invariata la neurotrasmissione inattiva B → I. Nel caso di cambiamenti duraturi nella trasmissione sinaptica, il successivo input dal neurone A porterebbe ad un aumento della risposta nel neurone I, mentre l’input dal neurone B porta ad una risposta invariata nel neurone I. Pertanto, i cambiamenti sinaptici della neurotrasmissione A → I e B → I sono condizionati dal fatto che il neurone della dopamina X è

La risposta alla dopamina che codifica un errore nella previsione della ricompensa assomiglia in tutti gli aspetti principali al segnale di rinforzo di una classe particolarmente efficace di modelli di rinforzo che incorporano algoritmi di differenza temporale (6, 13, 15). Si basano su teorie di apprendimento comportamentale che presuppongono che l’apprendimento dipenda in modo cruciale dalla discrepanza o dall’errore tra la previsione del rinforzo e il suo effettivo verificarsi (1, 8). In questi modelli, un modulo critic genera un segnale di rinforzo globale e lo invia al modulo actor che apprende ed esegue l’output comportamentale. L’architettura critico-attore assomiglia molto alla connettività dei gangli della base, inclusa la proiezione della dopamina allo striato e la proiezione striatonigrale reciproca. I modelli che utilizzano algoritmi di differenza temporale imparano un’ampia varietà di compiti comportamentali, che vanno dal bilanciamento di un palo su una ruota del carrello alla riproduzione di backgammon di livello mondiale (per riferimenti, vedere Ref. 11). I robot che usano algoritmi di differenza temporale imparano a muoversi nello spazio bidimensionale ed evitare ostacoli, raggiungere e afferrare o inserire un piolo in un buco. I modelli di differenza temporale ispirati da neurobiologia replicano il comportamento di foraggiamento delle api da miele, simulano il processo decisionale umano e apprendono le reazioni di orientamento, i movimenti oculari, i movimenti sequenziali e le attività spaziali a risposta ritardata. È particolarmente interessante vedere che i segnali di insegnamento che utilizzano errori di previsione si traducono in un apprendimento più rapido e completo, rispetto ai segnali di rinforzo incondizionati.

Conclusioni ed estensioni

L’indagine sull’attività dei neuroni della dopamina ha portato alla sorprendente scoperta che questi neuroni non sono modulati in relazione ai movimenti, sebbene i movimenti siano carenti nei pazienti parkinsoniani. Piuttosto, i neuroni della dopamina codificano in una forma molto speciale gli aspetti gratificanti degli stimoli ambientali, insieme a determinate caratteristiche che inducono l’attenzione. Le risposte sono suscitate da ricompense primarie (“stimoli incondizionati”), stimoli condizionati che predicono la ricompensa, stimoli simili a stimoli correlati alla ricompensa e stimoli nuovi o intensi. Tuttavia, gli stimoli correlati alla ricompensa vengono segnalati solo quando si verificano in modo diverso dal previsto, la previsione riguardante sia l’evento che il tempo dell’evento. Il messaggio di errore di previsione è un segnale molto potente per dirigere il comportamento e indurre l’apprendimento, secondo le teorie di apprendimento degli animali e i modelli di rinforzo. Tuttavia, il segnale della dopamina non specifica esattamente quale ricompensa si verifica in modo diverso rispetto al previsto o se si tratta davvero di una ricompensa o, piuttosto, di uno stimolo predittivo della ricompensa. Stimoli che assomigliano a ricompense e stimoli nuovi o particolarmente salienti suscitano sequenze di attivazione-depressione che assomigliano alle attivazioni monofasiche suscitate da stimoli imprevedibili legati alla ricompensa. Il segnale della dopamina sembra quindi essere un segnale di allarme prevalentemente di ricompensa, e altri sistemi cerebrali devono elaborare ulteriori informazioni per apprendere le corrette reazioni comportamentali agli stimoli ambientali motivanti.

Le informazioni riguardanti le ricompense alimentari e fluide vengono elaborate anche in strutture cerebrali diverse dai neuroni della dopamina, come lo striato dorsale e ventrale, il nucleo subtalamico, l’amigdala, la corteccia prefrontale dorsolaterale, la corteccia orbitofrontale e la corteccia cingolata anteriore. Tuttavia, queste strutture non sembrano emettere un segnale di errore di previsione della ricompensa globale simile ai neuroni della dopamina. Queste strutture mostrano 1) risposte transitorie dopo la consegna delle ricompense, 2) risposte transitorie a segnali di previsione della ricompensa, 3) attivazioni sostenute durante l’aspettativa di ricompense e 4) modulazioni dell’attività correlata al comportamento da parte delle ricompense previste (per i riferimenti, vedere Rif. 11). Molti di questi neuroni si differenziano bene tra diversi alimenti o ricompense fluide. Così possono elaborare la natura specifica dell’evento gratificante. Alcune risposte di ricompensa dipendono dall’imprevedibilità della ricompensa nell’essere ridotte o assenti quando la ricompensa è prevista da uno stimolo condizionato, sebbene non sia chiaro se segnalino errori di previsione simili ai neuroni della dopamina. Sembra quindi che l’elaborazione di ricompense specifiche per l’apprendimento e il mantenimento del comportamento di approccio trarrebbe forte profitto da una cooperazione tra i neuroni della dopamina che segnalano l’insorgenza o l’omissione imprevista della ricompensa e dei neuroni nelle altre strutture che indicano simultaneamente la natura specifica della ricompensa.

La neurotrasmissione alterata della dopamina con malattia di Parkinson, lesioni sperimentali o trattamento neurolettico è associata a molti deficit comportamentali nel movimento (acinesia, tremore, rigidità), cognizione (attenzione, bradifrenia, pianificazione, apprendimento) e motivazione (riduzione delle risposte emotive, depressione). La maggior parte dei deficit è notevolmente migliorata dalla terapia sistemica del precursore della dopamina o dell’agonista del recettore, che non può in modo semplice ripristinare la trasmissione di informazioni fasiche da parte di impulsi neuronali. Sembra che la neurotrasmissione della dopamina svolga due funzioni separate nel cervello, l’elaborazione fasica di informazioni appetitive e di allarme e l’abilitazione tonica di una grande varietà di processi motori, cognitivi e motivazionali senza codifica temporale (11). La funzione della dopamina tonica si basa su concentrazioni di dopamina extracellulare basse e sostenute nello striato (5-10 nM) e in altre aree innervate dalla dopamina. La concentrazione di dopamina ambientale è regolata localmente all’interno di un intervallo ristretto da impulsi spontanei, overflow sinaptico, trasporto di ricaptazione, metabolismo, rilascio e sintesi controllati da autorecettori e interazione del trasmettitore presinaptico. La stimolazione tonica dei recettori della dopamina non dovrebbe essere né troppo bassa né troppo alta per una funzione ottimale di una data regione cerebrale. Altri neurotrasmettitori esistono in concentrazioni ambientali similmente basse, come il glutammato nello striato, la corteccia cerebrale, l’ippocampo e il cervelletto, l’aspartato e il GABA nello striato e nella corteccia frontale e l’adenosina nell’ippocampo. I neuroni in molte strutture cerebrali sono apparentemente immersi in una” zuppa ” di neurotrasmettitori che hanno potenti effetti fisiologici specifici sull’eccitabilità neuronale. Data l’importanza generale delle concentrazioni extracellulari toniche dei neurotrasmettitori, sembra che l’ampia gamma di sintomi parkinsoniani non sarebbe causata da una trasmissione carente di informazioni sulla ricompensa da parte dei neuroni della dopamina, ma rifletterebbe un malfunzionamento dei neuroni striatali e corticali causato da una compromissione dell’abilitazione da parte della dopamina ambientale ridotta. I neuroni della dopamina non sarebbero attivamente coinvolti nell’ampia gamma di processi carenti nel parkinsonismo, ma fornirebbero l’importante concentrazione di fondo di dopamina necessaria per mantenere il corretto funzionamento dei neuroni striatali e corticali coinvolti in questi processi.