중뇌 도파민 뉴런의 보상 신호

다세포 유기체가 자기 재생 분자의 진화를 통해 발생했을 때,그들은 복지와 생존에 대한 요구가 충족되었음을 보장하는 내인성,자가 조절 메커니즘을 개발했다. 피험자는 항상성 균형을 유지하고 자신을 재현하기위한 자원을 얻기 위해 다양한 형태의 접근 행동에 참여합니다. 이러한 생물 자원은 접근 행동을 유도하고 강화하기 때문에”보람있는”기능을 가지고 있다고합니다. 처음에는 생물학적 요구와 관련이 있지만,보다 정교한 형태의 개인 및 사회적 행동을 지원하기 위해 고등 포유류의 진화 과정에서 보상이 더욱 발전했습니다. 더 높은 형태의 보상은 종종인지 적 표현을 기반으로하며,참신함,도전,찬사,권력,돈,영토 및 안전과 같은 대상과 구조에 관한 것입니다. 따라서 생물학적 및인지 적 요구는 보상의 본질을 정의하고 보상의 가용성은 피험자의 생활 조건의 기본 매개 변수 중 일부를 결정합니다.

보상에는 세 가지 기본 기능이 있습니다(1). 첫째,그들은 접근 방식과 완전한 행동을 이끌어 내고 자발적인 행동의 목표로 삼습니다. 그렇게함으로써 그들은 진행중인 행동을 중단하고 행동 행동의 우선 순위를 변경합니다. 둘째,보상에는 긍정적 인 강화 효과가 있습니다. 그들은 그러한 대상(학습)으로 이어지는 행동의 빈도와 강도를 증가시키고 멸종을 방지함으로써 학습 된 행동을 유지합니다. 이 기능은”더 많은 것을 위해 돌아 오는 것”의 본질을 구성하며 유용한 일을 한 것에 대한 보상을받는 개념과 관련이 있습니다. 학습은 보상이 예측할 수 없을 때 진행되고 보상이 점점 더 예측 될 때 느려집니다(8). 따라서 보상 기반 학습은 보상 예측과 실제 발생 사이의 불일치 또는”오류”에 따라 다릅니다. 세 번째 기능에서 보상은 주관적인 쾌락(헤 도니아)과 긍정적 인 감정 상태를 유도합니다. 이 기능은 동물에서 조사하기 어렵습니다.

파킨슨 병 환자와 실험적으로 병변이있는 동물의 도파민 신경 전달 감소는 운동,동기 부여,주의력 및인지의 심각한 결핍과 관련이 있습니다. 하나의 일관된 동기 부여 적자는 접근 방식과 완전한 행동을 배우고 유지하기위한 보상 정보의 사용과 관련이 있습니다(2,9). 결손은 주로 중뇌 도파민 뉴런에서 중뇌 도파민 뉴런으로,그리고 더 적은 정도로 전두엽 피질과 선조체(꼬리 핵과 푸타멘)로의 돌기가 파괴 될 때 발생합니다. 이러한 시스템은 코카인,암페타민,헤로인 및 니코틴과 같은 주요 남용 약물의 중독성에도 관여합니다.

중뇌 도파민 뉴런의 세포체는 그룹에 있습니다. 이 뉴런은 선조체,중핵 및 전두엽 피질의 축삭 정맥류에서 신경 자극으로 도파민을 방출하여 가장 중요한 부위를 명명합니다(그림 1). 1). 우리 원숭이 학습 하 고 행동 작업을 수행 하는 동안 세포 외 위치에서 움직일 수 있는 마이크로 전극을 가진 20-60 분의 기간 동안 단일 도파민 뉴런의 세포 시체에서 충 동 활동을 기록 합니다. 뉴런은 낮은 주파수에서 방출되는 특징적인 다상,비교적 긴 충동에 의해 다른 중뇌 뉴런과 쉽게 구별 할 수 있습니다.

우리는 지속적으로 운동과 명확한 공변량을 찾을 수 없습니다. 대조적으로,도파민 뉴런은 보상 관련 사건 및 체성 감각,시각 및 청각 양식의 특정주의 유도 자극 후 위상 활성화를 보여줍니다(5,10,12). 이러한 반응은 그룹의 뉴런의 60-80%에서 매우 유사한 방식으로 발생합니다. 테스트 상황은 고전 컨디셔닝,다양한 간단하고 선택 반응 시간 작업,직접 및 지연 이동-아니 이동 작업,공간 지연 응답 작업,공간 지연 교대,시각적 차별,자기 시작 움직임을 포함한다. 뉴런은 복부 기피 영역 및 내측 흑질과 같은 내측 중뇌 영역에서 약간 더 반응하며,더 많은 측면 영역과 비교하여 때때로 통계적 유의성에 도달하는 차이입니다. 활성화는 음식 및 유체 보상,조건 자극 및주의 유도 자극 후 유사한 대기 시간(50-110 밀리 초)및 기간(<200 밀리 초)으로 발생합니다. 따라서 도파민 반응은 개별 뉴런의 응답 크기 및 응답하는 뉴런의 분수에 의해 등급이 매겨지는 비교적 균질 한 스칼라 인구 신호를 구성합니다.

단계적 활성화는 동물이 숨겨진 음식물을 만지거나 행동 과제의 외부 또는 학습 중에 액체 방울이 입으로 전달 될 때 발생합니다(그림 1). 2,상단). 도파민 뉴런은 보상을 비 상향 개체와 구별하지만 다른 음식 개체 또는 액체 보상을 차별하는 것처럼 보이지는 않습니다. 손으로의 무독성 공기 퍼프 또는 입에 대한 고혈압 식염수와 같은 1 차 혐오 자극 후 몇 가지 단계적 활성화를 보여줍니다(7). 이러한 자극은 행동을 방해하고 적극적인 회피 반응을 유도하기 때문에 혐오합니다.

대부분의 도파민 뉴런은 또한 조작 적 또는 고전적 컨디셔닝 절차에서 보상과 반복되고 우발적 인 페어링을 통해 유효한 보상 예측 인자가 된 조건화 된 시각 및 청각 자극에 의해 활성화됩니다(그림 1). 2,중간). 대조적으로,단지 몇 도파민 뉴런은 동물이 공기 퍼프 또는 고장 성 식염수 한 방울을 피하기 위해 열쇠를 방출하는 활동적인 회피 작업에서 학습 된 시각 또는 청각 자극에 의해 단계적으로 활성화됩니다.

학습 중 보상 예측 자극에 대한 도파민 반응의 발달과 동시에,예측 된 보상 자체에 대한 반응은 마치 반응이 보상으로부터 보상 예측 자극으로 전달되는 것처럼 손실된다(그림 1). 2,상단 대 중간). 이것은 무료 보상이 행동 과제 외부에 전달되고 학습을 통해 조건화 된 자극에 의해 예측되거나 개별 학습 단계에서 보상이 놀랍게도 발생하고 단계가 완전히 획득 될 때 예측 될 때 관찰됩니다. 따라서 보상은 위상 자극에 의해 예측되지 않을 때 도파민 뉴런을 활성화시키는 데에만 효과적입니다.

도파민 뉴런은 식욕을 돋우는 자극과 중성 또는 혐오적인 자극을 구별 할 수있는 능력이 제한적입니다. 육체적으로 충분히 비슷하지 않은 자극 만 잘 차별됩니다. 명시 적으로 보상을 예측하지 않지만 물리적으로 보상을 닮은 자극-예측 자극은 뉴런의 제한된 부분에서 우울증 다음에 작은 활성화를 유도한다.

도파민 뉴런은 동물의 오류,실험자에 의한 원천 징수 또는 지연된 전달 후 예측 된 보상이 발생하지 않을 때 보상의 습관적 시간에 우울해진다(그림 1). 2,바닥). 우울증은 생략 된 보상 직전의 자극이 없을 때 발생합니다. 이는 예측 보상의 정확한 시간과 관련된 내부 시계를 기반으로 한 기대 프로세스를 반영합니다. 다른 한편으로,활성화는 이것이 예측 된 것과 다른 시간에 제시 될 때 보상을 따른다(그림 1). 3). 이 데이터는 도파민 뉴런에 영향을 미치는 예측이 보상의 발생과 시간 모두에 관한 것임을 시사합니다.

반드시 보상과 관련이없는 새로운 자극 또는 신체적으로 강렬한 자극과 같은주의 유도 자극은 종종 우울증이 뒤 따르는 도파민 뉴런에서 활성화를 유도합니다. 참신 반응은 여러 자극 반복 후 행동 지향 반응과 함께 가라 앉으며,지속 시간은 육체적으로 더 두드러진 자극으로 길어집니다. 동물 바로 앞에있는 큰 클릭이나 큰 그림과 같은 강렬한 자극은>1,000 번의 실험 후에도 여전히 측정 가능한 활성화를 유도하는 강력한 반응을 유도합니다. 그러나 소설이나 강렬한 자극에 대한 반응은 적극적인 회피 행동을 조절하는 동안 빠르게 가라 앉습니다. 이러한 데이터는 도파민 뉴런이 보상 관련 자극에 의해 독점적으로 구동되는 것이 아니라주의 유도 자극에 의해서도 영향을 받는다는 것을 시사합니다.

대부분의 도파민 뉴런은 음식과 체액 보상 후,그리고 조절 된 후 자극을 예측 한 후 위상 활성화를 보여줍니다. 그들은 보상 예측 자극과 유사하거나 새롭거나 특히 두드러진 자극 후 2 상 활성화-우울증 반응을 보여줍니다. 그러나,단지 몇 단계적 활성화 혐오 자극을 따릅니다. 따라서 도파민 뉴런은 식욕을 돋우는”태그”로 환경 자극에 라벨을 붙이고 보상을 예측하고 감지하며 경고 및 동기 부여 이벤트를 알립니다.

보상 및 보상 예측 자극에 대한 모든 반응은 정확한 보상 시간과 관련된 사건 예측 가능성에 달려 있습니다. 보상이 발생하는 더 많은 토닉 보상 예측 환경 컨텍스트는 도파민 뉴런에 영향을 미치지 않는 것으로 보입니다. 도파민 보상 반응은 보상이 예측 된 것과 다르게 발생 하는지를 나타내는 것으로 보이며,보상 예측에서”오류”라고 불립니다. 따라서 도파민 뉴런은 무조건 보상을 신호하기보다는 예측에 비해 보상을보고합니다. 그들은 예측에 대한 환경 사건의 선함에 대한 특징 검출기 인 것으로 보이며,예측 된 것보다 더 나은 보람있는 사건에 의해 활성화되고,예측 된만큼 좋은 사건에 의해 영향을받지 않고,예측 된 것보다 더 나쁜 사건에 의해 우울하게된다(그림 1). 2). 그러나,그들은 서로 다른 보상을 차별하지 못하므로 각 보상의 특별한 성격을 나타내지 않고 보상의 놀라운 존재 또는 부재에 대한 경고 메시지를 방출하는 것으로 보입니다. 그들은 보상의 시간과 예측을 처리하지만 특정 보상의 본질은 처리하지 않습니다.

보상 예측 오류 신호의 잠재적 사용

대부분의 도파민 뉴런의 적당히 파열되고 단기간,거의 동기식 반응은 선조체 및 전두엽 피질에서 밀접하게 간격을 둔 정맥류의 대부분에서 최적의 동시 도파민 방출을 유도합니다. 도파민의 짧은 퍼프는 아마도 모든 선조체 및 많은 피질 뉴런의 수상 돌기에 영향을 줄 수있는 지역적으로 균질 한 농도에 빠르게 도달합니다. 이러한 방식으로,도파민 뉴런의 60-80%의 보상 예측 오류 메시지는 선조체,핵 중격체 및 전두엽 피질에 대한 발산,오히려 글로벌 보강 신호로 방송되며,상적으로 자극과 보상으로 이어지는 행동의 처리에 관여하는 최대 시냅스 수에 영향을 미칩니다. 생략 된 보상으로 우울증에 의해 유도 된 도파민 방출의 감소는 주변 도파민에 의한 도파민 수용체의 강장 자극을 감소시킬 것이다.

선조체 및 전두엽 피질 뉴런에 대한 도파민 뉴런의 시냅스 영향의 기본 배열은 수지상 척추,수지상 척추 끝의 흥분성 피질 말단 및 동일한 수지상 척추와 접촉하는 도파민 정맥류를 포함하는 트라이어드로 구성됩니다(그림 1). 4). 모든 중간 크기의 선조체 가시 뉴런은 수지상 척추에서~1,000 개의 도파민 성 시냅스와~5,000 개의 피질 시냅스를받습니다. 이 배열은 도파민 뉴런이 선조체 뉴런에 대한 피질 입력의 시냅스 효과에 영향을 미칠 수있게합니다. 방출 된 도파민은 여러 가지 가능한 방법으로 선조체 및 피질 뉴런에 작용할 수 있습니다. 1)즉각적인 효과는 대뇌 피질 신경 전달의 변화로 구성 될 수 있습니다. 이 피질-기초 신경절 루프에서 순환 하는 정보를 수정 하 고 행동 출력을 구조화에 관련 된 대뇌 피 질의 구조에 신경 세포에 영향을 미칠 것 이다. 2)도파민 막 작용의 비교적 느린 시간 과정은 보상 사건의 짧은 흔적을 남기고 잠시 동안 모든 후속 활동에 영향을 줄 수 있습니다. 3)선조체 및 관찰 된 형태의 도파민 반응에서 잠재적 인 도파민 의존성 가소성은 선조체 및 피질 시냅스에서 플라스틱 변화를 동시에 유도하여 보상을 유도하는 사건에 의해 활성화 될 수 있습니다.

선조체 신경 전달에 대한 도파민 영향 모델에서 ㅏ 과 비 선조체 뉴런의 수지상 등뼈와 별도로 접촉하는 입력입니다. 4). 시냅스의 무게는→B→단기거나 장기 Hebbian 수정할 수 있습니다. 동일한 쪽이 도파민 입력에서 글로벌 보상 예측 오류 신호에 의해 무차별 적으로 접촉됩니다 엑스. 뉴런 엑스 특정 세부 사항을 제공하지 않고 보상 이벤트가 발생했다는 메시지를 전송하는 반면 뉴런 ㅏ 색상,질감,위치,주변 환경 등과 같은 보상 관련 이벤트의 여러 세부 측면 중 하나에 대한 메시지를 보냅니다. 자극의 또는 보상을 얻기로 이어지는 운동을 코딩 할 수 있습니다. 선조체 시냅스의 가중치는 학습 규칙에 따라 수정 될 수 있습니다. 따라서 활동의 동시성 또는 거의 동시성을 통해 ㅏ 과 엑스,뉴런의 활동 엑스 활성에서 신경 전달의 변화를 유도 할 수 있습니다. 시냅스 전달의 지속적인 변화의 경우,뉴런으로부터의 후속 입력은 뉴런 1 에서 증가 된 반응을 유도하는 반면,뉴런으로부터의 입력은 뉴런 1 에서 변하지 않은 반응을 유도한다.

보상 예측의 오류를 코딩하는 도파민 반응은 모든 주요 측면에서 시간적 차이 알고리즘(6,13,15)을 통합하는 특히 효과적인 보강 모델 클래스의 보강 신호와 유사합니다. 그들은 학습이 보강 예측과 실제 발생 사이의 불일치 또는 오류에 결정적으로 의존한다고 가정하는 행동 학습 이론을 기반으로합니다(1,8). 이 모델에서 비평가 모듈은 전역 강화 신호를 생성하여 행동 출력을 학습하고 실행하는 행위자 모듈로 보냅니다. 비평가-배우 아키텍처는 선조체에 대한 도파민 투영과 상호 선조 돌기를 포함하여 기저핵의 연결성과 밀접한 관련이 있습니다. 시간적 차이 알고리즘을 사용하는 모델은 카트 휠의 폴 밸런싱에서 세계적 수준의 주사위 놀이(참조 참조)에 이르기까지 다양한 행동 작업을 학습합니다. 11). 시간적 차이 알고리즘을 사용하는 로봇은 약 2 차원 공간을 이동하고 장애물을 피하고 도달 및 파악하거나 구멍에 말뚝을 삽입하는 법을 배웁니다. 신경 생물학적으로 영감을 시간적 차이 모델 꿀벌의 꼴 동작을 복제,인간의 의사 결정을 시뮬레이션 하 고 방향 반응,눈 움직임,순차적인 움직임 및 공간 지연 응답 작업을 배울. 예측 오류를 사용하여 신호를 가르치는 것이 무조건적인 보강 신호와 비교하여 더 빠르고 완전한 학습을 초래한다는 것을 보는 것은 특히 흥미 롭습니다.

결론 및 확장

도파민 뉴런의 활동의 조사 결과 이러한 뉴런 운동 관련 변조 되지 않습니다 놀라운 발견 운동 파킨슨증 환자에서 부족 하지만. 오히려 도파민 뉴런은 특정주의 유도 특성과 함께 환경 자극의 보람있는 측면을 매우 특별한 형태로 코딩합니다. 반응은 1 차 보상(“무조건 자극”),조건 보상 예측 자극,보상 관련 자극과 유사한 자극 및 신규 또는 강렬한 자극에 의해 유도됩니다. 그러나 보상 관련 자극은 예측 된 것과 다르게 발생할 때만 보고되며,사건의 발생 및 시간에 관한 예측입니다. 예측 오류 메시지는 동물 학습 이론 및 강화 모델에 따라 행동을 지시하고 학습을 유도하는 매우 강력한 신호입니다. 그러나 도파민 신호는 예측 된 것과 다르게 발생하는 보상인지 또는 실제로 보상인지 또는 오히려 보상 예측 자극인지를 정확히 지정하지 않습니다. 보상과 소설 또는 특히 두드러진 자극을 닮은 자극은 예기치 않은 보상 관련 자극에 의해 유도 된 단상 활성화를 닮은 활성화-우울증 시퀀스를 유도합니다. 따라서 도파민 신호는 주로 보상 경고 신호로 보이며 다른 뇌 시스템은 환경 자극에 대한 올바른 행동 반응을 배우기위한 추가 정보를 처리해야합니다.

음식 및 체액 보상에 관한 정보는 도파민 뉴런 이외의 뇌 구조(예:등 및 복부 선조체,시상 하 핵,편도체,등측 전두엽 피질,안와 전두엽 피질 및 전두엽 피질)에서 처리됩니다. 그러나 이러한 구조는 도파민 뉴런과 유사한 글로벌 보상 예측 오류 신호를 방출하지 않는 것으로 보입니다. 이러한 구조는 1)보상의 전달 후 일시적인 응답,2)보상 예측 단서에 대한 일시적인 응답,3)보상의 기대 기간 동안 지속적인 활성화 및 4)예측 된 보상에 의한 행동 관련 활동의 변조를 보여줍니다(참고 문헌은 참조 참조. 11). 이 뉴런 중 많은 부분이 다른 음식이나 액체 보상을 잘 구분합니다. 따라서 그들은 보람 있는 이벤트의 특정 성격을 처리할 수 있습니다. 일부 보상 응답 감소 되 고 또는 결 석 보상 조건된 자극에 의해 예측 될 때 그들은 도파민 뉴런과 유사한 예측 오류 신호 여부 불분명 하지만 보상 예측 불가능성에 따라 달라 집니다. 따라서 학습 및 접근 동작을 유지 하는 것에 대 한 특정 보상의 처리 예측된 발생 또는 보상의 누락과 동시에 보상의 특정 성격을 나타내는 다른 구조에 뉴런 신호 도파민 신경 세포 사이의 협력에서 강하게 이익이 될 것 이라고 나타납니다.

파킨슨 병,실험적 병변 또는 신경 이완제 치료로 인한 도파민 신경 전달 장애는 운동(운동 장애,떨림,경직),인지(주의력,브래디 프레 니아,계획,학습)및 동기 부여(감정적 반응 감소,우울증). 대부분의 결함은 전신 도파민 전구체 또는 수용체 작용제 요법에 의해 상당히 개선되며,이는 간단한 방식으로 신경 자극에 의한 위상 정보 전송을 회복시킬 수 없습니다. 도파민 신경 전달은 뇌에서 두 개의 분리 된 기능,식욕을 돋우고 경고하는 정보의 위상 처리 및 시간적 코딩없이 다양한 운동,인지 및 동기 부여 과정을 가능하게하는 강장제를 재생하는 것으로 보입니다(11). 강장 도파민 기능은 선조체(5-10 나노 미터)및 기타 도파민-신경 자극 영역에서 낮고 지속적인 세포 외 도파민 농도를 기반으로합니다. 주변 도파민 농도는 자발적인 충동,시냅스 오버플로,재 흡수 수송,신진 대사,자가 수용체 조절 방출 및 합성,시냅스 전 송신기 상호 작용에 의해 좁은 범위 내에서 국소 적으로 조절됩니다. 도파민 수용체의 강장제 자극은 주어진 뇌 영역의 최적 기능을 위해 너무 낮거나 너무 높지 않아야합니다. 다른 신경 전달 물질은 선조체,대뇌 피질,해마 및 소뇌의 글루타메이트,선조체 및 전두엽 피질의 아스파 테이트 및 가바,해마의 아데노신과 같이 유사하게 낮은 주변 농도로 존재합니다. 많은 두뇌 구조에 있는 신경은 신경원 흥분성에 대한 강력한,특정한 생리적인 효력이 있는 신경전달물질의”수프”에서 명백하게 입욕됩니다. 신경 전달 물질의 토 닉 세포 외 농도의 일반적인 중요성을 감안할 때,그것은 다양 한 파킨슨증 증상 도파민 뉴런에 의해 보상 정보의 부족 한 전송에 의해 발생 되지 않을 것 이라고 하지만 선조체와 대뇌 피 질 신경 감소 주위 도파민에 의해 사용 하는 장애에 의해 발생 하는 오작동을 반영할 것 이다 나타납니다. 도파민 뉴런은 파킨슨증 결핍 과정의 넓은 범위에 적극적으로 관여하지 않을 것이지만,이러한 과정에 관여하는 선조체 및 피질 뉴런의 적절한 기능을 유지하는 데 필요한 도파민의 중요한 배경 농도를 제공 할 것입니다.