도파민, ‘행복 호르몬’에서 ‘정밀 학습 신호’로 

지난해 우리나라를 달군 가장 핫한 트렌드는 바로 ‘도파민’으로 꼽혔다. 서울대학교 트렌드분석센터가 매년 출간하는 ‘트렌드 코리아 2024’에서도 즐거움을 느낄 때 분비되는 도파민과 수집한다는 뜻의 파밍이 합쳐진 ‘도파밍’을 트렌드 키워드로 꼽은 바 있다.

전문가들은 이러한 현상이 끊임없이 새로운 자극과 즐거움을 추구하는 현대인의 행동 패턴에서 나온 것이라고 분석했다. 실제로 도파민은 쾌락이나 즐거움 같은 뇌세포의 흥분을 전달하는 ‘행복 호르몬’이라고도 불린다. 하지만 도파민은 단순히 쾌감을 주는 것 이상으로 뇌 속에서 훨씬 더 정교하고 복잡한 기능을 수행한다. 

강화 학습 이론에 따르면 도파민은 기대했던 보상과 실제로 받은 보상 간의 차이를 신호로 변환해 학습을 유도한다. 대표적인 예로 레버를 누르면 먹이가 나오는 상자 속에서 실험 쥐가 우연히 레버를 눌러 먹이를 받았을 때, 뇌에서는 도파민 분비가 크기 일어난다. 뇌는 시간이 지날수록 이 행동과 보상 간의 연관을 학습하여 행동에 대한 기대 보상을 내재화하게 된다. 자발적 행동이 보상이나 처벌의 결과에 따라 어떻게 학습되는지 측정한 ‘스키너 상자’는 강화 학습의 개념을 보여주는 대표적인 예다.

하지만 언어 표현이나 음악 연구처럼 고도로 복잡한 기술은 명확한 외적 보상이 없어도 습득할 수 있으며, 이러한 자발적인 실행 자체가 일종의 내재적 보상으로 작용한다고 알려져 있다. 또, 이처럼 보상이 주어지지 않아도 반복을 통해 행동이 정교화되는 과정에서 과연 도파민이 여전히 학습을 유도하는 핵심 신경신호로 작용하는지는 신경과학계에서 미해결의 질문으로 남아 있었다. 

학습의 내재적 동기를 추적하다

최근 듀크대학교 연구진이 국제 학술지 Nature에 발표한 연구는 명확한 보상이 없는 학습에도 도파민이 관련되는지에 대한 물음에 중요한 답을 제시했다. 

연구팀은 어린 얼룩말핀치(Zebra finch)가 성체의 노래를 모방하고 점점 정교화해 가는 과정을 분석해 외적 보상이 없는 자발적 학습에서도 도파민이 행동의 질을 세밀하게 추적하며, 학습을 유도하는 핵심 신경신호로 작용한다는 사실을 밝혔다. 특히 노래의 각 음절이 얼마나 성숙한지에 따라 도파민 분비량이 실시간으로 달라지는 현상이 확인되었으며, 이는 도파민이 ‘내재적 평가자’로서 기능함을 보여주었다.

노래의 구성 음절들은 시간에 따라 점진적으로 성숙해졌으며, 그 성숙도를 정량화한 지표(Predicted Age, PA)는 실제 생후 일수와 높은 상관을 보였다. 그리고 도파민 신호는 각 노래 음절의 성숙도가 높을 때 유의미하게 증가했으며, 이전보다 더 미숙한 음절을 부를 경우 도파민 방출량이 감소하는 경향을 나타냈다.

공동 저자인 존 피어슨(John Pearson) 듀크대학교 생물정보학과 교수는 “우리는 도파민이 단순히 보상의 존재를 나타내는 것이 아니라, 행동의 질을 실시간으로 추적하는 정교한 신호임을 확인했다”고 밝혔다.

이 연구는 도파민의 역할을 단순한 보상 신호 전달자에서 ‘자발적 학습의 정밀한 조율자’로 재정의하며, 뇌가 어떻게 외적 자극 없이도 행동을 정제하고 학습하는지를 설명하는 데 결정적인 단서를 제공했다. 

도파민은 어디서 오는가

흥미로운 사실은 도파민 방출이 고전적 도파민 뉴런에서만 기원한 것이 아니라는 점이다. 

도파민은 뇌 깊숙한 중뇌의 복측 피개영역(VTA)에서 만들어져 학습이나 동기와 관련된 여러 뇌 부위로 전달된다고 알려져 있다. 그런데 이번 연구는 도파민이 단지 이 고전적인 경로만으로 조절되는 것이 아님을 확인했다. 연구진은 새가 노래를 할 때 노래의 리듬과 구조를 계획하는 전운동 피질 영역인 HVC(high vocal center)의 신호도 도파민 분비를 촉진한다는 사실을 밝혀냈다.

어떻게 이런 일이 가능할까? 그 열쇠는 ‘아세틸콜린’이라는 또 다른 신경전달물질에 있었다. 

HVC에서 나온 신호는 기저핵 내에 있는 콜린성 뉴런을 자극해 아세틸콜린을 분비하게 하고, 이 물질이 다시 도파민 말단의 니코틴성 수용체를 자극하여 도파민을 방출시킨다. 즉, HVC → 아세틸콜린 → 도파민이라는 우회 경로가 존재하는 셈이다.

이 경로의 존재는 약물 실험에서도 확인됐다. 아세틸콜린 수용체를 억제하는 약물(DHβE)을 새의 뇌에 투여하자 도파민 방출이 뚜렷하게 줄었고, 노래 학습 능력도 함께 떨어졌다. 이는 도파민이 언제, 얼마나 분비되는지가 아세틸콜린 신호에 의해 조율된다는 결정적 증거다.

도파민과 아세틸콜린의 기능적 분화

한편, 도파민과 아세틸콜린는 모두 노래 중 증가하는 신경전달물질이지만, 학습과 관련된 기능은 전혀 다른 것으로 나타났다. 

실험에 따르면 도파민은 노래가 얼마나 잘 불렸는지, 즉 음절 하나하나의 '성숙도'와 매우 밀접하게 연결되어 있다. 반면, 아세틸콜린은 단순히 노래를 시작할 때 함께 나오는 배경 신호일 뿐, 노래의 질적 평가에는 반응하지 않는다. 

리처드 무니(Richard Mooney) 듀크대학교 신경생물학과 교수는 “도파민이 수행 결과를 민감하게 추적하는 ‘학습 피드백 신호’로 기능하고, 아세틸콜린은 도파민을 조절하는 ‘환경 설정자’ 역할을 한다는 점을 보여준다.”고 말했다. 또한, “노래를 잘 부른다는 것은 단지 근육을 잘 쓰는 것이 아니라 뇌가 그 질을 평가하고 신경회로를 점진적으로 수정한다는 것을 의미한다.”고 덧붙였다. 

이번 연구는 인간의 언어 및 음악 학습, 그리고 내재적 동기에 의한 기술 습득 메커니즘을 이해하는 데 중요한 기초를 제공하며, 향후 자율 학습형 인공지능 모델 개발에도 시사점을 줄 수 있을 것으로 예상된다.