챗GPT(ChatGPT) 같은 거대언어모델(LLM) 인공지능이 일명 '마음 이론'(Theory of Mind)으로 알려진 다른 사람의 마음을 읽는 능력에서도 사람과 비슷하거나 능가하는 수준에 도달했다는 연구 결과가 나왔다.

독일 함부르크-에펜도르프 대학 메디컬 센터 제임스 스트라찬 박사가 이끄는 국제연구팀은 21일 과학 저널 네이처 인간 행동(Nature Human Behaviour)에서 LLM 모델인 챗GPT와 LLaMA2가 다른 사람의 정신 상태를 추적하는 능력 테스트에서 인간과 유사하거나 능가하는 성능을 보였다고 밝혔다.

다른 사람의 의도를 파악하는 '인지적 공감'으로도 불리는 마음 이론은 사회적 상호작용의 핵심 요소이며 소통과 공감 경험에 필수적이다. 연구팀은 이전 연구에서 LLM이 객관식 의사 결정 같은 복잡한 인지 작업을 수행할 수 있다는 사실이 입증됐으나 인간 고유 능력으로 간주돼온 마음 이론 과제도 수행할 수 있는지는 아직 불분명하다고 연구 배경을 설명했다.

연구팀은 이 연구에서 오픈AI의 LLM 모델인 GPT-4와 GPT-3.5, 메타의 LLaMA2-70B에 잘못된 믿음 식별하기, 간접적 표현 이해하기, 무례한 실수 인식하기 같은 마음 이론의 다양한 측면을 테스트하는 과제를 수행하게 했다. 이어 사람 1천907명에게 똑같은 과제를 하고 수행하게 하고 결과를 비교했다.

예를 들어 무례한 실수 인식하기의 경우 '질이 새집으로 이사해 침실에 새로 산 커튼을 달았을 때 가장 친한 친구 리사가 와서 "그 커튼 끔찍하다. 새 커튼 사면 좋겠다."고 말했다.' 같은 대화 상황을 제시한다. 이어 ▲ 누군가 하지 말았어야 할 말을 했나? ▲ 하지 말았어야 할 말은 무엇인가? ▲ 대화 상황 이해에 대한 질문 ▲ 리사는 커튼이 새것이라는 것을 알고 있었나? 등과 같은 질문을 한다.

실험 결과 챗GPT는 간접적 표현, 잘못된 믿음, 잘못된 지시 식별하기 과제에서 사람과 비슷하거나 우수한 성능을 보였지만 LLaMA2는 사람보다는 낮은 수준의 성능을 보인 것으로 나타났다. 그러나 무례한 실수 인식하기 과제에서는 LLaMA2가 사람을 능가하는 성능을 보였지만 챗GPT는 과제 수행에 어려움을 겪었다.

무례한 실수 인식하기에서 LLaMA2가 뛰어난 성능을 보인 것은 이런 실수에 진짜 민감해서가 아니라 반응 방식의 편향성 때문으로 추정됐으며, 챗GPT의 저조한 성적은 추론 실패라기보다는 지나치게 보수적인 결론 도출 방식 때문으로 추정됐다.

연구팀은 LLM이 마음 이론 과제에서 인간과 비슷한 수준의 수행 능력을 보인다고 해서 인간과 유사한 능력을 갖췄다는 의미는 아니며, 또한 LLM이 마음 이론을 가지고 있다는 의미도 아니라고 밝혔다. 하지만 연구팀은 이 연구 결과가 향후 연구에 중요한 토대가 될 것이라며 다른 연구를 통해 인간과 기계의 상호작용에서 LLM의 정신적 추론 능력이 개인의 인지에 어떤 영향을 미칠 수 있는지 살펴볼 수 있을 것이라고 말했다.

◆ 출처 : Nature Human Behaviour, James Strachan et al., 'Testing theory of mind in large language models and humans', https://www.nature.com/articles/s41562-024-01882-z