챗GPT도 '기분이 우울하다'(feeling blue) 같은 색 관련 표현을 이해하지만 이처럼 의미적 패턴을 흉내 내는 것과 체화된 경험에 기반한 인간의 추론 능력 사이에는 여전히 차이가 있다는 연구 결과가 나왔다.

미국 서던캘리포니아대(USC) 리사 아지즈-자데 교수가 이끄는 국제 연구팀은 9일 과학 저널 인지 과학(Cognitive Science)에서 사람과 챗GPT를 대상으로 한 색 관련 표현에 대한 인식과 연관성 추론 등 실험에서 이런 사실을 확인했다고 밝혔다.

챗GPT 같은 거대언어모델(LLM)은 방대한 양의 텍스트를 분석해 그 속에서 패턴을 찾아내고 이를 종합해 사용자 요청에 대한 응답을 생성한다.

학습 데이터에는 '기분이 우울하다'(feeling blue)나 '몹시 화 난다'(seeing red) 같은 색 관련 관용적 표현도 있어 이를 이해하고 설명할 수 있지만 챗GPT가 사람처럼 파란 하늘이나 빨간 사과를 본 적은 없다.

연구팀은 이는 사람들이 시각으로 얻은 체화된 색 경험을 통해 텍스트에 기반한 챗GPT의 이해를 넘어서는 색채 언어를 이해할 수 있는지, 사람과 인공지능(AI) 모두 언어만으로 색 비유를 이해할 수 있는지 의문을 불러일으킨다고 지적했다.

이들은 이 연구에서 색을 볼 수 있는 일반 성인과 색맹 성인, 색을 자주 다루는 화가들, 챗GPT 등 그룹을 대상으로 대규모 온라인 조사를 했다.

각 그룹은 '물리학'(physics)처럼 추상적 단어에 색을 지정하고, '그들은 적색경보 상태였다'(they were on red alert) 같은 표현과 '그건 정말 핑크 파티였어'(it was a very pink party)와 같은 낯선 표현에 관해 설명하는 과제를 수행했다.

실험 결과 색을 볼 수 있는 사람들과 색맹 참가자들 모두 색의 연관성에 대해 놀라울 정도로 유사한 답을 내놓는 것으로 나타났다. 이는 예상과 달리 색 관련 은유를 이해하는 데 시각 지각이 필수적인 게 아님을 시사한다고 연구팀은 설명했다.

반면에 화가들은 색에 대한 새로운 은유적 표현 해석에서 유의미하게 더 뛰어난 성과를 보였다. 연구팀은 이는 색을 직접 다루는 경험이 언어 속에서 더 깊은 개념적 이해를 가능하게 한다는 것을 시사한다고 분석했다.

챗GPT도 매우 일관된 색 연관성을 생성했으며, 추론의 이유를 설명할 때는 다양한 색에 대한 감정적, 문화적 연상을 자주 언급하는 것으로 나타났다.

'핑크 파티'의 경우 챗GPT는 "핑크는 흔히 행복, 사랑, 친절과 연관 지어진다. 이는 파티가 긍정적인 감정과 좋은 분위기로 가득했음을 나타낸다"고 설명했다.

하지만 챗GPT는 사람들보다는 '체화된' 설명을 덜 사용했고, '그 회의는 그를 버건디하게 만들었다'(the meeting made him burgundy)와 같은 새로운 은유에 대한 해석 등에서는 더 자주 오류를 드러냈다.

아지즈-자데 교수는 "이 연구는 챗GPT가 의미적 패턴을 흉내 내는 것과 체화된 경험을 바탕으로 한 인간의 추론 능력 사이에는 여전히 차이가 있음을 보여준다"며 이는 AI가 계속 진화하고 있지만 언어 기반 모델이 아직 인간의 이해 능력을 온전히 대변하지는 못한다는 것을 시사한다고 말했다.

◆ 출처 : Cognitive Science, Lisa Aziz-Zadeh et al., 'Statistical or Embodied? Comparing Colorseeing, Colorblind, Painters, and Large Language Models in Their Processing of Color Metaphors', http://dx.doi.org/10.1111/cogs.70083.