‘열 길 물속은 알아도 한 길 사람 속은 모른다’는 속담이 있다. 마음속 생각이 겉으로 잘 드러나지 않는 인간의 이중성을 빗댄 말이다. 누군가 실제로 기분이 좋아서 미소를 짓고 있는지 그런 척하는 건지 구별하기란 쉽지 않다.

사진 속의 인물을 보자. 양쪽 모두 동일한 미소를 짓고 있지만 마음속 감정은 분명한 차이가 있다. 한 쪽은 행복한 기분에 저절로 생긴 미소고 다른 쪽은 공포를 느껴 자기도 모르게 나타난 미소다. 어느 쪽이 행복의 미소일까. 정답은 기사 하단에 밝혀둔다.

최근 미국 메사추세츠공대(MIT) 미디어랩 연구진이 개발한 컴퓨터 프로그램은 이처럼 일반인들은 구별하기 힘든 미묘한 표정의 차이까지 읽어낸다. 실험을 통해 정확성까지 증명했다.

연구결과는 ‘시간 패턴에 따른 공포와 기쁨의 미소 구별(Exploring Temporal Patterns in Classifying Frustrated and Delighted Smiles)’이라는 논문으로 정리돼 국제전기전자기술자협회(IEEE)가 발행하는 학술지 ‘감성 컴퓨팅 처리(IEEE Transactions on Affective Computing)’ 최근호에 게재됐다.

컴퓨터로 표정 읽어 감정 유추 가능해

1950년 전후 미국에서는 겉으로 드러나는 행동을 분석해 인간의 심리를 알아내는 ‘행동과학(behavioral science)’이 탄생했다. 심리학이나 사회학 등 인문적인 분석법을 수치로 계량화해 새로운 시각을 만들어낸 것이다. 현재는 컴퓨터 장치를 통해 인간의 표정을 읽어내고 분석하는 ‘컴퓨터 행동과학(computational behavioral science)’까지 등장했다. MIT의 미디어랩(Media Lab)과 조지아공대 등이 대표적인 연구기관이다.

특히 MIT는 얼굴 주요 지점의 변화, 머리의 각도 등을 추적해 표정을 감지하고 심리상태를 예측하는 ‘페이스센스(FaceSense)’ 기술을 선보이기도 했다. 여기에 인과관계를 유추하는 ‘베이지언 관계망(Bayesian Network)’ 개념을 적용하면 마음속의 변화가 얼굴 근육에 영향을 주고 확실한 표정으로 드러나기까지의 짧은 순간을 잡아내 심리를 알아낼 수 있다.

‘베이지언 관계망’이란 각 요소의 논리와 상황을 유기적으로 연결해 상황을 파악하는 기술이다. 예를 들어 잔디밭이 젖어 있다면 비가 왔을 확률이 높지만 자동 살수장치 때문일 수도 있다. 이렇듯 다양한 상황과 관계를 연결해 변화를 자연스럽게 유추하는 것이다.

MIT 미디어랩의 컴퓨터 행동과학은 이제 인간이 구별하지 못하는 표정까지 판독 가능한 수준이 됐다. 최근 감정 컴퓨팅 연구팀(Affective Computing Group)은 진짜 미소와 가짜 미소를 구별하는 컴퓨터 프로그램을 선보였다. 일반인들은 구별할 수 없을 정도로 비슷한 미소까지 구분해낸다.

기존의 행동과학은 분노, 불쾌, 공포, 기쁨, 슬픔, 놀람 등 ‘기본 감정’이라 부르는 심리상태를 중심으로 분석을 실시한다. 그러나 누군가 속마음과 반대되는 표정을 지으면 구별해내지 못한다. 정치인들이 길거리 유세에 나서 악수를 청하며 미소를 짓거나 미녀 선발대회에 출전한 참가자들이 밝은 미소를 띠는 행동이 모두 진심에서 우러난다고 분석한다.

자기도 모르게 엉뚱한 표정을 지을 때도 있다. 일반적으로는 기분이 좋을 때 미소를 짓고 두려움이 생길 때는 눈을 크게 뜨거나 얼굴을 찡그리는 것으로 알려져 있다. 그러나 실험에서는 90퍼센트의 참가자가 공포의 순간에도 미소를 짓는 것으로 드러났다.

실험 결과 ‘공포의 순간’에도 미소 지어

연구진은 25세에서 40세의 남성 10명과 여성 5명을 컴퓨터 앞에 앉히고 모니터 속 가상 아바타와 대화하게 했다. 평소, 공포, 기쁨의 3가지 감정에 따라 인위적으로 표정을 짓게 해서 피실험자들이 반응하는 동안 동영상 촬영을 실시했다. 이렇게 추출한 표정의 데이터베이스를 기준 삼아 분석 프로그램을 만들었다.

이어서 27명의 새로운 참가자를 모집해 또 다른 실험을 진행했다. 모니터에 나타나는 여러 개의 설문에 따라 2분 안에 답을 입력하게 한 다음 고의적으로 에러 메시지를 내보내 시간을 지연시켰다. 답을 다시 입력하면 “제시간에 완성하지 못했다”, “최소 500자를 채우지 못했다”며 반복적으로 경고 메시지를 내보냈다. 그러자 공포를 느낀 참가자의 90퍼센트가 자기도 모르게 미소를 지었다.

이어서 웃음을 터뜨리는 아기의 모습이 담긴 유튜브 동영상(http://youtu.be/UjXi6X-moxE)을 보게 했다. 2006년에 업로드돼 지금까지 1천300만 명 이상이 본 영상이다. 대부분의 참가자들은 아이의 천진난만한 모습에 자연스레 미소를 지었다. 참가자들의 표정은 전체 실험 내내 동영상으로 촬영됐다.

수집된 영상 데이터는 눈과 입의 미세근육 변화를 감지하는 ‘안면 분석’을 적용했다. 억양과 속도를 감지하는 ‘목소리 분석’도 실시했다. 그러자 미소가 나타나기까지의 과정이 참가자들마다 서로 다른 것으로 나타났다. 대부분 기쁨의 미소는 적당한 타이밍에 따라 점진적으로 생겨나지만 공포로 인한 미소는 재빨리 나타났다가 금세 사라지는 것이 특징이다. 물론 사람이 구별하기는 쉽지 않다.

결과를 TV 속 정치인들의 모습에 적용했더니 가짜 미소를 짓는 사례가 속속 적발됐다. 고든 브라운(Gordon Brown) 전 영국 총리는 미소를 짓기 시작해서 이가 드러나는 타이밍이 부자연스러웠다. 미국 대통령 후보에 나섰던 허먼 케인(Herman Cain)은 유세광고에서 9초나 걸려 미소를 지었고 개그맨들의 패러디가 이어졌다.

논문의 주저자인 대학원생 마호메드 호크(Mahomed E. Hoque)는 “진실한 마음을 보이려면 미소를 지을 때 적절한 타이밍을 갖춰야 한다”고 설명했다. 미소가 나타났다 사라지는 속도가 너무 빠르거나 느리면 가짜 미소라 여겨질 확률이 높다.

모든 미소가 행복과 기쁨을 뜻하는 것은 아니라는 사실을 발견한 것도 큰 성과다. 지금까지는 사람의 표정을 제대로 해석하지 못하는 자폐아 교육에서나 고객들의 반응을 살피는 마케팅 연구에서도 모든 미소는 만족과 긍정의 표시로 여겨져 왔다. 이번 연구를 계기로 인간의 기분을 읽어내는 똑똑한 컴퓨터가 개발될 가능성이 한층 높아졌다.

참고로 기사 첫머리의 사진에서 a, d, f, h는 공포를 느꼈을 때 나타나는 ‘가짜 미소’다. ‘진짜 미소’는 b, c, e, g다.