뇌세포와 얼굴, 성대의 미세한 움직임을 분석해 말 못하는 사람의 말을 대신 표현해줄 수 있는 언어 해독기가  최초로 개발됐다.

25일 ‘가디언’, ‘사이언스 뉴스’, ‘네이처’ 등 주요 언론에 따르면 이 장비를 개발한 곳은 미국 샌프란시스코에 소재한 캘리포니아 대학 에드워드 창(Edward Chang) 교수가 이끄는 연구팀이다.

뇌신경학학자인 창 교수는 “그동안 연구를 통해 뇌 활동(Brain Activity)을 문장으로 언어화할 수 있는 장치를 세계 최초로 개발했으며, 이를 말 못하는 환자에게 적용해 치료에 활용할 수 있다”고 말했다.

‘무언의 소리’ 들을 수 있는 신형 BMI 

그동안 과학자들은 다양한 방식을 통해 뇌세포와 기계를 연결해 말을 못하는 환자 뇌 속에서 무슨 생각을 하는지 뇌 활동을 해독할 수 있는 방안을 연구해왔다.

그리고 뇌파로 컴퓨터와 같은 기계를 조정할 수 있는 ‘뇌-기계 인터페이스(BMI: Brain Machine Interface)’를 개발해왔으나 대부분 실험 단계였다.

이 과정에서 해독 시간이 너무 걸리고, 언어해석 역시 불완전해 많은 환자들이 어려움을 겪어왔다. 루게릭 병으로 말을 하지 못했던 고 스티븐 호킹(Stephen William Hawking) 박사가 대표적인 경우.

호킹 박사가 사용한 해독기의 경우 눈과 얼굴 근육 움직임을 통해 1분에 8개 단어를 해독할 수 있었다. 정상적인 사람이 1분에 100~150개 단어를 사용하고 있는 것과 비교해 10분의 1도 안 되는 것이다.

또한 눈과 얼굴 근육 움직임을 통해 포현하고 있는 언어를 해석해야 하는 만큼 소통을 위해 전문적 이해가 필요했다.

하지만 이번에 개발한 BMI는 어느 때나 수시로 환자에게 적용할 수 있는 표준화된 장치로 첨단 기술을 통해  불편했던 점을 대폭 해소하고 있다.

뇌에 설치된 전극을 통해 뇌파 움직임을 분석하고, 영상 분석 시스템을 통해 혀와 입술, 후두, 턱 등의 움직임을 측정해 종합적으로 그 사람이 표현하고자 하는 언어를 빠른 시간에 해독하는 것이 가능하다.

연구팀은 뇌파와 입술 등의 언어 동작을 연계해 소리 없이 표현되고 있는 언어를 분석해낼 수 있는 이 BMI의 명칭을 ‘가상 성도(virtual vocal tract)’라 명명했다. 여기서 성도(聲道)란 성대에서 입술 또는 콧구멍에 이르는 통로를 뜻한다.

일상에서 이 성도 기능이 작동하지 않지만 새로 개발한 BMI를 통해 소리 없이 표현되고 있는 환자들의 언어를 파악할 수 있다는 의미로 해석된다.

머신러닝으로 뇌파‧신체 움직임 분석 

연구팀은 또 사람의 성대 움직임을 모방해 환자가 표현하는 것을 실제 언어로 재현해냈다.

아마존의 ‘아마존 미캐니컬 터크(Amazon Mechanical Turk)’ 플랫폼을 통해 100개의 문장을 제시한 후 100명의 참가자들을 통해 어느 정도 그 문장들을 이해했는지 집계한 결과 43%의 언어를 해독할 수 있었다.

이번 연구 결과와 관련, 옥스퍼드 대학의 인지과학자 케이트 왓킨스(Kate Watkins) 교수는 “캘리포니아대 연구진을 통해 의료현장에서 적용이 가능한 BMI가 최초로 개발됐다”며, 큰 놀라움을 표시했다.

그는 또 이 기기를 의료장비화 함으로써 중풍, 알츠하이머, 인후암, 근위축측삭경화(증), 루게릭 병 등으로 인해 목소리를 잃은 환자들을 치료하는데 큰 도움을 줄 수 있을 것으로 기대했다.

관련 논문은 국제학술지 ‘네이처’ 지 24일자(현지 시간)에 게재됐다. 논문 제목은 ‘Speech synthesis from neural decoding of spoken sentences’이다.

이전까지 BMI에 관한 과학자들의 논문은 뇌파를 언어로 만드는 과정에 머물러 있었다. 뇌파를 분석하는 일이 그만큼 어려웠기 때문.

그러나 이번에 개발한 BMI는 혀와 입술, 턱, 인두 등의 움직임을 관장하는 뇌 활동을 종합적으로 분석하는 일이 가능하다.

논문 저자인 캘리포니아대 고팔라 아누만치팔리(Gopala Anumanchipalli) 교수는 “그동안 많은 과학자들이 BMI 개발에 노력을 기울여왔지만 신경망의 움직임이 매우 미묘하고, 복잡한데다 속도 역시 매우 빨라 어려움을 겪어왔다”고 설명했다.

연구팀은 이를 개발하기 위해 뇌 안에 삽입한 전극과 연결해 전기신호를 즉시 해독할 수 있는 기계학습 알고리듬(machine learning algorithm)을 개발했다.

이 알고리듬은 뇌파와 인간의 성대, 얼굴 표정, 입술과 혀 움직임 등의 상관관계를 면밀하게 분석해 환자가 어떤 내용의 언어를 표현하고 있는지 분석하는 일이 가능하게 했다.

BMI를 완성한 후에는 임상실험에 들어갔다. 실제 치료 현장에 적용하기 위해 수술을 앞두고 있는 뇌전증 환자 5명을 모집한 후 수술 과정에서 뇌 안에 전극을 삽입했다.

전극을 안전하게 삽입한 후에는 환자들과 큰 소리를 대화를 나누며 언어를 관장하는 뇌 안에서 어떤 일이 일어나는지 관찰했다. 그리고 뇌 안에서 발생한 전기 신호(electrical signals)가 사람의 언어 표현에 어떤 영향을 미치고 있는지 파악할 수 있었다.

이 과정에서 연구팀은 언어와 관련된 대량의 정보가 발생하고 있으며, 매우 정교하고 치밀하게 사람의 성대, 얼굴 표정, 입술과 혀 움직임 등에 영향을 미치고 있다는 사실을 발견할 수 있었다고 밝혔다.

왓킨스 교수는 “지금 상황에서 말을 못하는 환자의 언어 표현을 43%까지 확인할 수 있지만 추가 연구를 통해 그 정확도를 더 높여나가겠다”고 말했다. 뇌파로 언어를 주고받을 수 있는 시대가 다가오고 있는 중이다.