한국과학기술원(KAIST)은 전기·전자공학부 노용만 교수 연구팀의 박세진 박사과정생이 장시간 음성 생성이 가능한 음성언어모델(SLM·Spoken Language Model) '스피치SSM'을 개발했다고 3일 밝혔다.

이번 연구는 권위 있는 국제머신러닝학회(ICML) 논문 중 1%만 받을 수 있는 구두 발표 대상으로 선정됐다.

SLM은 대형언어모델(LLM)과 달리 텍스트가 아닌 음성을 학습함으로써 텍스트에 담을 수 없는 사람의 억양·감정 등 비언어적 정보까지 이해해 정보를 생성하는 기술이다.

텍스트 기반 언어 모델의 한계를 넘어서는 차세대 기술로 주목받고 있지만, 장시간 일관된 음성을 생성하기 어려워 팟캐스트, 오디오북, 음성비서 등에는 적용하기 어려웠다.

음성 정보를 담기 위해 '음성 토큰'(음성을 잘게 쪼갠 데이터) 형태로 만드는데, 음성 토큰이 많아질수록 고해상도를 유지하기 위한 메모리 소비가 급증하기 때문이다.

앞의 정보를 집중해 기억하는 메모리의 길이에 한계가 있어, 장시간 이용할 경우 주제의 일관성이 무너지는 문제가 있었다.

연구팀은 최근 정보에 집중하는 '어텐션 층'(attention layer)에 전체 이야기의 흐름, 즉 장기적인 맥락을 오래 기억하기 위한 '순환 층'(recurrent layer)을 교차 배치한 하이브리드 구조를 통해 장시간 흐름을 잃지 않고 안정적으로 음성을 생성할 수 있는 기술을 개발했다.

또 음성 생성 단계에서는 단어를 병렬적으로 동시에 처리할 수 있는 '비-자기회귀적'(Non-Autoregressive) 방식의 오디오 합성 모델을 개발해 고품질의 음성을 빠르게 생성하는 데 성공했다.

기존 음성언어모델은 앞의 단어가 뒤의 단어를 만들어내는 연속적인 '자기회귀적'(Autoregressive) 방식을 채택해 생성에 시간이 오래 걸렸다.

연구팀은 16분 길이의 음성언어모델을 평가할 수 있는 자체 평가툴도 개발했다.

기존에는 10초 정도의 짧은 음성을 대상으로 문법 오류 정도만 파악할 수 있었지만, 연구팀이 개발한 도구를 통해 장시간 생성된 음성 콘텐츠가 시간이 지나도 내용이 잘 이어지는지, 자연스럽게 들리는지 등을 정밀하게 분석할 수 있다.

평가 결과 초기에 언급된 특정 인물이 지속해 등장하며, 새로운 인물과 사건들이 맥락상 일관되게 이어져 자연스럽게 전개되는 모습을 확인했다.

박세진 박사과정생은 "긴 문맥에서도 일관된 내용을 유지하면서 기존 방식보다 더 빠르게, 효율적으로 실시간 응답할 수 있어 다양한 음성 콘텐츠 제작과 음성비서 등 음성 AI 분야에 기여할 것"이라고 기대했다.

박세진 박사과정생은 오는 16일 열리는 ICML에서 함께 협력한 구글 딥마인드 연구팀과 함께 연구 성과를 발표할 예정이다.