한국과학기술원(KAIST)은 전산학부 오태현 교수 연구팀이 영상 속 상황을 이해해 보다 현실감 있는 소리를 생성하는 인공지능(AI) 기술 '파바스'(PAVAS)를 개발했다고 26일 밝혔다.

POSTECH·소니 AI가 참여한 공동 연구진은 영상 속 물체의 질량과 속도 등 눈에 보이지 않는 물리 정보를 AI가 스스로 추론하도록 설계했다.

일반적인 영상에는 물체의 정확한 무게나 속도가 숫자로 제시되지 않지만, 연구팀은 AI가 주변 환경과 움직임의 맥락을 분석해 이를 추정하고 그 결과를 소리 생성 과정에 반영하도록 했다.

단순히 '무엇이 보이는지'를 인식하는 수준을 넘어 '왜 이런 소리가 발생해야 하는지'에 대한 물리적 원인까지 AI가 이해하도록 만든 것이다.

기술 검증 결과, 연구팀의 AI는 물체 간 충돌이나 타격 등 물리적 상호작용이 발생하는 장면에서 실제 환경과 매우 유사한 소리를 생성했다. 물체 질량·속도가 달라질 때 소리 크기·음색도 자연스럽게 변화하는 등 보다 현실감 있는 음향을 구현했다고 연구팀은 설명했다.

파바스는 영상 속 객체의 움직임과 충돌 특성을 분석해 장면과 정밀하게 맞아떨어지는 현실적인 효과음을 생성했다고 연구팀은 덧붙였다.

향후 이 기술은 콘텐츠 음향 제작 자동화는 물론 증강현실(AR)·가상현실(VR) 콘텐츠, 메타버스, 로보틱스 시뮬레이션 등 다양한 분야에서 더욱 몰입감 있는 사용자 경험을 제공할 수 있을 것으로 기대된다.

오태현 교수는 "향후 텍스트·영상·음성 등 다양한 정보를 동시에 이해하고 처리하는 차세대 AI의 핵심 기반 기술로 확장될 수 있을 것"이라고 말했다.