한국과학기술원(KAIST)은 멀티모달 인공지능(AI)의 성능을 높일 수 있는 학습기법을 개발했다고 14일 밝혔다.

멀티모달은 텍스트, 이미지, 음성, 영상 등 다양한 유형의 데이터를 동시에 인식해 처리할 수 있는 기술을 말한다.

다만 그림과 글자가 함께 있을 때 그림에 사람의 시선이 먼저 가는 것처럼, 멀티모달 AI도 특정 데이터에 더 크게 의존하는 경향이 있다.

이처럼 한쪽 데이터에 치우쳐 판단하게 되면 예측 성능이 떨어질 수 있다.

전기및전자공학부 황의종 교수 연구팀은 멀티모달 인공지능이 모든 데이터를 고르게 인식해 더 정확하게 예측할 수 있도록 돕는 새로운 학습 데이터 증강 기술을 개발했다.

서로 어울리지 않는 '비정렬 데이터'를 섞어 의미가 일치하지 않는 데이터를 생성, 학습에 포함함으로써 모델이 상충하는 신호를 해석하도록 유도했다.

이어 의미가 유사해 혼동하기 쉬운 비정렬 샘플에 더 큰 학습 비중을 부여하는 가중치 기법을 통해 성능을 높였다.

황의종 교수는 "AI 성능을 높이려면 모델 구조(알고리즘)만 바꾸는 것보다 어떤 데이터를 어떻게 학습에 쓰느냐가 훨씬 중요하다"며 "이번 연구를 통해 멀티모달 인공지능이 특정 데이터에 치우치지 않고 균형 있게 정보를 활용할 수 있도록 데이터 자체를 설계하고 가공하는 접근법을 제시했다"고 말했다.

이번 연구 결과는 오는 12월 미국 샌디에이고와 멕시코 멕시코시티에서 열리는 AI 분야 권위 있는 학회인 '신경정보처리시스템학회'(NeurIPS)에서 발표된다.