간단한 텍스트 입력만으로 정밀한 3D 동작을 구현할 수 있는 기술을 울산과학기술원(UNIST) 연구진이 개발했다. 19일 UNIST에 따르면 인공지능대학원 백승렬 교수팀은 프롬프트 입력 창에 텍스트를 넣으면 손과 물체의 상호작용 동작을 생성하는 기술(Text2HOI)을 만들었다.

물체를 잡고 놓는 동작과 물체와의 상호작용 동작 등을 구현할 수 있는 것이다. 가상현실(VR), 로보틱스, 의료 등 다양한 분야에 적용할 수 있으며, 복잡한 설정 과정이 필요 없어 누구나 쉽게 사용할 수 있는 점이 특징이다.

이 기술은 사용자가 입력한 텍스트를 분석해 손동작과 관련한 명령 대상의 접촉 지점을 예측한다. 예를 들어 "사과를 양손으로 전달하라"는 명령을 입력하면 손과 사과 간의 가능한 접촉 지점을 확률적으로 계산한다. 이어 사과를 집어 올리는 동작을 취할 때 사과의 크기와 모양을 고려해 손의 위치와 각도를 조절하고, 미세한 손동작을 구현한다.

연구팀은 의료 수술 절차 시뮬레이션, 게임과 가상현실 캐릭터 동작 제어, 가상의 과학 실험 등 다양한 분야에서 기술을 응용할 수 있을 것으로 보고 있다. 로봇공학에서도 정밀한 손동작 제어를 통해 로봇과 자연스러운 상호작용이 가능하다고 연구팀은 설명했다.

제1저자 차준욱 연구원은 "이번 기술이 텍스트 프롬프트와 손, 물체의 상호작용 동작 생성 간 관계에 대한 초석이 되어 앞으로 더 많은 관련 연구가 이뤄지길 바란다"고 말했다.

연구 결과는 인공지능 학회인 '컴퓨터 비전과 패턴 인식에 관한 학회'(Conference on Computer Vision and Pattern Recognition)에 지난 17일 온라인으로 게재됐다.

연구는 과학기술정보통신부, 한국연구재단, 정보통신기획평가원, 해양수산과학기술진흥원, CJ 기업 인공지능 센터의 지원을 받았다.