AI가 팀워크 게임을 시작했다

‘퀘이크 3(Quake III)’라는 비디오 게임이 있다.

이드소프트웨어에서 제작한 게임으로 여러 사람이 팀을 구성해 참여하는 단체 게임이다.

상대팀으로부터 깃발을 빼앗아오는 게임인데, 팀원 간 균형감 있는 협력을 도모할 수 있는 팀워크가 요구된다. 그러기 위해서는 팀원들 간에 심적인 소통이 필요하다.

구글 자회사 딥마인드에서 개발한 ‘캡처 더 플래그(Capture the flag)’의 한 장면. ‘퀘이크 III’와 같은 3차원 비디오 게임으로 이를 통해 인공지능이 사람과 협력해 게임을 수행할 수 있다는 것이 확인되고 있다. ⓒDeepMind

3차원 비디오게임 통해 협동 능력 입증 

그동안 구글 자회사인 영국 딥마인드(DeepMind) 과학자들은 ‘퀘이크 III’와 유사한 ‘캡처 더 플래그(Capture the Flag)’ 게임을 개발한 후 인공지능(AI)이 사람들과 팀워크를 이루며 게임을 해나갈 수 있는지 관찰해왔다.

그리고 31일 ‘사이언스’ 지를 통해 “게임에 참여한 AI가 사람처럼 다른 게이머들과 함께 협력해 실력을 발휘하고 있다”는 내용의 논문을 발표했다.

논문 제목은 ‘Human-level performance in 3D multiplayer games with population-based reinforcement learning’이다.

연구팀은 논문을 통해 인공지능이 다양한 게임에 참여하고 있지만 대부분 두 사람 간에 이루어진 2인용 게임이었으며, 다수의 사람들이 단체로 참가하는 팀 게임(team game)에서 팀워크를 발휘할 수 있을지는 미지수였다고 말했다.

이 의문을 풀기 위해 팀 참여가 가능한 ‘캡처 더 플래그’ 비디오게임에 참여할 수 있는 프로그램을 만들어 훈련을 진행해 왔다고 밝혔다.

수천 번에 걸친 게임 참여를 통해 성공적으로 게임에 참여할 수 있는 전략(strategies)을 습득해왔으며, 최근 참가한 게임에서 사람들과 협력해 매우 강력한 경쟁력을 선보였다고 밝혔다.

딥마인드에서 개발한 AI는 기계학습의 한 분야인 ‘강화형 기계학습(RL, Reinforcement learning)’ 범주에 속하는 프로그램이다.

주어진 데이터에 대해 대응하는 방식을 학습하는 것으로 로봇이나 게임에서 주로 사용하는 방식이다. 다른 분야의 기계학습과 달리 주어진 입력에 대한 고정된 행동이 부여되지 않는다.

다양한 상황에 처해 스스로 최상의 대응 방안을 모색해야 하며, 좋은 판단을 했을 경우 행동 결과에 대해 보상(reward)이 주어진다. 보상을 통한 기계학습이라고 보면 된다.

‘딥마인드’ 연구팀은 자사에서 개발한 강화형 기계학습(RL) 프로그램이 ‘캡처 더 플래그’ 비디오게임에서 마치 사람처럼 참여할 수 있는 수준에 접근할 수 있었다며 향후 인공지능에서 새로운 기능을 확대해나갈 수 있는 계기를 마련했다고 말했다.

RL 프로그램 적용해 창고 로봇 개발 

31일 ‘뉴욕타임스’는 인공지능이 ‘퀘이크 III’와 같은 3차원 게임에 참여할 수 있게 됨으로써 게임 산업은 새로운 국면을 맞게 됐다고 평했다.

또한 게임과 유사한 자동화 시스템에 있어서도 놀라운 변화가 예고되고 있다고 보았다.

대표적인 사례가 창고 로봇(wearhouse robot)이다. 로봇들이 힘과 지식을 모아 사람들이 힘을 합쳐 일을 하는 것처럼 물류 관리를 해나갈 수 있다는 것. 심지어 자율주행차를 몰고 다니면서 부여된 임무를 수행할 수 있다고 전망했다.

비영리 인공지능 기업인 오픈AI(OpenAI)의 그레그 블록맨(Greg Brockman) 연구원은 “이 창고 로봇을 개발하기 위해 인공지능의 게임 참여가 활발하게 이루어져왔다”고 설명했다.

그는 “특히 ‘퀘이크 III’와 같은 3차원 게임 모험적으로 참여해왔지만 성공했다는 소식이 들여오지 않았다”며, 딥마인드의 성공에 대해 놀라움을 표명했다. 또한 그는 “이번 성공의 결과로 조만간 창고 로봇이 등장할 것”으로 보았다.

영국 런던에 본사를 두고 있는 딥마인드는 구글 자회사로 지난 2016년 알파고(AlphaGo)를 제작한 기업이다. 당시 바둑 세계 1인자였던 한국의 이세돌을 격파해 큰 주목을 받았다.

이 이벤트가 세계적으로 큰 충격을 주었음에도 불구하고 많은 AI 전문가들은 복잡한 구조의 3차원 비디오게임에서 인공지능이 두각을 나타내기 위해서는 적어도 10년 정도의 세월이 걸릴 것으로 예상했었다.

그러나 알파고 이후 불과 3년 만에 딥마인드의 강화형 기계학습(RL) 프로그램이 3차원 비디오게임에서 성공을 거두면서 인류는 인공지능을 통한 또 다른 혁신을 기대할 수 있게 됐다.

그동안 딥마인드는 현재 자사에서 개발한 RL 프로그램을 시험하기 위해 ‘스타크래프트 II(StarCraft II)’를 통해 테스트를 진행해왔다. 오픈 AI도 같은 목표로 또 다른 3차원 게임인 ‘도타 2(Dota 2)’를 통해 AI 능력을 강화해왔다.

이처럼 여러 곳에서 인공지능 테스트가 진행되고 있는 가운데 곳곳에서 프로게이머들의 탄식이 흘러나오고 있다.

지난해 ‘도타 2’의 프로게이머인 윌리엄 리(William Lee) 선수는 초기 인공지능 버전과 1인칭 게임을 한 적이 있다고 말했다.

당시 그는 “인공지능이 1대1 게임에는 참여할 수 있지만 여러 명이 팀을 이루어 참여할 수 있는 팀 게임에는 참여가 불가능할 것으로 보았다”고 말했다. “그러나 딥마인드의 연구 결과로 이런 예상이 보기 좋게 빗나갔다”고 말했다.

현재 딥마인드, 오픈 AI 프로젝트에는 모두 코슬라 벤처스(Khosla Ventures), 억만장자인 리드 호프만(Reid Hoffman) 등 실리콘밸리에서 비롯된 벤처자금이 대거 투입되고 있다. 이번 연구 결과로 또 다른 자본이 이들 기업에 몰릴 것으로 예상되고 있다.