“인공지능이 바둑시합에서 프로기사를 이겼던 것처럼, 해킹(hacking)에서도 전 세계의 내로라하는 해커들을 이기는 날이 올 수 있을까요?”

31일 코엑스에서 열린 ‘2016 국제 사이버 시큐리티 컨퍼런스’에서 기조연설자로 나선 KAIST의 차상길 교수는 ‘인공지능 보안의 현재와 미래’에 대해 강연하면서 참석자들에게 이 같은 질문을 던졌다.

‘새로운 보안혁신의 시작을 위하여’라는 주제로 미래창조과학부가 주최한 이번 행사는 과거와는 전혀 다른 방식으로 위협하고 있는 해킹 공격에 맞설 수 있도록, 국가 및 기업의 사이버 보안 강화 방안을 공유하고 논의하자는 취지로 마련됐다.

세계 최고 해킹대회에 참가한 인공지능

최근 미국 라스베거스에서 세계 최고 권위의 해킹대회인 ‘데프콘(DEFCON) CTF 24’가 열렸다. 일명 해커들의 올림픽이라고도 불리는 이 대회는 매년 개최될 때마다 많은 화제를 불러일으키지만, 올해는 특히 이전에 볼 수 없었던 독특한 참가자로 인해 전 세계의 주목을 끌었다.

주인공은 바로 인공지능(AI)이 탑재된 컴퓨터인 ‘메이험(Mayhem)’. 참가한 총 15개 팀 중에서 유일하게 사람이 아닌 기계장치 참가자였다. 미국 카네기멜론대의 ‘포올시큐어(ForAllSecure)’ 팀이 만든 인공지능 메이험은  전 세계에서 온 쟁쟁한 14개 해커팀과 치열하게 해킹 방어 실력을 겨뤘다.

차 교수는 “아직 완전하게 발표가 난 것은 아니지만, 메이험은 대략 14등 정도를 기록할 것으로 보인다”라고 전하며 “비록 등수는 기대에 미치지 못했지만 이번 대회는 인공지능이 인간과 해킹 대결을 펼친 최초의 대회로 기록될 것”이라고 밝혔다.

인공지능이 바둑에 이어 이제는 해킹에까지 그 영역을 넓혀 나가는 상황을 우려하는 시각에 대해 차 교수는 “문제가 있는 것은 사실이지만, 단점보다 장점이 훨씬 많다”라고 설명하며 “어떻게 인간 공격자처럼 프로그램의 취약점을 찾아서 공격할 수 있는지, 그리고 인간 방어자처럼 프로그램의 취약점을 찾아서 고칠 수 있는지가 인공지능 보안의 관건”이라고 강조했다.

인공지능을 활용한 해킹과 보안에 있어서 단점보다는 장점이 많다는 이유에 대해 차 교수는 “우선 사람들이 피상적으로 생각하는 해커들의 진짜 모습을 이해하는 것이 필요하다”라고 말했다.

그의 설명에 따르면 영화 속에 등장하는 해커들은 검고 어두운 모니터 화면에 뜬 초록 글씨와 빠른 타이핑으로 상징되는 신비로운 존재다. 그리고 키보드를 몇 번만 두드리면 모든 것을 할 수 있는 전지전능한 모습으로 등장하기도 한다.

하지만 이런 모습은 그야말로 영화 속 설정일 뿐 현실의 해커와는 완전히 딴 판이라는 것이 차 교수의 설명이다. 그는 “해커는 우중중한 골방에 틀어박혀 하루 종일 키보드를 두들기면서 고되고, 지루하고, 느려터진 작업을 하는 사람들”이라고 소개하며 “해킹의 자동화, 다시 말해 인공지능을 활용하여 해킹을 시도하는 것은 이 같은 비효율적 작업을 효율적으로 만들기 위한 작업”이라고 덧붙였다.

해킹의 자동화 기술은 세계적 트렌드

해킹을 자동화하여 효율을 올리는 것이 보안을 강화하는 것과 어떤 상관관계가 있을까? 이에 대해 차 교수는 “그동안 프로그램의 취약점 찾기는 전적으로 개인의 능력에 달려있었다”라고 언급하며 “다시 말해 최고의 해커와 일반적인 프로그래머 간에는 취약점을 찾는 능력이 엄청난 차이가 났다는 의미”라고 말했다.

그러면서 “이런 차이점이 인공지능을 활용하면 사라지게 된다. 이를 ‘취약점 파악 자동화 생성(AEG)’ 기술이라고 하는데, 예를 들어 사이버 전쟁이 발발했을 때 상대방의 프로그램 취약점을 인공지능이 대량으로 파악하게 된다면 이는 상대적 우위를 확실하게 차지하는 기회를 제공해주기 때문”이라고 설명했다.

이 외에도 해킹을 자동화하는 이유에 대해 차 교수는 프로그램의 버그가 너무 많은 점을 지적했다. 한정된 인적 자원으로 수많은 버그를 모두 파악한다는 것은 불가능한 일이기 때문에, 이런 문제도 인공지능을 활용하면 깨끗이 해결될 수 있다는 의미다.

그는 “인공지능의 취약점을 찾는 능력과 버그를 발견하는 능력이 합쳐졌을 때, 보안 상 문제를 빠르게 대응할 수 있다”라고 강조하며 “프로그램 배포 이전에 사전 점검이 가능하고, 배포 이후라도 재빠른 사후조치가 가능하다”라고 조언했다.

실제로 ‘2016 데프콘’ 대회에서 인공지능 메이험은 보안 상 취약점을 발견하는 능력에 있어서는 인간 해커보다 낮은 실력을 보였지만, 취약점을 보완하고 수정하는 패치(patch) 능력만큼은 매우 높은 수준을 보여줘 참가자들을 놀라게 했다.

이처럼 메이험이 기대 이상의 모습을 보여줬지만, 그렇다고 인공지능이 취약점을 파악하는데 있어서 만능이라는 것은 아니다. 놓치는 부분도 존재한다. 하지만 일단 발견한 취약점들은 상당히 중요한 부분이기 때문에 제대로만 활용한다면 상당한 역할을 할 수 있다는 것이 차 교수의 생각이다.

발표를 마무리하며 차 교수는 “해킹의 자동화 기술은 이제 막 태동을 했지만 세계적인 트렌드인 점만은 분명하다”라고 강조하며 “싱가폴에서는 70억 달러 규모의 대형 프로젝트가 진행 중이고, MS에서도 이를 상용화하기 위한 프로젝트를 진행하고 있다”라고 밝혔다.