September 20,2019

불안전한 AI 통제, 어떻게 해결할까?

AI 통제하는 ‘설명가능 인공지능’

FacebookTwitter

기계학습 등장으로 인공지능(AI)이 큰 주목을 받고 있다.

AI를 간단히 정의하자면 ‘특정 문제를 스스로 해결할 수 있는 시스템’이라 할 수 있다. 이를 뒷받침하는 알고리즘은 크게 ‘지식공학’과 ‘기계학습’으로 나눠진다.

지식공학(Knowledge engineering)은 사람이 AI에 공식을 제공해 문제를 해결하게끔 하는 알고리즘이다. 따라서 지식 공학을 기반을 둔 AI의 경우 특정 입력 값이 주어지면 사람이 주입한 공식에 따라 결과값을 산출한다.

반면 기계학습(Machine learning)은 경험을 제공해 AI가 문제를 해결하게끔 하는 알고리즘이다. 여기서 경험은 데이터다.

기계학습은 AI에 어떤 공식도 제공하지 않는다. AI는 스스로 학습해서 공식을 만들어내고, 주어진 문제를 해결해야 한다.

두 알고리즘의 차이는 복잡한 문제를 해결하는 데에서 벌어진다.

사람이 복잡한 요인을 모두 고려해서 시스템 작동 방식을 설계하기는 쉽지 않다. 때문에 지식공학 AI의 경우 그 한계가 명확하다.

반면 기계학습 AI는 시행착오를 겪으면서 사람이 생각지 못한 복잡한 요인을 고려할 수 있다. 때문에 기계학습 AI의 판단 정확도는 지식공학 AI에 비해 매우 높다.

이런 성능차를 보여주는 대표적인 수치가 이미지 인식률이다.

이미지넷(Imagenet)은 매년 AI의 이미지 인식률 경진대회를 개최하고 있다. 2011년까지만 해도 이 대회에 나온 AI의 정확도는 80%가 넘지 않았다. 그런데 기계학습이 적용됨에 따라 AI의 이미지 판단 정확도는 급격하게 상승하기 시작했다.

2015년에는 드디어 인간의 이미지 인식률(94.9%)을 추월하는 AI가 나타나 전 세계를 놀라게 했다. 마이크로소프트(MS)가 개발한 이 AI의 이미지 인식률은 96.43%였다. 참고로 2017년 기준 AI 이미지 인식 정확도는 97.85%이다.

결국 기계학습의 도입으로 AI의 성능은 급격하게 상승했음을 알 수 있다. 그런데 AI 성능이 상승하는 것이 과연 좋기만 한 일일까?

경험을 기반으로 공식을 만들어내는 알고리즘 ‘기계학습’ ⓒ DevianArt

경험을 기반으로 공식을 만들어내는 알고리즘 ‘기계학습’ ⓒ DevianArt

AI 위협, 현실화 우려

급격한 AI 발전에 대해 부정적으로 보는 전문가들도 있다. 이들은 “AI 또한 잘못된 생각을 할 수 있다”며 AI가 더 이상 발전할 경우, 통제가 어려워질 수 있음을 지적하고 있다.

일리가 있는 지적이다. 기계학습 기반 AI는 데이터에 따라 문제 해결 방식이 형성된다. 다시 말해, AI의 학습에 따라 사고가 형성되기 때문에 편향성을 가질 수 있다. AI의 결과 산출 과정을 알 수가 없는 것도 문제이다.

이는 AI에 대한 신뢰성 문제를 불러온다. 시장 조사 전문 기관 ‘프라이스워터하우스쿠퍼스 (PwC)’에 따르면 2017년 글로벌 CEO 조사에 참여한 중역 67%는 AI가 신뢰성에 부정적인 영향을 미칠 것으로 전망했다.

‘AI의 사고가 편향돼 있지만 이를 알 수 없다’는 것은 곧 ‘AI를 통제할 수 없다’는 뜻이다. 이를 잘 보여주는 사례가 테이(Tay)의 막말 논란이다. 테이는 MS에서 개발한 AI 챗봇으로 예측치 못한 막말 문제를 일으킨 바 있다. 2016년 7월에는 로봇 경찰이 어린아이를 공격해 다치게 한 적도 있다.

결국 불안전한 AI 통제의 어려움은 인류 전체의 위협 문제로 이어진다. AI가 인류를 제거하는 것이 나은 판단이라는 결론을 내릴 수 있기 때문이다. 슬픈 사실은 이러한 AI의 생각을 읽을 수 없다는 것이다.

때문에 스티븐 호킹을 비롯한 1,000명의 석학이 AI 위협을 경고하는 시위를 벌이기도 했다.

또 하나의 문제는 책임 소재가 불명확하다는 것이다.

작년 경제협력개발기구는(OECD)는 ‘알고리즘과 담합(Algorithm and Collusion)’이라는 제목으로 보고서를 발간했다. 해당 보고서는 알고리즘이 기업 간 담합을 조장해 시장에 부정적인 영향을 줄 수 있음을 전망하고 있다.

보고서에 따르면 AI가 최적의 결과를 도출하기 위해서 스스로 담합을 형성할 수 있는데, 이때 책임 소재가 불명확하다. AI의 사고방식을 알 수 없기 때문에 해당 AI를 사용한 기업에만 책임 소재를 물을 수 없다는 것이다.

통제가 어려운 AI는 인류를 위협할 수 있다.   ⓒ Army Research Laboratory

통제가 어려운 AI는 인류를 위협할 수 있다. ⓒ Army Research Laboratory

AI 통제하는 세 가지 방법

이렇게 AI 통제의 중요성이 부각되면서 관련 연구가 전 세계적으로 진행되고 있다.

그중 가장 적극적인 곳이 미국 국방성 산하 방위고등연구계획국(DAPRA)이다. DAPRA는 AI 통제 문제를 해결하기 위한 기술로 ‘설명가능 인공지능(XAI: eXplainable AI)’라는 개념을 제시했다.

XAI는 말 그대로 결과값에 대한 이유(근거, 추론 과정 등)를 사람이 이해할 수 있는 방식으로 설명하는 AI다. 이는 통제가 어려운 기존 AI의 단점을 보완하는 새로운 기술로 각광받고 있다.

국내에서도 관련 연구에 공을 들이고 있다.

2017년 9월 울산과학기술원(UNIST)은 설명가능 인공지능 연구센터 개소식을 열었다. 2021년까지 150억 원의 예산을 과기부에서 지원할 예정이며, 울산시에서도 매년 1억 원씩 총 4억 원을 지원할 계획이다.

그럼 XAI는 어떤 방법을 통해 AI의 사고 방식을 파악할까?

한국정보화진흥원(NIA)은 XAI가 AI를 통제하는 세 가지 방법을 제시하고 있다.

첫 번째 방법은 AI가 생각하고 결과값을 도출하는 과정에서 고려한 요인을 외부에 보여주는 것이다. 이를 통해 AI가 어떤 논리를 거쳐 결과를 도출했는지를 파악할 수 있다.

두 번째 방법은 AI의 생각 과정을 학습하는 시스템을 개발하는 것이다. 다시 말해 ‘AI 생각을 감시하는 시스템’을 만들어서 이를 확인하는 것이다.

마지막으로는 통계를 활용하는 방법이 있다. AI가 주어진 환경에서 산출하는 결과값을 관찰해 그 생각 방식을 통계적으로 유추하자는 것이다.

결론적으로 XAI는 AI의 생각 과정을 알 수 있게 함으로써 통제력을 강화할 수 있다. AI 영향력이 점점 커지는 가운데 XAI를 비롯한 AI 통제 기술 개발은 앞으로도 지속적인 화두가 될 것으로 보인다.

의견달기(1)

  1. 김준수

    2019년 5월 6일 4:21 오후

    XAI라는게 기존의 AI가 자신의 사고과정을 설명할 수 있게 만드는 것이 아니라 AI와는 따로 존재하면서 AI를 통제하고 AI의 사고과정을 읽어서 우리에게 알려주는 것인가요? 전자로 이해하면서 읽다가 마지막 부분을 보니 후자인거 같기도하고..