과거 소프트웨어 품질에서 가장 중요한 것은 “코드”였다. 코드가 제대로 입력됐는지에 따라서 소프트웨어의 정상 작동 여부가 결정됐기 때문이다. 따라서 소프트웨어 품질에서 코드 검토는 항상 중요했다.

간혹 소프트웨어 기능적 오류는 치명적인 손실을 불러오기도 한다. 1999년 1월 미국은 화성 기후를 측정하기 위한 화성궤도위성을 발사했다. 그런데 위성은 오작동으로 화성궤도 안착에 실패하고 우주 멀리 사라져버렸다. 당시 미국은 해당 위성을 제작하기 위해 6억 달러(약 7,200억원)를 투자했는데, 6억 달러를 고스란히 우주 허공에 날려 보낸 셈이다.

그럼 화성궤도위성은 어떤 이유로 우주로 날아가 버린 것일까? 답은 단위 오차에 있었다. 속도 계산 프로그램인 “스몰포스(Small Force)”는 미국식 단위를 동작했지만, 위성시스템의 전체 단위는 국제단위를 사용한 것이다.

AI 시대, 블랙박스를 검사할 도구 필요

이처럼 코드 검사는 소프트웨어 품질에서 매우 중요했다. 그런데 최근 인공지능(AI) 시대에는 새로운 검사가 중요시되고 있다. 그건 바로 “인공지능의 생각을 읽는 것”이다.

기존 소프트웨어는 코드가 입력된 데로 작동했다. 그러나 현재 AI 소프트웨어는 코드보다는 스스로 학습에 의해서 동작하므로 통제방식이 달라졌다. 특히 AI 소프트웨어의 생각은 외부에서 읽을 수 없는 형태로 블랙박스로 가려져 있다. 그러나 이러한 블랙박스를 해부하는 것은 중요해졌다.

이러한 오류의 대표적인 사례로 “이루다”가 있다. 12월23일 스캐터랩(Scatter Lab)은 이루다라는 인공지능(AI) 기반 채팅앱을 출시했다. 이루다는 카카오 대화 내용 100억건의 분석을 기반으로 동작하고 있다. 그래서인지 이루다 답변이 진짜 사람 같은 생생함을 느낄 수 있어 출시 2주 만에 70만명이 넘는 사람이 이용하기도 했다.

그런데 안타깝게도 이루다 앱은 출시 12일 이후로 이용할 수 없게 됐다. 주요 이유 중 하나로 이루다가 성차별 발언을 했기 때문이다. 이는 개발자 예측범위를 벗어난 행동이었다.

사실 이와 비슷한 사건이 예전에도 있었다. 마이크로소프트(MS)에서 개발한 챗봇 “테이(Tay)”도 막말 사건으로 미국에서 논란이 됐었다.

이러한 사건은 AI 소프트웨어의 블랙박스를 검사하지 못했기 때문에 발생했기 때문으로 볼 수 있다. 그럼 구체적으로 어떤 어려움이 있을까?

주요 세 가지 분야를 살펴보자. 첫째는 자율주행차이다. 자율주행 차가 오작동을 일으켜 사고를 낼 수 있다. 참고로 자율주행차에 관한 사람의 불신은 생각보다 높다. 리즈대학교의 ‘나타샤 메랏 (Natasha Merat)’ 교수는 자율주행 버스 연구를 통해 우연히 재미있는 사실을 밝혀냈다. 보행자가 횡단보도를 건널 때 사람이 탄 자동차와 달리 자율주행차가 지나갈 때 표정이 경직됐었다는 것이다. 녹색불임에도 자율주행차가 오작동으로 본인을 칠 수 있는 우려에 나타난 표정으로 조사됐다.

둘째는 가격담합이다. 일부 기업은 AI를 활용해 제품의 적정 가격을 매기는 기술도 개발하고 있다. 사용자 구매를 유도하기 위한 최적의 가격을 제시하는 기술인 셈이다. 그런데 이 또한 문제가 될 수 있다. 기업간 가격담합이 발생할 수 있다. 2017년 경제협력개발기구(OECD)는 기업간 가격담합이라는 보고서에서 AI가 기업간 가격담합의 요인이 될 수 있다고 분석했다. 기업에서 활용하는 AI는 기업 이윤을 극대화하기 위해서 움직인다. 그리고 이들 AI는 서로간 학습으로 의도치 않게 기업간 가격담합을 촉진시킬 수 있다.

마지막은 로봇 오작동으로 인명피해를 주는 것이다. 킬러로봇이 대표적인 사례이다. 1천명의 학자가 이 같은 이유로 반대하고 있다. 킬러로봇이 오작동으로 관련 없는 사람에게 손해를 끼칠 수 있다.

XAI, AI 블랙박스 검사도구

이에 따라 AI 시대에는 블랙박스를 들여다볼 기술이 필요해지고 있다. 그래서 최근 설명가능 인공지능(XAI, eXplainable AI)이 부상하고 있다. 참고로 XAI는 AI의 블랙박스로 숨겨진 내용을 가시화해 표현하는 기술이다.

이처럼 AI가 통제 범위에 벗어남에 따라 예상되는 문제는 무궁무진하다. 이루다는 겨우 시작에 불과하다. AI 오판단으로 인한 의료사고도 이러한 문제에 적용될 수 있다.

결국 문제는 AI에 관한 신뢰라고 할 수 있다. 가령 기존 시스템에 AI를 적용하면 정확도는 향상한다고 하자. 그렇다고 AI를 무조건 믿어야 할까? 향상 원인에 관해 설명되지도 않았는데도 말이다.

XAI 연구는 미국에서 선제적으로 진행 중인데 일부 연구 성과를 달성하기도 했다. 미국 국방부 산하방위고등연구계획국(DARPA)은 유리박스(Glass-Box)라는 과제를 추진 중이다. DARPA는 XAI의 표현성과 AI 성능에 역관계가 있다고 주장했는데 AI 성능에 영향을 주지 않으면서 XAI를 구현하는 것을 목표로 하고 있다. 늑대 이미지 인식에서 눈(Snow)이 있으면 무조건 늑대라고 오판단하는 문제를 XAI를 통해 파악해 해결하기도 했다.

2017년 엔비디아(NVIDIA)에서는 자율주행차 운행 방식을 설명하는 “파일러넷(PilotNet)” 이라는 기술을 개발한바 있다. 해당 기술은 자율주행 시스템이 어떻게 사물을 인지하고 자율주행하는지를 보여준다.

캘리포니아주립대학교 버클리캠퍼스(UC버클리대학)도 XAI 분야에서 두드러지고 있다. UC버클리대학은 XAI가 만들어 내는 시각적 표현에 관해 집중적으로 연구하고 있다. 국내 또한 XAI를 연구하기 시작했다.

국내 또한 2017년부터 XAI를 연구하고 있다. 과학기술정보통신부(과기부)는 울산과학기술원(UNIST)이 XAI를 연구할 수 있도록 2017년 9월부터 2021년 12월까지 총 154억 원을 지원하고 있다. 참고로 해당 연구는 실증까지 계획하고 있다. 세브란스병원(의료), 코스콤(금융) 등과 협력해 기술 실증을 진행할 계획이다. 그리고 네이버, 포스코 등에 해당 기술을 공급할 계획이다

국내의 경우에는 2017년부터 울산과학기술원(UNIST)을 중심으로 XAI를 연구하고 있다. 또한 삼성카드는 작년 11월부터 서울대학교와 협업해 XAI 연구를 진행하고 있다.

프라이스워터하우스쿠퍼스(PwC)에 따르면 AI는 2030년에 약 15조 7,000억달러(약 1경884조원)의 가치를 창출한다. 그런데 AI 통제 어려움으로 인한 사회적 손실이 예상된다. 이러한 손실을 막기 위해서는 XAI로 AI로 가려진 블랙박스를 검사할 수 있는 연구가 진행돼야 한다.