한국과학기술원(KAIST)은 '김재철AI대학원' 최재식 교수 연구팀이 인공지능(AI) 기술이 어떤 판단을 거쳐 결과물을 만들어 내는지 의사 결정 과정 구조를 시각화하는 기술을 개발했다고 26일 밝혔다.

AI 딥러닝 모델 내부에는 인간의 뇌처럼 뉴런(Neuron)이라는 기본 계산 단위가 존재하는데, 뉴런 여러 개가 서로 연결돼 하나의 개념을 함께 인식하는 구조를 회로(circuit)라고 최 교수는 설명했다.

기존에는 AI 의사결정 구조를 설명할 때 '특정 뉴런을 통해 특정 개념을 본다'는 단일 뉴런 중심의 접근이 많았지만, 최 교수팀은 각 뉴런이 감지한 정보가 순차적으로 작동·협력하며 하나의 개념(회로)을 이루는 것을 확인했다.

예를 들어 AI 모델이 '고양이 귀'라는 개념을 인식하기 위해선 귀 윤곽, 삼각형 형태, 특정 털, 색 패턴 등 각 뉴런이 감지한 값이 순차적으로 작동하며 하나의 기능단위(회로·개념)를 만든다.

이 점에 착안한 연구팀은 AI 개념 표현 단위를 뉴런에서 회로 단위로 확장·해석하는 '세분화된 개념회로'(Granular Concept Circuits, GCC) 기술을 제시했다.

이 기술은 뉴런 민감도, 의미 흐름 점수를 계산해 의미 흐름을 자동으로 추적한다. 특정 뉴런이 어떤 특징에 민감하게 반응하는지, 의미 흐름 점수에 따라 그 특징이 다음 개념에 어떻게 전달되는지 등을 알 수 있다.

이를 통해 색·질감 같은 기본 특징이 상위 개념과 조립되는 과정을 단계적으로 시각화할 수 있었다.

연구팀은 특정 회로를 잠시 비활성화하는 실험을 통해 회로가 담당하던 개념이 사라지면 AI의 예측이 달라지는 현상을 실제로 확인했다.

이는 해당 회로가 실제 그 개념을 인식하는 기능을 수행하고 있는 것을 입증한 것이라고 연구팀은 설명했다.

최 교수는 "AI가 내부에서 만든 개념 구조를 사람이 이해할 수 있는 방식으로 보여주는 기술"이라며 "이번 연구가 'AI가 어떻게 생각하는지'를 과학적으로 연구할 수 있는 출발점"이라고 말했다.

이번 연구 결과는 '국제 컴퓨터 비전 학술대회'(International Conference on Computer Vision, ICCV)에서 지난달 21일 발표됐다.