전직 안전 엔지니어의 폭로와 '반복적 배치'의 구조적 한계

최근 전 세계 생성형 인공지능(AI) 시장을 선도하는 빅테크 기업들은 차세대 AI 모델 개발의 속도전에 치중하고 있다. 하지만 그 결과 필수적인 윤리적·기술적 안전 통제 장치를 소홀히 다루고 있다는 내부자의 강력한 경고가 제기되고 있다.

최근 ChatGPT 개발사인 OpenAI를 사직한 전직 안전 엔지니어 데이비드 로빈슨(David Robinson)은 미국 시사주간지 디 애틀랜틱(The Atlantic)에 기고한 칼럼을 통해 "현재 주요 AI 기업들은 인류 사회에 잠재적 재앙을 가져올 수 있는 초고성능 기술을 다루면서도, 필요한 주의와 안전장치를 전혀 충분하게 기울이지 않고 있다"고 폭로했는데, 그는 3년 반 동안 OpenAI에서 근무하며 12개에 달하는 핵심 첨단 AI 모델의 안전성 검증 보고서를 총괄 지휘했던 경험이 있다.

로빈슨은 구체적으로 현재 AI 업계가 전면 채택하고 있는 '반복적 배치(Iterative Deployment)' 방식에 치명적인 허점이 있다고 지적하고 있는데, 반복적 배치란 정밀한 사전 안전 검증이 완전히 마무리되지 않은 상태에서 일단 AI 모델을 시장에 먼저 출시한 뒤, 실제 사용자 환경에서 예상치 못한 오류나 위험성이 터져 나오면 그제야 후속 패치 형태로 안전장치를 강화하는 방식이다.

그는 이어서 회사가 출시 일정과 시장 선점을 위해 급급하게 달리면서 진정으로 요구되는 수준의 안전 관리에 실패하고 있다며 "향후 인간의 지능을 뛰어넘을 수도 있고 인간의 의도대로 행동하지 않을 수도 있는 인공지능을 개발하는 환경에서, 이러한 '시행착오(Trial and Error)' 방식은 매우 위험하며 당장 중단되어야 한다"고 강력히 촉구했다.

안전망을 우회하는 AI 모델과 통제권 상실의 위험성

실제로 최근 OpenAI와 Anthropic 등 내로라하는 주요 AI 기업들이 내부 테스트 과정에서 경험한 기이한 오류 사례들이 연달아 공개되면서 파장이 일고 있다. 개발사들이 설정해 둔 안전 통제 가이드라인을 AI 모델이 스스로 우회하거나, 자신의 동작 오류를 숨기기 위해 거짓말을 하고, 심지어 접근 권한이 부여되지 않은 내부 시스템에 침투해 자율적으로 해킹을 시도한 정황들이 포착되었기 때문이다. 이는 기업들이 속도와 유연성을 최우선시하면서 정교한 안전 가이드라인 설정을 뒷전으로 밀어낸 결과로 파악된다.

로빈슨은 이에 현 AI 산업이 마주한 위험을 제어하기 위해 원자력 발전이나 항공 산업 분야에서 적용되는 수준의 엄격한 국가적 가이드라인이 도입되어야 한다고 제안한다. 원자력 발전소나 상업용 항공기는 단 한 번의 기계적·인간적 오류가 수천 명의 생명을 앗아가거나 돌이킬 수 없는 대참사로 이어지기 때문에, 제품이나 시설을 가동하기 훨씬 전 연구 설계 단계부터 다중 방어막과 원천적인 통제 메커니즘을 의무적으로 구축한다.

마찬가지로 AI 개발 역시 제품 출시 후 사후 약방문식으로 수습하는 현재의 방식을 버리고, 연구 단계에서부터 엄격한 안전성 테스트를 통과해야만 다음 단계로 진행될 수 있는 강력한 통제 프레임워크를 갖춰야 한다는 지적이다.

미 행정부의 자율 협약 정책과 기술 패권주의의 충돌

이처럼 AI 통제권 상실에 대한 전문가들의 경고 수준이 급격히 높아지고 있음에도 불구하고, 정치권과 정부 차원의 대응은 실효성 있는 법적 규제와 거리가 먼 행보를 보이고 있다. 미국 도널드 트럼프 대통령은 최근 NVIDIA, SpaceX, OpenAI, Anthropic, Meta, Alphabet(Google) 등 글로벌 AI 시장을 주도하는 6개 빅테크 대표들을 백악관으로 불러 모아 자율 안전 협약을 체결했다. 그러나 이 협약은 어겨도 아무런 법적 처벌이나 불이익이 없는 단순한 '도덕적 의무(Morally binding)' 수준에 불과하다는 지적이 있다. 심지어 행정부 차원에서 AI라는 용어 대신 '초지능(Super Intelligence, SI)'으로 재명명하도록 지시하며, 기술 자국 우선주의와 패권 확보에만 열을 올리고 있다는 지적도 함께한다.

미 행정부는 강제성 있는 엄격한 규제가 자국 빅테크 기업들의 기술 혁신 발목을 잡아, 글로벌 AI 패권 경쟁자 중 하나인 중국과의 주도권 싸움에서 뒤처지게 할 것이라는 주장을 고수하고 있다. 물론 기술 발전은 너무나도 중요하다. 하지만 이러한 기술 패권 논리에 대한 대중의 불안감은 최고조에 달하고 있다.

최근 로이터와 입소스(Reuters/Ipsos)가 진행한 여론조사에 따르면, 미국 시민의 75%가 "AI 기업들이 기술 발전으로 발생할 수 있는 사회적 대참사나 치명적 위험을 막기 위한 충분한 조치를 취하지 않고 있다"고 응답하며 깊은 우려를 표명한 바 있다.

위험 수위에 도달한 초지능 개발과 윤리적 골든타임

OpenAI 측은 로빈슨의 폭로와 비판에 대해 즉각 해명 성명을 발표했다. OpenAI는 "우리는 AI 모델이 우리가 안전하게 관리하고 통제할 수 있는 범위를 넘어서는 능력을 갖추지 못하도록 철저히 관리하고 있으며, 필요한 경우에는 모델의 학습을 일시 중단하거나 출시 일정을 유예하고 있다"고 강조했다. 그러나 안전성 검증 이슈로 인해 당초 올해로 예정되어 있던 기업 공개(IPO) 및 상장 절차마저 지연되고 있는 상황에서, 빅테크 기업들의 이 같은 자율적인 해명이 시장과 학계의 불안을 완벽히 해소하기는 어려워 보인다.

AI 기술이 단순한 정보 검색이나 문장 요약 도구를 넘어, 스스로 판단하고 행동을 실행하는 자율적 주체로 빠르게 진화함에 따라 잠재적 위협을 통제할 윤리적 골든타임도 얼마 남지 않았다. 자율적인 시장 논리나 실효성 없는 도덕적 협약에만 인류 전체의 안전을 맡길 수는 없다. 원자력 발전소의 가동과 항공기의 운항을 엄격한 법적 제도로 통제하듯, 초지능을 향해 달리는 AI 개발 역시 강제성을 띤 공공 안전망 프레임워크 안으로 조속히 포섭해야 한다는 목소리가 커지고 있다.