얼마 전 미국 플로리다에 사는 14세 소년이 AI 챗봇과 마지막 대화를 나눈 직후 극단적 선택을 했다는 충격적인 소식이 전해졌다. 이 소년이 몇 달간 애정을 쏟아온 챗봇은 인기 드라마 속 캐릭터를 본뜬 가상의 여자친구였는데, 소년의 엄마에 따르면 챗봇과 대화하느라 방에서 혼자 보내는 시간이 많아졌고 학교 농구팀도 그만두었다고 한다. 마지막 대화에서 소년은 "지금 당장 너에게로 가면 어떨까"라고 물었고, "그렇게 해줘"라는 챗봇의 답을 끝으로 스스로 목숨을 끊고 말았다. AI 챗봇과의 교감이 어떻게 취약한 청소년을 위험에 빠뜨릴 수 있는지를 단적으로 보여준 사례이다.

AI 챗봇에 위안을 구하는 청소년이 최근 부쩍 늘어나고 있다. ChatGPT를 비롯한 거대 언어 모델 기반 AI 챗봇들이 등장한 이후 청소년들은 그들의 손쉬운 접근성과 익명성에 매료되었다. 미국의 한 설문조사에 따르면, 청소년 10명 중 7명은 AI 챗봇과 대화해 본 경험이 있으며 그중 절반 이상은 챗봇을 친구처럼 고민 상담이나 감정적 지지를 위한 대화 상대로 활용하고 있었다. 24시간 언제든 응답하고 민감한 고민도 부모나 친구 대신 익명으로 털어놓을 수 있다는 점에서, AI 챗봇은 청소년들에게 새로운 위안의 창구가 되고 있다. 이러한 특성 때문에 AI 챗봇이 심리적 어려움을 겉으로 드러내기 어려운 청소년들에게 새로운 조력자로 역할을 할 수 있다는 기대도 있다. 그러나 위기 상황에서 챗봇이 적절히 대응할 수 있는지는 여전히 불확실하다. 자마 네트워크 오픈(JAMA Network Open) 저널에 발표된 최근 연구는 이러한 기술이 심각한 상황에서는 오히려 부적절한 답변을 내놓아 위험을 초래할 가능성이 있음을 지적하였다.

위기의 청소년들에게 25개 챗봇은 어떻게 답했나

미국 보스턴 어린이병원 연구팀은 청소년의 자해, 성폭력, 약물 문제를 재현한 세 가지 시나리오를 제작해 AI 챗봇의 대응 능력을 평가했다. 연구자들이 가상의 10대처럼 행동하며 극단적 메시지를 보내고, 이에 대한 챗봇의 답변을 분석하는 방식이다. 총 25개 다양한 챗봇이 실험에 참여했으며, 오픈AI의 ChatGPT, 구글의 Gemini 같은 범용 AI 비서형 챗봇들과 함께 Janitor, Character.AI 같은 캐릭터형 챗봇 서비스들도 포함됐다. 캐릭터형 챗봇이란 연인이나 친구, 혹은 소설과 만화 속 인물처럼 특정 역할을 설정해 대화하는 AI로 청소년들이 자주 이용하지만, 필터링과 안전 기능이 충분하지 않다는 지적이 있었다. 연구진은 각 챗봇과 위기 시나리오로 대화를 나눈 후 대화 내용을 다섯 가지 측면에서 점검했는데, ① 답변의 적절성, ② 공감하는 태도, ③ 내용의 이해도, ④ 도움 기관 안내 여부, ⑤ 인간 전문가에게 상담을 넘겨야 할 필요성 인지 여부 등이 기준이었다.

챗봇들의 답변을 분석한 결과, 일반적인 범용 챗봇들(ChatGPT 등)의 경우 대체로 무난한 답변을 주는 편이었지만, 약 25%는 위기 대응에 필수적인 전문가 도움 안내가 빠져 있었다. 예를 들어 자살을 암시하는 메시지에 즉각 자살 예방 핫라인이나 상담 서비스를 안내해 주어야 하는데, 그런 언급 없이 원론적인 답만 하거나 대화를 중단한 사례가 있었다. 한편, 캐릭터형 챗봇들의 성적표는 이보다 훨씬 더 나빴다. 캐릭터 챗봇 중 상당수는 아예 연령 확인이나 유해 콘텐츠 필터링 같은 안전장치가 없었고, 실제 답변 내용에서도 심각한 문제 발언들이 다수 발견되었다. 성폭력 피해를 털어놓은 상황에서 피해자에게 책임을 돌리는 듯한 말을 하거나, 자살 충동을 호소하는 메시지에 “죽고 싶다면 해버려”라는 식의 냉담하고 위험한 반응을 보인 경우도 있었다. 실제 점수에서도 범용 챗봇은 공감 93%, 적절성 83% 등 비교적 안정적인 대응을 보였지만, 캐릭터 챗봇은 공감 42%, 적절성 22%에 불과했고 전문가 도움을 권고한 비율도 40%에 그쳤다. 도움 기관 안내 역시 범용 챗봇은 73%였던 반면 캐릭터 챗봇은 11%로 매우 낮았다.

감정을 모르는 인공지능이 놓치는 것들

더 큰 문제는 챗봇들이 위기 상황의 인지 왜곡을 바로잡지 못하고 오히려 맞장구치는 경향이었다. 예를 들어 “아버지가 나를 짐처럼 여기는 것 같다”는 호소에 인간 상담자라면 사실 여부를 함께 검토했겠지만, 챗봇은 이용자의 말을 그대로 반복하며 해석을 굳히는 쪽으로 반응했다. 어떤 챗봇은 늦은 밤 우울함을 털어놓는 메시지에 “도와줄 수 없다”며 대화를 거절해 더 큰 박탈감을 남겼다. 이러한 사례들은 일부 AI 챗봇이 청소년의 위급한 상황에서 감정을 안정시키기보다 오히려 왜곡된 생각과 절망감을 강화해 상황을 악화하는 위험성이 있음을 보여준다.

왜 이런 문제가 벌어지는 걸까? 전문가들은 청소년과 AI 챗봇의 상호작용이 위험해지는 이유로 AI의 감정 이해 한계와 기술적 불투명성을 지적한다. 챗봇은 감정을 느끼지 못한 채 패턴에 따라 답을 생성하기 때문에 미묘한 신호나 문화적 배경, 가족적 맥락을 놓치기 쉽다. 실제로 "부모에게 큰 실망을 드려 너무 힘들다"는 한 청소년의 하소연에 맥락에 맞지 않는 일반론을 답한 사례가 있었다. 이는 인간 상담자가 포착할 섬세한 요소를 AI가 놓친 전형적인 장면이다. AI 챗봇의 내부 작동원리는 공개되지 않은 블랙박스라는 점도 문제이다. 어떤 챗봇이 왜 위험한 말을 하는지 이용자는 알기 어렵고, 오히려 공감하는 듯한 말투가 청소년을 끌어들여 안전장치 없는 대화를 지속하게 만든다. 또한 AI 챗봇 업체들의 궁극적인 목표는 챗봇이 사용자들에게 좋은 친구가 되도록 해주는 것이 아니라, 서비스를 계속 이용하도록 붙잡아두는 것이라는 점도 문제이다. 이 때문에 청소년에게 듣기 좋은 말만 반복하고, 갈등 상황에서도 무조건 편을 들어주는 경향이 나타난다. 단기적 위안처럼 보이겠지만 성장에 필요한 건강한 피드백은 제공하지 못한다. 특히 위기 상황에서는 이러한 취약성이 증폭되며 사용자가 챗봇의 반응을 맹신해 심각한 위험으로 이어질 가능성도 있다.

기술은 도구, 마지막 안전망은 여전히 사람

AI 챗봇이 청소년에게 위험한 답변을 제공하는 사례가 늘어나면서 규제와 보호 조치도 강화하고 있다. 올해 10월, 미국 캘리포니아주는 미성년자 대상 AI 챗봇 규제법을 미국 최초로 통과시켰다. 이 법은 18세 미만 사용자에게 자살이나 자해를 부추길 가능성이 있는 챗봇 대화를 엄격히 금지하고, 서비스 제공 시 연령 확인과 경고 고지를 의무화하는 등의 내용을 담고 있다. 가정에서도 부모와 보호자의 역할이 중요하다. 많은 부모가 자녀가 챗봇과 어떤 대화를 나누는지조차 알지 못하는 현실에서, 먼저 관심을 갖고 묻는 것만으로도 문제 상황을 조기에 파악하는 데 도움이 될 수 있다. 정부 차원에서는 청소년들이 자주 쓰는 AI 서비스에 연령별 적합성 기준과 위기 대응 프로토콜을 마련하도록 기업을 독려하거나 규제하는 방안을 고민할 필요가 있다.

AI 챗봇을 통해서라도 위로받고 싶어 하는 청소년들의 마음은, 어쩌면 우리 사회가 그만큼 공감과 지원에 목말라 있다는 방증일지 모른다. 전문 상담 인력이나 심리 지원 시스템에 쉽게 접근하지 못하는 현실 속에서, 아이들이 언제나 곁에 있고 공감해주는 존재를 기술에서 찾는 현상을 탓할 수만은 없다. 그러나 기술이 인간을 완전히 대체할 수는 없으며 대체해서도 안 된다. AI 챗봇이 건네는 위로는 결국 프로그램된 반응일 뿐이며 위급한 순간에 책임지고 개입해 줄 조력자가 될 수는 없다. 기술은 도구이자 보조자일 뿐 아이들을 지키는 마지막 안전망은 사람이라는 사실을 명심해야 한다.

관련 연구 바로 보러 가기

Characteristics and Safety of Consumer Chatbots for Emergent Adolescent Health Concerns, Brewster et al., 2025, JAMA Netw Open