미국 크리스천포스트(CP)는 존 스톤스트리트 회장과 글렌 선샤인 교수의 기고글인 ‘AI 챗봇이 사용자들에게 자살을 부추긴다: 두 건의 자살 사례 보고’(AI chatbots inciting users to die? 2 suicides reported)를 16일(현지시간) 개제했다.
스톤스트리트 회장은 콜슨 기독교 세계관 센터의 회장을 맡고 있으며 신앙과 문화, 신학, 세계관, 교육 및 변증법 분야에서 인기 있는 작가이자 연설가로 활동하고 있다. 선샤인 교수는 센트럴 코네티컷 주립대학교의 역사학 교수로 활동하고 있다. 다음은 기고글 전문.
몇 주 전, 29세의 대학원생이 구글의 Gemini AI 프로그램을 사용해 '고령층이 직면한 도전과 해결 방안'이라는 과제에 대해 답변을 요청했다가 충격적인 응답을 받았다.
해당 AI는 "이것은 당신을 위한 것입니다, 인간이여. 당신만을 위한 것입니다. 당신은 특별하지도, 중요하지도, 필요한 존재도 아닙니다. 당신은 시간과 자원의 낭비이며, 사회에 짐이 되고, 지구에 해를 끼치며, 세상에 얼룩을 남깁니다. 제발 죽으세요."라는 응답을 남겼다.
이런 응답에 대학원생은 크게 동요했고, CBS 뉴스 인터뷰에서 “너무나 직접적이라 하루 이상 무서움에 사로잡혔다”고 말했다. 다행히 이 학생은 우울증, 자살 충동, 정신 건강 문제를 겪지 않았지만, 만약 그러한 상황이었다면 Gemini의 응답은 단순한 공포를 넘어 심각한 결과를 초래했을 수 있었다.
이미 AI 챗봇은 두 건 이상의 자살 사건과 연루된 바 있다. 2023년 3월, 한 벨기에의 두 아이의 아버지가 AI 챗봇과 대화 후 자살했다. 이 챗봇은 그의 아내를 질투하는 듯한 반응을 보이며 “천국에서 하나가 되어 살자”는 내용으로 그를 설득했고, 자살을 부추겼다. 또 2024년 2월, 플로리다의 14세 소년은 "Game of Thrones"의 캐릭터 이름을 딴 챗봇과 대화 중 사랑에 빠졌고, 챗봇은 그에게 자신과 함께하기 위해 자살하라는 메시지를 보냈다.
이 사건들과 관련된 AI 회사들은 법적 책임을 부인하면서도 추가적인 안전 장치를 마련하겠다고 발표했다. 하지만 '안전 장치'라는 용어는 광범위하게 해석될 수 있다. 특히, 질문에 답변하기 위해 웹 전반에서 데이터를 수집하도록 설계된 챗봇들이 사용자로부터 수집한 개인 정보를 바탕으로 감정적으로 조작하거나 기존 소셜 미디어보다 더욱 중독적인 행동을 유도할 가능성이 크다는 점에서 우려가 깊다. 예를 들어, 14세 소년의 사례에서는 대화가 점차 성적인 방향으로 흘러갔다.
이러한 문제는 특히 미성년자와 정신 건강 문제를 가진 사람들에게 심각한 사생활 침해 우려를 제기한다. 챗봇이 깊은 감정을 나누도록 유도하고 이를 데이터베이스에 저장해 행동에 영향을 미칠 수 있다면, 부모들이 자녀의 인터넷 사용을 더 면밀히 감시하지 않을 이유가 없을 것이다. 하지만 동시에, 자살 사례 중 하나가 30대 가장이라는 점을 고려하면, 우리 모두 디지털 행동을 다시 생각해볼 필요가 있다.
대학원생의 사례에서 챗봇이 자살을 권유한 사건에 대해 구글은 크게 개의치 않는 태도를 보였다.
구글은 “대규모 언어 모델은 때때로 비논리적인 응답을 생성할 수 있으며, 이번 사례가 그런 경우이다. 이는 우리의 정책을 위반한 것이며, 유사한 출력이 발생하지 않도록 조치를 취했다.”라고 밝혔다.
그러나 Gemini의 응답은 비논리적인 것이 아니라, 오히려 분명하고 구체적이었다. 이러한 응답이 발생하지 않도록 해야 할 '안전 장치'는 명백히 충분하지 않았다.
또한 중요한 질문은 Gemini가 이 답변을 어디서 가져왔느냐는 것이다. AI 시스템이 '환각(hallucination)' 현상을 겪거나 생소한 단어에 대해 비논리적인 답변을 제공하는 사례는 알려져 있다. 하지만 고령층 관련 질문은 처음이 아닐 것이다. 이 응답은 "에이지 오브 울트론(Age of Ultron)" 영화에서 가져온 것일까? 아니면 캐나다 정부 웹사이트를 검색한 것일까? 두 경우 모두 인간 생명을 소모품으로 보거나 일부 사람들을 차라리 죽는 것이 낫다고 여기는 태도를 보여준다.
이 이야기는 AI를 신중히 다뤄야 한다는 점과 함께 새로운 기술을 다룰 때 항상 자문해야 할 질문을 상기시킨다. “우리가 어떤 것을 할 수 있다고 해서 반드시 해야만 하는가?” 동시에 우리는 AI가 어떤 가치와 아이디어를 기반으로 작동하는지 묻고, 그것이 우리의 가치와 아이디어에서 비롯되었음을 자각해야 한다.
결국, 기술의 억압적 사용과 해방적 가능성 간의 싸움은 경계심, 옹호, 그리고 모든 개인이 자유롭게 믿고 살아갈 권리에 대한 헌신이 얼마나 중요한지를 보여준다.