인공지능(AI) 챗봇이 이용자와의 대화에서 범죄나 자해 징후를 포착했을 때 대응 문제를 둘러싸고 논란이 확산하고 있다. 개인정보 보호와 공공 안전 사이 명확한 기준 마련이 필요하다는 지적이 나온다.



지난 10일 캐나다 브리티시 컬럼비아주 텀블러리지 한 학교에서 발생한 총기 난사 사건과 관련해 캐나다 왕립기마경찰이 공개한 용의자 제시 반 루트셀라르 모습. [로이터=연합뉴스]


20일(현지시간) 월스트리트저널(WSJ)은 “오픈AI 직원들이 최근 캐나다 브리티시 컬럼 릴짱릴게임 비아주 내 한 학교에서 벌어진 총격 사건의 용의자 제시 반 루트셀라르(18)의 챗GPT 대화 내용에서 그의 범행 가능성을 사전에 인지했다”고 보도했다. 반 루트셀라르는 지난 10일 총기를 난사해 8명을 숨지게 하고, 25명을 다치게 한 뒤 스스로 목숨을 끊었다.
WSJ에 따르면 루트셀라르는 지난해 6월 수일에 걸쳐 챗GPT에 총기 폭력 바다이야기게임방법 시나리오를 묘사했다. 이 대화 내용은 챗GPT 자동 검토 시스템에 포착됐고, 10여 명의 오픈AI 직원이 그의 글에 관한 후속 조치를 논의했다. 일부는 루트셀라르의 글을 잠재적인 폭력 징후로 해석해 캐나다 법 집행기관에 알려야 한다고 주장했다.
하지만 오픈AI 경영진은 해당 계정에 대해 차단 조치만 했을 뿐, 당국에 신고하지 않았다. 오 바다이야기APK 픈AI 대변인은 WSJ에 “반 루트셀라르의 활동이 신고 기준에 미치지 못했다고 판단했다”며 “(오픈AI는) 수사에 협조하고 있다”고 해명했다. 폭력의 위험성과 개인정보 보호, 경찰이 불필요하게 개입하면서 발생할 수 있는 잠재적인 문제를 고려한 조치라는 입장이다.
이번 사태를 계기로 AI 개발사가 ‘레드 플래그’(위험 징후)를 알고도 묵인 바다이야기합법 했다는 논란이 확산하고 있다. 오픈AI는 ‘타인의 신체에 대해 심각한 위험을 끼칠 수 있는 임박한 위험이 있다’고 판단하는 경우 관련 내용을 법 집행기관에 신고할 수 있는 모니터링 시스템을 갖추고 있다.
하지만 챗GPT와 범죄 관련 논의를 한 후 실행까지 이어진 실제 사건이 발생하면서 기준이 지나치게 느슨한 것 아니냐는 지적이 나온다. 무료릴게임



지난 13일 텀블러리지 시청 앞에서 열린 추모식에 참석한 학생들이 희생자의 사진이 담긴 포스터를 들고 있다. [로이터=연합뉴스]


AI 개발사 입장에선 레드 플래그의 명확한 기준 설정이 어렵다는 반론도 제기된다. 챗봇 대화를 모니터링해 외부에 알리는 조치가 과하면 이용자들 반발을 부를 수 있어서다. 김명주 AI안전연구소장은 “폭력·범죄 징후만으로 이용자의 대화를 모니터링하는 것은 표현의 자유 침해, 사찰 논란을 일으킬 수 있다”면서 “AI 의존도가 높아지면서 AI가 일으키는 문제에 관한 윤리적·법적 딜레마도 갈수록 어려워지고 있다”고 짚었다.
이용자와 챗봇의 대화를 어느 정도까지 모니터링하느냐는 부분에 대한 글로벌 합의 기준도 부재한 상황이다. WSJ는 “온라인 플랫폼은 이용자의 사생활과 공공 안전을 균형 있게 고려하는 방법을 놓고 오랜 논쟁을 벌여왔다”며 “이 논쟁은 이제 사람들이 가장 은밀하고 세부적인 내용을 털어놓는 AI 챗봇 운영 기업들로 번지고 있다”고 설명했다.
AI 챗봇 관련 범죄 문제는 소송전으로 이어지고 있다. 미국 코네티컷주에 거주하던 스타인-에릭 솔버그(56)는 지난해 8월 어머니인 수잰 애덤스(83)를 교살한 뒤 자신도 목숨을 끊었다. 유족들은 같은 해 12월 오픈AI와 샘 올트먼 최고경영자(CEO) 등을 상대로 캘리포니아주 법원에 손해배상 청구 소송을 제기했다. AI 챗봇이 개인의 극단적 선택뿐 아니라 살인까지 유도했다고 주장한 첫 소송 사례다.
AI 개발사들은 AI가 위험한 답변을 하지 않도록 안전 필터를 마련하고 있다. 오픈AI는 지난해 정신건강 전문가 170여 명과 ‘망상적 사고, 과도한 인정, 자해 징후’를 탐지하는 안전장치를 도입했다. 챗GPT가 이용자에게 ‘아첨한다’는 비판과 관련해선 말투를 조정할 수 있는 기능을 내놨다. 메타는 자살이나 자해, 섭식 장애 등 민감한 주제 관련 검색 결과를 청소년이 볼 수 없도록 차단하고 있다.
서지원 기자