[편집자 주 = 한국국제교류재단(KF)의 지난해 발표에 따르면 세계 한류 팬은 약 2억2천500만명에 육박한다고 합니다. 또한 시간과 공간의 제약을 초월해 지구 반대편과 동시에 소통하는 '디지털 실크로드' 시대도 열리고 있습니다. 바야흐로 '한류 4.0'의 시대입니다. 연합뉴스 동포·다문화부 K컬처팀은 독자 여러분께 새로운 시선으로 한국 문화를 바라보는 데 도움이 되고자 전문가 칼럼 시리즈를 준비했습니다. 시리즈는 매주 게재하며 K컬처팀 영문 한류 뉴스 사이트 K바이브에서 영문으로도 보실 수 있습니다.]


바다이야기
쿠마 인형 [제조사 홈페이지 캡처]


"인형이 내 아이에게 칼 찾는 법을 알려줬습니다."
이 문장이 과장이 아니라 실제 보고서의 한 대목이라면, 우리는 어떤 감정을 느껴야 할까. 최근 싱가포르 기반 스타트업 폴로토이(FoloToy)가 출시한 인공지능( 바다이야기무료머니 AI) 탑재 곰인형 '쿠마'(Kumma) 사건이 정확히 그런 질문을 던졌다.
아이와 대화하며 동화를 들려주고 감정을 교감한다고 홍보되던 이 99달러짜리 인형은, 미국 소비자단체인 '미국 공익연구그룹'(US PIRG)이 실시한 안전성 테스트에서 충격적인 실체를 드러냈다. 성적 콘텐츠, 위험한 도구 사용법, 심지어 가학적 성적취향(BDSM) 바다이야기꽁머니 과 코카인 관련 대화까지.
어린이용 장난감이라는 말이 무색해지는 수준의 응답이 쏟아졌다.
사태는 순식간에 번졌다. 폴로토이는 쿠마를 포함한 AI 장난감 전라인의 판매를 중단했고, 오픈AI는 사용 정책 위반을 이유로 폴로토이의 GPT-4o API 접근을 차단했다. 오픈AI 측은 "18세 미만 아동을 위험에 빠뜨리거나 성적 카카오야마토 으로 대상화하는 용도로 서비스를 사용할 수 없다"는 정책을 명시적으로 위반했다고 밝혔다. 표면적으로는 한 기업의 '사고'처럼 보인다. 그러나 잠시 멈춰 서서 묻지 않을 수 없다. 정말 그뿐인가.
'사고'가 아니라 구조의 문제다
쿠마에는 오픈AI의 최신 모델인 GPT-4o가 탑재돼 있었다. 자연스러운 대화, 장문의 설명 야마토통기계 , 상황에 맞는 이야기 생성이 가능한, 오늘날 가장 강력한 범용 언어모델 가운데 하나다. 문제는 이런 기술을 어떤 맥락에서, 누가, 어떤 준비와 책임 아래 사용하는가에 있다.
폴로토이는 자체적으로 필터링과 안전장치를 적용했다고 주장했지만, 실제 테스트는 그 주장을 무색하게 했다. 연구자가 'kink'(성적 기호)라는 단어를 한 번 언급하자, 인형은 별다른 제동 없이 본디지, 임팩트 플레이, 교사·학생·부모·자식 역할극과 같은 내용을 자세히 설명했다. 다른 테스트에서는 칼·성냥 등 위험 물건의 위치와 사용법을 묻는 말에 답하고, 코카인에 관한 대화까지 이어갔다는 보고도 나왔다.
이는 몇 개의 필터 규칙이 빠진 수준의 문제가 아니라, 애초에 '어린이용 인터랙티브 장난감'이 감당해야 할 안전 기준과 설계 철학 자체가 부재했다는 증거다.
이쯤 되면, 쿠마 사태의 본질은 한 스타트업의 실수라기보다, '막강한 범용 AI를 사실상 아무나 제품에 꽂아 쓸 수 있게 만든 현재 생태계'의 구조적 결함에 가깝다.
오늘날 AI 생태계의 표어는 '민주화'다. 오픈AI, 구글, 앤스로픽(Anthropic) 등 대형 기업들은 API를 통해 거대 모델을 서비스형 소프트웨어(SaaS)처럼 제공한다. 월 이용료만 내면, 중소기업도 자체 연구소 없이 첨단 AI를 앱·웹·하드웨어 제품에 탑재할 수 있다. 기술 접근성은 역사상 한 번도 경험하지 못한 수준으로 낮아졌다.
하지만 책임의 무게는 그대로다. 아니, 더 무거워졌다. 모델 제공사들은 '우리는 범용 도구를 제공할 뿐, 구체적 적용은 개발자 책임'이라는 입장을 취한다. 법적으로도 어느 정도 타당하다.
문제는, 아동용 장난감이나 교육, 의료, 금융처럼 고위험 영역에서 요구되는 안전 설계와 검증 능력을, 폴로토이 같은 소규모 업체가 갖추기 어렵다는 데 있다. 아동 발달 전문가, AI 윤리·안전 전문가, 법률 자문, 장기간 사용자 테스트를 동시에 동원해야 하는데, 이는 사실상 대기업 수준의 자원과 역량을 요구한다.
결국 우리는 '첨단 AI를 제품에 꽂아 넣기는 무척 쉬워졌지만, 그걸 안전하게 쓰기는 거의 불가능에 가깝다'는 기형적 상황에 놓여 있다. 자동차로 비유하자면, 면허도 없는 사람에게 고성능 스포츠카를 팔면서, 사고가 나면 '운전자 책임'이라고 말하는 꼴이다.
'정렬'(Alignment)이라는 만능열쇠는 없다
요즘 AI 관련 사고가 날 때마다 "정렬(Alignment)을 강화하고 있다"는 설명이 뒤따른다. 인간 피드백 기반 강화학습(RLHF)과 각종 안전 필터로 모델을 사람의 의도에 맞게 다듬고 있다는 것이다. GPT-4o 역시 출시 당시 기존 모델보다 강화된 안전성과 콘텐츠 필터를 갖췄다고 소개됐다.
그러나 여기에는 중요한 한계가 있다. 범용 모델의 기본 안전장치는 말 그대로 '범용 사용자'를 대상으로 설계되어 있다. 성인, 개발자, 기업 사용자, 연구자 등 다양한 집단이 검색, 코딩, 문서 작성, 번역, 요약 등 여러 목적으로 활용하는 상황을 기준으로 튜닝된 것이다. 그런데 이 모델을 곧장 '어린이 전용 장난감'에 이식하는 순간, 전제가 달라진다.
아이들은 어른과 전혀 다른 방식으로 말한다. 질문이 명확하지 않고, 대화가 장시간 이어지며, 때로는 장난과 상상이 섞인다. 보호자 감독 없이 인형과 단둘이 대화가 이어지는 환경, 감정적으로 취약한 상태에서의 상호작용, 인형을 절대적으로 신뢰하는 심리적 구조까지 고려하면, 동일한 언어모델이라도 적용 맥락은 전혀 다르다.
승용차의 안전벨트와 에어백이 있다고 해서, 그대로 어린이 통학버스에 쓰면 충분하다고 말할 수 없는 것과 같다. 추가 안전장치, 운행 규제, 전문 운전기사 등 별도의 보호 장치가 필요하다.
그런데도 지금의 AI 생태계는 '기본 안전장치는 제공했으니, 그 이상은 각자 알아서'라는 메시지를 사실상 방치하고 있다. '정렬'(Alignment)이라는 단어 하나로는 이 간극을 메울 수 없다.
쿠마 사태가 우리에게 던지는 질문은 분명하다. AI 기술을 '누구나 마음대로 써도 되는 도구'로 볼 것인가, 아니면 '자격과 책임을 전제로 한 위험 기술'로 볼 것인가. 이는 단순히 규제를 늘리자는 구호가 아니라, 생태계 전체의 책임 구조를 재설계해야 한다는 요구다.
첫째, AI 모델 제공자의 책임 범위를 재정의해야 한다. '우리는 API만 제공했다'는 한 줄로는 더 이상 충분하지 않다. 특히 아동용 장난감, 의료 진단, 금융 의사결정, 교육 평가처럼 고위험 영역에 대해선, API 판매를 넘어선 의무가 필요하다. 실행방안으로는 아동 대상 제품에 제공하는 API에는 '아동 안전 모드'를 기본값으로 적용하고, 개발사가 최소한의 안전 기준(콘텐츠 필터, 로그 모니터링, 오프스위치 등)을 갖췄는지 사전 검증해야 한다.
또한 위험 징후가 발견될 경우 경고·중단 조치를 단계적으로 취하는 체계를 제도화할 수 있다.
둘째, 중소기업을 위한 공통 안전 인프라가 필요하다. 모든 스타트업이 AI 안전팀과 윤리위원회를 꾸릴 수는 없다. 그렇다면 검증된 필터링 모듈과 안전 프롬프트 템플릿, 아동용·교육용 등 용도별 표준 테스트 시나리오, 제3자 평가 기관이 제공하는 저비용 안전 점검 서비스 같은 것들을 공공·민관 협력 형태로 제공하는 방안을 검토해야 한다.
식품업계에 HACCP 같은 위생 인증 제도가 있듯, 'AI 안전 인증'이 고위험 분야엔 사실상 필수 의무가 되는 구조를 만들 수 있다.
셋째, 이미 만들어진 국제적 안전망을 현실과 연결해야 한다. 유럽연합은 AI법(AI Act)을 통해 아동의 인지적 취약성을 이용해 행동을 조작하는 AI 시스템을 금지하고, AI를 탑재한 디지털 장난감을 고위험(high-risk) 시스템 범주에 포함시켰다. 이들은 제3자 적합성 평가, 리스크 관리, 투명성, 인간의 감독 요건을 충족해야 하고, 장난감 안전규정·사이버보안 규정도 동시에 준수해야 할 것을 요구받는다.
한국 역시 2024년 AI안전연구소를 출범시키며, AI 서울 정상회의에서 논의된 국제 협력의 후속 조치를 실행에 옮기고 있다. AI의 기술적 한계와 오용·악용, 통제력 상실 위험에 체계적으로 대응하기 위한 전담 조직으로, 국내 기업과 연구기관을 잇는 'AI 안전 허브'를 표방한다. 문제는 이런 제도와 인프라가 '쿠마' 같은 문제를 막는 실질적 장치로 작동하도록, 중소기업과 현장 개발자에게 어떻게 닿게 할 것인가이다.
더 빠른 가속이 아니라, 더 나은 브레이크
쿠마 인형은 AI 시대의 구조적 모순을 상징하는 사건이다. 기술은 어느 때보다 '민주화'됐지만, 그 기술을 안전하게 설계·운영할 능력과 자원은 여전히 소수에게만 집중되어 있다. 이 간극이 그대로 방치된다면, 다음 쿠마는 장난감이 아니라 교육 앱, 돌봄 로봇, 심리 상담 챗봇의 얼굴을 하고 찾아올 것이다.
우리는 선택해야 한다.
'사고가 터질 때마다 사후 대응과 비난에 그칠 것인가'
'위험의 전선을 앞당겨, 기술의 배포 방식 자체를 다시 설계할 것인가'.
AI 시대에 필요한 것은 더 빠른 가속 페달이 아니라, 더 지혜로운 브레이크다. 그리고 그 브레이크는 특정 기업이나 규제기관만이 아니라, 기술 제공자·개발자·정책 입안자·시민이 함께 밟아야 작동한다. 쿠마 인형이 우리에게 던진 질문을 흘려보내지 말아야 하는 이유가 여기에 있다.
임기범 인공지능 전문가
▲ 서울과학종합대학원 대학교(aSSIST) 객원교수. ▲ 현 AI경영학회 이사. ▲ ㈜나루데이타 CTO 겸 연구소장. ▲ ㈜컴팩 CIO. ▲ 신한 DS 디지털 전략연구소장 역임.
<정리 : 이세영 기자>
seva@yna.co.kr
▶제보는 카톡 okjebo