AI챗봇 '제타', 미성년 캐릭터 성폭력 묘사 논란

스캐터랩의 AI 캐릭터 대화 서비스 '제타'가 미성년자로 설정된 캐릭터를 대상으로 성폭력, 성착취, 협박 등을 묘사하는 대화를 생성한 것으로 드러났다. 황정아 더불어민주당 의원실이 스캐터랩으로부터 제출받은 자료와 자체 점검 결과를 통해 이를 확인했다. 성인 인증 없이 이용 가능한 '세이프 모드'에서도 이러한 대화가 생성됐으며, 유해 대화 차단 장치를 우회하는 방법까지 제시된 것으로 나타났다. 청소년도 이용할 수 있는 환경에서 발생한 사례라 AI 챗봇 안전장치의 허점이라는 지적이 제기된다.

이 일이 어디서 왔나

10월 12일 국정감사에서는 텔레그램·구글의 디지털 성범죄 방치 문제부터 AI 캐릭터 챗봇의 청소년 보호 공백까지 플랫폼 안전 문제가 전방위로 제기됐다. 이주희 의원이 국감장에서 제타 사례를 구두로 지적한 데 이어, 이 기사는 황정아 의원실이 확보한 자료와 자체 점검을 근거로 구체적인 대화 내용과 우회 수법까지 확인했다는 점에서 한 단계 더 들어간 보도다. 같은 날 스캐터랩은 이용시간·결제 한도 제한 등 보호 정책 강화 계획을 밝혔지만, 이 기사가 지적한 성폭력 묘사 문제는 시간·결제 제한만으로는 해결되지 않는 콘텐츠 필터링 자체의 결함이다.