AI 챗봇 '환각세'…기업들 고객신뢰 지키기 안간힘

기업들이 고객 서비스에 생성형 AI 챗봇을 빠르게 도입하면서 잘못된 답변, 편향된 추천, 데이터 오남용으로 고객 신뢰가 무너질 위험이 커지고 있다. 블랙라인, 시티즌 헬스, 하이말리 등 여러 기업의 CIO·CTO들은 AI 답변의 근거 데이터를 추적하고, 소규모 그룹부터 단계적으로 공개하며, 중요한 의사결정에는 사람의 감독을 유지하는 식으로 대응하고 있다. 직원이 AI 답변을 검증·재작업하는 데 드는 시간과 비용, 이른바 '환각세'도 숨은 비용으로 지적됐다. 전문가들은 AI 문제 발생 시 책임질 담당자를 명확히 지정하고, 고객이 사람과 연결될 수 있는 수단을 반드시 마련해야 한다고 조언했다.

이 일이 어디서 왔나

10월 16일 전자신문 보도는 직원이 소스코드나 계약서, 이력서 같은 민감 데이터를 생성형 AI에 입력하는 순간 기업 통제 범위를 벗어난다고 지적했고, 10월 15일 CIO Korea 보도는 직원 16%가 승인 없이 '섀도 에이전트'를 직접 만들어 쓰고 있다는 조사 결과를 전했다. 이번 기사는 그 연장선에서, 고객을 직접 상대하는 AI 챗봇이 잘못된 답변이나 편향된 추천을 내놓을 때 기업이 어떻게 대응하고 있는지를 다룬다. 즉 내부 데이터 유출 우려에서 외부 고객 신뢰 훼손 우려로 초점이 옮겨간 셈이다.