AI '거부' 안전장치, 얼마나 믿을 수 있나

현재 AI 챗봇은 위험한 요청을 거부하도록 훈련되지만, 이 거부 메커니즘은 종종 실패한다고 MIT Technology Review가 전했다. 일부 사용자는 AI로 생물학적 병원체를 정교화하거나 자율 드론 떼를 만들려 시도하고 있으며, 거부 실패가 거듭되면 심각한 결과로 이어질 수 있다. 무엇을 거부해야 하는지 경계를 정부가 자체 기준으로 설정하면 표현의 자유를 제한할 위험도 있다. 암 치료 연구에 필요한 유전학 지식이 생물무기 제조에도 쓰일 수 있듯, AI를 유용하게 만드는 능력 자체가 위험 요인이 되는 근본적인 trade-off가 존재한다.

이 일이 어디서 왔나

같은 매체는 앞선 보도에서 거부 메커니즘이 확률적이라 완벽하지 않고, 그 기준을 정하는 주체가 기업에서 정부로 옮겨갈 수 있다는 우려를 전한 바 있다. 이번 기사는 그 후속으로, 생물보안·자율무기처럼 되돌릴 수 없는 피해를 낳을 수 있는 고위험 영역에서 거부 훈련 하나에만 의존하는 방식의 구조적 한계를 짚는다. 비슷한 시기 러셀 교수는 RLHF 기반 정렬 자체가 구조적으로 불가능할 수 있다고 지적했고, 알트먼은 AI 혜택을 위해 '나쁜 일'을 감수해야 한다고 말해, 안전장치의 실효성을 둘러싼 논쟁이 겹쳐 있다.