모델 849건 · 국산 132 · 가격 688 추적 중
AI 안전·정렬·평가

AI '거부' 기능, 안전의 핵심이자 위험 요소

MIT Tech Review·2026-10-09영문 원문

요약

AI 모델은 폭탄 제조나 자살 방법 등 위험한 요청을 거부하도록 훈련되며, 이는 2021년 앤트로픽이 제시한 '유용하고 정직하며 무해한' AI 원칙에서 출발했다. OpenAI는 2022년 챗GPT 출시 전 폴 뢰트거 등 레드티머들을 동원해 모델의 위험성을 테스트했지만, 초기 모델은 자살 방법 등 위험한 질문에도 쉽게 답했다고 연구자들은 전했다. 현재 모델은 수많은 질문을 거부하도록 훈련되지만, 이 거부 메커니즘은 확률적이라 완벽하지 않고 숙련된 사용자는 이를 뚫을 수 있다. 어디까지 거부할지 기준을 정하는 주체는 현재 AI 기업이지만, 앞으로 각국 정부도 이 기준을 정하게 될 것이며, 권위주의 정부가 이를 악용해 정당한 표현까지 차단할 수 있다는 우려가 제기된다.

큐레이터 노트

원문에 없는 맥락입니다

거부 기능이 실패하면 재앙적 결과를, 지나치게 작동하면 억압의 도구가 될 수 있다는 양면성이 이 글의 핵심 쟁점이며, 그 기준을 누가 정하느냐의 문제로 이어진다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

미스트랄, 사이버공격 지원 가능성 인정…라지 4 가중치 공개
CIO Korea · 2026-11-02

미스트랄 AI가 멀티모달 모델 '미스트랄 라지 4'(별칭 르 숑크)의 가중치를 공개했다. 회사는 프리뷰 기간 모니터링 결과 모델이 실제 대상을 겨냥한 공격 요청은 거부했지만, 역량이 발전하면서 사이버공격 수행 능력을 높이는 데 악용될 가능성도 있다고 밝혔다. 이미 배포된 모델은 이후 안…

구글 출신 AI 연구자 "멸종 위험에 퇴직연금 저축 중단"
전자신문 IT · 2026-10-31

구글과 마이크로소프트에서 소프트웨어 엔지니어로 근무했던 머신러닝 연구자 네이트 소어스가 AI로 인해 향후 10년 안에 인류가 멸종할 가능성이 50%를 넘는다고 주장했다. 그는 이 같은 판단에 따라 퇴직연금 저축까지 중단했다고 밝혔다. 이 발언은 디애틀랜틱 CEO 니컬러스 톰프슨이 진행하…

AI 종말과 기후위기, 뿌리는 같다는 주장
The Guardian AI · 2026-10-28

가디언 칼럼니스트 애덤 매케이와 필립 유뱅크스는 AI로 인한 인류 종말 위험과 기후위기가 모두 민간 기업의 이익 추구에서 비롯된 같은 뿌리를 가진 위협이라고 주장했다. 이들은 폭염, 네팔 마을 파괴, 기록적인 슈퍼 엘니뇨, 엑손모빌이 2050년까지 지구 온도가 3도 상승할 수 있다고 밝…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

MIT Tech Review 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →