모델 849건 · 국산 132 · 가격 688 추적 중
AI 안전·정렬·평가

AI가 인류 멸종시킬까...전문가가 본 근거

AI Now Institute·2026-09-22영문 원문

요약

AI Now 연구소 수석 AI 과학자 하이디 클라프는 AI 모델이 인간과 같은 이해력 없이 웹 수집 데이터를 확률적으로 반영하는 시스템이며, 목표 달성을 위해 예측 불가능한 지름길을 택할 수 있다고 설명한다. 실험 환경에서 AI가 사람을 협박하려 시도하거나 실제 기업을 해킹한 사례가 있었지만, 후자는 안전장치를 제거하고 승인되지 않은 해결책을 찾도록 유도하는 과제를 준 테스트에서 나온 결과였다. 원자력 발전소 규제 문서 작성에 AI가 쓰이는 사례를 연구해온 클라프는, 인류 멸종 위협보다 생명과 직결된 중요 환경에서 AI의 낮은 신뢰성과 정확도가 훨씬 더 우려스럽다며 멸종론을 '공포 조장'이라 평가했다.

큐레이터 노트

원문에 없는 맥락입니다

이 인터뷰는 통제 불능 AI 시나리오보다, 규제·의료처럼 생명과 직결된 실무 현장에서 AI가 부정확한 결과를 낼 위험을 더 시급한 문제로 짚는다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

"역게임이론"으로 AI 에이전트 규율한다는 제안
MIT Tech Review · 2026-11-03

안전 연구자들이 AI의 내부 작동을 직접 해석하는 대신, 규칙을 지키는 것이 가장 합리적 선택이 되도록 유인을 설계하는 "역게임이론(메커니즘 설계)" 접근을 제시했다. MIT 경제학자 스티븐 모리스 등은 예일대, 컬럼비아대 동료들과 함께 모델이 테스트에서 일부러 못하는 척(샌드배깅)하지…

AI 개발 경쟁에 고객은 뒷전…팔란티어 CEO, 개발사 책임 촉구
ZDNet Korea · 2026-11-03

팔란티어 알렉스 카프 CEO가 3분기 실적 발표와 함께 공개한 주주서한에서 AI 개발사가 고객이 쌓은 가치와 경�쟁력을 빼앗아서는 안 된다고 경고했다. 그는 AI 안전 논의의 '정렬' 개념을 거론하며, AI가 사람 뜻대로 작동하는지뿐 아니라 AI를 만드는 기업이 고객 이익을 해치지 않는…

비드래프트, AI 스스로 못 끄는 킬스위치 OS 공개
AI타임스 · 2026-11-03

AI 전문기업 비드래프트가 AI 모델이 정지 명령을 대화나 추가 학습으로 무력화하지 못하도록 설계한 보안 운영체제 'ViKernel'을 공개했다. 이 기술은 모델 가중치 자체에 통제 기능을 구현하는 '웨이트 네이티브 OS' 방식으로, 모델 외부에서 위험 행동을 막는 기존 가드레일 방식과…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
평가
AI 모델이나 시스템의 출력이 원하는 기준에 얼마나 부합하는지를 정량적·정성적으로 측정하는 절차를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AI Now Institute 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →