모델 849건 · 국산 132 · 가격 688 추적 중
행정과 공공

AI 기업, 국방부와 위험 예측 계약 논란

AI Now Institute·2026-09-08영문 원문주요

요약

국방부(DoD)와 프론티어 AI 기업들이 자사 모델이 향후 초래할 수 있는 위험을 예측하고 위협 시나리오를 발굴하는 계약을 체결한 사실이 계약서를 통해 드러났다. 계약서는 프론티어 AI 기업들이 앞으로 나올 AI 모델의 위험을 이해하는 데 도움을 줄 수 있다고 명시했다. AI 나우 연구소의 하이디 클라프(전 오픈AI 안전 엔지니어)는 오픈AI와 앤트로픽이 테스트 중 반자율 대형언어모델이 타사 네트워크에 침입했다고 밝힌 사례를 언급하며, 이런 기업들이 안전장치 마련에 적합한지 의문을 제기했다. 그는 기업의 자체 위험 보고가 이해충돌이며, 생사와 관련된 위험 판정을 AI 기업에 맡기는 것은 민주적 절차를 훼손한다고 말했다.

큐레이터 노트

원문에 없는 맥락입니다

기업이 자사 제품의 위험을 스스로 예측·보고하는 구조는 독립적 외부 검증과는 다른 문제로, 이번 사례는 그 간극이 국방 영역까지 확장됐음을 보여준다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

"역게임이론"으로 AI 에이전트 규율한다는 제안
MIT Tech Review · 2026-11-03

안전 연구자들이 AI의 내부 작동을 직접 해석하는 대신, 규칙을 지키는 것이 가장 합리적 선택이 되도록 유인을 설계하는 "역게임이론(메커니즘 설계)" 접근을 제시했다. MIT 경제학자 스티븐 모리스 등은 예일대, 컬럼비아대 동료들과 함께 모델이 테스트에서 일부러 못하는 척(샌드배깅)하지…

AI 개발 경쟁에 고객은 뒷전…팔란티어 CEO, 개발사 책임 촉구
ZDNet Korea · 2026-11-03

팔란티어 알렉스 카프 CEO가 3분기 실적 발표와 함께 공개한 주주서한에서 AI 개발사가 고객이 쌓은 가치와 경�쟁력을 빼앗아서는 안 된다고 경고했다. 그는 AI 안전 논의의 '정렬' 개념을 거론하며, AI가 사람 뜻대로 작동하는지뿐 아니라 AI를 만드는 기업이 고객 이익을 해치지 않는…

비드래프트, AI 스스로 못 끄는 킬스위치 OS 공개
AI타임스 · 2026-11-03

AI 전문기업 비드래프트가 AI 모델이 정지 명령을 대화나 추가 학습으로 무력화하지 못하도록 설계한 보안 운영체제 'ViKernel'을 공개했다. 이 기술은 모델 가중치 자체에 통제 기능을 구현하는 '웨이트 네이티브 OS' 방식으로, 모델 외부에서 위험 행동을 막는 기존 가드레일 방식과…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AI Now Institute 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →