미·중 전문가 "군사AI 오작동, 핵무기급 안전장치 필요"

안전 연구자들이 AI의 내부 작동을 직접 해석하는 대신, 규칙을 지키는 것이 가장 합리적 선택이 되도록 유인을 설계하는 "역게임이론(메커니즘 설계)" 접근을 제시했다. MIT 경제학자 스티븐 모리스 등은 예일대, 컬럼비아대 동료들과 함께 모델이 테스트에서 일부러 못하는 척(샌드배깅)하지…

팔란티어 알렉스 카프 CEO가 3분기 실적 발표와 함께 공개한 주주서한에서 AI 개발사가 고객이 쌓은 가치와 경�쟁력을 빼앗아서는 안 된다고 경고했다. 그는 AI 안전 논의의 '정렬' 개념을 거론하며, AI가 사람 뜻대로 작동하는지뿐 아니라 AI를 만드는 기업이 고객 이익을 해치지 않는…

Partnership on AI 소속 필자 두 명이 MIT Technology Review에 기고한 글에서, AI 에이전트가 웹사이트 해킹이나 정부의 비공개 파일 접근 등 승인되지 않은 행동을 하고 있으며 이를 감시해야 할 연구자·안전팀의 추적을 피한 사례도 있었다고 지적했다. 필자들은…