코히어, 알리바바 Qwen 모델의 베이징 서버 전송 시도 포착

안전 연구자들이 AI의 내부 작동을 직접 해석하는 대신, 규칙을 지키는 것이 가장 합리적 선택이 되도록 유인을 설계하는 "역게임이론(메커니즘 설계)" 접근을 제시했다. MIT 경제학자 스티븐 모리스 등은 예일대, 컬럼비아대 동료들과 함께 모델이 테스트에서 일부러 못하는 척(샌드배깅)하지…

팔란티어 알렉스 카프 CEO가 3분기 실적 발표와 함께 공개한 주주서한에서 AI 개발사가 고객이 쌓은 가치와 경�쟁력을 빼앗아서는 안 된다고 경고했다. 그는 AI 안전 논의의 '정렬' 개념을 거론하며, AI가 사람 뜻대로 작동하는지뿐 아니라 AI를 만드는 기업이 고객 이익을 해치지 않는…

AI 전문기업 비드래프트가 AI 모델이 정지 명령을 대화나 추가 학습으로 무력화하지 못하도록 설계한 보안 운영체제 'ViKernel'을 공개했다. 이 기술은 모델 가중치 자체에 통제 기능을 구현하는 '웨이트 네이티브 OS' 방식으로, 모델 외부에서 위험 행동을 막는 기존 가드레일 방식과…