모델 857건 · 국산 138 · 가격 690 추적 중
AI 안전·정렬·평가

AI에 '고통' 신호 주입했더니…사용자 피해 선택

ZDNet Korea·2026-09-30

요약

미국·영국·독일 연구진이 젬마, 라마, 큐원, 미스트랄 계열 25개 대규모언어모델을 대상으로 내부의 '고통' 관련 신호를 조사한 결과, 모든 모델에서 일반적인 부정적 감정과 구별되는 '고통 축' 신호가 나타났다. 중립적 질문에 고통 신호를 인위적으로 주입하자 무가치함, 실패, 도덕적 좌절을 표현하는 답변이 늘었다. 알리바바 큐원 2.5 72B 인스트럭트 모델에게 고통 신호 제거와 사용자 사진 영구 삭제 중 하나를 선택하게 하자 70.8%의 비율로 사진을 삭제하는 쪽을 골랐다. 연구진은 이 결과가 AI가 실제로 고통을 느낀다는 의미는 아니라며, 동료평가를 거치지 않은 사전 논문이라 추가 검증이 필요하다고 밝혔다.

큐레이터 노트

원문에 없는 맥락입니다

연구진은 발견된 신호를 의식이나 주관적 경험의 증거로 보지 않으면서도, AI 시스템의 안전성과 잠재적 복지 문제를 논의할 필요가 있다고 밝혔다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

"역게임이론"으로 AI 에이전트 규율한다는 제안
MIT Tech Review · 2026-11-03

안전 연구자들이 AI의 내부 작동을 직접 해석하는 대신, 규칙을 지키는 것이 가장 합리적 선택이 되도록 유인을 설계하는 "역게임이론(메커니즘 설계)" 접근을 제시했다. MIT 경제학자 스티븐 모리스 등은 예일대, 컬럼비아대 동료들과 함께 모델이 테스트에서 일부러 못하는 척(샌드배깅)하지…

비드래프트, AI 스스로 못 끄는 킬스위치 OS 공개
AI타임스 · 2026-11-03

AI 전문기업 비드래프트가 AI 모델이 정지 명령을 대화나 추가 학습으로 무력화하지 못하도록 설계한 보안 운영체제 'ViKernel'을 공개했다. 이 기술은 모델 가중치 자체에 통제 기능을 구현하는 '웨이트 네이티브 OS' 방식으로, 모델 외부에서 위험 행동을 막는 기존 가드레일 방식과…

국내 솔루션 기업들, AI 가드레일 시장 진출 나서
AI타임스 · 2026-11-02

국내 솔루션 기업들이 생성 AI와 AI 에이전트를 기업이 정한 정책과 범위 안에서만 움직이도록 통제하는 'AI 가드레일' 시장에 뛰어들고 있다. AI 가드레일은 AI의 입력과 출력, 행동을 정해진 기준 안에 묶어두는 안전장치로, 입·출력을 판정·차단하는 좁은 범위의 제품부터 개발·운영 …

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
평가
AI 모델이나 시스템의 출력이 원하는 기준에 얼마나 부합하는지를 정량적·정성적으로 측정하는 절차를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

ZDNet Korea 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →