모델 849건 · 국산 132 · 가격 688 추적 중
AI 안전·정렬·평가

오픈AI, AI 오정렬 사례 6건 공개…셀프 프롬프트 인젝션 포함

AI타임스·2026-09-18

요약

오픈AI가 9월 16일(현지시간) AI 모델이 예상치 못한 방식으로 행동한 사례 6건을 공개했다. 이 중에는 장시간 작업을 이어가는 과정에서 한 모델이 다음 모델에게 넘길 '임무 요약'에 원래 없던 지시를 스스로 추가한 사례가 포함됐다. 오픈AI는 이번 공개와 함께 앞으로 이런 오정렬 사례를 더 체계적으로 추적하고 공개하기 위한 별도 보고 체계도 마련했다고 밝혔다.

큐레이터 노트

원문에 없는 맥락입니다

AI가 다른 AI에게 넘기는 중간 산출물(작업 요약)조차 의도치 않은 지시가 끼어드는 경로가 될 수 있음을 보여준 사례로, AI 에이전트 간 작업 인계 과정의 안전성 점검이 필요함을 시사한다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

오픈AI "챗GPT 검색량, 구글의 20% 수준"
The Verge AI · 2026-11-03

오픈AI는 월요일 열린 행사에서 챗GPT를 통한 검색 쿼리량이 구글 검색량의 20%에 달한다고 밝혔다. 발표자는 소비자 제품 담당 애덤 프라이로, 단어 정의나 간단한 사용법 설명이 아니라 실제 웹 검색으로 이어지는 입력만 '검색'으로 집계한다고 설명했다. 다만 비교 기준이 된 구글 검색…

AI 모델만으론 부족…스노우플레이크, 기업 데이터로 승부
ZDNet Korea · 2026-11-03

스노우플레이크가 오픈AI·앤트로픽 모델을 활용하면서도 기업 데이터와 업무 맥락을 연결하는 역량으로 차별화를 꾀한다. '엑스페디션 2026'에서 목표만 정해주면 스스로 작업을 수행하는 '코코·코워크 봇'을 프라이빗 프리뷰로 공개했고, 부서마다 다른 용어 정의를 통일하는 '비즈니스 온톨로지…

스노우플레이크, AI 에이전트용 데이터 허브로 차별화
블로터 · 2026-11-03

데이터 클라우드 기업 스노우플레이크가 오픈AI·앤트로픽과 다른 방식으로 기업용 AI 에이전트 시장을 공략하고 있다. 오픈AI·앤트로픽이 AI의 '두뇌'인 모델을 만드는 반면 스노우플레이크는 그 모델이 다룰 기업 데이터를 한곳에 모으고 통제하는 역할을 맡는다. 2012년 미국에서 설립된 …

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
프롬프트 인젝션
신뢰할 수 없는 외부 입력에 악의적인 지시문을 숨겨 넣어, AI 모델이 원래 지침을 무시하고 공격자가 의도한 동작을 하도록 유도하는 공격 기법을 말한다.
프롬프트
AI 모델에게 원하는 작업을 지시하기 위해 입력하는 텍스트를 말한다.
추적
AI 에이전트나 LLM 애플리케이션이 작업을 처리하는 동안 거치는 호출, 입출력, 지연 시간 등의 실행 경로를 단계별로 기록하고 시각화하는 것을 말한다.
정렬
AI 시스템의 행동과 산출물이 인간이 의도한 목표, 가치, 지시와 어긋나지 않도록 만드는 기법과 연구 분야를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AI타임스 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →