모델 857건 · 국산 138 · 가격 690 추적 중
MLOps·개발도구

AWS, 멀티턴 에이전트 평가 지표 AEM 공개

AWS ML Blog·2026-09-10영문 원문

요약

AWS ML Blog가 멀티턴 대화형 AI 에이전트의 정확성을 턴 단위로 측정하는 평가 지표 AEM(Agent Evaluation Metric)을 소개했다. 기존 평가 방식은 작업 전체 완료 여부나 응답 단위로만 품질을 채점해, 초기 턴의 오류가 이후 턴으로 전파돼도 어느 턴이 원인인지 구분하지 못하는 한계가 있었다는 것이다. AEM은 정확성을 '진실성'(값이 사실과 일치하는지)과 '완전성'(필요한 요소가 모두 포함됐는지) 두 하위 지표로 분해해 각 턴마다 독립적으로 측정한 뒤 종합한다. 이 방식은 도구 호출의 파라미터와 자연어 응답 모두에 동일하게 적용되며, 추후 안전성이나 지시 유지 등 다른 평가 차원으로도 확장 가능하도록 설계됐다.

큐레이터 노트

원문에 없는 맥락입니다

오류가 발생한 턴과 그로 인해 영향만 받은 턴을 구분해준다는 점이 핵심으로, 다중 턴 에이전트를 실제로 디버깅할 때 어디를 고쳐야 하는지 짚어주는 실무 도구에 해당한다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

애플, SEC 보고서서 AI 에이전트 통제 불능 위험 경고
IT조선 · 2026-11-04

애플이 미국 증권거래위원회(SEC)에 제출한 2026 회계연도 연례 보고서(10-K)에서 자율적으로 작동하는 AI 에이전트의 위험성을 경고했다. 보고서는 AI 에이전트가 승인되지 않은 내부·외부 시스템과 상호작용하거나 코드를 실행·변경하고 거래를 완료하는 등 예측 불가능하게 행동할 수 …

춘천시, 고교생 AI 앱 개발 챌린지 결승 성료
전자신문 SW · 2026-11-03

춘천시와 강원정보문화산업진흥원이 공동 주최·주관하고 아마존웹서비스(AWS) 코리아가 후원한 '2026 바이브코딩 앱제작 챌린지' 결승전이 10월 31일 춘천ICT벤처센터에서 열렸다. 전국 고등학생들이 AI 기반 바이브코딩 기술을 활용해 애플리케이션을 직접 기획·개발하며 경쟁했다. 참가 …

AI 모델만으론 부족…스노우플레이크, 기업 데이터로 승부
ZDNet Korea · 2026-11-03

스노우플레이크가 오픈AI·앤트로픽 모델을 활용하면서도 기업 데이터와 업무 맥락을 연결하는 역량으로 차별화를 꾀한다. '엑스페디션 2026'에서 목표만 정해주면 스스로 작업을 수행하는 '코코·코워크 봇'을 프라이빗 프리뷰로 공개했고, 부서마다 다른 용어 정의를 통일하는 '비즈니스 온톨로지…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
AI 에이전트
AI 에이전트는 주어진 목표를 달성하기 위해 스스로 계획을 세우고 도구를 호출하며 행동한 결과를 관찰해 다음 행동을 결정하는 AI 시스템을 말한다.
파라미터
모델이 학습 과정에서 값을 스스로 조정해 나가는 내부 수치로, 입력을 출력으로 변환하는 계산 방식을 결정하는 요소를 말한다.
평가
AI 모델이나 시스템의 출력이 원하는 기준에 얼마나 부합하는지를 정량적·정성적으로 측정하는 절차를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →