모델 857건 · 국산 138 · 가격 690 추적 중
AI 안전·정렬·평가

새 벤치마크 'GDPx', AI 실무 수행력 최고 12%에 그쳐

AI타임스·2026-11-03

요약

반도체·AI 분석기관 세미애널리시스가 2일 새 AI 에이전트 벤치마크 'GDPx'를 공개했다. 반도체 설계, 사이버보안, 생물학, 금융, 법률, 소프트웨어 개발, AI 자기개선 등 분야의 실제 기업 전문 업무를 재현해 평가한 결과, 최첨단 AI 모델들이 최고 12%의 성과에 그쳤다. 세미애널리시스는 기존 벤치마크가 실제 업무의 복잡성과 전문가의 판단 과정을 충분히 반영하지 못한다고 지적하며 이를 보완하기 위해 새 평가 방식을 만들었다고 밝혔다.

큐레이터 노트

원문에 없는 맥락입니다

기존 벤치마크에서 높은 점수를 받은 모델이라도 실제 기업 전문 업무 수행에서는 큰 간극이 있을 수 있음을 세미애널리시스 측이 지적한 사례다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

카카오, 내달 B2B AI 광고 에이전트 '크루' CBT
IT조선 · 2026-11-05

카카오 정신아 대표는 2026년 3분기 실적 발표 콘퍼런스콜에서 광고주의 상품 선택부터 세부 설정, 성과 분석까지 돕는 B2B AI 에이전트 'AI 크루'를 12월 비공개 시범 테스트(CBT) 형태로 선보인다고 밝혔다. 대화형 인터페이스를 통해 자금력과 운영 노하우가 부족한 중소형 광고…

셀렉트스타, 금융 AI 안전성 평가 논문 ICDM 채택
전자신문 SW · 2026-11-05

셀렉트스타는 금융보안원, KAIST와 공동 수행한 금융 AI 안전성 평가 연구 논문이 데이터 마이닝 분야 국제학술대회 'IEEE ICDM' 메인 컨퍼런스에 채택됐다고 5일 밝혔다. 연구는 금융 거대언어모델(LLM) 레드티밍을 위한 전문가 기반 벤치마크 생성 및 평가 프레임워크를 다룬다.…

우버, 3분기 AI 에이전트 호출 승차 단 4건
The Verge AI · 2026-11-04

우버가 3분기 실적발표에서 처음으로 타사 AI 에이전트를 통해 이뤄진 주문·호출 건수를 공개했다. 2026년 3분기 동안 타사 AI 에이전트가 예약한 승차는 단 4건에 그쳤다. 우버이츠 주문은 상대적으로 많아 할로윈 주간 한 주 동안 약 500건이 AI 에이전트를 통해 접수됐다. 이는 …

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
AI 에이전트
AI 에이전트는 주어진 목표를 달성하기 위해 스스로 계획을 세우고 도구를 호출하며 행동한 결과를 관찰해 다음 행동을 결정하는 AI 시스템을 말한다.
벤치마크
AI 모델의 성능을 정량적으로 측정하고 서로 비교할 수 있도록 표준화한 평가용 문제 집합과 채점 기준을 말한다.
평가
AI 모델이나 시스템의 출력이 원하는 기준에 얼마나 부합하는지를 정량적·정성적으로 측정하는 절차를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AI타임스 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →