모델 857건 · 국산 138 · 가격 690 추적 중
AI 에이전트·툴 유즈

로컬 LLM 4종·Claude 2종, 도구 호출 100과제 비교 테스트

GeekNews·2026-11-03

요약

한 개발자가 RTX 3090 한 장으로 로컬 LLM 4종(gemma4 26B, LFM2.5 24B, qwen3.8 27B, gpt-oss 20B)과 Claude Sonnet 5.5, Claude Haiku 5.5에 BFCL v4 다단계 도구 호출 과제 100개를 각각 5번씩 수행시키고 공식 채점기로 평가했습니다. 5번 모두 성공한 과제 수는 gemma4 26B 60개, Claude Sonnet 5.5 57개, LFM2.5 24B 45개, qwen3.8 27B 42개, Claude Haiku 5.5 36개, gpt-oss 20B 28개였습니다. qwen3.8 27B는 한 번이라도 성공한 과제가 83개로 가장 많았지만 5번 전부 성공한 과제는 42개에 그쳤습니다. Claude 모델은 작업 중 "진행할까요?"라고 되묻다가 실패로 채점되는 경우가 있어, 자동으로 "예"라고 응답하게 하는 보완이 필요했다고 테스터는 밝혔습니다.

큐레이터 노트

원문에 없는 맥락입니다

평균 1회 성공률과 5회 반복 성공률의 차이가 큰 모델이 있다는 점은, 에이전트 용도로는 단발성 정답률보다 반복 수행 시 일관성이 더 중요한 지표일 수 있음을 보여주는 개인 테스트 결과입니다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

오픈AI, 일상 업무 평가 '라이프밸' 공개
AI타임스 · 2026-11-04

오픈AI가 챗GPT를 육아·건강 관리·금융·쇼핑 등 일상 업무를 처리하는 개인 비서로 발전시키기 위한 평가 체계 '라이프밸(LifeVal)'을 2일(현지시간) 공개했다. 이 벤치마크는 미국 및 다국가 시간 사용 조사 데이터와 3995명을 대상으로 한 대규모 인구통계학적 설문조사를 기반으…

AAII 평가 대폭 개편, 구글 1위·오픈AI 약진
AI타임스 · 2026-10-29

아티피셜 애널리시스가 AI 모델 종합 성능 평가 기준을 대폭 개편하면서 주요 모델의 순위가 바뀌었다. 구글의 '제미나이 4 카본'이 앤트로픽의 '클로드 오퍼스 5.5'를 제치고 1위에 올랐고, 오픈AI의 'GPT-6 아스트라'와 'GPT-6.1 솔'도 상위권으로 올라섰다. 새 평가는 기…

구글, 사이버보안 강화한 Gemini 4 Carbon 출시
The Verge AI · 2026-10-28

구글이 프런티어 모델 Gemini 4 Carbon을 공개했다. 코딩, 에이전트형 작업, 사이버보안에서 개선을 이뤘다고 발표했다. Artificial Analysis Intelligence Index(v5.0) 벤치마크에서 1위를 기록했으며 Claude Opus 5.5와 GPT-6 Ast…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
평가
AI 모델이나 시스템의 출력이 원하는 기준에 얼마나 부합하는지를 정량적·정성적으로 측정하는 절차를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

GeekNews 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →