GeekNews·2026-11-03AI 에이전트·툴 유즈
한 개발자가 RTX 3090 한 장으로 로컬 LLM 4종(gemma4 26B, LFM2.5 24B, qwen3.8 27B, gpt-oss 20B)과 Claude Sonnet 5.5, Claude Haiku 5.5에 BFCL v4 다단계 도구 호출 과제 100개를 각각 5번씩 수행시키고 공식 채점기로 평가했습니다. 5번 모두 성공한 과제 수는 gemma4 26B 60개, Claude Sonnet 5.5 57개, LFM2.5 24B 45개, qwen3.8 27B 42개, Claude Haiku 5.5 36개, gpt-oss 20B 28개였습니다. qwen3.8 27B는 한 번이라도 성공한 과제가 83개로 가장 많았지만 5번 전부 성공한 과제는 42개에 그쳤습니다. Claude 모델은 작업 중 "진행할까요?"라고 되묻다가 실패로 채점되는 경우가 있어, 자동으로 "예"라고 응답하게 하는 보완이 필요했다고 테스터는 밝혔습니다.
#도구호출 #BFCL #로컬LLM #Claude #벤치마크