허깅페이스 정책총괄, AI 평가 체계 한계 지적
요약
허깅페이스의 정책총괄 아이린 솔레이먼은 TechCrunch 행사 토론에서, AI 기업들이 모델의 우수성을 입증하는 근거로 삼는 벤치마크 평가가 중립적이고 정확한 체계로 여겨지지만 실제로는 평가 방법론 자체가 복잡하고 아직 성숙하지 않았다고 말했다. 그는 모델에 평가 기능을 내재시키는 '임베디드 AI 평가자' 방식도 쉬운 해결책이 되지는 못할 것이라고 지적했다.
큐레이터 노트
원문에 없는 맥락입니다
다른 매체는 이렇게 썼다
같은 사안을 다룬 다른 곳의 보도입니다
한 개발자가 RTX 3090 한 장으로 로컬 LLM 4종(gemma4 26B, LFM2.5 24B, qwen3.8 27B, gpt-oss 20B)과 Claude Sonnet 5.5, Claude Haiku 5.5에 BFCL v4 다단계 도구 호출 과제 100개를 각각 5번씩 수행시키고 …
트럼프 대통령이 9월 말 행정명령을 통해 정부 기관이 'AI(인공지능)' 대신 'Super Intelligence'라는 용어를 쓰도록 지시했다. 정부 웹사이트와 일부 조달 문서에서는 용어가 바뀌었지만, 국방부·연방거래위원회·보건복지부 등 일부 기관은 여전히 기존 용어를 쓰고 있다. 같은…
엔비디아가 잡음, 울림, 음성 잘림, 압축 손상 등으로 품질이 떨어진 음성을 복원하는 범용 음성 향상 모델 '네모트론랩스 리유즈'를 허깅페이스에 공개했다. 이 모델은 적은 매개변수로도 대규모 음성 향상 모델을 능가하는 성능을 보였다고 회사는 밝혔다. 배경 잡음과 잔향뿐 아니라 오디오 클…
이 사안의 흐름
같은 주제를 다룬 이 사이트의 기록 — 최신순
- 2026-10-06비드래프트, 허깅페이스 리더보드 10개 부문 1위 석권ZDNet Korea
- 2026-09-28비드래프트 '다윈-180B-RSI', 벤치마크 5개 1위ZDNet Korea
- 2026-08-28구글, 이중맹검 AI 평가 시범 운영…벤치마크 오염 차단AI타임스
- 2026-10-30허깅페이스 오픈소스팀, 비드래프트 비전 AI 데모 제작AI타임스
- 2026-10-29AAII 평가 대폭 개편, 구글 1위·오픈AI 약진AI타임스
이 글에 나온 말
이 분야 브리핑
여러 매체가 함께 다룬 사안을 한 번에
- AI 벤치마크 경쟁 과열, 신뢰성 논란도기사 13건
- 젠슨 황, AI 위험론 반박 속 밴플리트상 수상기사 14건
이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.
같은 분야의 다른 소식
- 앤트로픽, AI 모델 출처 증명 오픈소스 '플래시프루브' 공개IT조선 · 2026-11-04
- "역게임이론"으로 AI 에이전트 규율한다는 제안MIT Tech Review · 2026-11-03
- 어라이즈 “AI 에이전트 행동까지 추적해야”IT조선 · 2026-11-03
- AI 에이전트 보안, 모델 아닌 연결 권한이 핵심전자신문 SW · 2026-11-03
- AI 개발 경쟁에 고객은 뒷전…팔란티어 CEO, 개발사 책임 촉구ZDNet Korea · 2026-11-03
- AI 모델 안에 보안 OS 심었다…비드래프트 정보유출 차단 기술ZDNet Korea · 2026-11-03