벤치마크
Benchmark · 입문
AI 모델의 성능을 정량적으로 측정하고 서로 비교할 수 있도록 표준화한 평가용 문제 집합과 채점 기준을 말한다.
AI 모델마다 구조와 학습 방식이 달라 '어느 모델이 더 잘하는가'를 말로만 비교하기는 어렵다. 벤치마크는 동일한 문제 세트와 동일한 채점 방식을 모든 모델에 적용해, 성능을 수치로 환산하고 나란히 비교할 수 있게 해준다. 구성 요소는 보통 문제(질문·과제)와 정답, 그리고 모델의 답을 정답과 비교해 점수를 매기는 채점 규칙으로 이루어진다. 실무에서는 여러 모델 중 하나를 선택할 때, 새로 나온 모델의 발표 자료를 읽을 때, 또는 자체 서비스에 맞는 모델을 고르기 위해 특정 영역(코딩, 수학, 대화 등) 벤치마크 점수를 참고할 때 마주치게 된다. 다만 벤치마크 점수가 높다고 해서 실제 서비스 환경에서도 똑같이 잘 작동한다는 보장은 없으며, 문제 데이터가 모델 학습 과정에 이미 노출되어 점수가 부풀려지는 경우도 있어 참고 지표 중 하나로만 다루는 것이 안전하다.
함께 보기
파인튜닝사전 학습된 대규모 언어 모델을 특정 작업이나 도메인의 데이터로 추가 학습시켜 성능과 응답 방식을 맞춤화하는 과정을 말한다.LLM 평가LLM 평가는 대규모 언어 모델이나 이를 활용한 애플리케이션의 출력이 품질·정확성·안전성 기준을 얼마나 충족하는지 체계적으로 측정하는 과정을 말한다.