"양자화"

KV캐시·가중치·양자화 용어 정리, LLM 추론 원리 해설

Tom's Hardware는 로컬 AI 모델 구동 하드웨어 확산에 맞춰 LLM 관련 핵심 용어를 설명하는 해설 기사를 게재했다. 모델은 텍스트 데이터로 학습된 토큰 간 통계적 연관성의 집합이며, 가중치는 토큰 간 연결 강도를 나타내고 재학습 없이는 값이 바뀌지 않는다고 설명했다. 모델 사양에 표시되는 'B' 단위 숫자는 가중치(파라미터) 개수를 뜻하며, 숫자가 많다고 반드시 더 똑똑한 모델은 아니라고 덧붙였다. 또한 FP16·INT8·FP4 등 데이터 타입과 양자화(정밀도 축소) 과정을 거쳐야 모델을 소비자용 하드웨어에서도 구동할 수 있다고 설명했다. 끝으로 컨텍스트 윈도우는 LLM이 대화 중 참조해야 하는 정보를 담는 공간으로, 컴퓨터의 RAM과 유사한 개념이라고 비유했다.