"KV캐시"
뉴스
KV캐시·가중치·양자화 용어 정리, LLM 추론 원리 해설
Tom's Hardware는 로컬 AI 모델 구동 하드웨어 확산에 맞춰 LLM 관련 핵심 용어를 설명하는 해설 기사를 게재했다. 모델은 텍스트 데이터로 학습된 토큰 간 통계적 연관성의 집합이며, 가중치는 토큰 간 연결 강도를 나타내고 재학습 없이는 값이 바뀌지 않는다고 설명했다. 모델 사양에 표시되는 'B' 단위 숫자는 가중치(파라미터) 개수를 뜻하며, 숫자가 많다고 반드시 더 똑똑한 모델은 아니라고 덧붙였다. 또한 FP16·INT8·FP4 등 데이터 타입과 양자화(정밀도 축소) 과정을 거쳐야 모델을 소비자용 하드웨어에서도 구동할 수 있다고 설명했다. 끝으로 컨텍스트 윈도우는 LLM이 대화 중 참조해야 하는 정보를 담는 공간으로, 컴퓨터의 RAM과 유사한 개념이라고 비유했다.
메모리(DRAM·NAND·HBM)화웨이 오션스토어 M900, SSD까지 품은 KV캐시 계층 스토리지
화웨이 데이비드 왕 부회장이 화웨이 커넥트 2026 기조연설에서 초대형 데이터센터 AI 추론용 'OceanStor M900 Context Memory Storage'를 공개했다. 이 제품은 UnifiedBus 네트워크로 온칩 메모리·DRAM·SSD를 연계해 SuperPoD에 PB급 완전 공유형 KV 캐시 공간을 제공하며, 단일 클러스터에서 최대 64PB 용량을 지원한다. CPU, 네트워크 컨트롤러, NAND 컨트롤러를 통합한 아키텍처로 NPU에서 SSD까지 원홉 연결을 구현해 액세스 지연 시간을 60마이크로초로 줄였고, 클러스터당 40TB/s의 액세스 대역폭을 제공한다. 화웨이는 이를 통해 추론 클러스터의 토큰 처리량이 2배로 늘고 첫 토큰 생성 시간이 절반으로 줄어든다고 밝혔다.
