슈퍼마이크로·엔비디아·IBM, KV캐시 스토리지로 추론 지연 단축

슈퍼마이크로가 IBM, 엔비디아와 함께 AI 추론용 KV 캐시 스토리지 솔루션을 발표했다. AMD EPYC 9005 시리즈 기반 Supermicro Petascale 올플래시 스토리지 서버에 IBM Storage Scale 소프트웨어, NVIDIA Dynamo 추론 프레임워크, NVIDIA Spectrum-X 이더넷 네트워킹을 통합한 구성이다. 매개변수 1200억 개 LLM으로 진행한 공동 테스트에서 영구 저장형 KV 캐시를 적용하자 13만 토큰 프롬프트의 첫 토큰 생성 시간(TTFT)이 KV 캐시를 쓰지 않을 때보다 최대 56배 단축됐다. 입력 길이를 3만 토큰에서 13만 토큰으로 늘렸을 때 TTFT 증가량은 KV 캐시 적용 시 0.377초에 그쳤지만, 미적용 시에는 29.55초 늘었다. 세 회사는 이를 통해 GPU 활용률과 처리량을 높이고 서비스 중단 없이 캐시 용량을 확장할 수 있다고 설명했다.

이 글에 나온 것