모델 857건 · 국산 138 · 가격 690 추적 중
AI 인프라·반도체

슈퍼마이크로·IBM·엔비디아, AI 추론용 KV 캐시 솔루션 공동 출시

ZDNet Korea·2026-11-05

요약

슈퍼마이크로가 IBM, 엔비디아와 함께 Supermicro Petascale 스토리지 서버, IBM Storage Scale, NVIDIA Dynamo, Spectrum-X 이더넷을 결합한 KV 캐시 스토리지 솔루션을 발표했다. 이미 계산된 KV 상태를 영구 저장형 캐시에 보관해 재사용함으로써 긴 컨텍스트와 에이전틱 AI 워크로드에서 응답 생성을 시작하는 시간을 줄이고 GPU 활용률과 처리량을 높인다고 밝혔다. 슈퍼마이크로와 엔비디아가 공동 진행한 자체 테스트에서 영구 저장형 KV 캐시 적용 시 TTFT 증가폭이 KV 캐시를 쓰지 않은 경우보다 크게 줄었다고 발표했다. 세 회사는 공장 내 랙 통합과 현장 구축 서비스로 솔루션 구축 기간도 단축할 수 있다고 설명했다.

큐레이터 노트

원문에 없는 맥락입니다

GPU 메모리 한계를 넘어 KV 캐시를 외부 스토리지로 확장하는 접근은 추론 비용 절감 경쟁이 모델 성능뿐 아니라 인프라 스택 전체로 옮겨가고 있음을 보여준다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

포티투마루, GPU·AI 결합한 일체형 AX 솔루션 출시
전자신문 SW · 2026-11-05

포티투마루가 AI 인프라와 에이전틱 AI 솔루션을 결합한 일체형 AI 전환(AX) 솔루션 '어플라이언스 42'를 출시했다. 별도 서버 구축 없이 하드웨어와 소프트웨어가 결합된 형태로 AI를 도입할 수 있다. GPU·NPU·LPU 등 인프라와 자체 AI 솔루션을 통합했으며, 기업 내부망에…

인피니언, 1MW 데이터센터용 전력기술 공개
바이라인네트워크 · 2026-11-05

AI 연산 수요 증가로 LLM·AI용 GPU 1개의 전력 소비량이 기존 1000W 수준에서 2000W, 나아가 3000~4000W 이상으로 늘어나는 추세다. 이에 따라 서버 여러 대가 모인 데이터센터 랙당 전력 소비량도 현재 100~150kW 수준에서 향후 최대 1MW에 이를 것으로 전…

유아이패스, E2E 프로세스 재설계로 AI 성과 높인다
전자신문 SW · 2026-11-05

유아이패스가 10월 23일 서울 엘타워에서 열린 'AX & 하이퍼오토메이션 코리아 2026-Fall' 콘퍼런스에서 기업 AI 성과를 높이는 전략을 발표했다. 이재원 유아이패스 파트너는 'Agentic AI 트렌드 및 E2E 프로세스 관리 방안'을 주제로, 개별 도구 도입이 아닌 엔드투엔…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
KV 캐시
트랜스포머 기반 언어 모델이 토큰을 하나씩 생성할 때 이미 계산한 어텐션의 키(Key)와 값(Value) 벡터를 저장해 두었다가 다음 토큰 생성 시 재사용함으로써 중복 계산을 없애는 추론 최적화 기법을 말한다.
처리량
처리량은 시스템이 일정 시간 동안 처리할 수 있는 요청 수나 생성 토큰 수를 나타내는 지표를 말한다.
추론
추론(Inference)은 학습이 끝난 인공지능 모델이 새로운 입력을 받아 예측이나 답변 같은 출력을 만들어내는 과정을 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

ZDNet Korea 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →