메모리(DRAM·NAND·HBM)인텔 옵테인 메모리, CPU 단독으로 2.8조 매개변수 모델 구동
한 홈랩 이용자가 단종된 인텔 2세대 옵테인 PMem 200 메모리와 3세대 제온 스케일러블 40코어 CPU만으로, GPU 없이 모빈샷 AI의 2.8조 매개변수 모델 Kimi K3를 구동했다고 레딧에 공개했다. 1비트 양자화 기준 초당 0.85토큰, 3비트 양자화에서는 초당 0.75토큰의 속도를 보였다. 옵테인 DIMM이 추론 중 과열돼 인접 DRAM을 위협할 수 있다며, 블로워 팬을 이용한 능동 냉각이 필수라고 조언했다. 이는 동일 커뮤니티의 1세대 옵테인·1조 매개변수 K2.5 모델 구동 사례(RTX 3060 병용, 초당 약 4토큰)에 이은 후속 실험이다.
Tom's Hardware영문 원문