인텔 옵테인 메모리, CPU 단독으로 2.8조 매개변수 모델 구동

한 홈랩 이용자가 단종된 인텔 2세대 옵테인 PMem 200 메모리와 3세대 제온 스케일러블 40코어 CPU만으로, GPU 없이 모빈샷 AI의 2.8조 매개변수 모델 Kimi K3를 구동했다고 레딧에 공개했다. 1비트 양자화 기준 초당 0.85토큰, 3비트 양자화에서는 초당 0.75토큰의 속도를 보였다. 옵테인 DIMM이 추론 중 과열돼 인접 DRAM을 위협할 수 있다며, 블로워 팬을 이용한 능동 냉각이 필수라고 조언했다. 이는 동일 커뮤니티의 1세대 옵테인·1조 매개변수 K2.5 모델 구동 사례(RTX 3060 병용, 초당 약 4토큰)에 이은 후속 실험이다.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요. 이 글은 AI의 도움을 받아 작성했습니다.원문: Tom's Hardware 「Homelabber uses second-gen Optane memory sticks to run a 2.8-trillion-parameter AI model on CPU alone」
Tom's Hardware 원문 보기 ↗
