DeepSeek용 V100 8대 홈서버, 2비트에서 4비트로 정밀도 높여

미국 사우스캐롤라이나의 한 변호사가 중고 V100 그래픽카드 8개로 만든 개인용 AI 서버를 업그레이드했어요. 기존에는 DeepSeek V4.1 Flash 모델의 전문가(experts) 부분들을 2비트로 압축해 썼는데, 램을 1테라바이트로 늘리고 RTX 3090을 추가하면서 전문가의 약 38.7%를 엔비디아의 4비트 형식인 NVFP4 수준으로 바꿨어요. 결과를 기준 모델과 비교했더니 같은 다음 단어를 고르는 비율이 95.1%로 올라갔고, 513개 문항 중 답이 달라진 문항 수는 79개에서 8개로 줄었어요. 다만 코드 생성 속도는 초당 150~180개 토큰으로, 이전(160~215개)보다 느려졌어요. 그는 Claude Code와 Opus 5.5, Fable 5.2 모델을 활용해 전용 소프트웨어 최적화 작업을 직접 진행했다고 밝혔어요.

이 글에 나온 것