"로컬 LLM"
뉴스
P106-100 채굴 리그, 54GB VRAM으로 로컬 LLM 구동 성공
레딧 사용자 markpronkin은 러시아 중고 거래 사이트 아비토에서 발견된 낡은 암호화폐 채굴 리그를 약 35달러(3000루블)에 구매했다. 이 리그에는 Nvidia P106-100 GPU 9장이 장착돼 있으며 총 54GB의 VRAM을 제공한다. 사전 테스트 없이 구매했지만 구매자는 올라마에서 350억 파라미터 모델 Qwen3.6-35B-A3B를 초당 30토큰 이상으로 구동하는 데 성공했다. P106-100은 2017년경 출시된 파스칼 세대 GPU로, CUDA 13.0부터 오프라인 컴파일 지원이 중단됐지만 보안 업데이트는 2028년 10월까지 유지된다. 구매자는 i7-7700K와 32GB 램을 지원하는 케이스로 교체하고 GPU 3장을 추가해 72GB VRAM 구성을 계획하고 있다.
시스템반도체·팹리스맥 스튜디오 M5 울트라, 쿼드다이 구조로 로컬 LLM 공략
애플이 맥 프로를 단종하며 맥 스튜디오를 최상위 데스크톱으로 내세운 가운데, 톰스하드웨어가 M5 울트라 탑재 모델을 리뷰했다. M5 울트라는 두 개의 M5 맥스 다이를 UltraFusion으로 연결한 애플 최초의 쿼드다이 칩으로, 다이 간 대역폭이 4.4TB/s를 넘는다고 애플은 밝혔다. 메모리 대역폭은 최대 1.2TB/s이며, 유니파이드 메모리는 최대 256GB(추후 512GB 지원 예정)로 대형 LLM을 기기 내에서 구동할 수 있다. 긱벤치7에서 싱글코어 3,770점, 멀티코어 52,293점을 기록했고, 핸드브레이크 영상 변환에서는 AMD 스레드리퍼 9980X보다 빨랐지만 블렌더 CPU 렌더링에서는 스레드리퍼 7980X·9980X, 인텔 제온 w-3495X에 뒤처졌다.
