시스템반도체·팹리스변호사의 중고 V100 GPU 8장 AI서버 — 데이터센터 GPU 재활용
한 변호사가 2018년 출시된 중고 Nvidia Tesla V100 GPU 8장을 이용해 사내 전용 AI 서버를 구축했다고 Reddit에 공개했다. 이 서버는 두 개의 4카드 SXM2 NVLink 보드와 PEX 스위치, SlimSAS 케이블로 구성되며, 오픈소스 모델 DeepSeek V4.1 Flash를 전량 GPU 메모리에 올려 초당 최대 215토큰 속도로 구동한다. 각 V100-SXM2-32GB 카드는 32GB HBM2 메모리를 탑재했으며, 보드 내 4개 카드는 NVLink로 연결되고 두 보드 간은 PCIe로 통신한다. 이 서버는 사건 기록 파일을 읽어 사실과 날짜를 추출하고 초안 작성을 돕는 용도로 일상적으로 사용되며, 고객 파일을 클라우드나 프런티어 모델로 보내지 않아도 되는 보안성을 제공한다.
Tom's Hardware영문 원문