변호사의 중고 V100 GPU 8장 AI서버 — 데이터센터 GPU 재활용

한 변호사가 2018년 출시된 중고 Nvidia Tesla V100 GPU 8장을 이용해 사내 전용 AI 서버를 구축했다고 Reddit에 공개했다. 이 서버는 두 개의 4카드 SXM2 NVLink 보드와 PEX 스위치, SlimSAS 케이블로 구성되며, 오픈소스 모델 DeepSeek V4.1 Flash를 전량 GPU 메모리에 올려 초당 최대 215토큰 속도로 구동한다. 각 V100-SXM2-32GB 카드는 32GB HBM2 메모리를 탑재했으며, 보드 내 4개 카드는 NVLink로 연결되고 두 보드 간은 PCIe로 통신한다. 이 서버는 사건 기록 파일을 읽어 사실과 날짜를 추출하고 초안 작성을 돕는 용도로 일상적으로 사용되며, 고객 파일을 클라우드나 프런티어 모델로 보내지 않아도 되는 보안성을 제공한다.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요. 이 글은 AI의 도움을 받아 작성했습니다.원문: Tom's Hardware 「Lawyer builds private AI server with eight used Nvidia V100 GPUs」
Tom's Hardware 원문 보기 ↗
