DGX 스테이션 2대로 GLM-5.3 모델 초당 607토큰 서빙
요약
vLLM이라는 AI 모델 서비스 프로그램을 써서 NVIDIA DGX 스테이션 컴퓨터 2대에 'GLM-5.3'이라는 대형 AI 모델을 나눠 올려 작동시켰어요. 거대한 모델을 쪼개서 두 GPU가 역할을 나눠 맡고, 초고속 네트워크(ConnectX-8)로 계산 결과를 서로 주고받는 방식이에요. 한 번에 토큰 여러 개를 미리 만들어 검증하는 기술과 메모리 절약 기법(FP8 캐시, 프리픽스 캐싱)을 함께 써서 속도를 끌어올렸어요. SPEED-Bench Coding 측정에서 동시 요청 16개를 처리할 때 초당 607.8개 토큰을 만들어내는 성능을 보였어요.
큐레이터 노트
원문에 없는 맥락입니다
이 기사에 나온 모델
단가는 이 사이트 카탈로그에서 매일 확인한 값입니다 · USD / 1M 토큰
다른 매체는 이렇게 썼다
같은 사안을 다룬 다른 곳의 보도입니다
음성을 글자로 바꿔주는 AI 서비스 어셈블리AI(AssemblyAI)가 아마존웹서비스(AWS)의 EC2 스팟 인스턴스를 활용해 음성인식 작업의 컴퓨팅 비용을 줄이는 구조를 만들었어요. 스팟 인스턴스는 평소보다 싸게 쓸 수 있지만, AWS가 필요할 때 2분 전 통보 후 회수해 갈 수 있는…
엔비디아 젠슨 황 최고경영자가 사임했지만, 한국에 약속했던 첨단 GPU 26만장 공급 계획은 그대로 유지돼요. 황 CEO의 갑작스런 사임으로 국내 AI 인프라 협력 사업에 차질이 생길 수 있다는 우려가 나오자 정부가 직접 점검에 나섰어요. 배경훈 부총리 겸 과학기술정보통신부 장관은 13…
엔비디아 이사회가 창업자 젠슨 황을 경질하고 콜렛 크레스 CFO를 임시 CEO로 선임했어요. 엔비디아 2분기 매출은 962억 2100만 달러로 전년 동기보다 두 배 넘게 늘었는데, 상당수가 데이터센터용 GPU 수요에서 나왔어요. SK하이닉스와 삼성전자가 엔비디아에 HBM(고대역폭메모리)…
이 사안의 흐름
같은 주제를 다룬 이 사이트의 기록 — 최신순
- 2026-11-13중국 AI 모델서 수출 통제 블랙웰 GPU 흔적 발견GeekNews
- 2026-11-12젠슨 황 사퇴, 엔비디아의 AI 왕국은 흔들리나The Guardian AI
- 2026-11-11AWS, AI 학습 중 숨은 GPU 오류 잡아내는 법 공개AWS ML Blog
- 2026-11-11젠슨 황 리스크에 흔들리는 韓 GPU·HBM 공급망IT조선
- 2026-11-11시스코, 호주서 반도체~AI 인프라 총출동 전시전자신문 SW
이 글에 나온 말
- 토큰
- 언어 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부, 문장 부호 등을 가리키는 말이다.
이 분야 브리핑
여러 매체가 함께 다룬 사안을 한 번에
이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다. 이 글은 AI의 도움을 받아 작성했습니다.
같은 분야의 다른 소식
- AI 에이전트가 응답 기다리는지 알려주는 macOS 메뉴바 앱 공개GeekNews · 2026-11-16
- 기억할 창구를 줄인 개인 프로젝트 업무 환경 개선기GeekNews · 2026-11-15
- 코딩 에이전트 3종 사용량·비용 한눈에 보는 오픈소스 대시보드GeekNews · 2026-11-15
- 씨즈솔루션, 서버·배치·크론탭 통합한 IT 운영 자동화 체계 선보여전자신문 SW · 2026-11-15
- llama.cpp 핵심 라이브러리 ggml, 1.0.0 버전 출시GeekNews · 2026-11-14
- 사기 전에 성능 예측, 로컬 AI 머신 시뮬레이터 공개GeekNews · 2026-11-14