MLOps·개발도구

DGX 스테이션 2대로 GLM-5.3 모델 초당 607토큰 서빙

GeekNews·2026-11-15

요약

vLLM이라는 AI 모델 서비스 프로그램을 써서 NVIDIA DGX 스테이션 컴퓨터 2대에 'GLM-5.3'이라는 대형 AI 모델을 나눠 올려 작동시켰어요. 거대한 모델을 쪼개서 두 GPU가 역할을 나눠 맡고, 초고속 네트워크(ConnectX-8)로 계산 결과를 서로 주고받는 방식이에요. 한 번에 토큰 여러 개를 미리 만들어 검증하는 기술과 메모리 절약 기법(FP8 캐시, 프리픽스 캐싱)을 함께 써서 속도를 끌어올렸어요. SPEED-Bench Coding 측정에서 동시 요청 16개를 처리할 때 초당 607.8개 토큰을 만들어내는 성능을 보였어요.

큐레이터 노트

원문에 없는 맥락입니다

완성된 서비스 출시 소식이 아니라, 여러 GPU를 묶어 큰 AI 모델을 효율적으로 돌리는 서빙 기술을 실험하고 공개한 사례예요. 이런 기술은 일반 사용자가 직접 다루는 게 아니라, AI 서비스를 운영하는 쪽에서 속도와 자원 활용을 높이는 데 쓰여요.

이 기사에 나온 모델

단가는 이 사이트 카탈로그에서 매일 확인한 값입니다 · USD / 1M 토큰

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

어셈블리AI, AWS 스팟 인스턴스로 음성인식 비용 줄였다
AWS ML Blog · 2026-11-13

음성을 글자로 바꿔주는 AI 서비스 어셈블리AI(AssemblyAI)가 아마존웹서비스(AWS)의 EC2 스팟 인스턴스를 활용해 음성인식 작업의 컴퓨팅 비용을 줄이는 구조를 만들었어요. 스팟 인스턴스는 평소보다 싸게 쓸 수 있지만, AWS가 필요할 때 2분 전 통보 후 회수해 갈 수 있는…

황 CEO 사임에도 韓 GPU 26만장 공급 유지 재확인
전자신문 SW · 2026-11-13

엔비디아 젠슨 황 최고경영자가 사임했지만, 한국에 약속했던 첨단 GPU 26만장 공급 계획은 그대로 유지돼요. 황 CEO의 갑작스런 사임으로 국내 AI 인프라 협력 사업에 차질이 생길 수 있다는 우려가 나오자 정부가 직접 점검에 나섰어요. 배경훈 부총리 겸 과학기술정보통신부 장관은 13…

엔비디아 CEO 교체, 국내 반도체 공급망도 주목
ZDNet Korea · 2026-11-12

엔비디아 이사회가 창업자 젠슨 황을 경질하고 콜렛 크레스 CFO를 임시 CEO로 선임했어요. 엔비디아 2분기 매출은 962억 2100만 달러로 전년 동기보다 두 배 넘게 늘었는데, 상당수가 데이터센터용 GPU 수요에서 나왔어요. SK하이닉스와 삼성전자가 엔비디아에 HBM(고대역폭메모리)…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
토큰
언어 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부, 문장 부호 등을 가리키는 말이다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다. 이 글은 AI의 도움을 받아 작성했습니다.

GeekNews 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →