모델 849건 · 국산 132 · 가격 688 추적 중
MLOps·개발도구

SageMaker 하이퍼팟, 모델 캐싱으로 콜드스타트 단축

AWS ML Blog·2026-09-10영문 원문

요약

AWS가 아마존 세이지메이커 하이퍼팟의 추론 배포 시 발생하는 콜드스타트 지연을 줄이는 모델 캐싱 기능을 발표했다. 기존에는 컨테이너 이미지를 아마존 ECR에서, 모델 가중치를 S3나 FSx for Lustre, 허깅페이스 허브 등에서 순차적으로 내려받아야 해 DeepSeek-R1 같은 대형 모델은 준비까지 30분 이상 걸렸다. 모델 캐싱은 가중치와 컨테이너 이미지를 노드의 로컬 NVMe 스토리지에 미리 적재해 초당 약 7GB 속도로 읽도록 하며, 이를 통해 파드가 수 초 안에 트래픽을 처리할 수 있다. 캐시가 준비되지 않은 노드에 파드가 배치되더라도 기존 방식대로 원본 소스에서 내려받아 장애 없이 동작한다.

큐레이터 노트

원문에 없는 맥락입니다

오토스케일링 시 신규 파드마다 반복되던 다운로드 지연을 없애, 트래픽 급증에 실제로 대응하는 속도를 끌어올리는 인프라 개선이다.

이 기사에 나온 모델

단가는 이 사이트 카탈로그에서 매일 확인한 값입니다 · USD / 1M 토큰

alibaba
DeepSeek R1
입력 $0.574 · 출력 $2.29
컨텍스트 131K
deepseek
deepseek-r1
입력 $0.550 · 출력 $2.19
컨텍스트 66K

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

NDS, AWS 클라우드 관리 파트너 인증 획득
전자신문 SW · 2026-11-02

엔디에스(NDS)가 아마존웹서비스(AWS)의 'AWS 관리형 서비스 공급자(MSP) 프로그램 7.1' 인증을 2일 획득했다고 밝혔다. AWS MSP 프로그램은 클라우드 설계·구축·마이그레이션·운영·최적화 전반에서 검증된 역량을 지닌 파트너를 인증하는 제도로, 엔터프라이즈 기준의 제3자 …

GS네오텍, AWS 에이전틱 AI 인증 획득…기업용 AI 에이전트 사업 확대
ZDNet Korea · 2026-10-30

GS네오텍이 아마존웹서비스(AWS)의 '에이전틱 AI 컴피턴시' 컨설팅 서비스 부문 인증을 취득했다. 이 인증은 기업이 원하는 업무를 AI가 스스로 판단해 수행하도록 시스템을 구축·운영할 수 있는 전문 파트너를 검증하는 제도로, 추론·개발도구·시스템 연동·보안·책임 있는 AI·컴퓨팅 등…

아마존 3분기 매출 270조원…AWS 호조 속 소매·광고 둔화
ZDNet Korea · 2026-10-30

아마존의 2026년 3분기 매출은 2019억 4000만 달러로 전년 대비 약 12% 성장했지만 시장 전망치를 하회했다. 클라우드 사업 AWS는 매출이 39.3% 늘어난 459억 8000만 달러로 전망치를 상회했고 영업이익도 55% 증가해 전체 영업이익의 60% 이상을 차지했다. 반면 온…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
추론
추론(Inference)은 학습이 끝난 인공지능 모델이 새로운 입력을 받아 예측이나 답변 같은 출력을 만들어내는 과정을 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →