모델 849건 · 국산 132 · 가격 688 추적 중
MLOps·개발도구

AWS 세이지메이커, 프리픽스 인식 라우팅 도입

AWS ML Blog·2026-09-10영문 원문

요약

AWS가 Amazon SageMaker Inference에 '프리픽스 인식 라우팅'이라는 새 라우팅 전략을 도입했다. 여러 인스턴스에 요청이 무작위로 분산되면 프롬프트의 동일한 앞부분(고정 지시문 등)이 매번 다른 인스턴스로 가면서 KV 캐시가 재사용되지 못하던 문제를 해결하기 위해, 같은 시작 부분을 가진 요청을 같은 인스턴스로 보내 캐시를 유지시킨다. AWS 자체 벤치마크(Llama 3.1 70B, vLLM 사용)에 따르면 P50 TTFT가 최대 77% 감소하고 처리량은 최대 16% 증가했으며, KV 캐시 적중률은 약 25%에서 80% 이상으로 올라갔다. 과부하 인스턴스로의 쏠림을 막는 보호장치와 스케일링 시 캐시 무효화를 최소화하는 안정성 기능도 함께 제공된다.

큐레이터 노트

원문에 없는 맥락입니다

AWS는 공유되는 프리픽스가 길수록, 즉 긴 컨텍스트를 반복 사용하는 워크로드일수록 효과가 크다고 밝혔다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

춘천시, 고교생 AI 앱 개발 챌린지 결승 성료
전자신문 SW · 2026-11-03

춘천시와 강원정보문화산업진흥원이 공동 주최·주관하고 아마존웹서비스(AWS) 코리아가 후원한 '2026 바이브코딩 앱제작 챌린지' 결승전이 10월 31일 춘천ICT벤처센터에서 열렸다. 전국 고등학생들이 AI 기반 바이브코딩 기술을 활용해 애플리케이션을 직접 기획·개발하며 경쟁했다. 참가 …

NDS, AWS 클라우드 관리 파트너 인증 획득
전자신문 SW · 2026-11-02

엔디에스(NDS)가 아마존웹서비스(AWS)의 'AWS 관리형 서비스 공급자(MSP) 프로그램 7.1' 인증을 2일 획득했다고 밝혔다. AWS MSP 프로그램은 클라우드 설계·구축·마이그레이션·운영·최적화 전반에서 검증된 역량을 지닌 파트너를 인증하는 제도로, 엔터프라이즈 기준의 제3자 …

GS네오텍, AWS 에이전틱 AI 인증 획득…기업용 AI 에이전트 사업 확대
ZDNet Korea · 2026-10-30

GS네오텍이 아마존웹서비스(AWS)의 '에이전틱 AI 컴피턴시' 컨설팅 서비스 부문 인증을 취득했다. 이 인증은 기업이 원하는 업무를 AI가 스스로 판단해 수행하도록 시스템을 구축·운영할 수 있는 전문 파트너를 검증하는 제도로, 추론·개발도구·시스템 연동·보안·책임 있는 AI·컴퓨팅 등…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
KV 캐시
트랜스포머 기반 언어 모델이 토큰을 하나씩 생성할 때 이미 계산한 어텐션의 키(Key)와 값(Value) 벡터를 저장해 두었다가 다음 토큰 생성 시 재사용함으로써 중복 계산을 없애는 추론 최적화 기법을 말한다.
벤치마크
AI 모델의 성능을 정량적으로 측정하고 서로 비교할 수 있도록 표준화한 평가용 문제 집합과 채점 기준을 말한다.
프롬프트
AI 모델에게 원하는 작업을 지시하기 위해 입력하는 텍스트를 말한다.
처리량
처리량은 시스템이 일정 시간 동안 처리할 수 있는 요청 수나 생성 토큰 수를 나타내는 지표를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →