검증된 피드 11개에서 자동 수집하고, AI 요약이 코드 게이트를 통과한 것만 게시합니다. 게이트는 카탈로그에 없는 모델명·원문에 없는 수치·상대 시점 표현을 막습니다.
AWS ML Blog 60건 · 필터 해제
AWS는 Amazon Quick에서 구조화된 데이터셋과 S3 기반 지식베이스를 하나의 '스페이스'로 묶어 단일 대화형 AI 에이전트로 함께 조회하는 방법을 소개했다. 사용자가 질문하면 에이전트가 지식베이스, 데이터셋, 또는 둘 다를 조회해 출처를 포함한 답변을 제공한다. 구성은 S3 연동 및 지식베이스 생성, 데이터셋 보강, 스페이스 구성, 커스텀 챗 에이전트 생성 순으로 진행된다. 콘텐츠 안전 심사 등 기본 AI 가드레일도 함께 적용된다.
AWS는 AI 에이전트가 사용자를 대신해 엔터프라이즈 API를 호출할 때 사용자 신원을 유지하도록, Bedrock AgentCore Gateway에서 Microsoft Entra ID와의 온비하프오브(OBO) 토큰 교환을 구성하는 방법을 소개했다. 에이전트는 자신의 애플리케이션 등록에 스코프된 JWT로 게이트웨이에 인증하고, 게이트웨이가 이를 ServiceNow API 커넥터용 토큰으로 교환해 원래 사용자의 신원을 보존한다. 이를 통해 ServiceNow는 요청을 애플리케이션이 아닌 실제 사용자 권한으로 처리할 수 있어 감사 추적과 최소 권한 원칙을 지킬 수 있다. 이 패턴은 OAuth로 보호되는 다른 REST API에도 적용 가능하며, Amazon Bedrock Guardrails와 결합해 입출력 검증도 추가할 수 있다고 설명했다.
AWS ML Blog가 EDB Postgres AI와 Amazon Bedrock AgentCore를 활용해 에이전트용 시맨틱 레이어를 만드는 방법을 소개했다. AIDB 확장을 이용해 Strands Agents 에이전트가 고객 360도(C360) 질문에 답하도록 구성했으며, 비즈니스 의미는 Postgres COMMENT 문으로, 조인 그래프는 외래키로부터 자동 생성된다. 접근 제어는 Postgres GRANT와 행 단위 보안을 AIDB의 MCP 엔드포인트를 통해 적용하고, 에이전트는 Amazon Bedrock의 Anthropic Claude 모델로 계획을 세우며 AgentCore 런타임에서 실행된다. AgentCore Gateway는 Cognito가 발급한 토큰을 검증해 호출 권한을 통제하고, AIDB는 모든 SQL 실행에 대한 OpenTelemetry 추적을 aidb_otel 스키마에 남겨 SQL로 조회할 수 있다.
AWS 파트너사 Cartesia가 상태공간모델(SSM) 아키텍처를 활용한 음성 AI 애플리케이션을 소개했다. 텍스트를 음성으로 변환하는 'Sonic'과 음성을 텍스트로 변환하는 'Ink' 두 모델을 서브-100ms 지연시간으로 제공한다. Sonic은 약 90ms 안에 첫 음성 바이트를 생성하며 44개 이상 언어를 지원하고, 10초 분량의 음성 샘플로 음성 복제가 가능하다. Ink는 별도의 음성활동감지(VAD) 모델 없이 대화 턴 종료 시점을 자동으로 감지한다. 데이터 주권이나 규제 준수가 필요한 경우 Cartesia 모델을 AWS 환경에 배포할 수 있다고 설명했다.
AWS는 Amazon Bedrock에서 Moonshot AI의 오픈웨이트 모델 Kimi K3에 대해 인도 지리적 추론 프로필(뭄바이·하이데라바드 리전)을 새로 제공한다고 밝혔다. 기존 글로벌·미국 기반 추론에 더해, 엄격한 데이터 거주 요건이 있는 인도 내 워크로드를 지원하기 위한 것이다. 헬스케어 앱 울트라휴먼은 건강 데이터를 AWS 내에 유지한 채 AI 비서 Jade에 이 모델을 도입해 운영 중이라고 소개됐다. 게시글은 힌디어 스캔 문서의 OCR·구조화 추출과 힝글리시(힌디어-영어 혼용) 질의응답 예제 코드도 함께 제공한다.
AWS는 Amazon Bedrock Knowledge Bases에 웹 콘텐츠를 적재하는 방법으로, 기본 제공되는 Amazon Bedrock Web Crawler 외에 오픈소스 크롤러 Crawl4AI를 활용한 사전 정제 파이프라인을 공개했다. Crawl4AI는 페이지에서 본문 영역만 추출하고 내비게이션 등 불필요한 부분을 제거해 마크다운과 메타데이터를 생성하며, 이를 Amazon S3에 저장한 뒤 지식베이스가 S3 데이터 소스로 수집한다. EventBridge, ECS Fargate 등을 이용한 전체 워크플로우는 aws-samples 저장소의 샘플 구현으로 제공된다.
AWS ML Blog는 Amazon SageMaker AI에서 지식증류(knowledge distillation) 기법으로 쇼핑 에이전트를 경량화하는 방법을 소개했다. 대형 '교사' 모델이 생성한 검색·추론·도구호출 등 다단계 궤적(trajectory) 중 과제를 해결한 것만 선별해, 이를 지도학습 방식으로 작은 '학생' 모델에 학습시키는 시퀀스 수준 지식증류(SeqKD)를 다뤘다. SeqKD는 교사 모델의 로짓이나 가중치 접근 없이 텍스트 출력만으로 학습이 가능해, API로만 접근 가능한 폐쇄형 프런티어 모델에도 적용할 수 있다고 설명했다. 예시로 DeepSeek-R1의 추론 능력이 Qwen, Llama 기반 소형 모델로 증류된 사례를 언급했다.
편의점·주유소 체인 Circle K는 Amazon Bedrock을 활용해 DevOps 장애 대응을 자동화하는 에이전트 시스템을 구축했다. Grafana 알림이 발생하면 여러 에이전트가 CloudWatch 로그, OpenSearch 추적, ECS 상태 등을 병렬로 조사해 구조화된 요약을 Slack으로 전달한다. 기존에는 엔지니어가 여러 도구를 오가며 수동으로 원인을 파악해야 했다. 회사는 이 시스템 도입 후 평균 트리아지 시간이 15분 이하로 줄었으며, 내부 장애 대응 지표 기준 67~75% 감소했다고 밝혔다. 이 글은 초기 Amazon Bedrock Flows 구현과 이후 Amazon Bedrock AgentCore로의 전환 과정도 설명한다.
AWS가 Amazon Bedrock 생성형 AI 비용을 체계적으로 관리하기 위한 5단계 운영모델(귀속-관찰-집행-최적화-운영)을 담은 플레이북을 공개했다. 핵심은 비용을 호출한 IAM 주체에 자동 귀속시키는 '세분화된 비용 귀속' 기능으로, CUR 2.0 리포트와 IAM 태그를 통해 팀·애플리케이션별 과금 추적을 가능하게 한다. 특히 LLM 게이트웨이가 단일 IAM 역할로 Bedrock을 호출하면 사용자별 비용 추적이 사라지는 '공유 역할 문제'를 사용자별 STS 세션 관리로 해결하는 방법을 제시했다. FinOps 팀은 귀속·리뷰 단계를, 플랫폼 엔지니어링 팀은 로깅·집행·라우팅 기본값 최적화를 각각 담당하도록 역할을 구분했다.
AWS는 Amazon Bedrock AgentCore runtime의 'Session endpoints' 기능을 소개했다. 코딩 에이전트가 세션 내 격리된 마이크로VM에서 웹앱을 수정할 때, 별도 배포 없이 브라우저에서 바로 변경 사항을 확인할 수 있다. 세션마다 인증된 URL이 발급되며 허용된 포트로만 HTTP와 WebSocket 요청을 전달하고, IAM SigV4 서명이나 JWT 토큰으로 모든 요청을 인증한다. 브라우저가 직접 서명을 추가할 수 없기 때문에 로컬 엔드포인트가 자격 증명을 요청에 덧붙여 전달하는 구조다. 관련 샘플 코드는 AWS의 agentcore-samples GitHub 저장소에 공개되어 있다.
ChatGPT 데스크톱 앱이 아마존 베드록을 통해 AWS 거브클라우드(US)에서 사용 가능해졌다. 일반 업무용 'Work'와 코딩 에이전트 'Codex' 두 구성요소로 오픈AI 모델에 접근할 수 있으며, 모델 요청은 us-gov-west-1 리전의 아마존 베드록 맨틀 엔드포인트로 전달된다. 이는 보안 아키텍처상 모델 추론이 AWS 거브클라우드의 자격 증명·엔드포인트·리전 통제를 거쳐야 하는 조직을 위한 구성이다. 인증은 베드록 API 키 또는 AWS SDK 자격 증명 체인으로 이뤄지며, 프롬프트와 응답을 저장하지 않는 제로 데이터 리텐션(ZDR) 옵션도 지원된다. AWS는 이 구성을 적용해도 모델·서비스·리전·자격 증명 등에 대한 보안 승인 책임은 해당 기관에 있다고 밝혔다.
AWS는 영국 Amazon Quick 사용자 그룹이 2026년 세 차례 분기별 모임을 열었고 참석자가 150명을 넘었다고 밝혔다. 행사는 런던 쇼디치의 Amazon UK 본사에서 열렸으며, 참석자들은 코드 없이 커스텀 챗 에이전트를 만들고 Quick Desktop, Quick Apps, Quick Flows·Automate, Quick Research 등을 직접 다뤄봤다. 고객 발표에서 Arriva UK Trains는 역할별 모바일 대시보드와 자동 이메일 리포트로 현장 관리자의 사고 대응을 개선한 사례를 공유했다. 중고차 업체 Carsa는 단일 거버넌스 데이터 레이어를 구축해 대시보드 수를 50% 줄인 과정을 소개했다.
AWS ML Blog는 AI IDE인 Kiro를 활용해 PHP 애플리케이션을 Java로 반복 가능하게 전환하는 방법을 소개했다. 이 엔진은 원본 PHP를 명세로 간주하고, 스캐너가 모델을 먼저 탐색한 뒤 8단계 워크플로를 거쳐 패리티(동등성) 검증을 통과해야 전환이 완료된 것으로 간주한다. 방법론은 버전 관리되는 마크다운 '스킬 파일'로 패키징되어, 개발자가 직접 단계별로 승인하며 진행하는 Kiro 방식과, 다수 애플리케이션을 자율적으로 처리하는 AWS Transform 방식 두 가지로 실행할 수 있다. 두 경로는 동일한 스킬 파일을 공유해 한쪽에서 수정한 규칙이 다른 경로에도 반영된다.
AWS는 AWS Batch가 Amazon SageMaker Training 작업을 대기열로 관리할 수 있는 기능에 더해, 팀·프로젝트별로 GPU 자원을 나눠 쓰는 '할당량 관리(quota management)' 기능을 공개했다. 관리자는 할당량 공유(quota share)를 설정해 유휴 자원을 다른 팀에 빌려주거나(LEND) 필요할 때 빌려오는(LEND_AND_BORROW) 전략을 쓸 수 있다. 자원을 빌려간 팀이 작업을 보낼 경우 AWS Batch가 자동으로 해당 자원을 회수하는 교차 공유 선점(cross-share preemption)과, 같은 공유 내에서 우선순위가 높은 작업이 낮은 작업을 앞지르는 공유 내 선점(in-share preemption) 기능도 제공된다. 설정은 AWS CLI, 콘솔, SageMaker Python SDK를 통해 가능하다.
MoEngage는 약 400개의 내부 REST API를 AI 에이전트가 안전하게 쓸 수 있는 도구로 전환하기 위해 Amazon Bedrock AgentCore Gateway를 도입했다. 이 API들은 25개 엔지니어링팀이 운영하며 데이터 레지던시 준수를 위해 7개 AWS 리전의 비공개 VPC 안에서만 동작하고 외부 인터넷에는 노출되지 않는다. MoEngage는 팀마다 개별 MCP 서버를 두는 방식(20개 이상 서버 운영) 대신, AI 플랫폼팀이 MCP 계층을 중앙에서 관리하고 각 팀은 OpenAPI 스펙만 정의하는 구조를 택했다. AgentCore Gateway는 등록된 OpenAPI 스펙으로 MCP 도구를 자동 생성·라우팅하며, 식별 정보를 모델이 직접 다루지 못하도록 서버 측에서 권한을 강제한다. MoEngage는 이 방식으로 플랫폼 엔지니어링 작업을 약 6개월 절감했고 신규 API 온보딩 시간도 수일에서 수 시간으로 줄었다고 밝혔다.
NVIDIA가 공개한 멀티모달 모델 Nemotron 3.5 Super VL이 AWS에서 제공되는 Nemotron 패밀리에 추가됐다. 이 모델은 텍스트·이미지·문서·영상 이해와 추론, 도구 사용을 결합해 코딩, 웹 리서치, 문서 분석, 보안 취약점 분석, 영상 분석 등 에이전트 작업을 지원한다. AWS ML 블로그는 이 모델을 Amazon EKS, EKS Auto Mode, SageMaker HyperPod EKS에 배포하는 참조 아키텍처와 NCCL, aiperf 도구를 이용한 네트워크·성능 검증 절차를 소개했다. NVIDIA는 자체 테스트에서 Hermes Bench, LangChain 에이전트 평가, CharXiv 차트 추론 벤치마크 결과를 발표했다.
AWS ML 블로그는 Amazon Bedrock AgentCore 기반의 엔터프라이즈 에이전트 AI 플랫폼 구축 방법을 소개했다. 여러 팀이 에이전트를 안전하게 개발·운영할 수 있도록 승인된 모델·툴 접근 게이트웨이, 멀티 계정 운영 모델, 워크스트림 단위 배포 패턴, 평가 파이프라인 등을 제시한다. 중앙형, 분산형, 연합형 운영 모델 중 플랫폼팀이 공통 서비스를 제공하고 각 팀이 소유권을 유지하는 연합형 모델을 채택했다. 모델·툴 접근 거버넌스, 배포 권한 위임, 비용 가시성, 수명주기 증거 확보 등을 플랫폼 설계 원칙으로 제시했다.
AWS가 사전 구축된 Ray Train 딥러닝 컨테이너(DLC)를 공개해, PyTorch 분산 학습에 필요한 CUDA, NCCL, EFA, AWS OFI NCCL 플러그인 등을 직접 빌드하지 않고 그대로 사용할 수 있게 했다. 샘플 예제는 KubeRay 오퍼레이터로 Amazon EKS 위에 Ray 클러스터를 구성하고, g6.12xlarge 인스턴스 2대의 GPU 8개에서 Qwen2.5-1.5B 모델을 PyTorch FSDP로 파인튜닝하는 과정을 보여준다. 동일한 이미지 태그가 헤드와 워커 역할을 모두 수행하며, 인스턴스 종류·GPU 수·네트워크 전송 방식 등은 쿠버네티스 리소스 요청과 환경 변수로 외부에서 설정한다. AWS는 각 릴리스를 멀티노드 EFA 및 KubeRay 학습 테스트로 검증한다고 설명했다.
AWS가 SageMaker AI 학습 및 처리 작업을 위한 Seekable OCI(SOCI) 인덱싱을 발표했다. 기존에는 작업 시작 전 컨테이너 이미지 전체를 다운로드해야 했지만, SOCI 인덱싱은 실행에 필요한 파일만 먼저 가져와 컨테이너를 즉시 시작하고 나머지는 백그라운드에서 스트리밍한다. AWS 자체 벤치마크에서는 이미지 다운로드 시간이 수 분에서 수 초로 줄었고 이미지 풀 과정에서 발생하는 GPU 유휴 시간이 최대 90%까지 감소했다. 인덱스가 없거나 지연 로딩에 실패할 경우 표준 다운로드 방식으로 자동 전환되어 기존 작업 흐름은 그대로 유지된다.
부동산 플랫폼 Property Finder는 비전 AI 모델을 더 저렴한 대안으로 교체하려다, 기존 평가 데이터셋 라벨의 96.8퍼센트가 기존 모델의 예측을 그대로 정답으로 쓴 것이었다는 사실을 발견했다. 이 때문에 어떤 대안 모델을 비교해도 기존 모델보다 항상 못한 것으로 평가되는 순환 오류가 있었다. 팀은 전문가의 독립적인 수작업 라벨링으로 새 정답 데이터를 구축하고, 다중 레이블 분류와 Micro F1 지표를 도입했다. 이후 Amazon Bedrock에서 반복적인 프롬프트 최적화를 거쳐 모델을 재선정한 결과, 더 높은 정확도와 더 낮은 비용을 동시에 달성했다.
태양광 기반 모듈형 전력 시스템 업체 Exowatt는 AI 데이터센터에 전력을 직접 공급하는 P3 제품을 운영하며, 현장마다 발생하는 하드웨어 이상·연결 끊김·전압 이상 등 알람을 모니터링할 AI 에이전트가 필요했다. 수천 개로 늘어나는 현장을 사람이 실시간 감시할 수 없고, GPU가 없거나 연결이 불안정한 엣지 환경에서도 동작해야 했기 때문에 범용 프런티어 모델로는 해결이 어려웠다. Exowatt는 Amazon SageMaker AI의 서버리스 모델 커스터마이제이션을 활용해 Qwen3 계열 모델을 엣지용 알람 트리아지와 클라우드용 에너지 시장 분석 두 용도로 각각 파인튜닝하는 파이프라인을 구축했다. 회사는 이 파인튜닝 모델이 해당 과업에서 프런티어 모델보다 높은 정확도를 보였다고 밝혔다. 더 중요한 성과는 원시 운영 데이터부터 인증된 학습셋, 파인튜닝 모델, 평가된 배포 아티팩트까지 이어지는 반복 가능한 파이프라인으로, 이를 통해 전체 과정을 수개월에서 수일로 단축했다고 설명했다.
AWS ML Blog는 2023년 소개한 엣지 품질검사 MLOps 패턴을 현재의 Amazon SageMaker Python SDK v3에 맞게 갱신한 샘플을 공개했다. 카메라별로 이상 탐지기와 결함 분류기를 훈련하는 이중 분기 SageMaker Pipeline을 사용하며, 품질 게이트를 통과한 모델만 SageMaker Neo로 엣지 기기용으로 컴파일되어 Model Registry에 등록된다. 폐지된 SageMaker Edge Manager 대신 SageMaker Neo가 엣지 최적화를 맡는다. AWS Step Functions, SQS, DynamoDB 기반 오케스트레이션 계층이 다수 카메라의 재훈련 요청 속도를 조절하며, 전체 시스템은 AWS CDK로 배포한다. 전체 코드는 aws-samples GitHub 저장소에 공개되어 있다.
AWS는 Amazon Bedrock에서 OpenAI 모델을 사용하는 AI 에이전트를 위한 프롬프트 캐싱 패턴을 소개했다. AI 에이전트는 매 턴마다 도구 목록, 지침, 이전 대화 기록 전체를 모델에 다시 보내야 하는데, 프롬프트 캐싱은 이전에 처리한 입력 상태를 저장해 재사용함으로써 반복 처리를 줄인다. Bedrock은 대화가 길어질 때 캐시 지점을 자동으로 정하는 암묵적 캐싱과, 개발자가 코드에서 캐시 경계를 직접 지정하는 명시적 캐싱을 모두 지원하며 두 방식을 함께 쓰는 것을 권장한다. 이 글은 에이전트가 새 도구를 받거나 하위 에이전트를 생성할 때도 캐시된 내용을 이어서 활용하는 방법을 설명한다.
AWS ML 블로그가 Amazon Bedrock의 매니지드 지식베이스(Managed Knowledge Base)와 AgenticRetrieveStream API를 활용해 AWS CDK로 '에이전틱 리트리벌'을 구축하는 방법을 소개했다. 기존 단일 검색-생성 방식의 RAG와 달리, 에이전트가 검색 여부와 대상 지식베이스를 스스로 판단하고 필요시 재검색까지 수행해 출처가 표시된 답변을 생성한다. Bedrock AgentCore의 Gateway가 각 지식베이스를 MCP 툴로 노출하며, OpenSearch Serverless 컬렉션을 직접 운영할 필요가 없어졌다. 해당 솔루션은 CloudWatch 대시보드와 온디맨드·지속 평가 기능까지 CDK 한 번의 배포로 함께 제공된다.
AWS는 에이전트형 작업을 위한 멀티턴 강화학습(MTRL)을 Amazon SageMaker AI에서 지원한다고 소개했다. 이 방식은 여러 단계에 걸친 행동 시퀀스 전체의 성공 여부로 보상을 매겨, 단일 턴 강화학습이나 지도학습으로는 다루기 어려운 과제를 학습시킨다. AWS는 다섯 글자 단어를 맞히는 게임 'Wordle'을 예시로, Amazon Bedrock AgentCore에서 호스팅한 에이전트가 정책 모델을 호출해 게임을 플레이하고 보상을 계산하는 구조를 시연했다. 실험에서 GPT-OSS-20B 모델은 MTRL 적용 후 기본 추론 강도에서 단어 맞히기 성공률이 61%에서 84%로, 낮은 추론 강도에서는 15%에서 69%로 올랐다고 AWS는 밝혔다.
AWS ML 블로그는 CloudFormation·CDK로 SageMaker AI 실시간 엔드포인트 설정(인스턴스 유형·개수·환경변수)을 변경할 때 배포가 실패하는 문제를 다뤘다. 엔드포인트 업데이트 전 오토스케일링 대상을 해제해야 하는데, 해제하면 CloudFormation이 Application Auto Scaling 리소스를 추적하지 못해 오류가 나거나 롤백까지 실패(UPDATE_ROLLBACK_FAILED)해 스택이 복구 불가 상태에 빠질 수 있다. 해결책으로 CDK 커스텀 리소스를 이용해 '해제 → 엔드포인트 업데이트 → 스케일러블 타겟 재등록 → 스케일링 정책 재적용' 순서를 자동으로 조율하는 재사용 가능한 구조체를 제시했다. 이를 통해 엔드포인트 설정과 오토스케일링 파라미터를 수동 개입 없이 한 번의 배포로 함께 업데이트할 수 있다.
Amazon QuickSight의 레이어맵 기능이 GeoJSON 파일을 통해 Point(지점)와 LineString(경로) 형태의 지리 데이터를 시각화할 수 있도록 확장됐다. 기존에는 판매 구역이나 행정구역 같은 폴리곤(경계) 형태만 그릴 수 있었지만, 이제 매장이나 시설 같은 개별 위치, 배송 경로나 항공편 같은 두 지점 간 이동 경로도 표현할 수 있다. GeoJSON 파일의 속성값과 QuickSight 데이터셋의 키 필드를 매칭해 지도 위 도형과 데이터를 연결하는 방식이며, GeoJSON 파일은 .geojson 포맷으로 저장해야 한다. 한 레이어는 한 번에 하나의 geometry 유형만 렌더링한다.
Bayer Crop Science는 작물 육종 머신러닝 워크플로를 운영하는 Connected Decision Engine(CDE) 위에, 자연어 질문에 답하는 다중 에이전트 시스템 Agentic Decision Engine(ADE)을 구축했다. ADE는 Amazon Bedrock AgentCore에서 구동되며, 감독 에이전트가 질문을 분류해 22개 전문 에이전트 중 하나로 라우팅한다. 도입 첫 단계에서 사용자 질문의 약 80%가 엔지니어 개입 없이 해결됐으며, Troubleshooting Agent는 워크플로 실패 진단에 걸리던 한 시간 이상의 수작업 로그 조사를 10분 이내로 줄였다. 구축 과정에서 Bayer는 AWS Unified Operations의 기술 계정 관리자와 생성형 AI 전문 엔지니어 지원을 받았다.
AWS가 Amazon Polly의 Generative 음성 엔진을 업그레이드해 9개 지역에서 14개 새 음성을 추가하고, 힌디어와 핀란드어 생성형 음성을 처음으로 정식 출시했다고 밝혔다. 이번 업그레이드는 기존 생성형 음성에 그대로 적용되는 드롭인 방식으로, 음성 이름과 API 호출 방식이 바뀌지 않아 기존 애플리케이션 코드를 변경할 필요가 없다. 숫자·주소·통화 등 고유명사 발음 정확도와 문맥에 따른 감정·억양 표현이 개선됐다고 설명했다. AWS GovCloud(US-West)로도 리전이 확장돼 총 11개 AWS 리전에서 서비스된다.
반려동물 기업 이스카이펫은 스페인·포르투갈·프랑스 3개국, 4개 언어로 흩어진 수백 건의 SharePoint 문서 때문에 직원들이 정책이나 절차를 찾는 데 오래 걸리는 문제를 겪었다. 회사는 Amazon Bedrock Managed Knowledge Bases를 도입해 벡터DB·임베딩·수집 파이프라인을 직접 운영하지 않고도 SharePoint 문서를 그대로 연결하는 RAG 기반 사내 지식 어시스턴트를 구축했다. 하이브리드 검색과 재랭킹, 문서별 권한 제어를 적용해 직원이 읽을 수 있는 문서 내에서만 답변하고 출처를 인용한다. 매장용 프런트엔드부터 AWS 아키텍처와 배포까지 전체 솔루션은 Claude Haiku 4.5를 사용하는 개발 환경 Kiro로 구축했다.
AWS가 SageMaker AI 서버리스 모델 커스터마이징의 '트레이닝 세션' 기능을 정식 출시했다. 사용자는 커스텀 손실 함수나 보상 신호를 포함한 훈련 루프 코드를 직접 작성하고, GPU 할당·분산 실행·장애 복구·체크포인트 저장은 SageMaker AI가 처리한다. SFT, DPO, RLVR, RLAIF, 멀티턴 강화학습 등 다양한 기법을 사용할 수 있으며 LoRA나 전체 파인튜닝 선택도 가능하다. ImagineSoftware는 의료 청구 거절 분류 모델에, Karini AI는 Amazon Neptune 지식그래프를 활용한 에이전틱 멀티턴 도구 호출을 위해 gpt-oss-20b를 파인튜닝하는 데 이 기능을 사용했다고 밝혔다.
AWS가 Amazon SageMaker AI에 '트레이닝 세션 API'를 추가해, 개발자가 자신의 파이썬 코드에서 forward_backward, optim_step, sample 같은 연산을 호출해 커스텀 학습 루프를 구성할 수 있게 했다. GPU 할당, 분산 실행, 장애 복구, 체크포인트 저장 등 인프라 운영은 SageMaker AI가 담당하며, 데이터·보상 함수·알고리즘은 사용자가 작성한다. ServiceClient, TrainingClient, SamplingClient 세 가지 SDK 클라이언트로 구성되며, SFT와 강화학습(RL) 예제를 담은 'SageMaker training sessions cookbook'도 함께 공개됐다. 사용량은 처리된 토큰 단위로 과금되며, GSM8K 수학 문제와 유닛 테스트로 코드를 채점하는 경쟁 프로그래밍 문제를 활용한 RL 예시가 소개됐다.
AWS ML 블로그는 AI 음성 에이전트의 응답 지연을 줄이기 위해 Kokoro-82M 텍스트투스피치 모델을 Amazon SageMaker AI 실시간 엔드포인트에 배포하고, 에이전트가 문장을 생성할 때마다 즉시 음성 합성을 시작하는 방법을 소개했다. 기존에는 전체 응답이 끝날 때까지 기다린 뒤 합성을 시작해 사용자가 공백을 느꼈지만, 문장 단위 스트리밍으로 첫 문장부터 재생이 시작되도록 구조를 바꿨다. 가이드는 SageMaker AI 양방향 스트리밍 엔드포인트와 Bedrock AgentCore 기반 Strands 에이전트를 연동하는 배포 절차, WebSocket 프레임 처리 등 구현 시 주의점을 다룬다. 샘플 컨테이너에 포함된 PyTorch 버전에 알려진 보안 권고(PYSEC-2026-2286)가 있어 실제 운영 전 업그레이드가 필요하다고 안내했다.
AWS ML Blog는 TTS 모델 Kokoro-82M을 Amazon SageMaker AI 실시간 엔드포인트의 커스텀 컨테이너로 배포하고, AWS CDK 스택으로 오토스케일링을 구성하는 방법을 소개했다. 기존에는 스케일링 목표값을 추측으로 정해 과소·과대 설정 시 비용 낭비나 SLO 위반이 발생했다. 이 방식은 한 인스턴스가 SLO를 지키며 처리할 수 있는 최대 동시 요청 수(Q_max)와 스케일 아웃 소요 시간(T_total)을 실제 엔드포인트에서 측정해 임계값과 쿨다운을 산출한다. 스케일링 기준은 SageMaker AI가 자체 제공하는 ConcurrentRequestsPerModel 지표를 사용한다. Kokoro-82M은 비자기회귀 방식의 StyleTTS2 계열 모델로, 토큰 생성 루프가 없어 LLM용 지표를 그대로 적용할 수 없다는 점도 설명했다.
Rescale은 AWS의 AI-DLC(AI-Driven Development Lifecycle) 방법론과 Strands Agents를 활용해 야간 테스트 실패를 자동으로 분류하고 담당 팀에 라우팅하는 트리아지 에이전트를 구축했다. 이 에이전트는 Amazon EKS에서 운영되는 Argo Workflows CI/CD 파이프라인 안에서 동작하며, Amazon Bedrock의 Claude Opus 4.8을 호출해 실패를 인프라 문제·코드 버그·플레이키 테스트·환경 문제로 분류한다. 지식 베이스에서 과거 실패 패턴을 조회하고 MCP로 파드 로그를 확인한 뒤, 엔지니어가 검토할 구조화된 개선 보고서를 생성한다. Rescale은 문제 정의부터 스테이징 배포까지 5일, 프로덕션 적용까지는 수 주가 걸렸다고 밝혔다.
AWS ML Blog는 AI 워크스페이스 Amazon Quick이 사내 방화벽 뒤나 온프레미스에 있는 데이터를 공개 인터넷을 거치지 않고 안전하게 조회하도록 구성하는 방법을 소개했다. AWS Direct Connect나 Site-to-Site VPN을 전제로, AWS PrivateLink 기반 VPC 엔드포인트와 VPC 연결을 함께 설정해 사용자 접속 트래픽과 데이터 조회 트래픽을 분리 관리한다. 이를 통해 HIPAA, FedRAMP, PCI-DSS 같은 규제 환경에서도 민감 데이터가 통제된 네트워크 경계 안에 머물도록 할 수 있다고 설명했다. 다만 VPC 연결 기능은 Amazon Quick Enterprise 구독에서만 지원되며, Confluence·SharePoint·Box 등 일부 소스는 현재 VPC 연결을 지원하지 않는다.
AWS Solutions Architecture 팀이 멀티에이전트 시스템을 프로덕션에 올리며 겪은 다섯 가지 핵심 과제를 정리하고, 이를 해결하기 위해 구축한 Deep Insight를 소개했다. Deep Insight는 CSV 데이터와 자연어 프롬프트를 받아 Coordinator, Planner, Supervisor, Coder, Validator, Reporter, Tracker 등 전문화된 에이전트 계층이 협업해 분석·차트 생성·검증을 거쳐 인용이 포함된 .docx 보고서를 자동 생성한다. Strands Agents SDK, Amazon Bedrock, Amazon Bedrock AgentCore, AWS Fargate 등을 활용했으며, Anthropic이 제안한 Context Engineering 기법(멀티에이전트 아키텍처, 구조화된 노트 작성, Human-in-the-Loop)을 실제 프로덕션 환경에 적용했다. Deep Insight는 GitHub에 오픈소스로 공개돼 Self-Hosted, Web, Managed AgentCore 세 가지 배포 방식을 지원한다.
AWS는 Strands Agents 기반의 적응형 에이전트 지능 프레임워크(AAIF)를 소개했다. 이 프레임워크는 일상적인 요청은 로컬에서 구동되는 소형언어모델(SLM)로 처리하고, 복잡한 분석이나 전략적 판단이 필요한 요청만 Amazon Bedrock의 클라우드 모델로 전달한다. Ollama로 구동되는 경량 오케스트레이터 모델이 들어오는 요청을 분류해 적절한 처리 계층으로 라우팅하는 방식이다. 사물인터넷(IoT) 모니터링 시나리오를 예시로, 기기 원격 측정 조회나 카메라 영상 분석은 로컬에서, 패턴 분석과 전략 제안은 클라우드에서 수행된다. 이 접근은 NVIDIA 연구진(Belcak 등)이 제시한 '소형언어모델이 에이전트 시스템의 많은 호출에 충분히 강력하고 경제적'이라는 주장을 토대로 한다.
AWS ML Blog가 Trainium2 기반 trn2.48xlarge 단일 인스턴스에서 torchtitan으로 Qwen3를 학습하는 세 가지 방법을 소개했다. 첫 번째는 torchtitan의 Transformers v5 백엔드로 Hugging Face Hub의 AutoModelForCausalLM을 통해 safetensors를 직접 읽고 쓰는 방식, 두 번째는 config 설정만 바꿔 torchtitan 네이티브 Qwen3 구현을 쓰는 방식, 세 번째는 torchtitan-neuron 레시피의 NKI 기반 MoE 커널을 추가하고 커스텀 커널을 등록하는 방식이다. TorchNeuron이 Trainium을 PyTorch 네이티브 디바이스로 등록해 세 방식 모두 동일한 torchrun 실행 패턴을 공유한다. Qwen/Qwen3-4B-Instruct-2507 공개 가중치로 미세조정한 첫 학습 스텝 손실은 6.54, 무작위 초기화는 12.43으로 나타나 가중치 로딩이 정상 작동함을 확인했다고 밝혔다.
Smartsheet가 Model Context Protocol(MCP) 서버를 정식 출시해, AI 에이전트가 Smartsheet의 시트·행·열·자동화 데이터를 읽고 쓰고 관리할 수 있게 됐다. AWS는 이 MCP 서버를 업무용 에이전트 워크스페이스 Amazon Quick과 개발자용 에이전틱 IDE Kiro에 연결하는 두 가지 방법을 소개했다. Amazon Quick에서는 자연어로 프로젝트 현황을 질의하고 시트를 업데이트할 수 있고, Kiro에서는 개발자가 코드 작업 중 스프린트 작업 상태를 확인하거나 커밋 시 작업 상태를 자동으로 완료 처리할 수 있다. 해당 MCP 서버는 40개 이상의 도구를 제공하며 미국·EU·호주 리전 엔드포인트에서 OAuth 2.0 또는 개인 액세스 토큰으로 인증된다.
Smartsheet가 Model Context Protocol(MCP) 서버를 정식 출시해 AI 에이전트가 시트·행·열·자동화 데이터를 표준 프로토콜로 읽고 쓰고 관리할 수 있게 됐다. 이 서버는 시트 탐색·생성·관리를 위한 40개 이상의 도구를 제공한다. AWS는 블로그에서 이를 연동하는 두 가지 경로로 업무용 자연어 워크스페이스인 Amazon Quick과 개발자용 에이전트 IDE인 Kiro를 소개했다. 서버는 Streamable HTTP 전송을 사용하며 OAuth 2.0 또는 개인 액세스 토큰으로 인증하고, 미국·EU·호주 등 지역별 엔드포인트를 제공한다.
AWS가 Amazon Quick과 Amazon Bedrock AgentCore를 결합해 공급망 관리자가 자연어 대화만으로 여러 시스템에 흩어진 데이터를 조회하고 조치까지 취할 수 있는 구조를 블로그에 공개했다. AgentCore는 MCP 서버들을 도구로 노출하는 지능 계층 역할을 하며, Quick은 별도 설정 없이 이를 대화형으로 사용할 수 있게 한다. 예시로 제시된 시나리오에서는 생산 중단으로 75만 달러 상당의 물량이 위험에 처한 상황을 조회하고, 대체 공급처 승인과 긴급 견적 발송까지 한 번의 대화 흐름으로 처리했다. 모든 변경 작업은 담당자의 승인을 거치도록 설계됐다고 설명했다.
오픈 가중치 추론 모델 GPT-OSS-20B는 프랑스어·독일어 등으로 추론하라고 지시해도 내부적으로는 영어로 사고 과정을 생성하는 문제가 있었다. AWS가 50개 예시로 테스트한 결과 목표 언어로 올바르게 추론한 비율은 22%에 그쳤고, 영어는 100%였지만 프랑스어·스페인어·이탈리아어는 0%, 독일어는 10%에 불과했다. AWS는 Amazon SageMaker HyperPod에서 HuggingFaceH4의 다국어 사고 과정 데이터셋을 활용해 지도 미세조정(SFT)과 강화학습 기법인 GRPO를 결합해 이 문제를 개선하는 방법을 소개했다. 추가로 Qwen2.5-7B 모델로도 통제 실험을 진행해 SFT와 GRPO의 역할 차이를 비교했다.
품질관리 소프트웨어 기업 Octave Reliance가 Amazon Bedrock을 기반으로 멀티테넌트 AI 인프라를 구축했다. 180개국에서 포춘500 기업 60% 이상에 서비스를 제공하는 이 플랫폼은 650개 이상 고객사의 민원·CAPA·감사 기록 등 규제 데이터를 테넌트별로 완전히 분리해야 하는 과제를 안고 있었다. 이를 위해 Cohere Embed v4로 문서를 임베딩해 테넌트별 Amazon OpenSearch Service 벡터 저장소에 저장하고, Amazon Bedrock AgentCore Gateway로 사용자별 권한을 검증한 뒤 Anthropic Claude 모델을 호출하며, 입력·출력 양쪽에 Amazon Bedrock Guardrails를 적용하는 3계층 구조를 설계했다. 이 기반 위에서 20억 건의 문서를 임베딩하고 민원 분류 지원 기능을 첫 사례로 프로덕션에 적용했으며, 이후 사용 사례별 배포 시간을 50% 단축했다.
AWS는 Amazon Bedrock의 크로스리전 추론(CRIS) 기능을 통해 캐나다(Central)와 캐나다 웨스트(Calgary) 리전에서 OpenAI의 GPT-6.1 Sol, GPT-6(Astra·Sol·Luna), GPT-5.6(Sol·Terra·Luna) 모델에 접근할 수 있게 됐다고 밝혔다. 크로스리전 추론은 애플리케이션이 소스 리전의 Bedrock 엔드포인트를 호출하면 Bedrock이 요청을 처리 가능한 목적지 리전으로 자동 라우팅하는 방식이다. 미국 지리적 프로필(us.)은 북미 내에서만 처리되도록 제한하고, 글로벌 프로필(global.)은 더 넓은 용량 풀을 활용한다. 모델별·소스 리전별로 지원되는 프로필 구성이 다르며, GPT-5.6의 글로벌 프로필은 ca-central-1에서만 제공된다.
AWS가 MCP 서버, 에이전트, 에이전트 스킬을 검색 가능한 카탈로그로 관리하는 관리형 서비스 AWS Agent Registry를 소개했다. 기존에는 오케스트레이터에 도구를 하드코딩해야 해 도구가 늘어날 때마다 코드 변경과 재배포가 필요했지만, 이 서비스를 쓰면 오케스트레이터가 런타임에 자연어 질의로 적합한 도구를 검색해 사용할 수 있다. 검색 결과에는 레코드 식별자, 설명, 프로토콜별 디스크립터가 포함되지만 인증 정보는 포함되지 않아 별도의 신뢰된 경로로 자격 증명을 얻어야 한다. 샘플은 Amazon Bedrock AgentCore Gateway로 노출한 주문 관리 MCP 서버와 두 개의 A2A 에이전트, 오케스트레이터를 Discover-Instantiate-Execute 흐름으로 시연하며, 오케스트레이터와 A2A 에이전트는 Anthropic Claude Sonnet 모델을 사용한다.
AWS와 Keyfactor가 AI 에이전트의 신원을 X.509 PKI로 증명하는 참조 아키텍처를 공개했다. MCP(Model Context Protocol)는 전송 방식에 중립적으로 설계돼 별도의 인증 표준이 없다는 문제를 지적하며, 서명된 요청 봉투, 사용자 서명 위임 증명, RFC 8693 기반 범위 제한 토큰, OCSP 실시간 폐기 확인이라는 네 가지 보안 메커니즘을 결합했다. 이 아키텍처는 Amazon Bedrock과 AWS Strands Agents SDK를 통한 LLM 추론, Keyfactor EJBCA의 인증서 발급·폐기 기능을 함께 사용하며, Amazon RDS·SES·Secrets Manager·EC2 등 AWS 서비스 위에서 구현됐다. 전체 소스코드는 GitHub 저장소에 공개됐다.
Eon은 AWS, GCP, Azure에 흩어진 운영 도구들을 각각의 자격증명과 로컬 MCP 서버로 접근하던 방식을 Amazon Bedrock AgentCore 기반의 단일 인증 게이트웨이로 교체했다. Cedar 기반 정책으로 사람과 자율 SRE 에이전트(Claude 기반)의 권한을 분리해 부여하고, 여러 AWS 계정에 흩어진 도구는 AgentCore Runtime을 통해 연결했다. 그 결과 신규 엔지니어가 조사 도구에 접근하는 데 걸리던 시간이 기존 2일에서 약 2분으로 줄었다.
AWS ML 블로그는 Denodo 플랫폼과 Amazon Bedrock AgentCore를 이용해 에이전트형 AI를 위한 시맨틱 레이어를 구축하는 방법을 소개했다. 이번 사례는 이전 글의 Stardog 지식그래프 대신 Denodo를 사용하며, Amazon Aurora·Amazon Redshift에 더해 온프레미스 PostgreSQL 데이터베이스까지 연동해 가상 사설 클라우드 경계를 벗어난 데이터 연합 문제를 다룬다. Bedrock 기반 파운데이션 모델이 질의를 계획하고, Denodo MCP 서버가 Model Context Protocol을 통해 거버넌스가 적용된 뷰를 에이전트에 노출한다. AgentCore Identity의 On-Behalf-Of 토큰 교환으로 최종 사용자 신원이 전달되고, Global Security Policies가 질의 시점에 행·열 필터를 적용한다. Denodo는 Agora 관리형 서비스 또는 Amazon EC2·EKS 자가 관리 방식으로 배포할 수 있다.
AWS ML Blog가 Strategy Mosaic와 Amazon Bedrock AgentCore를 이용해 에이전틱 AI용 시맨틱 레이어를 구축하는 방법을 소개했다. Amazon Redshift와 Amazon Aurora에 걸친 고객 360도(C360) 예제를 통해 두 개의 연결된 Mosaic 모델을 ETL 없이 구성했다. Mosaic는 하나의 모델 정의로 AI 에이전트용 MCP, SQL 클라이언트용 JDBC/ODBC, Power BI·Excel용 XMLA, 커스텀 앱용 REST 등 네 가지 프로토콜을 제공한다. AgentCore 런타임에서 구동되는 Strands 에이전트가 MCP 엔드포인트로 Mosaic에 접속하며, 조인·지표 정의·행과 열 단위 필터는 에이전트 프롬프트가 아닌 Mosaic 내부에 구현된다. 이번 글은 Stardog, Denodo를 다룬 앞선 두 편에 이어 같은 C360 패턴을 Strategy Mosaic로 재구성한 세 번째 편이다.
AWS ML 블로그가 Stardog·Denodo에 이어 세 번째로, AtScale을 이용해 고객 360(C360) 시맨틱 레이어를 구축하는 방법을 소개했다. AtScale은 YAML 기반 개방형 명세인 Semantic Modeling Language로 차원형 모델을 작성하고, 이를 SQL·XMLA·MCP 세 프로토콜로 동시에 노출한다. Amazon Bedrock AgentCore가 호스팅하는 Strands 에이전트는 Anthropic Claude Sonnet 4.6을 이용해 질의를 계획하고, Amazon Redshift Serverless 위의 데이터를 조회한다. AgentCore Identity를 통해 사용자 신원이 전파되어 AtScale이 역할 기반 접근 제어와 행 단위 보안을 쿼리 시점에 적용하며, AtScale은 Amazon EKS에 Helm 차트로 배포된다.
Amazon Bedrock이 bedrock-runtime과 bedrock-mantle 엔드포인트에서 모든 Anthropic Claude 모델에 구조화된 출력 기능을 지원한다고 밝혔다. 이 기능은 제약 조건이 있는 디코딩 방식으로 토큰 생성 단계에서부터 JSON 스키마를 강제해, 스키마를 위반하는 토큰 자체가 생성되지 않도록 한다. JSON 스키마 출력 형식과 엄격한 툴 유즈라는 두 가지 방식이 제공되며 배치 추론, 크로스 리전 추론, 스트리밍과도 함께 사용할 수 있다. 개발자는 별도의 파싱 로직이나 재시도 로직, 후처리 코드 없이 스키마에 맞는 JSON 응답을 바로 받을 수 있다.
AWS가 신규 SageMaker AI 고객이 Google, Apple, GitHub, Amazon 계정이나 이메일만으로 몇 단계 만에 가입해 곧바로 SageMaker Studio 환경에 진입할 수 있도록 로그인·가입 절차를 개편했다. 기존에는 이메일·연락처·전화번호 인증과 결제 정보 입력, 지원 플랜 선택 등 복잡한 AWS 계정 생성 절차가 장벽이었다고 설명했다. 신규 고객에게는 모델 커스터마이징, 학습, Studio 노트북, 엔드포인트 배포 전반에 쓸 수 있는 프리 티어 크레딧이 제공되며, 대부분 고객은 신용카드 없이 시작할 수 있다. Hugging Face 모델 페이지에서 바로 SageMaker Studio로 연결되는 기존 원클릭 기능과 결합해, 환경 생성 시간 단축 및 권한 사전 설정 등 이전 개선 사항도 함께 적용된다.
AWS는 Amazon SageMaker JumpStart를 통해 2026년 1월부터 9월까지 30개 제공사의 신규 모델 100개 이상을 카탈로그에 추가했다고 밝혔다. 가장 많은 모델을 제공한 곳은 알리바바(Qwen)로 29개, NVIDIA가 17개, 미스트랄 7개, 구글 6개, IBM과 코히어가 각각 4개였다. NVIDIA는 언어모델 외에도 비디오 생성과 물리 시뮬레이션을 결합한 Cosmos3 월드 파운데이션 모델 계열을 선보였다. 이와 함께 비전·음성·문서 이해를 함께 처리하는 멀티모달 모델, 이미지·영상 생성 모델, 양자화된 경량 모델의 온보딩도 확대됐다.
TwelveLabs의 비디오 언어 모델 Pegasus 1.5가 Amazon Bedrock에서 제공된다. 사용자가 정의한 구간·이벤트 기준에 맞춰 영상 전체를 분석해 시작·종료 시간이 포함된 JSON 형태의 타임스탬프 메타데이터를 반환한다. 텍스트 설명에 참조 이미지를 결합하는 멀티모달 프롬프트와, 사전 인덱싱 없이 S3 URI나 base64 문자열로 바로 처리하는 온더플라이 처리 기능이 새로 추가됐다. 한 번의 요청으로 처리 가능한 영상 길이도 이전 버전 대비 늘었다.
vLLM은 LLM 추론을 입력 처리(프리필)와 출력 생성(디코드) 단계로 분리해 각각 다른 인스턴스에서 처리하는 분산 추론을 지원하는데, 이 경우 KV 캐시를 프리필에서 디코드 인스턴스로 옮기는 작업이 첫 토큰 생성 시간(TTFT)의 병목이 된다. 기존 NIXL 커넥터의 풀(pull) 방식은 디코드 인스턴스가 캐시를 요청해 가져오는 순차 처리라 지연이 발생했다. AWS는 디코드 인스턴스가 미리 대상 블록을 등록해두고 프리필 인스턴스가 완료 즉시 백그라운드 스레드로 데이터를 써넣는 푸시(push) 기반 NIXL 커넥터를 개발해 vLLM 프로젝트에 기여했다. AWS Trainium 클러스터에서 개발·검증했으며, Amazon EC2 P5en(GPU) 클러스터에서 Qwen3-32B 모델로 벤치마크한 결과 풀 방식 대비 TTFT가 최대 3배, 토큰당 생성 시간(TPOT)이 최대 30% 개선됐다고 AWS는 밝혔다.
AWS가 멀티턴 에이전트 워크로드의 첫 토큰 생성 시간(TTFT)을 줄이기 위해 vLLM에 양방향 KV 캐시 전송 기능을 기여했다. 기존 prefill-decode 분리 서빙은 KV 캐시를 prefill에서 decode 노드로만 전달해, 다음 턴마다 이전 응답 토큰의 KV 연산을 다시 계산해야 했다. 새 기능은 decode 노드가 생성 후 KV 블록을 유지하고 KV 캐시 인식 라우터가 메타데이터를 전달해, NIXL을 통한 D→P 방향 전송으로 재사용할 수 있게 한다. AWS는 EFA로 연결된 EC2 P5en 인스턴스에서 자체 벤치마크한 결과 Qwen3-32B는 최대 1.6배, zai-org/GLM-5-FP8은 최대 3.3배 TTFT가 줄었다고 밝혔다. 이 기능은 AWS Trainium 클러스터에서 먼저 검증된 뒤 가속기에 종속되지 않는 형태로 vLLM에 기여됐다.
Reflection AI가 코드 유지보수, 도구 호출, 다단계 작업 수행 등 에이전틱 코딩을 위한 오픈웨이트 모델 Beam을 공개했다. Beam은 전문가 혼합(MoE) 구조이며 Hugging Face를 통해 Apache 2.0 라이선스로 가중치가 배포된다. Beam 1.0은 BF16, FP8, NVFP4 체크포인트로 제공되며, Amazon SageMaker JumpStart를 통해 미국 동부(버지니아 북부)와 미국 동부(오하이오) 리전에서 이용 가능하다. 개발자는 SageMaker JumpStart 실시간 엔드포인트 또는 SageMaker HyperPod Inference(JumpStart·SGLang·vLLM 활용) 중 배포 방식을 선택할 수 있다.
메타의 코딩 특화 오픈 가중치 모델 Muse Spark Open이 아마존 세이지메이커 점프스타트에서 제공되기 시작했다. 이 모델은 멀티파일 리팩터링과 장시간 디버깅 등 실제 개발자 워크플로로 학습된 추론 모델로, 계획·실행·관찰·수정을 반복하는 에이전트형 코딩에 맞춰 설계됐다. BF16과 NVFP4 양자화 두 가지 버전으로 제공되며, 이용자는 자신의 AWS 계정 내 엔드포인트에 배포해 가상사설클라우드 연결, 암호화, 네트워크 격리 등을 직접 설정할 수 있다. 메타는 Muse 모델 라이선스와 Muse Spark 사용 정책 하에 가중치를 공개했다.
AWS는 AI 에이전트에게 더 많은 자율성을 주면서도 통제력을 잃지 않기 위한 프레임워크 'Trust in Depth'를 소개했다. 보안 업계의 '심층 방어' 개념을 응용해 에이전트 범위 설정(Scope), 신원 확인(Know), 실행 중 제약(Bound), 실행 후 관찰(Observe) 네 단계에서 신뢰를 구축하도록 한다. 정밀하게 규칙화 가능한 부분은 수학적 검증 기법인 자동 추론(automated reasoning)으로 모든 경우의 수에 대해 규칙 준수를 증명하고, 맥락과 판단이 필요한 부분은 사람이 개입하도록 권고한다. AWS는 IAM, Nitro Hypervisor, S3 Block Public Access 등에서 10년 넘게 자동 추론을 운영해왔다며, 이를 Kiro, Strands, Amazon Bedrock AgentCore 같은 에이전트 개발·운영 도구에도 적용하고 있다고 밝혔다.