모델 857건 · 국산 138 · 가격 690 추적 중
MLOps·개발도구

AWS, Qwen3.8-2.4T-A95B SageMaker HyperPod 배포 가이드 공개

AWS ML Blog·2026-09-09영문 원문

요약

알리바바 Qwen 팀이 8월 12일 공개한 오픈 웨이트 모델 Qwen3.8-2.4T-A95B를 Amazon SageMaker HyperPod와 vLLM으로 배포하는 방법을 AWS ML 블로그가 소개했다. 이 모델은 선형 어텐션과 완전 어텐션을 결합한 하이브리드 구조와 세분화된 MoE(전문가 혼합) 아키텍처를 사용하며, reasoning_effort 파라미터로 추론 깊이를 조절하고 도구 호출, 네이티브 추측 디코딩(MTP)을 지원한다. AWS는 NVIDIA B300 Blackwell Ultra GPU 기반 인스턴스에서 NVFP4 양자화를 적용해 단일 노드에 모델을 올리는 과정과 SageMaker HyperPod의 Inference Operator, 오토스케일링, 장애 복구 기능을 다뤘다. 벤더(Qwen 팀) 자체 벤치마크에 따르면 연구 워크플로우, 지시 이행, 터미널 기반 코딩 작업에서 강점을 보였다고 밝혔다.

큐레이터 노트

원문에 없는 맥락입니다

언급된 벤치마크 결과는 Qwen 팀의 자체 발표이며 독립 검증 여부는 확인되지 않았다. AWS는 이를 트릴리언 파라미터급 오픈 모델을 자체 인프라에 배포하는 시리즈의 두 번째 사례로 소개했다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

올트먼 "RAM은 PC 아닌 데이터센터에 있어야"
The Verge AI · 2026-10-30

OpenAI CEO 샘 올트먼이 Cheeky Pint 팟캐스트 인터뷰에서 RAM 공급 부족 문제에 대한 질문에 답했다. 오픈소스 모델을 개인 PC에서 로컬로 구동하면 데이터센터 자원 수요 문제가 해결될 것이라는 인식에 대해, 전역적 자원 배분 관점에서 보면 모두가 개인 PC에 RAM을 …

NVIDIA, 기업 데이터 연동 에이전트 툴킷 확장
NVIDIA Blog · 2026-10-21

NVIDIA가 오픈소스 'Agent Toolkit'을 확장해 기업 데이터를 에이전트가 활용하도록 돕는 'Agent Knowledge Foundation'을 새로 공개했다. 여기에는 CUDA-X 라이브러리와 신규 Auto-Ontology 라이브러리, Nemotron Retriever·Ku…

크래프톤, 자체 LLM '라온-1 미니' 프리뷰 공개
ZDNet Korea · 2026-10-21

크래프톤이 자체 개발한 거대언어모델 '라온-1 미니' 프리뷰 버전을 오픈소스로 공개했다. 허깅페이스에 아파치 2.0 라이선스로 제공해 누구나 무료로 내려받아 연구와 상업적 서비스 개발에 쓸 수 있다. 영어와 한국어를 지원하며, 전문가 혼합(MoE) 구조와 자체 개발한 선형 어텐션 기술을…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
전문가 혼합
전문가 혼합(MoE)은 여러 개의 전문가 서브네트워크 중 입력에 따라 일부만 선택적으로 활성화해 연산하는 신경망 구조를 말한다.
추측 디코딩
작은 초안 모델이 다음에 올 토큰 여러 개를 먼저 예측하면, 크고 정확한 목표 모델이 이를 한 번의 순전파로 검증해 채택하거나 기각함으로써 생성 속도를 높이는 디코딩 기법을 말한다.
오픈 웨이트
오픈 웨이트란 모델의 학습이 끝난 파라미터(가중치)를 누구나 내려받아 직접 실행하거나 추가 학습에 쓸 수 있도록 공개하는 방식을 말한다.
파라미터
모델이 학습 과정에서 값을 스스로 조정해 나가는 내부 수치로, 입력을 출력으로 변환하는 계산 방식을 결정하는 요소를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →