모델 851건 · 국산 132 · 가격 690 추적 중
AI 인프라·반도체

AWS, SageMaker용 MoE 커널 최적화 기법 공개

AWS ML Blog·2026-10-13영문 원문

요약

AWS는 SageMaker AI 블로그를 통해 Mixture-of-Experts(MoE) 아키텍처의 GPU 활용도를 높이는 커널 최적화 기법을 소개했다. MoE 모델의 디코드 단계에서는 처리하는 토큰 배치 크기가 매우 작아, NVIDIA Hopper 아키텍처의 WGMMA 연산이 요구하는 고정된 행 단위를 채우지 못해 텐서 코어가 유휴 상태로 낭비되는 문제가 발생한다고 설명했다. 이를 해결하기 위해 행렬곱 연산에서 두 피연산자의 위치를 바꾸는 'Swap-AB' 기법을 적용해, 상대적으로 큰 전문가(expert) 출력 차원을 첫 번째 피연산자 자리로 옮김으로써 하드웨어의 최소 행 기준을 충족시키고 연산 효율을 높였다고 밝혔다.

큐레이터 노트

원문에 없는 맥락입니다

모델의 수학적 구조는 바꾸지 않고 행렬 연산 순서만 재배열해 하드웨어 활용률을 끌어올린 사례로, MoE 기반 서비스의 지연시간과 비용 최적화에 적용될 수 있는 기법이다.

깊이 읽기

이 기사 한 건이 아니라, 같은 사안을 다룬 이 사이트의 기록을 근거로 정리했습니다

이 일이 어디서 왔나

MoE 아키텍처는 학습과 추론 양쪽에서 효율화 경쟁이 진행 중이다. 10월 들어 Ai2는 학습 처리량을, 카카오는 최적 학습률 예측 비용을, 리플렉션 AI와 비드래프트는 MoE 기반 모델 자체의 효율을 각각 공개했고, AWS도 같은 기간 SageMaker 추론 최적화 스킬과 멀티턴 RL 파인튜닝 사례를 연이어 소개했다. 이번 글은 그 흐름에서 AWS가 MoE '디코드 단계' GPU 활용률이라는 더 좁은 지점을 다룬 것이다.

짚어야 할 점

  • 이 기법은 모델을 다시 학습시키는 게 아니라 이미 나온 모델의 추론 단계에서 행렬곱 연산 순서만 바꾸는 하드웨어 레벨 최적화로, Ai2의 학습 처리량 개선이나 카카오의 학습률 예측과는 적용 단계가 다르다.
  • NVIDIA Hopper 아키텍처의 WGMMA 연산 제약을 전제로 한 기법이라, 다른 GPU 아키텍처나 비-Hopper 환경에서도 같은 효과가 나는지는 이 글만으로는 알 수 없다.
  • AWS가 같은 달에 추론 최적화 코딩 에이전트 스킬(10월 5일), 멀티턴 RL 파인튜닝(10월 2일), llama.cpp 배포법(10월 12일)까지 연이어 공개한 것은 MoE·에이전트형 모델 추론 비용이 실제 서비스 운영에서 부담으로 떠올랐음을 시사한다.

아직 확인되지 않은 것

  • Swap-AB 기법 적용으로 지연시간이나 처리량이 구체적으로 얼마나 개선됐는지 수치는 제시되지 않았다.
  • 어떤 MoE 모델이나 SageMaker 인스턴스 유형으로 이 기법을 테스트했는지는 확인되지 않았다.
  • 이 기법이 현재 SageMaker 서비스에 실제로 적용돼 있는지, 아니면 기법 소개 수준에 머무는지는 나오지 않았다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

크래프톤, 자체 LLM '라온-1 미니' 프리뷰 공개
ZDNet Korea · 2026-10-21

크래프톤이 자체 개발한 거대언어모델 '라온-1 미니' 프리뷰 버전을 오픈소스로 공개했다. 허깅페이스에 아파치 2.0 라이선스로 제공해 누구나 무료로 내려받아 연구와 상업적 서비스 개발에 쓸 수 있다. 영어와 한국어를 지원하며, 전문가 혼합(MoE) 구조와 자체 개발한 선형 어텐션 기술을…

MS, 자체 대형언어모델 'MAI-베이스-2' 사전학습 완료
AI타임스 · 2026-10-16

마이크로소프트가 자체 개발한 대규모 AI 모델 'MAI-베이스-2'의 사전 학습을 완료했다고 발표했다. 이 모델은 혼합전문가(MoE) 구조를 기반으로 하며, 정식 출시에 앞서 무스타파 술레이먼 MS AI CEO가 직접 나서 개발 성과를 알렸다. 업계에서는 오픈AI 등 외부 모델에 대한 …

Ai2, MoE 학습 효율 높인 오픈소스 프레임워크 공개
AI타임스 · 2026-10-12

앨런AI연구소(Ai2)가 LLM 학습 효율을 높인 오픈소스 프레임워크 '올모 코어 3(Olmo-core 3)'를 공개했다. 기존 학습 시스템을 재설계해 특정 규모의 MoE 모델에서 GPU당 처리량을 약 2.7배 높였다고 밝혔다. Ai2는 이 프레임워크가 향후 더 큰 규모의 모델 학습으로…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
파인튜닝
사전 학습된 대규모 언어 모델을 특정 작업이나 도메인의 데이터로 추가 학습시켜 성능과 응답 방식을 맞춤화하는 과정을 말한다.
처리량
처리량은 시스템이 일정 시간 동안 처리할 수 있는 요청 수나 생성 토큰 수를 나타내는 지표를 말한다.
추론
추론(Inference)은 학습이 끝난 인공지능 모델이 새로운 입력을 받아 예측이나 답변 같은 출력을 만들어내는 과정을 말한다.
학습
학습은 모델이 데이터를 반복적으로 살펴보며 예측 오차를 줄이는 방향으로 내부 파라미터를 조정해 나가는 과정을 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →