"MoE"
뉴스
엔비디아 네모트론 3.5, MoE 구조로 40개 언어 음성 전사
엔비디아가 10월 28일 음성을 텍스트로 옮기는 오픈 가중치 모델 '네모트론 3.5 트랜스크라이브'를 공개했다. 이 모델은 40개 언어 받아쓰기와 영어-타언어 음성 번역을 지원하며, 전체 매개변수 약 340억 개 중 전문가 혼합(MoE) 구조로 실제 연산에는 약 43억 개만 사용한다. 최대 1시간 녹음을 한 번에 처리하고 화자를 구분해 표시하며, 실시간 음성은 지원하지 않고 녹음 파일만 처리한다. 엔비디아가 밝힌 단어 오류율은 영어 9개 데이터셋 평균 4.71%, 7개 언어 평균 4.62%였다. 모델은 H100 80GB GPU 한 장에서 실행 가능하며 상업적 이용이 가능한 'OpenMDW-1.1' 라이선스로 허깅페이스에 공개됐다.
중국 랑다오실렉, EUV 광원 시제품 공개 — 노광장비 국산화 걸음마
중국 스타트업 랑다오실렉이 상하이에서 열린 중국국제산업박람회에서 EUV 광원 시제품 'FlintNano LPP-OXXO'를 시연했다. 이 장비는 레이저 생성 플라즈마(LPP) 방식으로 15W 이상의 EUV 출력과 2% 이상의 변환 효율을 낸다고 밝혔다. 회사 측은 부품의 90%가 중국산이며 100시간 이상 연속 가동이 가능하다고 설명했지만, 실제 점등 시연은 하지 않았다. 트렌드포스에 따르면 이 기술이 상용화되기까지는 3~5년이 더 필요하다. 보도에서는 EUV 수집·조명 광학계, 레티클·웨이퍼 스테이지 등 완전한 노광장비를 구성할 공급망이 중국에 아직 없다는 점도 지적됐다.
업스테이지 솔라 미니 4, MoE 구조로 30억 매개변수만 활성화
업스테이지가 경량언어모델(SLM) '솔라 미니 4'를 공개했다. 전체 350억개 매개변수에 전문가혼합(MoE) 구조를 적용해 추론 시에는 30억개 매개변수만 선택적으로 활성화한다. 이를 통해 적은 연산량으로도 고성능과 고효율을 동시에 구현했다는 설명이다. 활성 매개변수 30억개 규모 소형 모델 가운데 최고 수준의 성능을 기록했다고 회사는 밝혔다. 글로벌 AI 평가기관 아티피셜 애널리시스의 '인텔리전스 인덱스(AAII)' 평가에서 종합 24점을 받았다.
노타, NeurIPS 2026 채택 — 멀티모달 MoE 모델 경량화 기술
노타는 멀티모달 대규모언어모델을 위한 전문가 프루닝 기술 논문이 AI 학술대회 NeurIPS 2026 메인트랙에 채택됐다고 밝혔다. 이 기술은 혼합전문가(MoE) 모델에서 언어와 이미지 이해 능력을 함께 고려해 전문가 모듈을 제거하는 방식이다. 약 310억 파라미터 모델에서 전문가 모듈을 25% 제거했을 때 원본 성능의 98%를, 50% 제거했을 때도 91%를 유지했다. GPU 메모리 사용량은 58GB에서 31GB로 약 47% 줄어 40GB급 GPU 한 장으로도 구동이 가능해졌다. 노타는 이 기술을 자사 AI 최적화 플랫폼 넷츠프레소에 반영해 멀티모달·MoE 모델 지원을 확대할 계획이다.
업스테이지 솔라 미니 4 공개, MoE로 추론 비용 낮춘 소형 LLM
업스테이지가 전체 350억 파라미터 중 추론 시 30억 파라미터만 활성화하는 전문가혼합(MoE) 구조의 소형 LLM '솔라 미니 4'를 공개했다. 아티피셜 애널리시스의 인텔리전스 인덱스(AAII) 기준 종합 24점을 기록해 알리바바 '큐원 3.6-35B-A3B', 엔비디아 '네모트론 3.5 라이트닝' 등 동급 모델을 앞섰다고 설명했다. 양자화를 적용하면 GPU 1장으로 구동할 수 있어 기업 내부 서버에 설치하는 온프레미스 환경에서도 활용 가능하다. 업스테이지는 솔라 LLM을 고난도 에이전트 작업용 '프로'와 반복 업무 자동화용 '미니' 두 갈래로 운영한다.
시스템반도체·팹리스MoE 추론 서빙, 프리필·디코드 분리가 GPU 효율 좌우
SemiAnalysis는 믹스처 오브 익스퍼트(MoE) 구조가 추론 서빙의 연산과 데이터 이동 방식을 근본적으로 바꿔놓았다고 분석했다. 추론 처리 과정을 프리필, 미드필, 디코드 어텐션, 디코드 익스퍼트라는 네 단계로 구분했으며, 각 단계는 연산량 대비 데이터 이동 비율(연산 강도)과 네트워크 요구 수준이 서로 다르다고 설명했다. NVIDIA Dynamo, Mooncake 같은 오케스트레이션 레이어가 vLLM·SGLang 등 추론 서버와 함께 요청을 큐에 넣고, 입력 처리 워커와 디코드 워커 사이에서 컨텍스트(KV 캐시)를 이동시키는 구조를 다뤘다. 글은 각 단계를 한 서버에 유지하는 어그리게이션 방식과 여유 있는 다른 머신에 배치하는 디스어그리게이션 방식의 장단점도 이어서 다룰 예정이라고 밝혔다.
S2W, 네이버클라우드 보안AI 컨소시엄 합류 — 700B MoE 모델 학습 참여
에스투더블유(S2W)가 과학기술정보통신부와 정보통신산업진흥원이 추진하는 '특화 인공지능 파운데이션 모델 개발(사이버 보안 분야)' 사업에 네이버클라우드 컨소시엄 일원으로 참여한다. 이 컨소시엄은 네이버클라우드를 주관사로 LG CNS, LG AI연구원, 한국항공우주산업, 한국수력원자력, 서울대, KAIST 등으로 구성됐다. 컨소시엄은 하이퍼클로바X와 엑사원을 기반으로 700B 규모의 전문가 혼합(MoE) 구조 보안 특화 모델을 개발·실증할 계획이다. S2W는 위협 인텔리전스와 보안 특화 언어모델 구축 경험을 바탕으로 모델 학습·검증에 참여하며, 서피스 웹에서 확보하기 어려운 히든 채널 데이터를 반영할 방침이다.
S2W, 국가 보안 특화 700B급 MoE 모델 개발에 참여
위협 인텔리전스(TI) 기업 S2W가 국가 보안 특화 AI 파운데이션 모델 개발 사업에 참여한다고 14일 밝혔다. S2W는 사이버 위협 데이터를 수집·분석해 보안 정보로 전환해온 역량을 바탕으로 모델 학습과 검증 등 주요 개발 과정에 동참한다. 이 사업에는 S2W를 포함해 총 33개 기관으로 구성된 컨소시엄이 참여하며, 7000억개 매개변수(700B)급 전문가 혼합(MoE) 구조의 보안 특화 초거대 모델 개발을 목표로 한다.
