노타, AI 모델 경량화로 GPU 필요량 8장→2장 축소

노타는 업스테이지의 2500억 매개변수 모델 '솔라 오픈 2'를 경량화해 구동에 필요한 엔비디아 H100 GPU를 8장에서 2장으로 줄였다고 9일 밝혔다. 양자화와 가지치기 기술로 모델 가중치 저장용 메모리를 500.6GB에서 117.8GB로 줄여 적은 GPU로도 대규모 모델을 실행할 수 있게 했다. 중국 문샷AI의 2조8000억 매개변수 모델 '키미 K3'에도 기술을 적용해 기존 B300 GPU 8장 대신 6장, 4장으로 구동하는 경량화 버전 2종을 개발했다. 또 AMD '라이젠 AI 맥스+ 395' 환경에서 '큐웬3 8B' 모델의 GPU·NPU 연산 분배를 최적화해 토큰당 에너지 소비를 31% 줄이고 응답 완료 시간을 최대 52% 단축했다. 노타는 자체 플랫폼 '넷츠프레소'를 통해 반도체 기업에 모델 최적화 기술과 소프트웨어 라이선스를 공급하며 사업을 확대하고 있다.

이 글에 나온 것