엣지 AI 모델 경량화, 양자화·증류로 온디바이스 최적화

엣지 디바이스용 AI 모델은 데이터센터용 거대 언어모델과 달리 제한된 전력·메모리·면적 안에서 적정 크기로 설계돼야 한다. Imagination Technologies, 인피니언 자회사 Imagimob, Rambus 관계자들은 양자화, 증류, 가지치기, 자기압축 등 여러 압축 기법을 혼합해 모델을 경량화한다고 설명했다. 모델은 기기 내 다른 애플리케이션과 메모리·연산 자원을 공유하기 때문에, 설계 초기 단계부터 목표 성능과 압축 후 정확도를 함께 고려해야 한다고 강조했다. 최적화된 모델은 C코드로 변환돼 타깃 하드웨어에 탑재되지만, MCU·가속기·NPU·DSP 등 다양한 엣지 하드웨어에서 표준화된 툴 없이 효율적으로 구동시키는 것이 여전히 과제로 지목됐다.

이 글에 나온 것