CTO들 "AI 경쟁력, 모델 아닌 추론 최적화가 좌우"

국내 주요 기업 CTO들이 9월 29일 서울 코엑스에서 열린 래블업 기술 컨퍼런스에서 AI 산업의 경쟁 축이 모델 성능에서 추론 비용과 인프라 효율성으로 이동하고 있다고 진단했다. 이진원 하이퍼엑셀 CTO는 AI 시장 무게중심이 학습에서 추론으로 옮겨가며 비용 절감이 핵심 과제가 될 것이라고 밝혔다. 이활석 업스테이지 CTO는 엔비디아·AMD·퓨리오사AI 등 서로 다른 반도체를 쓰는 상황에서 워크로드와 고객 특성까지 반영한 최적화가 필요하다고 말했다. 김태호 노타AI CTO와 김준기 래블업 CTO는 AI 생태계 다변화로 모델과 하드웨어를 잇는 최적화 기술, 오케스트레이션 역량이 중요해질 것이라고 전망했다.

이 일이 어디서 왔나

9월 29일 래블업 컨퍼런스에서 나온 이 진단은 AI 업계에서 비용·인프라 효율성을 둘러싼 움직임과 맞물려 있다. 10월 2일 LG유플러스와 옵트에이아이가 엑사원 기반 모델 경량화로 전력과 모델 크기를 크게 줄인 사례, 10월 5일 전자신문 SW가 전한 엑시나의 메모리 중심 컴퓨팅 추진 등은 추론 비용 절감이 이미 구체적 기술 개발로 이어지고 있음을 보여준다. 같은 날 공개된 a16z 보고서도 거시 경제 축이 소프트웨어에서 하드웨어·인프라로 이동하고 있다고 짚은 바 있다.