오케스트로, GPU 추가 없이 AI 추론 처리량 62.8% 높였다…인프라 최적화 기술 공개

AI 인프라 소프트웨어 기업 오케스트로가 동일한 GPU 자원으로 AI 추론 처리량을 62.8% 높이고 토큰 생성 지연을 52.1% 줄인 성능 검증 결과를 공개했다. 오는 10월 27일 온라인 웨비나를 열어 분산 추론 기술을 적용한 추론 운영 플랫폼 '콘체르토 AI'와 넷앱 스토리지 연계로 모델 가중치 로딩 시간을 71초에서 8초로 줄인 사례 등 인프라 최적화 전략을 소개한다.