설계·EDA·IP쿼드릭 키메라 GPNPU, 가변 길이 프롬프트로 패딩 낭비 줄여
엣지 기기에 들어가는 언어모델은 짧은 음성 명령부터 수천 토큰짜리 문서까지 다양한 길이의 입력을 받아요. 그런데 보통의 컴파일된 추론 소프트웨어는 미리 정해둔 길이만큼 항상 계산해서, 짧은 입력이 들어와도 나머지는 의미 없는 패딩으로 채워 연산해요. 이 때문에 길이별로 여러 개의 바이너리를 따로 만들고 검증해야 하는 부담이 있었어요. 쿼드릭은 자사의 키메라 GPNPU가 하나의 그래프로 설정한 최대 길이까지 모든 프롬프트 길이를 처리할 수 있다고 소개했어요.
Semiconductor Engineering영문 원문