쿼드릭 키메라 GPNPU, 가변 길이 프롬프트로 패딩 낭비 줄여

엣지 기기에 들어가는 언어모델은 짧은 음성 명령부터 수천 토큰짜리 문서까지 다양한 길이의 입력을 받아요. 그런데 보통의 컴파일된 추론 소프트웨어는 미리 정해둔 길이만큼 항상 계산해서, 짧은 입력이 들어와도 나머지는 의미 없는 패딩으로 채워 연산해요. 이 때문에 길이별로 여러 개의 바이너리를 따로 만들고 검증해야 하는 부담이 있었어요. 쿼드릭은 자사의 키메라 GPNPU가 하나의 그래프로 설정한 최대 길이까지 모든 프롬프트 길이를 처리할 수 있다고 소개했어요.
이 글에 나온 것
이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요. 이 글은 AI의 도움을 받아 작성했습니다.원문: Semiconductor Engineering 「Variable-Length Prompts on Chimera GPNPU」
Semiconductor Engineering 원문 보기 ↗