"PyTorch"
뉴스
구글 TPU, 메타 프로덕션 가동 — PyTorch 추론엔진 전환
구글의 AI 전용 칩 TPU가 메타의 데이터센터에서 프로덕션 단계로 가동되기 시작했다. 구글, 메타, SGLang 개발팀이 설립한 스타트업 래딕스아크(RadixArk)가 공동 개발한 PyTorch 네이티브 버전의 추론 엔진 SGLang-TorchTPU를 통해 구현됐으며, vLLM의 TorchTPU 버전도 오픈소스로 함께 공개됐다. 기존에는 두 추론 엔진 모두 구글의 JAX 프레임워크를 통해서만 TPU에서 구동됐으나, 이번 업데이트로 PyTorch 코드를 거의 수정하지 않고도 TPU를 활용할 수 있게 됐다. 메타의 PyTorch-TPU 리드 종웨이 저우는 SGLang-TorchTPU가 메타에서 실제 프로덕션으로 운영되고 있다고 밝혔다. 이 발표는 아마존이 자사 트레이니움 칩용 PyTorch 백엔드인 토치뉴런(TorchNeuron)을 오픈소스로 공개한 다음 날 나왔다.
설계·EDA·IPAMD·인텔, oneDNN 통합 — PyTorch CPU 추론 코드 일원화
AMD와 인텔이 PyTorch의 CPU 추론 최적화를 통합 라이브러리인 oneDNN으로 일원화하기로 했다. AMD는 자체 유지해온 ZenDNN을 UXL 파운데이션이 주도하는 오픈소스 oneDNN에 합류시키며, UXL 파운데이션의 운영위원(steering member)으로도 가입한다고 밝혔다. 이번 통합은 2024년 설립된 인텔·AMD 합동 조직인 x86 생태계 자문그룹(EAG)의 권고에 따른 것이다. oneDNN은 런타임에 하드웨어 기능을 감지해 플랫폼에 맞는 커널을 생성하고, 행렬곱·컨볼루션 등 AI 연산에 최적화된 명령어를 제공한다. x86 중심의 이번 발표와 별개로 oneDNN은 Arm, RISC-V 아키텍처도 지원하는 범용 라이브러리다.
