PIM·PNM 메모리 기술, AI 추론 연산 구조 바꾼다

AI 연산이 데이터센터 학습에서 엣지 추론으로 옮겨가면서, 데이터 이동 거리를 줄이기 위해 메모리 가까이에서 연산하는 PNM(프로세싱니어메모리)과 메모리 안에서 직접 연산하는 PIM(프로세싱인메모리) 기술이 논의되고 있어요. Cadence의 Frank Ferro는 LLM(거대언어모델)이 실제 기기에 들어가면서 메모리 구조를 다시 설계해야 한다고 말했어요. Quadric의 Steve Roddy는 추론 단계에서는 데이터 접근 패턴을 미리 알 수 있어 사전 컴파일로 이런 기술을 효율적으로 쓸 수 있다고 설명했어요. Expedera의 Sharad Chole은 작업 종류에 따라 저장 용량이나 데이터 전송량 중 무엇이 더 문제가 되는지가 달라진다고 했어요. 커스텀 HBM(고대역폭메모리)이나 LPDDR6-PIM처럼 메모리 패키지나 칩 안에서 바로 연산해 속도를 높이고 에너지를 아끼는 것이 목표예요.

이 글에 나온 것