반도체한국어 반도체 데이터베이스
최근 소식오픈소스 EDA 릴리스
메모리(DRAM·NAND·HBM)

KV캐시 부담 커지는 AI 추론, 메모리 월 다차원화시켜

Semiconductor Engineering2026-11-121분 읽기영문 원문
분야 자료 사진 — 칩이 배열된 웨이퍼 · Eclipse · CC BY-SA 3.0 (기사 원문의 사진이 아닙니다)

AI 인프라 경쟁은 그동안 연산 성능 위주로 진행됐지만, 추론(inference) 단계로 넘어가면서 메모리 문제가 더 복잡해지고 있어요. 생성형 AI 추론에서 쓰는 '키-값(KV) 캐시'는 반복 계산을 줄여주지만, 대화가 길어지고 동시 요청이 늘수록 저장하고 옮겨야 할 데이터량이 커져요. 이 때문에 메모리 용량·대역폭·지연시간·전력·비용을 한꺼번에 맞추는 일이 어려워지고 있다고 해요. 매체는 메모리 월(memory wall) 문제가 이제 대역폭 하나만의 문제가 아니라, 컴퓨팅·메모리·연결 구조·소프트웨어를 함께 조율해야 하는 시스템 차원의 과제로 바뀌고 있다고 설명했어요.

이 글에 나온 것

#KV캐시#메모리월#AI추론#메모리대역폭#메모리계층구조

이 글은 원문을 요약한 큐레이션입니다. 제목은 요약에 맞춰 새로 붙였습니다. 수치와 단위는 원문 표기를 유지했습니다. 전체 내용은 원 매체에서 읽어 주세요. 이 글은 AI의 도움을 받아 작성했습니다.원문: Semiconductor Engineering 「Beyond Bandwidth: AI Inference Is Reshaping The Memory Wall」

Semiconductor Engineering 원문 보기 ↗

메모리(DRAM·NAND·HBM) 소식 더 보기

전체 뉴스

PIM·PNM 메모리 기술, AI 추론 연산 구조 바꾼다

AI 연산이 데이터센터 학습에서 엣지 추론으로 옮겨가면서, 데이터 이동 거리를 줄이기 위해 메모리 가까이에서 연산하는 PNM(프로세싱니어메모리)과 메모리 안에서 직접 연산하는 PIM(프로세싱인메모리) 기술이 논의되고 있어요. Cadence의 Frank Ferro는 LLM(거대언어모델)이 실제 기기에 들어가면서 메모리 구조를 다시 설계해야 한다고 말했어요. Quadric의 Steve Roddy는 추론 단계에서는 데이터 접근 패턴을 미리 알 수 있어 사전 컴파일로 이런 기술을 효율적으로 쓸 수 있다고 설명했어요. Expedera의 Sharad Chole은 작업 종류에 따라 저장 용량이나 데이터 전송량 중 무엇이 더 문제가 되는지가 달라진다고 했어요. 커스텀 HBM(고대역폭메모리)이나 LPDDR6-PIM처럼 메모리 패키지나 칩 안에서 바로 연산해 속도를 높이고 에너지를 아끼는 것이 목표예요.

Semiconductor Engineering2026-11-12

피지컬 AI 메모리 과제, LPDDR·GDDR 선택이 성능 좌우

로봇·드론·자율주행차 같은 피지컬 AI 기기는 센서 데이터, 모델 가중치, 연산 결과를 동시에 처리해야 해서 메모리 설계가 중요해요. 온칩 SRAM과 캐시는 자주 쓰는 데이터를 연산장치 가까이 두고, LPDDR이나 GDDR 같은 외부 메모리는 용량이 큰 데이터를 담당해요. 불필요한 데이터 이동이 늘면 지연시간과 전력 소비가 커지고 발열 문제도 생길 수 있어요. 기사는 전력당 대역폭이 중요하면 LPDDR을, 연속적인 영상·센서 스트림 처리가 중요하면 GDDR을 쓸 수 있다고 설명했어요. 케이던스는 최대 14.4Gbps LPDDR6/LPDDR5X용 PHY·컨트롤러 IP와 최대 36Gbps GDDR7 PHY IP를 제공한다고 밝혔어요.

Semiconductor Engineering2026-11-12

삼성전자·SK하이닉스, 美 데이터센터용 eSSD 공급 확대

삼성전자와 SK하이닉스가 중국 고객사와 논의하던 기업용 SSD(eSSD) 물량 일부를 미국 고객사 쪽으로 돌리기로 했어요. 알리바바·바이두·텐센트 등 중국 주요 AI 기업들이 미국의 대중 AI 반도체 수출 규제로 고성능 AI 반도체 수급이 어려워지면서 eSSD 주문 규모를 줄이기로 했기 때문이에요. 업계에서는 이번 결정이 전체 낸드·SSD 수요에 큰 영향을 주지는 않을 것으로 보고 있어요. 중국에서 줄어든 물량은 공급난이 이어지고 있는 미국 데이터센터 기업들이 흡수할 예정이에요. 업계 관계자는 미국 데이터센터용 메모리 수요가 견조해 내년과 내후년까지 공급 부족이 이어질 가능성이 높다고 말했어요.

ZDNet Korea2026-11-12

AMD MEXT, AI로 D램 절반만 쓰고 서버 성능 95% 유지

AMD가 서버용 D램 사용량을 줄이면서도 성능을 거의 유지하는 메모리 기술 'MEXT'를 공개했어요. 이 기술은 잘 쓰지 않는 메모리 페이지를 플래시 저장장치로 옮기고, AI 모델이 필요한 페이지를 미리 예측해 불러오는 방식이에요. AMD는 신놉시스 프라임타임 같은 내부 업무에서 D램을 50%만 쓰고도 성능의 95%를 낼 수 있었다고 밝혔어요. 현재 내부 서버 145대에 적용했고 내년에는 2,000대로 늘릴 계획이며, HPE와 협력해 고객에게도 선보일 예정이에요. 지금은 EPYC 베니스 서버에 전용 NVMe 드라이브를 넣는 1단계 단계예요.

Tom's Hardware2026-11-11

LPDDR5X, 로봇·스마트팩토리까지 안전인증 넓힌 SK하이닉스

SK하이닉스가 저전력 D램 LPDDR5X의 쓰임새를 차량에서 로봇과 스마트팩토리로 넓혔어요. 이 회사는 LPDDR5X 제품과 개발 과정이 국제표준 'IEC 61508'에서 안전무결성수준(SIL) 3 인증을 받았다고 11일 밝혔어요. IEC 61508은 전기·전자 시스템이 고장 났을 때 사고 위험을 줄이기 위한 국제표준으로, 안전 요구 수준에 따라 SIL 1부터 4까지 나눠요. LPDDR5X는 시스템이 멈추지 않고 실시간으로 안전한 상태를 유지하도록 설계되고 검증됐어요. SK하이닉스는 지난 1월에도 같은 제품으로 차량용 기능안전 인증을 받은 바 있어요.

디일렉 반도체2026-11-11

SK하이닉스 LPDDR5X, 차량 기능안전 SIL3 인증 획득

SK하이닉스가 LPDDR5X 메모리로 산업용 기능안전 국제표준 IEC 61508의 SIL 3 인증과 차량 사이버보안 국제표준 ISO/SAE 21434 기반 사이버보안 관리체계 인증을 함께 받았다고 11일 밝혔다. SIL 3는 단일 메모리 반도체가 받을 수 있는 최고 등급이다. 심사에서는 위협 대응 절차, 보안 요구사항 수립, 설계·검증, 취약점 관리 등 개발·양산 전반 절차가 국제 기준에 부합한다는 평가를 받았다. SK하이닉스는 이번 인증을 바탕으로 자율주행 플랫폼과 소프트웨어 중심 차량(SDV) 프로젝트 참여를 늘리고, 로봇·에지 AI·스마트팩토리 등으로 사용처를 확대할 계획이라고 밝혔다.

ZDNet Korea2026-11-11

샌디스크, e.MMC 기반 아이낸드 EM181 임베디드 저장장치 출시

샌디스크가 독일 뮌헨에서 열리는 전자전시회 '일렉트로니카 2026'에서 피지컬 AI·IoT용 임베디드 낸드 플래시 드라이브 '아이낸드 CL EM181'을 공개했습니다. 이 제품은 e.MMC 5.1 인터페이스를 쓰며 셋톱박스, 스마트 TV, 스마트 보안 카메라, 데이터센터 로그 기록 등에 쓰입니다. 용량은 64/128/256GB이고 최대 읽기 속도는 300MB/s, 쓰기 속도는 225MB/s입니다. 낸드 일부를 SLC처럼 쓰는 스마트SLC 기술로 쓰기 성능과 내구성을 높였고, SLC로 작동하는 향상된 사용자 데이터 영역(EUDA)도 설정할 수 있습니다. 패키지 크기는 JEDEC 표준과 맞는 11.5×13mm를 유지해 기존 설계를 그대로 쓸 수 있습니다.

ZDNet Korea2026-11-11

SK하이닉스 LPDDR5X, 산업 기능안전 SIL3 인증 획득

SK하이닉스가 LPDDR5X D램(모바일 기기 등에 쓰이는 메모리 반도체)으로 산업용 기능안전 국제표준 'IEC 61508'의 SIL 3 인증을 받았습니다. 또한 차량 사이버보안 국제표준 'ISO/SAE 21434'를 기반으로 한 사이버보안 관리체계(CSMS) 인증도 확보했습니다. 두 인증 모두 국제 인증기관 SGS-TÜV Saar의 심사를 거쳤습니다. SK하이닉스는 앞서 자동차 기능안전 표준인 ISO 26262의 ASIL-D 인증을 받은 바 있으며, 이번 인증으로 기능안전 적용 범위를 자동차에서 로봇, 스마트 팩토리 등 산업 전반으로 넓혔습니다.

KIPOST2026-11-11