"AI 추론"
뉴스
엔비디아 DGX 스파크 대량구매에 아마존 계정 정지, 로컬 AI 추론 수요 부각
AI 크리에이터 닉 사라예프는 엔비디아 DGX 스파크 미니PC 7대를 구매하려 하자 아마존이 구체적 사유 설명 없이 자신의 계정을 폐쇄했다고 X에 밝혔다. 아마존의 폐쇄 통지 이메일은 '계정 확인 절차'만 언급했을 뿐 명확한 이유는 제시하지 않았다. 에픽게임즈 CEO 팀 스위니도 엔비디아 GPU 2개를 구매하려 한 이후 정상 주문이 배송 직전에 계속 취소됐다고 전했다. 아마존 이용약관은 자체 판단에 따라 서비스를 거부하거나 계정을 정지하고 주문을 취소할 권리를 둔다고 명시하고 있다.
디에스앤지, 고려대 해커톤에 B300 서버 후원 — AI 추론 성능 검증
디에스앤지는 10월 31일부터 11월 1일까지 고려대학교 정보대학이 주최하는 '2026 InThon' 해커톤·데이터톤에 엔비디아 HGX B300 8-GPU 서버 2대를 원격 접속 방식으로 후원한다. 이번 대회는 SW·AI 전공 학생 약 150명이 참가하며, 해커톤 팀은 24시간 안에 동작하는 앱이나 웹 서비스를 만들어 제출한다. AI 인프라 소프트웨어 기업 래블업은 해커톤 트랙을 후원하며 참가팀에 LLM API 공급 서비스 '토큰팩토리' 바우처를 제공한다. 두 회사는 대회 기간 코딩 에이전트 요청을 익명 트레이스로 수집해 B300 환경에서 서빙 설정별 처리량과 응답 지연을 비교하고, 분석 결과를 래블업 기술 블로그에 공개할 계획이다.
아카마이, AI 추론·에이전트 실행 베타 출시 — 클라우드 AI 사업 확장
아카마이가 10월 29일 AI 모델 운영 서비스 '아카마이 인퍼런스'와 AI 에이전트의 코드 실행을 지원하는 '아카마이 에이전트 샌드박스'를 베타로 출시했다. 두 서비스는 아카마이 클라우드에서 AI 모델을 실행하고, AI 에이전트가 작성한 코드를 안전하게 실행하도록 돕는다. 아카마이 인퍼런스는 기업이 AI 모델을 직접 구축하거나 운영 환경에 적용할 수 있도록 지원하는 서비스다. 이를 통해 아카마이는 GPU·서버 판매 중심이던 클라우드 사업을 AI 모델 운영과 에이전트 실행 영역으로 넓히게 됐다.
시스템반도체·팹리스LGU+, 온디바이스 AI 추론 가속 기술 뉴립스 논문 채택
LG유플러스는 스마트폰에서 AI 모델을 구동하는 처리 속도를 약 4.5배 높이고 배터리 소모를 77% 줄이는 토큰 최적화 기술을 개발했다고 29일 밝혔다. 관련 연구 논문 2편이 국제 학술대회 뉴립스(NeurIPS) 2026의 온디바이스 인텔리전스 워크숍에 채택됐으며, 행사는 12월6일부터 일주일간 호주 시드니에서 열린다. 통화 서비스용 소형언어모델에 경량화와 추론 가속 기술을 적용해 속도와 배터리 효율을 개선했고, 개인정보를 외부 서버로 보내지 않고 기기 내부에서 모델을 추가 학습시키는 기술도 함께 공개됐다. 실제 스마트폰을 이용한 검증에서는 서버에서 학습한 모델과 유사한 수준의 정확도가 확인됐다.
GMIF2026 선전 개최, 삼성·샌디스크 등 AI 메모리 전략 공유
중국 선전에서 열린 제5회 GMIF 혁신 서밋(GMIF2026)에서 메모리·스토리지 업계 관계자들이 AI 추론 시대에 맞춘 시스템 차원의 전략을 논의했다. 모건스탠리의 대니얼 옌은 2027년까지 클라우드 데이터센터 설비투자의 절반 이상이 HBM을 제외한 메모리와 스토리지에 투입될 것이라고 전망했다. 베이징대 차이이마오 교수는 HBF와 HBM, NAND, RRAM을 결합한 이기종 아키텍처를 제안했고, 삼성전자는 Z-NAND와 PCIe Gen6 SSD 등의 진전을 소개했다. 샌디스크와 솔리다임은 AI 인프라에서 QLC SSD 활용 확대를, 레노버는 기업 AI 운영 체계화를 위한 '토큰 팩토리' 개념을 제시했다. 행사에는 40개 기업이 참가한 전시회와 33개 기업을 대상으로 한 시상식이 함께 열렸다.
GMIF2026: AI 추론, '토큰 팩토리'를 구동하고 메모리와 스토리지에 대한 시스템 차원의 재고를 견인
메모리(DRAM·NAND·HBM)GMIF2026 선전 개최, AI 추론發 메모리·스토리지 재편 논의
제5회 GMIF(글로벌 메모리 혁신 포럼) 2026이 중국 선전에서 폐막했다. 이번 행사는 선전메모리산업협회(SMIA)와 베이징대학교 집적회로학원이 공동 주최했다. 포럼은 AI 추론이 이른바 '토큰 팩토리'를 가동시키며 메모리·스토리지 분야의 시스템 수준 재검토를 이끌고 있다는 점을 주제로 다뤘다.
인텔 인퍼런스 마이크로서비스, 제온 CPU로 LLM 추론 최적화
인텔이 10월 16일 서버용 제온 프로세서의 AI 추론 성능을 높이는 '인퍼런스 마이크로서비스'를 공개했다. 이 소프트웨어는 대규모 언어 모델(LLM)을 CPU에 맞춰 최적화하는 작업을 빠르게 처리하는 컨테이너 기반 가상화 소프트웨어다. 오픈소스 LLM 모델 실행에 필요한 코드, 엔진, 설정값 등 라이브러리를 포함한다. 구동 시 인텔 프로세서를 감지해 사전 검증된 최적의 AI 추론 설정값을 자동으로 적용한다. 이를 통해 AI 추론 최적화 전문 인력에 대한 의존도를 낮출 수 있다.