MLOps·개발도구

llama.cpp 핵심 라이브러리 ggml, 1.0.0 버전 출시

GeekNews·2026-11-14

요약

llama.cpp의 텐서 연산 라이브러리인 ggml이 1.0.0을 출시했어요. 더 이상 안 쓰던 API와 DIAG_MASK 연산을 없애고, FP8(저용량 숫자 표현 방식) 지원을 넓혔어요. RPC(원격 연결) 방식이 새 버전(v9)으로 바뀌면서 예전 버전과는 연결이 안 되니, RPC를 쓰는 환경에서는 클라이언트와 서버를 함께 업데이트해야 해요. CUDA에는 FP8과 배치 크기에 맞춘 연산을 추가했고, Metal에서는 여러 연산을 하나로 합쳐 더 빠르게 만들었어요. 그 외에도 FlashAttention과 MoE(여러 전문가 모델을 섞어 쓰는 방식) 처리를 Intel, Adreno 등 다양한 하드웨어에서 더 빠르게 돌릴 수 있도록 손봤어요.

큐레이터 노트

원문에 없는 맥락입니다

ggml은 llama.cpp 같은 AI 모델 실행 도구의 기반이 되는 라이브러리라서, 이번 업데이트로 개발자들이 더 다양한 하드웨어에서 AI 모델을 더 빠르게 돌릴 수 있게 된 거예요. 일반 사용자가 바로 체감하긴 어렵지만, 이 라이브러리를 쓰는 앱들의 속도 개선으로 이어질 수 있어요.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

젠슨 황 퇴진, 엔비디아 오픈소스 행보에 물음표
TechCrunch AI · 2026-11-12

엔비디아의 젠슨 황이 사임하면서 회사가 오픈소스 AI를 계속 지지할지에 대한 의문이 제기되고 있어요. 엔비디아는 그동안 허깅페이스(Hugging Face) 인수, 오픈 웨이트 모델 공개, AI 관련 규제 반대 등 오픈소스를 지지하는 행보를 보여왔어요. 리더십이 바뀌는 과정에서 이런 기조…

AWS, AI가 만든 보안 정책 비교하는 '의미 비교' 기술 공개
AWS ML Blog · 2026-11-11

AWS ML 블로그는 두 개의 공식 정책(접근 권한 규칙)이 글자는 달라도 뜻이 같은지 찾아내는 오픈소스 엔진을 소개했어요. '안티유니피케이션'이라는 수학적 방법으로 겉보기엔 다른 표현이라도 의미가 같은 부분은 하나로 묶고, 진짜 다른 부분만 남겨서 보여줘요. 거대언어모델(LLM)이 사…

AWS, 재사용 가능한 생성형 AI 조립 부품 23종 공개
AWS ML Blog · 2026-11-11

AWS 제너레이티브 AI 이노베이션 센터가 RAG(검색 증강 생성) 파이프라인, 문서 처리, 에이전트 틀 등 23개의 검증된 오픈소스 부품을 공개했어요. 기업들이 매번 같은 기능을 새로 만드는 대신 이미 검증된 부품을 가져다 쓰게 하려는 목적이에요. DoorDash는 이 중 콜센터용 A…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
API
API는 서로 다른 소프트웨어가 기능이나 데이터를 주고받을 수 있도록 정해 놓은 규칙과 창구를 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다. 이 글은 AI의 도움을 받아 작성했습니다.

GeekNews 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →