모델 849건 · 국산 132 · 가격 688 추적 중
MLOps·개발도구

AWS, SageMaker서 llama.cpp 기반 의사결정 모델 배포법 공개

AWS ML Blog·2026-10-12영문 원문

요약

AWS가 Amazon SageMaker AI에서 llama.cpp 전용 딥러닝 컨테이너로 텍스트 생성 모델과 의사결정 모델을 배포하는 방법을 블로그로 소개했다. 표준 경로는 OpenAI 호환 채팅 완성 API로 llama-server를 통해 응답을 생성하고, SemIf(이전 명칭 OpenJev) 확장은 답변 토큰을 디코딩하지 않고 선언된 선택지들에 대한 확률을 직접 반환한다. SemIf는 AWS CodeBuild로 빌드한 자식 이미지를 Amazon ECR에 저장해 실행한다. AWS는 공개된 JevBench 231개 과제를 CPU(ml.c6i.8xlarge)와 GPU(ml.g6e.xlarge) 엔드포인트에 각각 보내 비교했으며, GPU가 CPU보다 응답 속도(p50)에서 4.9배, p95에서 32.2배 빠르고 정확도는 두 방식이 비슷했다고 밝혔다.

큐레이터 노트

원문에 없는 맥락입니다

이 벤치마크는 AWS 자신이 수행한 테스트이며, SemIf는 Jev, Kev, Strands Decider 2B 같은 다른 의사결정 모델들과 같은 범주에 속한다고 원문은 설명한다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

리퀴드AI, 멀티모달 의사결정 모델 'd1-울트라' 공개
AI타임스 · 2026-10-18

리퀴드 AI가 기존 선두 모델 '제브'를 성능 평가에서 앞선 멀티모달 의사결정 모델 'd1-울트라'를 공개하고 자사 API를 통해 제공을 시작했다. 텍스트와 이미지를 함께 분석하며 판단 정확도와 확률값의 신뢰도를 높인 것이 특징이다. 독립 평가에서도 의사결정 모델 가운데 1위를 기록했다…

의사결정 모델 '제브' 표절 논란 불거져
AI타임스 · 2026-10-13

AI 스타트업 타입세이프가 공개한 의사결정 모델 '제브(Jev)'를 두고 표절 논란이 일었다. 콘브이 이노베이션스 설립자 난다키쇼르 무쿤노스는 제브의 핵심 아키텍처가 자신의 기존 연구와 유사하며 먼저 개발했다고 주장했다. 톰스하드웨어에 따르면 그는 타입세이프의 제브 공개 직후 블로그에 …

vLLM, 이미지까지 보는 멀티모달 의사결정 모델 공개
AI타임스 · 2026-10-13

vLLM 시맨틱 라우터 개발팀이 11일(현지시간) 텍스트와 JSON뿐 아니라 이미지까지 직접 분석하는 멀티모달 의사결정 모델 제품군 '디시전 3.0'을 오픈소스로 공개했다. 기존 의사결정 모델은 주로 텍스트와 구조화된 데이터 처리에 의존해 왔다. 멀티모달 AI 에이전트 도입이 확산되면서…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
API
API는 서로 다른 소프트웨어가 기능이나 데이터를 주고받을 수 있도록 정해 놓은 규칙과 창구를 말한다.
토큰
언어 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부, 문장 부호 등을 가리키는 말이다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →