MLOps·개발도구

DoorDash, 검색 분리로 LLM 검색 비용 98% 절감

GeekNews·2026-11-07

요약

DoorDash가 LLM에 내장된 웹 검색 기능을 별도의 검색 API로 분리해, 검색어 의도 분류 평가에서 정확도를 유지하면서 검색 비용을 98% 이상 줄였다고 밝혔다. 이 수치는 모델 추론 비용을 제외한 것이다. 여러 AI 에이전트가 하나의 검색 게이트웨이를 공유해 모델과 검색 업체를 독립적으로 교체할 수 있고, 검색 결과 수와 캐시 정책, 장애 시 대체 업체도 설정으로 관리한다. 동일하거나 의미가 비슷한 질문의 검색 결과를 재사용해 중복 호출을 줄였으며, 캐시가 채워진 평가에서는 초기 실행 대비 평균 지연 시간이 68%, 검색 비용이 99% 이상 감소했다.

큐레이터 노트

원문에 없는 맥락입니다

검색 기능을 모델에서 떼어내 게이트웨이로 추상화하면, 모델이나 검색 공급자를 바꿔도 에이전트 쪽 코드를 건드릴 필요가 없다는 점이 이 구조의 핵심이다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

AWS, ECS Fargate 기반 서버리스 MCP 서버 구축
AWS ML Blog · 2026-11-06

AWS는 아마존 북미 분류센터(NASC) 플래닝팀을 위해 Amazon ECS Fargate 기반의 서버리스 MCP(Model Context Protocol) 서버를 구축했다고 AWS ML 블로그에서 소개했다. 이 서버는 AI 에이전트와 기업 데이터레이크 사이의 중앙화된 게이트웨이 역할을…

AWS, Okta 연동 AI 에이전트 접근 제어 가이드 2부 공개
AWS ML Blog · 2026-11-06

AWS ML 블로그가 Okta Cross App Access와 Amazon Bedrock AgentCore를 이용해 AI 에이전트의 리소스 접근을 통제하는 방법을 다룬 시리즈 2부를 게재했다. 1부에서는 에이전트 하나와 MCP 서버 두 개로 구성된 소규모 구조에서 Okta가 위임 권한을…

그린라이트, 베드록 에이전트코어로 자율 SOC 구축
AWS ML Blog · 2026-11-06

그린라이트 파이낸셜은 아마존 베드록 에이전트코어를 기반으로 '루나'라는 자율 보안관제(SOC) 시스템을 구축해 월 최대 4,000건의 보안·리스크 알림 중 90% 이상을 사람 개입 없이 처리한다. 루나는 티어1·티어2로 나뉜 다단계 감독자 구조에서 30개 이상의 전문 에이전트를 조율해 …

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
AI 에이전트
AI 에이전트는 주어진 목표를 달성하기 위해 스스로 계획을 세우고 도구를 호출하며 행동한 결과를 관찰해 다음 행동을 결정하는 AI 시스템을 말한다.
지연 시간
요청을 보낸 시점부터 응답을 받기까지 걸리는 시간을 말한다.
API
API는 서로 다른 소프트웨어가 기능이나 데이터를 주고받을 수 있도록 정해 놓은 규칙과 창구를 말한다.
추론
추론(Inference)은 학습이 끝난 인공지능 모델이 새로운 입력을 받아 예측이나 답변 같은 출력을 만들어내는 과정을 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다. 이 글은 AI의 도움을 받아 작성했습니다.

GeekNews 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →