모델 851건 · 국산 132 · 가격 690 추적 중
MLOps·개발도구

AWS, Crawl4AI로 Bedrock 지식베이스용 웹 콘텐츠 정제

AWS ML Blog·2026-11-02영문 원문

요약

AWS는 Amazon Bedrock Knowledge Bases에 웹 콘텐츠를 적재하는 방법으로, 기본 제공되는 Amazon Bedrock Web Crawler 외에 오픈소스 크롤러 Crawl4AI를 활용한 사전 정제 파이프라인을 공개했다. Crawl4AI는 페이지에서 본문 영역만 추출하고 내비게이션 등 불필요한 부분을 제거해 마크다운과 메타데이터를 생성하며, 이를 Amazon S3에 저장한 뒤 지식베이스가 S3 데이터 소스로 수집한다. EventBridge, ECS Fargate 등을 이용한 전체 워크플로우는 aws-samples 저장소의 샘플 구현으로 제공된다.

큐레이터 노트

원문에 없는 맥락입니다

기본 웹 크롤러로 충분하지 않을 때, 본문 추출과 커스텀 메타데이터가 필요한 경우를 위한 보완 경로를 제시한 것으로 보인다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

인젠트, 기업 문서·DB 연결해 AI 신뢰성 높이는 전략 공개
ZDNet Korea · 2026-11-02

인젠트가 '문서중앙화에서 AX 플랫폼으로' 웨비나를 열고 기업 내부 문서와 정형 데이터를 연결해 AI 업무에 활용하는 데이터 관리 전략을 발표했다. 문서중앙화 시스템의 보안 정책을 AI 검색 환경까지 일관되게 적용해, 열람 권한이 없는 사용자가 AI 답변을 통해 기밀정보를 확인하는 문제…

클라이온, 부산시 행정 AI 서비스 고도화 사업 주관사 선정
ZDNet Korea · 2026-11-02

클라이온이 '부산형 AI 서비스 확대 구축' 사업 주관사업자로 선정돼 부산시 행정 AI 서비스 'AI부기주무관'을 부서·개인 맞춤형 업무 환경으로 확장하는 작업에 착수한다. 포티투마루, 어기야팩토리와 컨소시엄을 구성해 데이터 수집·정제, RAG 인프라 구축, 보안 검증, 프로젝트 총괄 …

다이퀘스트, 국립보건연구원 AI 지식서비스 사업 수주
ZDNet Korea · 2026-10-28

다이퀘스트가 국립보건연구원이 발주한 '국가 의과학 지식자원 RAG 기반 지능형 서비스 구축' 사업자로 선정됐다. 국립의과학지식센터의 기존 키워드 검색 서비스에 자체 RAG 솔루션 'Q-RAG'를 적용해 연구자의 자연어 질문에 답변과 근거 문서를 함께 제시하는 서비스로 고도화한다. 하이브…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AWS ML Blog 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →