모델 857건 · 국산 138 · 가격 690 추적 중
AI 안전·정렬·평가

에임인텔리전스, 레드티밍·가드레일로 AI 전주기 안전관리

ZDNet Korea·2026-09-17

요약

AI 보안 기업 에임인텔리전스가 'AI 리스크 컨퍼런스 서울 2026'에서 AI 취약점을 찾는 레드팀과 실시간 통제 플랫폼 '스타포트'를 결합한 안전 전략을 공개했다. 박하언 CTO는 레드팀 테스트 결과 가장 안전하다고 평가된 모델도 10분 안에 탈옥이 가능했다고 밝히며, 국제 표준 기반 평가의 필요성을 강조했다. 스타포트는 경량 가드레일 모델 '가디언'을 통해 프롬프트와 응답을 실시간 검사하고 민감정보 전송을 자동 마스킹·차단하며, AI 모델·에이전트 현황 파악과 권한 통제 기능도 제공한다. 에임인텔리전스는 60개 이상의 AI 모델을 레드팀 테스트했고 해외 20여 개 기업에 솔루션을 공급 중이라고 소개했다.

큐레이터 노트

원문에 없는 맥락입니다

레드팀(공격)과 가드레일(방어)을 하나의 플랫폼으로 묶었다는 점은, AI 안전 관리가 모델 출시 전 점검을 넘어 운영 중 실시간 통제까지 확장되는 흐름을 보여준다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

에이전틱 AI 보안, 데이터 흐름 추적이 관건
MIT Tech Review · 2026-11-04

MIT 테크놀로지 리뷰의 custom content(Insights)가 에이전틱 AI 보안 문제를 다뤘다. 영업사원이 AI 에이전트에게 가격 정보를 요청하면 에이전트가 제한된 가격 시스템, 내부 커뮤니케이션, 과거 견적 등 여러 출처에서 데이터를 가져오고, 이를 다른 에이전트가 검증 없…

로봇개, 훈련 데이터 넘어 ICE·군사용으로 확산
The Guardian AI · 2026-11-04

샌프란시스코 스타트업 Dimensional은 사람들을 고용해 4족 로봇개를 산책시키며 훈련 데이터를 수집하고 있다. 뉴욕타임스 보도에 따르면 목표는 AI 에이전트와 통합돼 로봇이 더 독립적으로 행동할 수 있는 운영체제를 개발하는 것이다. 미국에서는 ICE가 이런 로봇개를 구매하고 있고,…

빅스데이터, AI 기업 의사결정 지원 시장 공략
전자신문 SW · 2026-11-04

데이터 분석·시각화 전문기업 빅스데이터가 자체 솔루션 '데이터웍스'와 '에이전트웍스'를 앞세워 AI 기반 기업 의사결정 지원 시장 공략에 나섰다. 27년간 축적한 데이터 분석 역량에 AI 기술을 결합해 '기업 의사결정 지능' 전문기업으로 도약한다는 전략이다. 김대중 빅스데이터 대표는 기…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
가드레일
가드레일은 AI 모델이 유해하거나 부적절하거나 정책에 어긋나는 입력과 출력을 만들지 않도록 시스템 차원에서 걸어두는 제약과 점검 장치를 말한다.
가드레일
가드레일은 AI 에이전트나 LLM 시스템이 설계된 범위를 벗어난 위험하거나 부적절한 입력·출력·행동을 하지 못하도록 오케스트레이션 계층에 두는 제약 규칙과 검증 장치를 말한다.
프롬프트
AI 모델에게 원하는 작업을 지시하기 위해 입력하는 텍스트를 말한다.
레드팀
AI 모델이나 시스템을 실제 공격자의 관점에서 시험해 안전장치를 우회하거나 유해한 결과를 유도할 수 있는 취약점을 체계적으로 찾아내는 활동을 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

ZDNet Korea 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →