셀렉트스타는 금융보안원, KAIST와 공동 수행한 금융 AI 안전성 평가 연구 논문이 데이터 마이닝 분야 국제학술대회 'IEEE ICDM' 메인 컨퍼런스에 채택됐다고 5일 밝혔다. 연구는 금융 거대언어모델(LLM) 레드티밍을 위한 전문가 기반 벤치마크 생성 및 평가 프레임워크를 다룬다. 연구진은 금융 분야 LLM의 안전성을 평가하는 프레임워크 '핀레드'를 제시했으며, 금융보안 전문가의 지식과 실제 금융 사례를 활용했다.
AI 스타트업 셀렉트스타가 상황을 분석해 적절한 답을 제시하는 판단 특화 AI 모델 '다비(DAVI)'를 공개했다. 다비는 질문의 난이도를 분석해 적합한 AI 모델을 선택하거나 AI 답변의 적절성을 평가하는 역할을 한다. 또 AI 에이전트의 작업 성공 가능성을 예측하는 데도 활용할 수 있다. 셀렉트스타는 성능 검증을 위해 타입세이프AI의 모델 '제브(Jev)'와 5개 영역에서 비교 평가를 진행했다.
셀렉트스타가 질문 난도에 따라 적합한 AI 모델을 고르는 판단 특화 모델 '다비'를 공개했다. 한국어 고난도 질의응답 870건 실험에서 다비가 앤트로픽의 하이쿠·소넷·오퍼스 중 모델을 선택하게 했을 때 정답률 71.1%로 오퍼스만 썼을 때(70.3%)보다 높았고, 비용은 약 28% 줄었다. 자체 평가인 '제브벤치'에서는 다비가 89.2%로 타입세이프AI의 '제브'(86.6%)를 앞섰다. 다만 이 수치는 셀렉트스타 자체 실험에 기반하며, 비용 절감치에는 다비 호출 비용이 포함되지 않았다. 개발자용 모델 라우팅 플러그인은 아파치 2.…
AI 신뢰성 평가 기업 셀렉트스타가 판단 특화 AI 모델 '다비(DAVI)'를 공개하고, 이를 활용한 모델 라우팅 플러그인을 오픈소스로 공개했다. 모델 라우팅은 질문의 난이도에 따라 작업을 맡을 AI 모델을 골라 성능과 운영 비용을 함께 맞추는 기술이며, 다비는 주어진 선택지 중 적절한 답을 고르는 방식으로 동작한다.
셀렉트스타가 질문 난이도 판단과 AI 답변 평가에 특화된 의사결정 AI 모델 '다비(DAVI)' 기반 모델 라우팅 플러그인을 깃허브에 오픈소스로 공개했다. 상업적 이용과 수정·재배포가 가능한 아파치 2.0 라이선스를 적용했다. 셀렉트스타는 자체 비교 실험에서 다비와 타입세이프 AI의 '제브(Jev)'를 5개 영역에서 비교했다고 밝혔으며, AI 판단 능력 평가(JevBench)에서 다비가 89.2% 정확도로 제브(86.6%)보다 높았다고 전했다.
셀렉트스타가 시스코와 AI 보안·신뢰성 분야 전략적 협력을 위한 의향서(LOI)를 교환했다고 21일 밝혔다. 셀렉트스타는 자체 AI 신뢰성 평가 플랫폼 '다투모 플랫폼'을 통해 평가 데이터 생성, 모델 성능·안전성 평가, 레드티밍, 결과 분석을 지원한다. 셀렉트스타는 '독자 AI 파운데이션 모델'과 '모두의 AI' 등 국가 AI 프로젝트에 참여 중이며, 다양한 산업 분야에서 AI 학습·평가 데이터 구축과 모델 평가 컨설팅을 수행하고 있다. 양사는 AI 모델 취약점 평가와 운영 중 보안 위협 대응 지원을 위한 협력을 추진할 계획이다.
AI 업계의 경쟁 기준이 모델 성능 중심에서 실제 서비스의 신뢰성과 안전성 검증으로 이동하고 있다. 전자신문은 민간 AI 신뢰성 평가기업 셀렉트스타와 국가 차원의 AI 안전평가 체계를 구축하는 인공지능안전연구소를 방문해 취재했다. 두 기관은 기업이 실제로 사용하는 AI 서비스를 대상으로 맞춤형 평가와 레드티밍을 수행해 취약점을 찾는 방식으로 안전성을 점검하고 있다.