Build-A-Chip-Bench, AI 에이전트 설계 평가 벤치마크 공개

ChipAgents가 엔비디아의 참여를 받아 워크로드 명세부터 GDS 레이아웃까지 칩 설계 전 과정을 평가하는 벤치마크 'Build-A-Chip-Bench'를 공개했다. 이 벤치마크는 오픈소스 툴과 오픈소스 PDK를 사용해 AI 에이전트의 설계 수행 능력을 측정한다. 평가 대상 설계는 비공개 검증 IP 대비 기능적 정확성, 라우팅 가능성, 홀드 타이밍, DRC를 통과해야 하는 하드 게이트를 거치며, 통과한 설계만 과제 제약 조건에 따른 PPA로 점수를 받는다. 테스트 결과 최고 성능 에이전트는 과제의 65%에서 하드 게이트를 통과했고 전체 점수는 16.6%에 그쳤다. 연구진은 프런티어 에이전트들이 이전 결정을 재검토하거나 최적화 중 기존 동작을 보존하거나 느린 툴 실행을 고려해 계획을 세우는 데 어려움을 겪는다고 밝혔다.

이 글에 나온 것