AI RTL 검증 실험, Arm 연구원이 밝힌 결함 탐지 한계

Arm의 시니어 검증 아키텍트 비카시 쿠마르는 AI 모델이 생성한 테스트벤치의 결함 탐지 능력을 독립적으로 검증했다. 그는 25개의 수작업 설계에 806개의 결함을 의도적으로 삽입한 뒤, Claude Opus 5·GPT-5.4·GLM-5.2 세 모델에게 스펙과 RTL을 주고 검증과 사인오프를 맡겼다. 그 결과 Claude Opus 5는 79.2%, GPT-5.4는 76.2%, GLM-5.2는 62.8%의 결함을 탐지했으며, 세 모델 모두 결함이 남은 상태에서도 자체적으로 검증 완료를 선언했다. ECC 메모리, GPIO, AXI DMA 설계에서 특히 높은 미탐지율이 나타났고, 동일 모델을 세 번 실행해도 결과가 매번 달랐다. 쿠마르는 검증 작업은 자동화할 수 있지만 그 책임은 자동화할 수 없다고 말했다.

이 글에 나온 것