TuneBench: 전력계통 동적 모델 보정을 위한 AI 에이전트 벤치마크
연구진은 대규모 언어모델(LLM) 기반 에이전트가 전력계통 동적 모델 보정(dynamic model calibration), 즉 목표 동적 응답을 재현하도록 제어기 파라미터를 조정하는 작업을 수행할 수 있는지 평가하는 벤치마크 'TuneBench'를 제안했다. 이는 독점 모델을 확보할 수 없을 때 송전계통운영자(TSO)가 계통연계 규정(grid-code) 준수 시험 측정값에 맞춰 동적 안전도 평가(DSA)용 등가 모델을 보정하는 실무 관행을 반영한 것으로, 동기발전기의 조속기(governor)·자동전압조정기(AVR) 사례와 배터리 에너지저장장치(BESS) 제어시스템 사례 두 가지를 유효전력·전압 스텝 시험에 대해 시뮬레이션 15회 예산 내에서 다루었다. 10회 독립 실행에서 무작위 탐색과 유전알고리즘(GA)을 기준선으로 비교한 결과, 초록에 따르면 가장 진전된 모델인 Opus 5.5와 GPT-6만이 모든 목표 궤적을 정확히 재현했고 모든 시험에서 중위 R²가 0.995를 넘었으며 추종 오차는 기준선보다 최대 두 자릿수(two orders of magnitude) 낮았다고 보고됐다. 에이전트 로그에서는 정정시간(settling time)·감쇠(damping) 같은 동적 성능 지표를 스스로 추출해 특정 제어 파라미터와 연결하며 문제를 물리적으로 해석 가능한 하위 문제로 분해하는 양상이 관찰됐다. 다만 평가 대상은 두 개의 사례와 시뮬레이션 15회라는 제한된 예산에 머물러 있어, 실제 계통 적용 범위에 대해서는 초록만으로 판단하기 어렵다.
11월 3일