비전-언어 모델(VLM)의 천문 관측 추론 능력 체계적 평가: AstroVLBench 벤치마크 공개
연구진은 광학 영상, 전파 간섭계, 다파장 측광, 시간영역 광도곡선, 광학 분광 등 5개 과제에 걸쳐 전문가가 검증한 4,100개 이상의 사례로 구성된 벤치마크 'AstroVLBench'를 제시하고, 최신 프런티어 모델 6종을 평가했다. 그 결과 성능은 데이터 모달리티에 크게 의존하며 일반 벤치마크 순위와는 상관관계가 없었고, 세 가지 구체적 병목이 드러났다. 1차원 측정값을 렌더링된 플롯이 아닌 수치 표 형태로 제시하면 모든 모델의 광도곡선 분류 성능이 최대 23퍼센트포인트 향상돼, 플롯 렌더링이 물리적으로 유의미한 신호를 가릴 수 있음을 보였다. 또한 광학 분광 전문가 감사에서는 정답 예측의 평균 26%가 물리적으로 일관되지 않거나 타당하지 않은 추론 과정을 동반하는 '정답-오추론' 현상이 확인됐다. 연구진은 표현 방식·프롬프트 기반·추론 과정의 병목이 해결되기 전에는 VLM을 자율적 과학 해석 도구로 신뢰할 수 없다고 결론지었다.
arXiv astro-ph.GA (은하)