천문·천체물리
Astro2Method: 천문학 머신러닝 기법 선택 능력을 평가하는 LLM 벤치마크 공개
천문학 연구에서 적절한 머신러닝(ML) 기법을 고르려면 천문학과 ML 양쪽의 전문성이 필요한데, 대규모언어모델(LLM)의 이러한 선택 능력은 기존 벤치마크에서 충분히 다뤄지지 않았다. 연구진은 2024년 1월~2026년 6월 천문학 논문 346편에서 추출해 전문가가 검토한 500개의 이지선다 문항으로 구성된 벤치마크 'Astro2Method'를 제시했다. 5개 LLM을 대상으로 한 직접 프롬프팅 실험에서 Easy 문항 정확도는 87.50~92.55%였으나 Hard 문항은 58.87~64.52%에 그쳤고, 검색증강생성(RAG)이나 ReAct·Self-Ask·CRITIC 등 추가 추론·검색을 쓰는 에이전트 기법은 일관된 개선을 가져오지 못했다. 웹 검색을 수행하는 에이전트는 문항의 근거가 된 논문을 찾아낸 경우에만 주로 정확도가 올랐으며, 기법 이름을 가린 원 논문의 파이프라인 설명을 제공하면 Hard 정확도가 향상돼 웹 검색과 같거나 더 나은 결과를 보였다. 연구진은 관련 실험 정보가 ML 기법 구분에 도움이 되지만, 이를 유사 연구와 도메인 지식에서 추론하는 일은 LLM에게 여전히 어려운 과제라고 설명했다.
arXiv astro-ph.IM (관측기기)