천문·천체물리
FacilityAudit-Agent: 천문 논문에서 관측시설 기여도를 6단계로 자동 판별하는 프레임워크
연구진은 논문이 관측시설을 단순 언급했는지, 데이터를 실제로 어떻게 활용했는지를 L0~L5 6단계로 구분하는 '의미론적 기여도 귀속' 과제를 정의하고, 이를 수행하는 FacilityAudit-Agent를 제시했다. 이 프레임워크는 PDF의 페이지 단위 개요를 만들고 각 절에 역할과 시설 언급 정보를 붙인 뒤, 도구 호출형 대규모언어모델(LLM)이 필요한 본문을 그때그때 가져와 읽게 하며, 명시적 의사결정 트리와 커버리지 보정 신뢰도 점수로 판정하고 불확실한 사례는 사람 검토로 넘긴다. 사람이 주석을 단 39,358개의 논문-시설 쌍 테스트셋에서 single_audit 모드 기준 정확도 89.1%, 매크로 F1 79.8%를 기록해 다른 세 가지 베이스라인보다 정확도가 각각 5.8, 8.3, 12.1포인트 높았고, L2와 L5에서 개선이 가장 뚜렷했다. 또한 재학습 없이 새로운 시설로 전이할 수 있으며, 중국 국가천문데이터센터(National Astronomical Data Center)에 실제 배포돼 LAMOST, FAST, EP(아인슈타인 프로브) 관련 논문 처리를 담당하고 있다.
arXiv astro-ph.IM (관측기기)