FOTO: 천문학 논문 '그림' 단위 의미 검색 도구 공개

천문학 논문의 핵심 내용은 그림에 담기지만 기존 문헌 검색은 본문 텍스트만 색인해, 원하는 플롯을 설명으로 찾을 수 없다는 문제의식에서 출발한 연구다. 연구진은 동료심사를 거친 astro-ph 논문 53,839편의 캡션 482,750건을 대상으로 그림 단위 검색 도구 FOTO를 선보였으며, 각 그림을 제목과 캡션으로 한 번 색인하고 로컬에서 구동되는 1억 1,000만 파라미터 규모의 공개 모델로 임베딩한 뒤, 대규모 언어모델은 검색된 후보 목록 검증에만 적용해 존재하지 않는 그림을 지어내지 않도록 했다. 더 까다로운 그림 단위 기준에서 FOTO는 recall 20 기준 질의의 29~79%에서 목표를 찾아냈고, 이는 더 쉬운 논문 단위 기준으로 측정한 Pathfinder(6~20%), Semantic Scholar(8~16%)를 웃도는 수치다. 후보 목록 재순위화를 적용하자 recall 1은 상세 질의에서 0.667에서 0.875로, 모호한 질의에서 0.071에서 0.571로 올랐다.