천문·천체물리
CURTAIN: 중성미자 망원경을 위한 파운데이션 모델 연구
중성미자 망원경은 연간 1조 건이 넘는 광자 검출 데이터를 기록하지만, 사전학습 데이터가 늘수록 성능이 향상되고 다른 검출기로 전이되며 사전학습 없이 훈련한 최고 모델을 능가하는 세 조건을 모두 만족하는 자기지도학습(SSL) 과제는 없었다. 연구진은 시간적 마스킹 기법인 CURTAIN을 제안했으며, 사전학습 이벤트 수가 늘어날수록 하위 과제 성능이 단조적으로 향상됐다고 밝혔다. NuBench 벤치마크의 방향 재구성 과제에서 선두 모델인 DeepIce를 CURTAIN으로 사전학습했을 때, 처음부터 훈련한 경우와 비교해 각도 오차 중앙값이 45%, 에너지 오차 중앙값이 31% 감소했다. 사전학습에서 본 적 없는 검출기 구조에서도 각도 오차 중앙값이 36% 줄어, 동일 용량·동일 사전학습 데이터 조건에서 기존 SSL 과제로 사전학습한 인코더를 모든 데이터 규모에서 앞섰다.
arXiv astro-ph.IM (관측기기)