우주

#파운데이션 모델

3건의 기사

천문·천체물리

표형 파운데이션 모델, 맞춤형 측광 적색편이 추정기를 크게 능가

은하의 측광 적색편이(photo-z) 추정은 분광 학습 데이터에 의존하는데, 이런 데이터는 희소하고 밝고 관측이 쉬운 은하에 편향돼 있다. 연구진은 합성 데이터로 사전학습된 표형 파운데이션 모델(TFM)이 인컨텍스트 학습만으로도 맞춤형 추정기를 능가한다고 보고했다. 널리 쓰이는 벤치마크 데이터셋 평가에서, 단일 순전파로 전체 확률분포를 예측하는 TFM은 학습 맥락 예시 1,000개만으로 40,000개 이상의 은하로 학습한 기준 모델과 동등하거나 더 나은 성능을 보였다. TFM의 우위는 보정 데이터가 거의 없을 때 가장 크게 나타났고, 기준 모델에 대표성 있는 보정 분광 데이터를 최대 10,000개까지 추가해도 유지됐다. 연구진은 이 결과가 측광 자료만 확보되는 차세대 탐사에서 관측 선택 편향을 소규모 보정 표본만으로 완화할 수 있음을 보여준다고 밝혔다.

arXiv astro-ph.IM (관측기기)

HSC Model 154 Dyna Soar (Martin-Bell)
천문·천체물리

기존 파운데이션 모델 22개를 결합한 천문학용 '메타 파운데이션 모델' 게슈탈트(Gestalt) 공개

연구진은 8개 계열에서 가져온 22개의 동결(frozen) 파운데이션 모델로 은하 이미지를 임베딩한 뒤, 각 결과를 백색화하고 연결된 임베딩에 무작위 SVD를 적용해 1024차원 임베딩을 만들었다. 이렇게 만든 모델은 HSC, 제임스웹 우주망원경(JWST), DESI 레거시 서베이 영상의 물리량·은하 형태 추정 지표 21개 중 19개에서 개별 구성 모델 모두를 능가했으며, 바스켓 규모와 아키텍처 다양성이 커질수록 성능이 올라가고 서로 다른 천문 서베이 간에도 성능이 전이됐다. 저자들은 비슷한 단일 도메인 모델을 새로 사전학습하려면 A100 GPU 기준 10^4~10^5 시간(수 톤의 CO2eq 배출)이 필요한 반면, 게슈탈트 조립은 단일 장비에서 수 분이면 충분하다고 밝혔다.

arXiv astro-ph.IM (관측기기)

HSC Model 154 Dyna Soar (Martin-Bell)
천문·천체물리

천문 데이터로 검증한 파운데이션 모델의 표현 수렴: JWST·HSC·DESI 관측으로 본 'AI를 위한 과학'

연구진은 천문학을 실험 도구로 삼아 파운데이션 모델들이 공통된 표현으로 수렴하는지를 검증했으며, 분류·자기증류·결합임베딩 예측·오토인코딩·시각언어 사전학습·천문 특화 구조를 아우르는 11개 모델 계열(파라미터 규모 O(10M)~O(10B))을 제임스웹 우주망원경(JWST)·HSC·Legacy 영상과 DESI 분광 데이터에 적용했다. 모든 모델은 천문 특화 미세조정 없이 동결 상태로 평가했고, 선형 프로브로 적색편이·항성질량·비활동별형성률(sSFR)을 추정하는 한편 MKNN(국소)과 CKA(전역)로 임베딩 기하 구조를 비교했다. 그 결과 물리량 예측 성능은 모델 용량에 따라 예측 가능하게 확장됐고, 저수준 통계를 거의 공유하지 않는 DESI 분광과 HSC 영상 사이에서도 전역이 아닌 국소 임베딩 정렬이 물리 성능과 함께 움직였다. 저자들은 이 결과가 엄격한 플라톤적 표현 가설(PRH)보다 아리스토텔레스적 수정안(ARH)을 뒷받침하며, 천문 파운데이션 모델이 범용 사전학습 구조 위에 구축될 수 있음을 시사한다고 밝혔다.

arXiv astro-ph.IM (관측기기)