
SymAnt: 적응형 기호 사전을 활용한 장기 행동 예측
SymAnt: Grounding Long-Horizon Action Anticipation with Adaptable Symbolic Priors
Fnu Aryan, Yaqi Xie, Joseph Campbell, Woojun Kim, Kwonjoon Lee 외 4명
SymAnt는 신경망과 장면 그래프(scene graph)·지식 그래프(knowledge graph)를 결합한 신경-기호(neuro-symbolic) 방식의 장기 행동 예측(long-horizon action anticipation) 모델이다. 짧은 영상이 입력되면 두 그래프를 동시에 탐색해 공간 관계, 객체 속성, 어포던스(affordance), 연관 행동을 통합 추론하는 기호적 맥락(symbolic context)을 구성한다. 이 기호적 맥락을 사전(prior)으로 삼아 미래 행동 시퀀스를 반복적으로 생성·개선한다. 파라미터 효율적인 구조이며, 사용자가 지식 그래프를 직접 수정해 추가 학습 없이 예측을 조정할 수 있다. Breakfast, 50 Salads, EPIC-KITCHENS, EGTEA Gaze+, Assembly101 등 5개 데이터셋에서 짧은 관측 구간 조건에서의 유효성을 검증하였다.

















