
EgoLAP: 언어-행동 추론을 통한 1인칭 시점 인간 데이터 학습
EgoLAP: Learning from Egocentric Human Data through Language-Action Reasoning
Lihan Zha, Shresth Grover, Tenny Yin, Samuel M. Bateman, Hengkai Pan 외 5명
EgoLAP은 1인칭 시점(egocentric) 인간 데이터를 로봇 학습에 활용하기 위한 시각-언어-행동 모델(VLA) 사전학습 프레임워크다. 저수준 동작은 구현체마다 다르지만, 동작 의도(motion intent)는 인간과 로봇 간에 전이 가능한 과제 구조를 담고 있다는 점이 핵심 가설이다. EgoLAP은 동작 의도를 구조화된 언어 행동 사고 사슬(chain-of-thought)로 표현하고, 장면 기하·물리·객체 어포던스(affordance)에 기반한 동작 수준 추론과 결합한다. 실세계 및 시뮬레이션 실험에서 평균 실세계 과제 진행률 80.1%를 달성했으며, 대안적 행동 표현 대비 2.3배 성능 향상이 보고되었다. 동작 수준 추론은 하위 과제·객체 박스·시각적 흔적 추론을 조합한 복합 형식보다 높은 성능을 나타냈다.














