
Pixel-UMI: 센서 기반 인간 시연으로부터 환경 인식 전신 조작 정책 학습
Pixel-UMI: Learning Environment-Aware Whole-Body Manipulation from Sensorized Human Demonstrations
Jason Jingzhou Liu, Tony Tao, Deepak Pathak, Ruslan Salakhutdinov
Pixel-UMI는 센서가 부착된 인간 시연 데이터에서 환경 인식 전신 조작 정책(whole-body manipulation policy)을 학습하는 파이프라인이다. 환경 인식 재타겟팅(Environment-Aware Retargeting, EAR)은 재구성된 장면 기하 정보와 머리·그리퍼 궤적을 결합해 충돌 회피를 고려한 관절 및 베이스 목표를 생성한다. 재타겟팅 오차 인식 마스킹(Retargeting-Error-Aware Masking, REAM)은 운동학적 차이로 발생하는 시점 불일치를 훈련 중에 반영하여 배포 시 오류를 줄인다. 접촉이 많은 상호작용을 보완하기 위해 DAgger를 활용한 온-폴리시(on-policy) 인간 교정 데이터를 추가로 수집한다. 관절 물체 조작, 변형 물체 처리, 협소 공간 도달, 전신 충돌 회피, 양손 협조 등 5가지 과제에서 평균 87.0%의 과제 진행률을 달성한다.













