PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 3건

2610.23826v12026.10.16

Self-Building Labs: 자가 구축 실험실

Self-Building Labs

Jiaru Bai, Yuchi Zhao, Han Hao, Miroslav Bogdanovic, Yang Cao 외 2명

자가 구동 실험실(SDL, self-driving laboratory)은 실험 수행과 최적화를 자동화하지만, 새로운 실험 절차에 적응하려면 여전히 방대한 수동 엔지니어링이 필요하다는 한계가 있다. 연구팀은 고수준 과학 목표를 입력받아 실험실 레이아웃, 디지털 트윈(digital twin), 로봇 기술, 실험 워크플로우를 스스로 설계·구성·운영하는 자가 구축 실험실(SBL)을 제안한다. SBL은 빈 방부터 기존 SDL까지 어떤 초기 상태에서도 출발해 누락된 기능을 자동으로 추가 구축한다. 단일 워크스테이션에서 다수의 로봇이 협동하는 환경까지 여러 구성에서 시연했으며, 실제 양자점(quantum-dot) 합성 실험을 통해 종단 간(end-to-end) 성능을 검증했다. 이 시스템은 연구자의 역할을 장치 자동화 프로그래밍에서 과학적 목표 명세로 전환한다.

2610.23813v12026.10.16ICRA

MOSS: 멀티모달 오리가미 습지 로봇 시스템

MOSS: Multimodal Origami Swamp Robot System

T. Lan, A. Babgei, L. Romanello, M. Kovac, S. F. Armanini

MOSS(Multimodal Origami Swamp Robot System)는 습지·늪지 환경 모니터링을 위해 설계된 소형 수륙양용 로봇 플랫폼으로, 3D 프린팅 오리가미 바퀴를 탑재한다. 내장된 크랭크 메커니즘이 바퀴를 수축(contracted)·확장(expanded) 두 형태로 전환하며, 폭·본체 직경·핀 방향이 동시에 바뀐다. 형태 전환은 1.95 ± 0.11초 이내에 완료된다. 확장 형태는 습한 진흙·모래·수면에서 이동 에너지 비용(cost of transport)을 최대 29% 절감하고, 수축 형태는 단단한 토양과 건조한 진흙에서 더 효율적으로 나타났다. 토양-진흙-수면 연속 전환 주행 시험과 야외 자연 지형 시험을 모두 완료했다.

2610.23769v12026.10.16

모든 행동이 동등하게 기여하지 않는다: 부정확한 시연에서 정밀 진행도 추정 학습

Not All Actions Contribute Equally: Learning Precise Progress Estimation from Imprecise Demonstrations

Huanqian Wang, Boshi Tang, Botong Xiao, Jie Zhang, Yang Yue 외 3명

로봇 조작(manipulation)에서 강화학습을 위한 밀집 보상 신호를 생성하는 진행도 추정기(progress estimator)는 중요한 역할을 하지만, 기존 방법은 시연 내 모든 행동이 과제 성공에 동등하게 기여한다고 가정한다. 이 가정은 미세한 기하학적 오류가 실패로 이어지는 고정밀 조작 환경에서 쉽게 무너지며, 인간의 실수마저 의미 있는 진행으로 잘못 해석하는 문제가 발생한다. 저자들은 이를 해결하기 위해 PRIME이라는 진행도 추정기를 제안하며, 관찰된 상태들로 가중 그래프(weighted graph)를 구성하고 궤적(trajectory) 간 공간적 근접성과 시각적 일관성을 기반으로 상태를 연결한다. 간선 가중치는 공간적 거리를 전이 비용으로 인코딩하고 최단 경로 탐색으로 성공까지의 측지 거리(geodesic distance)를 근사해, 단조로운 진행을 가정하지 않고도 전진·정체·후퇴를 구분한다. 시뮬레이션 및 실세계 정밀 조작 과제 실험에서 PRIME은 충전기 삽입 과제 기준 SFT 기준선 대비 정책 성공률을 최대 5배 향상시키는 결과를 보였다.

2610.23662v12026.10.16

로봇 메타추론 학습: 실시간 제어를 위한 적응형 연산 예산

Learning Robot Metareasoning: Adaptive Computation Budgets for Real-Time Control

Lorenzo Magnino, Antonio Marino, Michael Amir, Daigo Shishika, Amanda Prorok

이동 중 계획 수립은 숙고와 반응성 사이의 트레이드오프를 가진다. 플래너가 실행과 병렬로 동작하면 계산 시간을 확보하기 위해 로봇은 일정 시간 동안 개방 루프(open-loop) 행동 청크(action chunk)를 수행해야 하며, 기존 제어기는 이 커밋 길이와 연산 예산을 배포 전에 고정한다. 이 연구는 최적 연산 예산 식별 문제를 반마르코프 결정 과정(SMDP, Semi-Markov Decision Process)으로 정식화하고, 현재 상태·실행 중인 계획·플래너 통계량을 조건으로 하는 강화학습(RL) 정책을 학습한다. 학습된 정책은 지상 로봇 내비게이션, 민첩한 쿼드로터 비행, 접촉이 많은 조작 과제에 걸쳐 상황 요구에 따라 연산 예산을 동적으로 조정한다. 고정 예산 기준선과 비교해 효율적인 추론 패턴을 발견하며 더 나은 성능을 보였다고 저자들은 보고한다.

2610.23635v12026.10.16RA-L

TransNav: 정적·동적 환경에서 쿼드로터 장애물 회피를 위한 트랜스포머 기반 종단간 항법

TransNav: Transformer-Based End-to-End Navigation Method for Static and Dynamic Quadrotor Obstacle Avoidance

Jianghan Zhu, Zhuo Li, Yanjun Zhang, Jian Sun

TransNav는 밀집된 정적 장애물과 동적 장애물이 혼재하는 환경에서 쿼드로터의 장애물 회피를 수행하는 트랜스포머(Transformer) 기반 종단간(end-to-end) 항법 방법이다. 패치 기반 포인트클라우드(point-cloud) 인코딩 방식으로 지역 특징 추출과 전역 맥락 모델링을 결합해 환경을 표현한다. 인식과 항법을 단일 아키텍처에서 처리하며, 유한 지평선 행동 시퀀스를 예측한 뒤 첫 번째 행동을 실행하는 방식으로 동작한다. 경량 점질량(point-mass) 역학 모델을 활용한 비지도 학습 전략을 도입해, 전문가 시연 데이터 없이 수치 기울기 전파로 궤적 수준의 비용을 최적화한다. 시뮬레이션 및 실기(real-world) 실험에서 정적 밀집 환경과 동적 시나리오 모두에 적용 가능함을 확인하였으며, 온보드 배포에 적합한 낮은 추론 비용을 유지한다.

2610.23622v12026.10.16

모바일 매니퓰레이션을 위한 파운데이션 모델 기반 3D 장면 그래프

Foundation-Model-Driven 3D Scene Graphs for Mobile Manipulation

Dominic Maggio, Lorenzo Shaikewitz, Aryan Naveen, Kris Hauser, Luca Carlone

파운데이션 모델(foundation model) 기반 3D 장면 그래프(scene graph) 시스템인 FOUND-IT를 모바일 매니퓰레이터 플랫폼에 통합하였다. 이 시스템은 단일 비보정 카메라만으로 실시간·오픈셋(open-set) 3D 장면 그래프를 구성한다. 물체 변화 감지, 복수 매핑 세션 지원, 주행 가능 경로 판단, 장면 재배치를 위한 물체 파지 등 여러 작업에서 활용 가능성을 실험으로 검증하였다. 실제 로봇에서 수행한 엄밀한 실험을 통해 단안 파운데이션 모델 기반 3D 장면 그래프의 효과와 한계를 함께 분석하였다. 관련 코드는 공개 저장소에서 제공된다.

2610.23615v12026.10.16

행동 예측을 넘어서: 잠재 공간에서의 탐색 없는 플래닝 학습

Beyond Action Prediction: Learning Search-Free Planning in Latent Space

Guanchen Du, Jinhao Du, Yanpeng Sun, Shan Zhang, Na Zhao 외 1명

잠재 세계 모델(latent world model)은 시각적 플래닝과 제어를 위한 예측 모델을 제공하지만, 테스트 시점에 행동 시퀀스를 탐색·최적화하는 연산 비용이 크다는 문제가 있다. 본 연구는 HIJP(Hindsight Inverse JEPA Planning)를 제안하며, 목표 조건부 역동역학 모델(goal-conditioned inverse model)을 통해 현재 관측과 목표 관측으로부터 행동을 직접 예측해 온라인 탐색을 대체한다. 오프라인 궤적에서 미래 관측을 목표로 재레이블링(hindsight relabeling)하여 여러 시간 지평에 걸친 행동 감독 신호를 구성하고, 목표 표현을 통해 그래디언트를 유지함으로써 시각 표현이 행동 관련 정보를 담도록 유도한다. 예측된 행동을 잠재 예측기(latent predictor)에 다시 입력하고 결과적인 다음 상태 표현과 실제 후속 관측의 인코딩을 정렬하여 행동-전이 일관성을 강제한다. 4개의 시각 제어 과제에서 전체 성공률 86.8%와 탐색 기반 플래닝 대비 1.9~16.5배의 속도 향상을 달성했다.

2610.23595v12026.10.16

F-LIVO: LiDAR-관성-시각 오도메트리를 위한 특징 수준 기하학적 측정 프레임워크

F-LIVO: A Feature-Level Geometric Measurement Framework for LiDAR-Inertial-Visual Odometry

Xinye Dai, Yapeng Wang, Shujie Zhou, Zihao Wang, Shiqi Zheng 외 4명

F-LIVO는 시각-관성 서브시스템과 LiDAR-관성 서브시스템을 시각 포인트와 LiDAR 평면 간 특징 수준 점-평면 제약(point-to-plane constraint)으로 결합하는 필터 기반 LIVO 프레임워크다. 시각 삼각측량이 약한 상황에서는 LiDAR 맵의 로컬 평면 피팅과 광선-평면 교차(ray-plane intersection)를 통해 시각 특징의 깊이를 복원해 교차 모달 결합을 유지한다. LiDAR 업데이트 단계에서는 로컬 평면 신뢰도에 따라 점-평면 잔차의 공분산을 적응적으로 조정하여 불량 곡면에서의 과신뢰 업데이트를 억제한다. 밀집 포토메트릭 맵 대신 희소 기하학적 특징을 사용해 컴팩트한 맵 표현을 유지한다. 공개 데이터셋 실험에서 평균·최대 CPU 사용률, 최대 상주 집합 크기(RSS), RSS 증가율 모두 비교 구현체 중 가장 낮았으나, 평균 RSS는 R2LIVE가 더 낮았다.

2610.23566v12026.10.16

폐루프 최적화를 통한 시각-언어-행동 모델 대상 시각적 과제 전환 공격 강화

Enhancing Visual Task-Redirection Attacks on Vision-Language-Action Models via Closed-Loop Optimization

Chunjin Ye, Guanying Chen, Jianjie Huang, Jianhao Chen, Quanlin Chen 외 4명

시각-언어-행동 모델(VLA)은 언어 명령 기반 로봇 조작을 가능하게 하지만, 공격자가 지정한 행동으로 로봇을 유도하는 시각적 섭동(visual perturbation) 공격에 취약하다. 기존 연구는 고정된 목표 감독(target supervision)으로 섭동을 최적화하는데, 섭동이 초기 행동을 바꾸면 이후 실제 도달 상태가 달라져 감독 신호가 현재 상황과 어긋나는 문제가 발생한다. 저자들은 이를 해결하기 위해 폐루프 최적화(closed-loop optimization) 기반 공격 프레임워크 TRACO를 제안한다. TRACO는 공격 실행 중 실제 도달 상태에서 감독 신호를 재구성하는 실행 기반 감독(Execution-Driven Supervision)과, 진행이 정체된 단계에 집중적으로 업데이트를 적용하는 진행도 기반 선택(Progress-Guided Selection)으로 구성된다. 여러 VLA 모델과 시뮬레이션 환경에서의 실험에서 TRACO는 기존 공격 방식 대비 과제 전환 성공률을 높이는 것으로 나타났다.

2610.23551v12026.10.16

이종 양팔 조작을 위한 구현체 인식 플래닝

Embodiment-Aware Planning for Heterogeneous Bimanual Manipulation

Sukhvansh Jain, Anurag Maurya, Shivam Vats, Narendra Kumar Dhar, Ravi Prakash

흡착 컵(suction cup)·평행 조 그리퍼(parallel-jaw gripper) 같은 단일 엔드이펙터는 픽업·재정렬·삽입·정밀 배치 등 복잡한 조작 작업의 모든 단계를 단독으로 충족하기 어렵다. 이 연구는 서로 다른 그리퍼를 탑재한 이종 양팔(heterogeneous bimanual) 구성이 각 그리퍼 단독으로는 불가능한 작업을 수행할 수 있는지 탐구한다. 단일 인간 시연에서 원하는 물체 동작을 입력받아 유한 구간 최적화(finite-horizon optimization)를 통해 각 구간마다 단일 팔 조작과 양팔 핸드오버 중 어느 것이 필요한지 결정한다. 계획기는 이종 파지 가능성, 운동 제약, 조작성(manipulability), 크로스 그리퍼 호환성을 공동으로 추론하며 전환 정규화를 적용해 전역적으로 일관된 팔 궤적 할당을 산출한다. 흡착 컵과 평행 조 그리퍼를 각각 장착한 dual Franka FR3 플랫폼 실험에서, 단일 그리퍼로는 수행이 불가능한 작업에 대해 실행 가능성과 신뢰성이 향상되었다.

2610.23550v12026.10.16

선호 기반 강화학습을 위한 이유 유도 인간 보상 모델링

Reason-guided Human Reward Modeling for Preference-based Reinforcement Learning

Anshul Nayak, Shahil Shaik, Jonathan Smereka, Yue Wang

강화학습(RL) 정책은 과제 보상에 최적화될 때 인간의 기대나 안전 선호와 어긋나는 행동을 생성할 수 있다. 이 논문은 궤적 수준 피드백으로부터 인간 보상 모델을 학습하는 이유 유도 선호 기반 강화학습(PbRL) 프레임워크를 제안한다. 선호 레이블에 더해 특정 행동이 선호되는 이유를 설명하는 '이유 태그'를 함께 활용함으로써, 학습된 보상 함수가 인간의 선택과 그 근거를 모두 반영하도록 한다. 학습된 인간 보상은 정책 최적화 과정에서 환경 보상과 결합되어 에이전트가 과제 성능을 유지하면서 인간 선호에 부합하는 행동을 생성하도록 유도한다.

2610.23548v12026.10.16

강화학습 기반 다지형 적응형 사족보행 매니퓰레이터 전신 제어

Reinforcement Learning Based Multi-Terrain Adaptive Whole-Body Control for a Quadruped Manipulator

Yanzhou Jin, Fei Suo, Chang Liu, Yasuhisa Hasegawa, Liming Chen 외 3명

복잡한 지형에서 사족보행 로봇이 매니퓰레이터를 동시에 운용하는 로코매니퓰레이션(loco-manipulation) 과제를 위한 강화학습 기반 전신 제어(whole-body control) 프레임워크를 제안한다. 하이브리드 태스크 표현과 태스크 우선순위 전신 학습을 결합해, 지형 교란이 있는 보행 중에도 엔드이펙터(end-effector)의 위치·자세 일관성을 유지하도록 설계하였다. 소형 사족보행 매니퓰레이터 플랫폼을 별도로 개발해 제안 프레임워크를 하드웨어에서 검증하였다. 실기 실험에서 최대 30도 경사, 계단, 변형 지형 위에서의 동작이 확인되었다.

2610.22372v12026.10.15NeurIPS

LIBERO-PeRM: 개인화된 로봇 조작 벤치마킹

LIBERO-PeRM: Benchmarking Personalized Robotic Manipulation

Zhixu Li, Keqian Tang, Litian Gong, Jingyu Yao, Wenqian Zhang 외 5명

LIBERO-PeRM은 가정용 로봇의 개인화된 로봇 조작(Personalized Robotic Manipulation, PeRM)을 연구하기 위한 시뮬레이션 기반 벤치마크다. 모션·기술·사용자 프로필 선호도를 포함하는 관측 가능한 선호도의 분류 체계를 제안하며, 태스크 목표는 바꾸지 않고 언어로 표현 가능한 선호도만을 대상으로 한다. 절차적 파이프라인으로 선호도 유무에 따른 쌍 시연(paired demonstrations)을 생성해 5개 태스크 스위트 312개 태스크를 구축했다. 실험 결과, 현재 시각-언어-행동 모델(VLA) 정책은 제로샷(zero-shot) 개인화에 어려움을 겪으나, 지도 미세조정(SFT)으로 선호도 학습이 가능해지는 것으로 나타났다. 혼합 훈련은 순차적 적응보다 선호도 미적용 태스크 성능 유지에 유리하지만, 모션 선호도 학습을 약화시킬 수 있으며, 선호도 분해·충돌 처리는 여전히 어려운 과제로 남는다.

2610.22368v12026.10.15

Value as Memory: 일반 로봇 정책을 위한 온라인 가치 기반 사후 훈련

Value as Memory: Online Value-Guided Post-training for General Robot Policies

Wenye Yu, Yijin Chen, Kaiyi Xiong, Wenbo Han, Wendi Chen 외 5명

VaM(Value as Memory)은 부분 관측성(partial observability)으로 인한 행동 선택의 모호함과 오프라인 사후 훈련의 지연 피드백 문제를 동시에 다루는 프레임워크다. 가치 캐싱(value caching)은 최근 가치 예측값을 과제 진행 메모리로 조건화해 행동 선택에 활용하며, 오프라인 데모·오프-정책 개입·온-정책 롤아웃을 결합한 온라인 업데이트로 샘플 효율적인 적응을 구현한다. 변형 가능한 물체 조작 및 접촉 집약적 조작 과제에서 가치 캐싱 적용 시 평균 절대 성공률이 29.4% 향상되었고, 온라인 자율 학습에서는 동등한 오프라인 훈련 대비 32.8% 향상을 기록했다. 동일한 그래디언트 스텝 예산 내에서 정책 반복 횟수는 8배 증가했으며, 데이터 수집과 훈련의 병렬 처리로 그래디언트 스텝당 소요 시간도 2배 이상 단축되었다.

2610.22364v12026.10.15

T2-Z: 로봇 월드 모델을 위한 환경 잠재 변수의 테스트 타임 최적화

T2-z: Test-Time Optimization of Environment Latents for Robotic World Models

Chenyuan Zhou, Yining Hong, Huang Huang, Yunfan Jiang, Wenlong Huang 외 7명

T2-Z는 로봇 월드 모델(world model)에 학습 가능한 환경 잠재 변수(environment latent)를 결합하여, 마찰·질량처럼 직접 관측되지 않는 환경 요인을 비지도 방식으로 포착한다. 학습은 두 단계를 교대로 수행하는데, 첫 번째 단계는 잠재 변수를 고정하고 행동 조건부 동역학(action-conditioned dynamics)을 학습하며, 두 번째 단계는 월드 모델을 고정하고 잠재 변수만 최적화하여 구조적 표현이 자연스럽게 형성되도록 한다. 테스트 시간에는 월드 모델을 동결한 채 하나 이상의 상호작용 궤적으로부터 새로운 환경 잠재 변수를 최적화함으로써 미관측 환경 설정에 적응한다. 7개의 시뮬레이션 환경과 4개의 실기 로봇 과제에서 물체 예측 오차가 15.20에서 7.00으로 줄었고, 행동 성공률은 33.73%에서 72.96%로 높아졌다. 절제 실험(ablation)에서는 단일 궤적만으로도 환경 잠재 변수를 충분히 추론할 수 있음이 확인되었다.

2610.22363v12026.10.15

Perceive, Predict, and Plan: 자아 중심적 정밀 조작을 위한 통합 세계 행동 모델

Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation

Zirui Wu, Chen Guo, Tianjian Jiang, Zeren Jiang, Zeming Li 외 9명

P³-WAM은 자아 중심적 정밀 조작(egocentric dexterous manipulation)을 위한 통합 세계 행동 모델로, 지각(Perceive)·예측(Predict)·계획(Plan) 세 가지 모드를 통해 3D 인식, 행동 조건부 예측, 목표 지향 계획을 단일 모델 안에서 학습한다. 사전 학습된 비디오 확산 트랜스포머에 혼합 트랜스포머(mixture-of-transformers) 아키텍처를 적용하고 공유 기반 가중치·모달리티별 적응·양방향 시각-행동 어텐션을 결합하여 3D 행동 표현을 통합한다. 무작위 모달리티 가시성(randomized modality visibility) 기법으로 비디오와 3D 행동이 조건부 맥락 또는 예측 대상으로 유연하게 전환된다. 실험 결과 통합 학습은 단일 모드 학습 대비 세 가지 능력 모두에서 성능을 향상시켰으며, 4개 데이터셋에서 3D 손 재구성 및 행동 조건부 비디오 예측 과제에서 전문화된 기준 모델을 앞섰다.

2610.22362v12026.10.15

CoDA: 데이터 엔진과 행동 정책의 공진화

CoDA: Co-Evolution of Data Engines and Action Policies

Tianjiao Yu, Zhilin Ou, Yifan Shen, Xinzhuo Li, Yuanzhe Liu 외 3명

CoDA는 생성적 시뮬레이션(generative simulation) 데이터 엔진과 행동 정책(action policy)이 공유 이종 메모리를 통해 공진화하는 프레임워크다. 시각-언어 비평 모델(vision-language critic)이 생성한 검증된 진단 결과를 환경 생성 프로그램과 훈련 프로그램으로 컴파일해, 정책이 실패하는 상황을 재현하고 극복하도록 반복 개선한다. Text2potential은 이 진단 결과를 행동 청크(action-chunk) 가치 학습을 위한 단계별 포텐셜로 변환해 밀도 높은 지도 학습 신호를 제공한다. 4개 조작 과제 군에서 분포 외(out-of-distribution) 성공률이 지도 학습 미세조정 후 5.3%에서 27.6%로 향상되었으며, 동일한 생성 예산 기준 가장 강력한 폐쇄 루프 기준선보다 9.5퍼센트포인트 높은 결과를 보였다. LIBERO-Pro 벤치마크에서 15회 생성·학습 라운드 후 위치 교란 조건의 성공률은 25%에서 84%로, 명령어 교란 조건에서는 1%에서 76%로 상승했다.

2610.22343v12026.10.15

GeoState: 3D 월드 모델링을 위한 시점 독립 기하 상태 학습

GeoState: Learning View-Decoupled Geometry States for 3D World Modeling

Hongchang Liu, Jian Liu, Yujuan Ding, Liang Peng, Xun Jiang 외 3명

GeoState는 기하 파운데이션 모델(GFM)의 특징이 카메라 시점에 종속되어 장면 동역학 예측을 어렵게 만든다는 문제를 지적하고, 장면 상태 변화와 카메라 유발 변동을 분리하는 시점 독립 기하 표현을 제안한다. 장면 토크나이저가 다중 시점 GFM 특징을 시점 독립 장면 상태로 집약하고, 기하 디코더가 카메라 레이를 이용해 이를 조회하는 구조로 설계되었다. 자기회귀(autoregressive) 월드 모델이 미래 장면 상태를 예측하며, 카메라 운동은 별도로 모델링된다. 예측된 상태는 예측된 카메라 또는 외부에서 지정한 카메라 기준으로 디코딩할 수 있으며, 롤아웃 전 구간에서 프레임별 스케일 정렬 없이 단일 스케일을 유지한다. Waymo 데이터셋에서 기존 3D 월드 모델 대비 높은 성능을 보이며, KITTI와 nuScenes에 대한 제로샷 일반화 결과도 제시한다.

2610.22342v12026.10.15

Spark-0: 로봇 정교한 조작을 위한 공간 정렬 촉각 사전학습 스케일링

Spark-0: Scaling Spatially Aligned Tactile Pretraining for Robot Dexterous Manipulation

Tianxing Chen, Wenwei Lin, Chuqiao Lyu, Peicheng Xiang, Junyuan Tang 외 17명

Spark-0는 시각-촉각-언어-행동 모델(VTLA)로, 힘·순응성·미끄러짐 감지가 어려운 접촉 집약적 정교한 조작(dexterous manipulation) 문제를 다룬다. 사전학습 단계에서는 촉각 장갑으로 도출한 이미지 공간 접촉 맵과 3D 기하 교사 모델의 특징이 시각 토큰을 지도학습하며, 이 목적함수는 추론 시 제거된다. 별도의 촉각 경로(tactile pathway)가 국소 힘 이력과 3D taxel 상태를 인코딩해 행동 전문가에 조건을 제공하므로, 단일 체크포인트로 시각 단독 배포와 촉각 조건부 배포를 모두 지원한다. 사전학습을 위해 전체 손 촉각 인간 조작 1,000시간 분량의 HumanTouch 데이터셋을 구축하였으며, 자아중심 영상·로봇 데이터·시뮬레이션과 함께 활용하였다. HumanTouch 촉각 데이터를 포함하면 Ego Humanoid Manipulation Benchmark의 시각 단독 성공률이 52.5%에서 71.7%로, 촉각도 사용하는 SparkArena-Real 성공률은 44.0%에서 52.0%로 향상된다.

2610.22340v12026.10.15

감독된 플레이를 통한 정교 조작 학습

Dexterity from Supervised Play

Botao He, Yiming Dou, Yiannis Aloimonos, Jitendra Malik, Akash Sharma 외 1명

DSP(Dexterity from Supervised Play)는 수분 분량의 사람 자유 탐색 영상에서 행동복제(behavior cloning)로 플레이 정책을 학습한 뒤, 해당 정책을 자율 배포해 수 시간의 상호작용 데이터를 수집하고 세계 모델(world model)을 훈련하는 프레임워크다. 추론 단계에서 플레이 정책은 모델 예측 제어(MPC)에 후보 행동 시퀀스를 제안하고, 추론 속도 향상을 위해 세계 모델 내 셀프플레이로 목표조건 정책을 별도로 증류한다. 실험은 다지손(multifingered hand)을 이용한 밀기(pushing)와 임의-임의 손내 자세 재정렬 과제를 시뮬레이션 및 실제 환경에서 수행했다. 실세계 실험에서 힌드사이트 행동복제 대비 성공률이 69.6% 높았고, 강화학습 대비 490분의 1의 상호작용 데이터로 유사한 성공률을 달성했다. 과제 특화 시연이나 시뮬레이션-실세계 전이(sim-to-real transfer) 없이도 이러한 결과를 얻었다.