PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 3건

2610.30080v12026.10.21

지구에서 학습된 휴머노이드 제어기는 달에서 걸을 수 있는가? 중력·지형·토양 전이

Do Earth-Trained Humanoid Controllers Walk on the Moon? Gravity, Terrain, and Soil Transfer

Guillem Casadesus Vila, Sri Aditya Deevi, Grace X. Gao

Unitree G1 시뮬레이터에서 중력, 지형 기하, 지면 접촉 조건을 달리한 12개 보행 정책(policy)을 학습하고 지구·달 환경 간 전이 성능을 비교했다. 지구에서 학습된 정책은 달의 평탄 강체 지면에서 0.64~0.75의 생존율(survival)을 기록한 반면, 달 학습·파인튜닝 정책은 지구 환경에서 기립을 유지하지 못했다. 공개된 범용 휴머노이드 제어기 SONIC는 달에서 생존율이 최대 0.10에 그쳤다. 거친 지형 훈련을 포함하자 달에서의 복합 타일 생존율이 0.80에서 0.99로 향상되었다. 거친 3차원 저항력 이론(3D RFT) 지형에서 중력 무작위화(gravity randomization)로 학습된 정책은 20도 경사까지 모든 주요 시험 조건에서 지구 기준 시드 평균 생존율 0.84 이상, 달 기준 0.96을 기록했으며, 연구진은 이 수치가 접촉 모델과 토양 강성에 의존한 시뮬레이션 예측임을 명시했다.

2610.30061v12026.10.21

지각 기반 휴머노이드 낙상 복구를 위한 테스트 시간 모션 스티어링

Test-Time Motion Steering for Perceptive Humanoid Fall Recovery

Osher Azulay, Cheng-Lin Hsieh, Stella X. Yu

RISE는 휴머노이드 로봇이 넘어진 상태에서 일어날 때 태스크 목표에 따라 복구 동작을 추론 시간(inference time)에 조종할 수 있는 방법론이다. 다양한 복구 동작을 공유 움직임 단위로 구성하고, 각 움직임의 전개를 예측함으로써 원하는 방향·속도·경로로 복구를 유도한다. 복구 어휘(recovery vocabulary)는 의도된 움직임과 모터 제어 명령을 감각 피드백으로 연결하며, 시각적 확산 플래너(visual diffusion planner)가 미래 신체 상태를 예측해 태스크 비용에 따라 방향을 조정한다. 플래너는 조종된 의도에 조건화된 모션 잠재 변수(motion latent)를 생성해 요청된 움직임이 실행에 반영되도록 한다. 시뮬레이션 실험과 Unitree G1 실기 시연을 통해 다양한 지형 적응 및 재훈련 없는 테스트 시간 조종을 검증한다.

2610.30051v12026.10.21

추론에서 행동으로: LIBERO-10 로봇 조작 과제에서의 프런티어 AI 모델 벤치마킹

From Reasoning to Action: Benchmarking Frontier AI Models on LIBERO-10 Robot Manipulation Tasks

May Espinola, Qifan Zhang, Yu Xiang

이 연구는 태스크 특화 훈련 없이 범용 AI 모델이 로봇 조작을 수행할 수 있는지 평가하기 위해 LIBERO-10 벤치마크용 폐루프(closed-loop) 평가 프레임워크를 구축했다. 모델은 시각 관측, 로봇 고유 수용 감각(proprioception), 구조화된 도구 호출을 통해 목표 엔드이펙터(end-effector) 자세와 그리퍼 명령을 지정하는 방식으로 로봇을 직접 제어한다. 평가 대상은 GPT-6 Astra, GPT-6.1 Sol, GPT-6 Luna, Claude Opus 5, Claude Opus 5.5, Gemini-4 Argon 총 6개 모델이며, 추론 노력 수준 3단계를 조합한 18개 구성에서 1,800회 에피소드를 실행했다. GPT-6 Astra가 성공률 44%로 가장 높았고, Gemini-4 Argon이 43%로 뒤를 이었다. 추론 노력을 높이면 대체로 성능이 향상되지만 모델마다 편차가 있으며, 물체 배치 과제에서는 상대적으로 좋은 결과를 보인 반면 정밀한 공간 배치와 복잡한 다단계 상호작용에서는 어려움을 보였다.

2610.30044v12026.10.21

SP-HLM: 희소 포즈 기반 모션 생성과 휴머노이드 보행-조작 전신 제어

SP-HLM: Sparse-Pose-Driven Motion Generation and Whole-Body Control for Humanoid Loco-Manipulation

Zhaohui Yang, Quanbao Lin, Chengqi Shi, Zhenglang Weng, Jicheng Lin 외 7명

SP-HLM은 휴머노이드 로봇의 보행-조작(loco-manipulation) 과제를 위해 희소 포즈(sparse pose) 기반 인터페이스를 제안하는 프레임워크다. 이 인터페이스는 과제에 핵심적인 5개의 신체 포즈와 학습된 잠재 모션 사전(latent motion prior)을 결합해 공간적 의도와 전신 협응을 보완적으로 표현한다. 시각-언어-행동 모델(VLA)인 SP-VLA는 다중 모달 관측과 언어 지시로부터 희소 포즈 및 손가락 관절 위치를 비동기 행동 청크 추론 방식으로 예측한다. 두 단계 증류(distillation)로 학습된 모션 생성 모델 SP-MGM은 희소 목표를 입력받아 실시간으로 전신 협응 모션을 복원하며, SP-GMT가 명시적 희소 목표와 암묵적 모션 사전을 통합해 전신 제어를 수행한다. 시뮬레이션 및 실제 휴머노이드 로봇 실험에서 기존 방법 대비 모션 추적, 전신 협응, 보행-조작 성공률이 향상된 것으로 나타났다.

2610.30043v12026.10.21

TARSphere: 변화하는 물리적·사회적 환경에서 장기 계획 구현 에이전트를 위한 로봇 지향 풀스택 프레임워크

TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents in Evolving Physical and Social Environments

Yicheng Xu, Zhikai Xu, Ziyuan Chen, Yuhang Dong, Tao Zhang 외 3명

TARSphere는 물리적·사회적 제약 아래 장기 계획을 수행하는 구현 에이전트(embodied agent)를 위한 로봇 지향 풀스택 프레임워크다. TARSphere-Infra는 물리 시뮬레이터 안에서 구현 NPC와 제약된 대화를 지원하며, 이벤트 기반 유한 상태 기계(FSM)가 행동 완료와 전달 정보를 바탕으로 태스크 상태를 갱신하고 결과를 평가한다. TARSphere-Harness는 동결된 다중모달 대형 언어 모델(MLLM)이 다단계 실행 기술·계층적 메모리·실행 피드백을 활용해 결정을 수정하도록 설계되었다. TARSphere-Bench는 30개 실내 장면에서 360개 에피소드로 구성되며, 지각 견고성·방해 적응·태스크 갱신·인간 협조·의도 이해 등 5가지 조건을 평가한다. 8개 MLLM을 비교한 결과, 범용 모델이 구현 특화 모델보다 높은 성능을 보인 반면 태스크 갱신과 인간 상호작용은 여전히 낮은 성능을 기록했다.

2610.29997v12026.10.21

DONIC: 인간 시연 기반 범용 정교 양손 추적 제어

DONIC: Generalist Dexterous Bimanual Tracking Control from Human Demonstrations

Mingze Sun, Ziang Cao, Yuan Fei, Qiankuan Tao, Zihan Wang 외 6명

DONIC은 다양한 작업 범주와 인간 동작 데이터 소스에 걸쳐 공동 학습된 범용 양손 정밀 추적(dexterous bimanual tracking) 제어기다. 함께 제안된 BiHOI 데이터셋은 229개 물체에 대한 1,575개 시퀀스를 포함하며, 다시점 카메라로 촬영한 지속적 양손 상호작용 장면을 로봇 참조 동작으로 변환한다. DONIC은 근위 정책 최적화(PPO)와 행동 복제(behavioral cloning)를 피드백 루프로 결합해 검증된 성공 실행을 훈련 데모로 재활용하고, 물체 중심 손별 보상과 Clip-Centered Advantages 기법으로 이질적인 참조 동작 전반에 걸친 협조 조작을 단일 정책으로 학습한다. 파인튜닝 없이 훈련 물체의 미지 궤적에서 86.79%, 비훈련 물체에서 57.32%의 성공률을 저자들은 보고하며, 기존 양손 추적 베이스라인 대비 각각 77.36, 45.73 퍼센트포인트 높은 수치다.

2610.29964v12026.10.21

반정적 환경에서 모바일 매니퓰레이터 안전 주행을 위한 객체·과제 인식 능동 지각

Object- and Task-Aware Active Perception for Safe Navigation of Mobile Manipulators in Semi-Static Environments

Jingxing Qian, Xintong Du, Jun Yang, Siqi Zhou, Steven L. Waslander 외 1명

모바일 매니퓰레이터는 로봇 방문 사이에 발생하는 반정적(semi-static) 환경 변화로 인해 장면 정보가 오래되고 충돌 위험이 높아지는 문제에 직면한다. 이 연구는 주행 중 핸드 카메라로 불확실하거나 안전에 중요한 영역을 능동적으로 탐색하는 능동 지각(active perception) 프레임워크를 제안한다. 확률적 차세대 최적 관점(next-best-view, NBV) 공식화를 통해 원하는 이동 경로 근방 및 불확실·변화 가능성이 있는 객체 주변의 관측을 우선시한다. 지각 목적함수는 계층적 과제 모델 예측 제어(HTMPC)에 통합되어 베이스 궤적 추적의 높은 우선순위를 유지하면서 운동학적 여유도(kinematic redundancy)를 활용해 시점을 조정한다. 실제 환경 실험에서 수동 지각 및 과제 비인식 기준선 대비 지도 일관성 향상, 과제 의존적 지도 엔트로피 감소, 주행 위험 감소가 확인되었다.

2610.29903v12026.10.21

HuMiT: 경량 참조 추적을 통한 저지연 전신 휴머노이드 원격조작

HuMiT: Low-Latency Whole-Body Humanoid Teleoperation via Compact Reference Tracking

Liu Cao, Botian Xu, Ruoqu Chen, Jiajun Liu, Mingzhi Pei 외 3명

HuMiT는 루트 높이·루트 속도·4개 희소 키포인트의 SE(3) 자세만으로 구성된 경량 참조 목표를 입력으로 받는 전신 원격조작(whole-body teleoperation) 시스템이다. 기존 모션 추적 정책들이 전체 관절 위치·밀집 신체 부위 변환·미래 프레임 정보까지 요구하는 것과 달리, HuMiT는 현재 프레임 정보만으로 유사한 추적 충실도를 달성한다. 헤드셋 스트리밍에서 정책 출력까지의 통신-추론 지연은 약 20 ms, 영상 기반 광학 흐름(optical flow) 지연은 중앙값 65 ms로 측정되었다. Unitree G1 휴머노이드에서 실기 검증이 이루어졌으며, 던진 공 잡기와 이동-조작(loco-manipulation) 복합 동작을 시연하였다.

2610.28628v12026.10.20

Hybrid Dexterous Mimicking을 통한 적응형 정교 조작 기술 학습

Learning Adaptable Dexterous Skills via Hybrid Dexterous Mimicking

Yuxuan Kuang, Jiashun Wang, Yixuan Sun, Yufei Ye, Sungjae Park 외 3명

AdaDex는 목표 조건부 강화학습(RL) 프레임워크로, 모션 캡처 또는 일반 RGB(D) 영상에서 재구성한 수 초 분량의 손-물체 궤적 데이터 하나로 다양한 정교 조작 기술을 학습한다. 핵심 기법인 Hybrid Dexterous Mimicking은 밀집 보상 기반 모션 추적 환경과 초기 상태·목표에 잡음을 가한 일반화 환경, 두 종류의 대규모 병렬 환경에서 단일 공유 정책을 동시에 훈련한다. 이를 통해 인간 동작의 사전 지식을 습득하면서도 참조 궤적에서 크게 벗어난 상황에서도 동작하는 적응성을 확보한다. 학습된 정책은 기능적 파지(functional grasping), 손 안 재방향 전환(in-hand reorientation, finger gaiting 포함), 던지기-받기(throw-and-catch) 등 다양한 동작을 구현한다. 베이스라인 대비 일반화 성능과 기능성 면에서 우수한 결과를 보이며, 시뮬레이터 간 전이 및 실 환경 전이도 시연하였다.

2610.28626v12026.10.20

UniWALM: 체화 로봇 제어를 위한 통합 세계-행동-언어 모델

UniWALM: Unified World Action Language Model for Embodied Robot Control

Rahul Sajnani, Diego Romeres, Mingyuan Zhang, Kai Gao, Carl Qi 외 7명

UniWALM은 비디오, 행동, 언어를 하나의 공유 표현 안에서 학습하는 통합 세계-행동-언어 모델이다. 단일 혼합 트랜스포머(mixture-of-transformers) 백본에서 양식별 확산 헤드가 행동 디코딩과 동일한 패스에 텍스트 메모리를 동시에 출력하며, 생성된 언어를 다음 스텝에 재입력하는 '언어-메모리 루프'를 구성해 외부 플래너나 메모리 뱅크 없이 메모리 의존적 행동을 지원한다. 교란된 행동 궤적에서의 복구를 학습하는 훈련 목표인 Flow Matching with Correction(FMC)을 추가해 추론 비용 없이 행동 신뢰성을 높였다. 메모리 의존 RMBench 서브셋에서 34.5%를 기록해 키프레임을 갖춘 Mem-0의 28.5%를 상회했으며, 실제 환경 Find-the-Item 과제에서 텍스트 메모리 생성 적용 시 성공률이 11.1%에서 61.1%로 높아졌다.

2610.28624v12026.10.20

Industrial ReMEmbR: 로봇 군집으로의 시공간 메모리 확장

Industrial ReMEmbR: Scaling Spatiotemporal Memory to Robot Fleets

Jad Yammine, Malek Wahidi, Abrar Anwar, Yan Chang, Mihir Acharya 외 1명

창고 로봇 군집이 수집하는 운영 환경 데이터를 재사용 가능한 의미 기억으로 저장하려면 연산·통신·저장 비용이 크게 든다. IndustrialReMEmbR는 NVIDIA ReMEmbR를 로봇 군집에 맞게 확장한 공유 시공간 메모리(spatiotemporal memory) 시스템으로, 장면 설명을 요청 시점에만 생성해 서버 측 연산을 절감한다. 각 로봇에 탑재된 NVIDIA Jetson은 원시 카메라 영상을 업로드하지 않고 Cosmos-Embed1로 검색 임베딩, Cosmos3-Edge로 비전 토큰, Wan2.2 VAE로 재구성 잠재 벡터를 온디바이스로 생성한다. Cosmos3-Edge는 비전-언어 경계에서 분리되어 비전 인코더는 로봇에, 언어 디코더는 온프레미스 서버에 배치되며, Nemotron 에이전트가 캐시된 비전 토큰을 이용해 내용·위치·시간 기준으로 메모리를 검색한다. 이미지 패치 내 사람을 감지해 해당 영역을 제로 처리하는 PII(개인식별정보) 추상화 기능으로 GDPR 준수 배포를 지원한다.

2610.28623v12026.10.20

신경 연산자를 활용한 노이즈 환경 경로 계획

Planning under Noise with Neural Operators

Michael Chen, Hong Chul Nam, Xi Deng, Anima Anandkumar

PUN(Planning Under Noise)은 미지의 기하학 환경에서 노이즈 인식 가치장(value field)을 학습하는 신경 연산자(neural operator)다. 확률적 최적 제어(stochastic optimal control)의 스크리닝된 포아송(screened-Poisson) 공식을 기반으로, 장애물에 반사 노이만(Neumann) 조건을, 목표 지점에 디리클레(Dirichlet) 조건을 부과해 경로 탐색 안정성을 높인다. 몬테카를로(Monte Carlo) 솔버인 Walk on Stars(WoSt)를 고차원으로 확장하여 구성 공간 메시 없이 편미분방정식을 풀 수 있게 하며, 잡음이 섞인 부분 수렴 MC 레이블로부터 기하학-가치장 매핑을 학습해 훈련 시 고비용 수렴 계산을 피한다. 4D 재계획 벤치마크에서 네 가지 노이즈 수준 전반에 걸쳐 95~100%의 성공률을 달성했으며, 최고 노이즈 수준에서 비교 방법 대비 10.7~60.6%의 상대적 성공률 향상과 3.29~32.15배 빠른 실행 속도를 보였다.

2610.28613v12026.10.20

Physical Canvas: 로봇 정책 평가 및 학습을 위한 시각-촉각 세계 모델

Physical Canvas: A Vision Tactile World Model For Robot Policy Evaluation And Learning

Zebin Xing, Yuhang Zheng, Yupeng Zheng, Yichen Zhang, Zichen Li 외 6명

PhysCanvas는 접촉이 많은 로봇 조작을 위한 상태 일관성 기반 시각-촉각 세계 모델(visuo-tactile world model)이다. 다시점 RGB 영상, 촉각 이미지, 마커 변위, 과제 상태, 행동을 단일 시각 공간에 통합하며, 모든 모달리티가 비디오 VAE와 사전 학습된 생성 백본을 공유한다. 일관성 인식 사후 학습(consistency-aware post-training)에서는 장면 보존·시각-촉각 호환성·실제 과제 결과 일치를 각각 담당하는 세 가지 동결 보상 모델을 활용한다. 4가지 실제 조작 과제에서 State Reward Model 감독을 적용하면 세계 모델과 실제 환경 간 과제별 피어슨 상관관계의 산술 평균이 0.602에서 0.885로 높아진다. 보상 유도 세계 모델 안에서 GRPO 기반 정책 사후 학습을 수행하면 π_0.5의 평균 실제 성공률이 SFT 기준선 59.1%에서 70.8%로 향상된다.

2610.28589v12026.10.20

AgenticRoboRL: 코딩 에이전트 사후학습을 에이전트 로봇공학에 도입

AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics

Xinxin Liu, Bingxin Xu, Wenrui Bao, Ming Li, Wentao Bao 외 2명

에이전트 로봇 시스템은 플래너(planner)와 로봇 하네스(harness)를 결합해 복잡한 조작 작업을 수행하나, 기존 연구는 폐쇄형 대형 모델에 의존할 뿐 플래너 자체의 능력을 향상시키지 않았다. AgenticRoboRL은 다양한 하네스에 걸쳐 로봇 플래너를 사후학습(post-training)할 수 있는 프레임워크로, 지도 미세조정(supervised fine-tuning)과 다중 턴 강화학습(reinforcement learning)을 결합한 훈련 방식을 채택한다. 하네스별 어댑터가 플래너 상호작용 기록과 작업 결과를 연결하여, 실행 구성요소는 고정한 채 공통 강화학습 파이프라인을 구성한다. LIBERO-PRO 벤치마크에서 9B 파라미터 플래너의 성공률이 18.1%에서 71.0%로 향상되었으며, 이는 외부 메모리를 사용한 Codex(GPT-5.5)의 72.1%에 근접한 수치이다. 연구팀은 프레임워크와 학습된 플래너 체크포인트를 공개할 예정이라고 밝혔다.

2610.28585v12026.10.20CoRL

SceneRig: 단일 이미지에서 시뮬레이션 준비 3D 장면 재구성을 위한 에이전틱 시스템

SceneRig: An Agentic System for Simulation-Ready 3D Scene Reconstruction from Single Images

Rundong Luo, Yunong Liu, Di Cao, Matthew Tancik, Shyamal Buch 외 2명

SceneRig은 단일 이미지에서 편집 가능한 시뮬레이션 준비(simulation-ready) 3D 장면을 생성하는 에이전틱(agentic) 시스템이다. 기하학적·시각적·물리적 도구를 결합해 장면을 재구성하며, 물리 시뮬레이터 내에서 편집-검증(edit-and-validate) 루프를 반복 수행해 물리적 안정성을 확보한다. 기존의 사후 물리 정착(post-hoc physics settling) 방식은 객체를 잘못 배치하는 문제가 있었으나, SceneRig은 인스턴스 분할(instance segmentation), 객체 외관, 3D 배치 정확도를 개선한다. 재구성된 장면은 베이스라인 대비 실제 로봇 정책(policy) 결과를 더 정확하게 예측하며, 궤적 수정 없이 기록된 조작 동작을 더 안정적으로 재현한다.

2610.28566v12026.10.20

MAPLE: 학습 없는 실내 탐색을 위한 Mondrian 앵커 기반 사전 분포

MAPLE: Mondrian-Anchored Prior for Learning-free Indoor Exploration

Kelvin Aladum, Nisar Ahmed

미지의 실내 환경을 탐색하는 로봇은 센서 범위 밖 공간의 점유 상태를 예측함으로써 탐색 결정을 개선할 수 있다. MAPLE은 오프라인 학습 없이 현재 부분 지도의 기하 단서를 조건으로 Mondrian 프로세스(Mondrian process)를 온라인 생성 사전 분포로 적용하는 탐색 방법이다. 복수의 지도 가설을 생성하고 각 가설 내에서 가시성을 독립적으로 평가해 프론티어(frontier) 이득을 추정하며, 가설 간 예측 가시성 차이를 보존한다. KTH 평면도 데이터셋과 실제 SLAM 환경에서 여러 센서 범위로 실험한 결과, 비예측 탐색보다 일관되게 높은 성능을 보이고 학습 기반 방법과 유사한 수준을 달성했다. 경량 절차적 구성 방식 덕분에 제한된 컴퓨팅 자원에서도 예측 탐색이 가능하며, 예측 정확도가 높다고 탐색 성능이 반드시 향상되지는 않는다는 점도 실험으로 확인됐다.

2610.28530v12026.10.20

CoGaussian: 개방형 어휘 가우시안 기반 협력 3D 장면 이해

CoGaussian: Open-Vocabulary Gaussian-based Collaborative 3D Scene Understanding

Om Shivam Verma, Shaya Farahmand, Lingjun Zhao, Lu Gan

CoGaussian은 여러 에이전트가 개별 시야 밖의 장면 의미론과 기하 정보를 함께 파악하는 협력 인식(collaborative perception) 프레임워크다. 기존 협력 의미론적 점유(semantic occupancy) 방식은 밀집 3D 복셀 주석과 사전 정의된 클래스 집합에 의존하는 한계가 있었다. CoGaussian은 파운데이션 모델과 정렬된 희소 3D 가우시안을 장면 표현으로 사용해 에이전트 간 기하·의미 정보를 교환하고 융합한다. Semantic-OPV2V 벤치마크 실험에서 기존 개방형 어휘(open-vocabulary) 단일 에이전트 방식보다 높은 성능을 나타냈다.

2610.28523v12026.10.20CoRL

VLM 기반 접촉 리타겟팅과 생성적 파트너 모델링을 활용한 휴머노이드-인간 상호작용

VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction

Yuto Shibata, Kotaro Amaya, Kashu Yamazaki, Lalit Jayanti, Yoshimitsu Aoki 외 2명

REACT는 인간-인간 동작 캡처 데이터로부터 배포 가능한 휴머노이드-인간 상호작용 정책을 학습하는 프레임워크다. 밀접한 신체 접촉 시 파트너가 가려지는 극심한 부분 관측 가능성(partial observability) 문제를 해결하기 위해, 시각-언어 모델(VLM) 기반 접촉 리타겟팅 파이프라인이 의미론적으로 유의미한 접촉을 식별하고 이를 휴머노이드-인간 형태에 맞게 변환한다. 학습된 특권 정책(privileged policy)은 탑재 깊이 센서만을 사용하는 자기중심적(egocentric) 정책으로 증류되며, 가려진 시야에서 파트너 동작을 예측하는 생성적 파트너 상태 모델링 목적함수가 추가로 도입된다. 시뮬레이션과 Unitree G1 휴머노이드 실기 환경에서 5가지 접촉 밀집 상호작용을 평가한 결과, 생성적 파트너 상태 모델링은 5개 중 4개 과제에서 접촉 재현율을 향상시켰다. 실기 실험에서는 외부 트래킹 장치 없이 탑재 센서만으로 5가지 상호작용을 모두 수행한다.

2610.28480v12026.10.20CoRL

SuperMimic: 미분 가능 월드 모델 하나로 확장하는 휴머노이드 전신 제어

SuperMimic: Scaling Humanoid Whole-Body Control with One Differentiable World Model

Qiayuan Liao, Yiyang Shao, Junfeng Long, Kevin Zakka, Roberto Horowitz 외 2명

대규모 인체 모션 데이터셋 추적은 범용 휴머노이드 전신 제어의 주요 접근법이지만, 기존 무모델 강화학습(model-free RL) 파이프라인은 클러스터 규모의 연산을 필요로 한다. SuperMimic은 표준 강체(rigid-body) 시뮬레이터의 로그 전이 데이터로 피팅한 미분 가능 월드 모델(differentiable world model) 하나로 모든 모션에 걸쳐 학습을 분산한다. 월드 모델과 추적 정책은 단일 루프에서 공동 훈련되며, 단기 상상 롤아웃(imagined rollout)에 대한 시간 역전파(backpropagation-through-time)로 분석적 기울기를 얻는다. 단일 GPU 3시간 훈련으로 128개 GPU 7일 훈련 기준선의 리턴을 초과하고, GPU-시간을 1,000배 이상 줄이며 129,514개 벤치마크 모션 중 25개에서만 실패했다(기준선 179개). 학습된 정책은 Unitree G1 실물 로봇에서 다양하고 곡예적인 모션으로 전이되었다.

2610.28476v12026.10.20

CLOSER: 실체 에이전트 물체 목표 탐색을 위한 증거 인식 능동 시각 검증

CLOSER: Evidence-Aware Active Visual Verification for Embodied Object-Goal Navigation

Pengying Wu, Mingye Jiang, Yunze Hu, Zhejia Wen, Kangjie Zhou 외 3명

물체 목표 탐색(ObjectNav)은 에이전트가 미지의 환경에서 지정 범주의 물체를 찾아 근처에 정지하는 과제로, 소파를 침대로 오인하는 등 유사 물체 오탐지가 에피소드 실패의 주된 원인이다. CLOSER는 정지 결정을 폐루프 증거 수집 과정으로 전환하는 능동 검증 프레임워크로, 오픈소스 시각-언어 모델(VLM)을 파인튜닝해 후보 물체의 각 프레임 뷰를 목표·비목표·불확실 중 하나로 분류한다. 임베딩 기반 다양성 게이트가 보완적 시점을 선택하고 경량 네트워크가 뷰별 확률을 융합하며, 판단이 불확실하면 디퓨전 정책(diffusion policy)이 추적 마스크와 깊이 정보만으로 에이전트를 후보 쪽으로 이동시킨다. CLOSER는 기존 ObjectNav 시스템을 재학습 없이 플러그인 방식으로 활용한다. Gibson 및 Habitat-Matterport 3D 벤치마크에서 평균 성공률 3.6포인트, 경로 가중 성공률(SPL) 2.0포인트 향상이 나타났다.