PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 7건

2610.13891v12026.10.09IROS

Beyond the Snowflakes: LiDAR 객체 탐지에서 날씨 효과와 교란 메타 인자 분리

Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection

Yiming Yang, Jeremy P. Bos

라이다(LiDAR)는 자율 인식에 필수적이지만 악천후에서 성능이 저하된다고 알려져 있다. WADS-3D와 CADC 데이터셋을 세밀하게 평가한 결과, 강설 강도가 높아질수록 탐지 정확도가 일관되게 향상되는 반직관적 현상이 나타났다. 절제 연구(ablation study)와 메타 정보 분석을 통해, 낙하하는 눈은 노이즈로 작용하지만 동시에 발생하는 객체 포인트 수 증가가 그 부정적 영향을 상쇄한다고 설명된다. 연구팀은 눈 축적이 차량 표면적을 늘리고 반사 특성을 정반사(specular)에서 확산 반사(diffuse reflectance)로 바꿔 기하학적 향상 효과를 만든다고 가설을 세운다. 기상 심각도 구간만으로 인식 시스템을 평가하면 탐지기 강건성에 대한 오해를 낳을 수 있으며, 정확한 평가를 위해서는 대기 노이즈와 표면 축적 효과를 분리해야 한다고 결론짓는다.

2610.13872v12026.10.09IROS

보이지 않는 것 추적하기: 열화상-RGB 융합을 이용한 자기지도 학습 기반 바퀴 자국 검출

Tracking the Invisible: Self-Supervised Wheel Track Detection with Thermal-RGB Fusion

Yiming Yang, Jeremy P. Bos

눈 덮인 도로에서 기존 바퀴 자국을 따르면 견인력 확보와 경로 안정성 측면에서 유리하지만, 기존 주행 가능 영역 추정 방법은 이를 충분히 지원하지 못한다. 이 연구는 동기화된 RGB와 장파 적외선(Long-Wave Infrared, LWIR) 영상을 결합한 4채널 입력으로 바퀴 자국을 검출하는 자기지도 학습(self-supervised learning) 방법을 제안한다. 훈련 레이블은 기록된 GNSS 데이터에서 미래 바퀴 궤적을 역투영하는 방식으로 자동 생성한다. 실험 결과, 시각적 특징점이 거의 없는 화이트아웃 노면에서도 바퀴 자국 검출이 가능함을 확인했다. 연구팀은 이 연구를 위한 ThermalTrack 데이터셋을 새로 공개했다.

2610.13862v12026.10.09

BT-Agent: 행동 트리와 다중 충실도 평가를 활용한 온보드 로봇 에이전트 배포

BT-Agent: Deploying Onboard Robot Agents with Behavior Trees and Multi-Fidelity Evaluation

Fabio Hübel, Adam Lilja, Yue Yin, Siming He, Claire Tomlin 외 3명

BT-Agent는 대형 언어 모델(LLM) 기반 작업 판단과 사전 정의된 행동 트리(BT, Behavior Tree) 스킬을 결합한 온보드 로봇 아키텍처다. 4족 보행 로봇에 9B 모델을 탑재해 5개 작업 범주에서 완전 온보드 동작을 시연했으며, 행동 트리의 로컬 조건 검사는 모델 재판단 없이 진행 중인 내비게이션을 즉시 중단시킨다. 161개 작업으로 구성된 다중 충실도(multi-fidelity) 벤치마크를 도입해 전체 작업은 텍스트로, 39개 작업은 Habitat 시뮬레이션으로 평가했으며, 텍스트 평가는 시뮬레이션 대비 10.9배 높은 처리량을 보였다. 가장 강력한 Act/ReAct 기준선 대비 성공률은 4B 모델에서 약 10%p, 9B 모델에서 약 5%p 향상됐다. 절제 실험(ablation)에서는 구조화된 도구 호출과 정보성 실패 피드백이 핵심 기여 요소로 확인됐다.

2610.13849v12026.10.09ICRA

HorizonNav: 기하학 기반 비디오 확산을 활용한 예측적 3D 로봇 내비게이션

HorizonNav: Geometry-Guided Video Diffusion for Anticipatory 3D Robot Navigation

Hajira Amjad, Valerii Serpiva, Viacheslav Liubimov, Didar Seyidov, Dzmitry Tsetserukou

HorizonNav는 단일 RGB 이미지와 텍스트 프롬프트를 입력받아 주변 3D 공간의 기하학적으로 정렬된 표현을 생성하는 비디오 확산(video diffusion) 기반 예측 내비게이션 프레임워크다. 시각-언어 모델(VLM)이 장면을 해석해 비디오 확산 모델용 구조화 프롬프트를 구성하며, 생성된 비디오 시퀀스는 단안 ORB-SLAM3와 Video Depth Anything을 통해 카메라 포즈 추정 및 밀도 깊이 예측에 활용된다. 핵심 기여는 추정된 카메라 포즈와 삼각측량된 시각 랜드마크(triangulated visual landmark)를 결합해 다시점 깊이 예측의 기하학적 일관성을 개선하는 깊이 정렬 단계다. 19개 장면 실험에서 계획 가능 장면 수는 P20 기준 13/19에서 P81 기준 15/19로, 성공적인 RRT 시도는 62/90에서 75/90으로 증가했다. 복도 실험에서 매칭된 구조 랜드마크 기준 평균 재구성 오차는 약 0.30 m로 나타났다.

2610.13838v12026.10.09

관절형 궤도 로봇을 위한 맵리스 안정화·끼임 탈출 플리퍼 제어

Mapless, Stabilizing, and Anti-Stuck Flipper Control for Articulated Tracked Robots

Valentýn Číhala, Pavel Sarga, Martin Pecka, Tomáš Svoboda, Karel Zimmermann

대부분의 자율 플리퍼 제어기는 지형 고도 맵(elevation map)에 의존하지만, 차체 아래 지형은 센서 시야에 가려져 오도메트리(odometry) 적분 오차가 누적된다는 한계가 있다. 이 논문은 IMU, 플리퍼 관절 각도, 단기 시간 창(window) 내에서 계산한 이동 여부 신호만을 입력으로 사용하는 맵리스 제어기 SAS(Stabilizing Anti-Stuck)를 제안한다. SAS는 차체 롤·피치 안정화 항과 끼임 탈출 항을 결합하며, 오도메트리 적분을 전혀 사용하지 않아 누적 오차를 원천적으로 피한다. 4개 플리퍼를 장착한 궤도 로봇에 적용해 시뮬레이션과 실제 장애물 환경 모두에서 수동 텔레오퍼레이션 및 기존 맵 기반 제어기와 비교 평가한 결과, SAS는 맵 기반 최신 제어기와 유사한 주행 품질을 보였다. 키 큰 풀에 숨겨져 LiDAR에 탐지되지 않는 통나무 장애물 실험에서는 최신 맵 기반 제어기가 끼임에 빠진 반면 SAS는 장애물을 통과하였다.

2610.13829v12026.10.09

MC-EvoBench: Minecraft 에이전트의 경험 기반 자기 향상 감사

MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents

Jingwei Song, Zhisheng Chen, Bingfan Zeng, Jing Tang, Yubo Hou 외 3명

MC-EvoBench는 Minecraft 환경에서 에이전트의 경험 기반 재귀적 자기 향상(experience-driven recursive self-improvement)을 평가하기 위한 제어된 벤치마크다. 12개의 주 평가 체인과 7개의 보정·탐침 체인으로 구성된 19개 진화 체인을 갖추고, 전이 평가용 그래프 정렬 탐침 패밀리 3종을 함께 제공한다. 각 과제를 태스크-상태 그래프로 표현하고 소스와 타깃 역할을 구분한 뒤 타깃 월드를 초기화하여 선언된 에이전트 아티팩트만 경계를 넘도록 설계했다. 실험 결과 컨트롤러 기반과 플래너 기반 변형 사이에 일관된 직접 역량 격차가 관찰됐으며, 관련 경험을 제공해도 안정적인 전이는 나타나지 않았다. 초반 목재 수집과 제작 단계의 병목 현상으로 인해 후반 역량이 아예 측정되지 않는 경우도 빈번했다.

2610.13816v12026.10.09

Dream to Remember: 월드 모델을 이용한 범용 로봇 정책의 지속적 조정

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

Bahey Tharwat, Iman Nematollahi, Marvin Alles, Xingyuan Zhang, Akshay L Chandra 외 1명

범용 로봇 정책을 모방 학습으로 훈련하면 새로운 과제를 순차적으로 학습할 때 기존 과제를 잊는 파국적 망각(catastrophic forgetting) 문제가 발생한다. D2R(Dream to Remember)은 동결된 범용 정책의 입력 노이즈를 조정하는 스티어링 모듈을 학습시키되, 동결된 사전 훈련 월드 모델(world model)이 상상 속 롤아웃(imagined rollout)으로 이전 과제를 리허설함으로써 리플레이 버퍼나 추가 데이터 없이 망각을 억제한다. CALVIN 벤치마크에서 8개 과제를 순차적으로 상상 학습한 결과 평균 성공률이 63.7%에서 74.8%로 향상된 반면, 동일 순서에서 LoRA 파인튜닝은 11.7%로 하락했다. π_0과 A2World를 동결 상태로 사용했을 때는 LIBERO-90의 미학습 과제를 실제 환경에서 습득하면서도 기존 LIBERO 스위트 성능을 유지했다. 실제 Franka 로봇에서도 3개 과제를 상상 학습으로 순차 개선하면서 이전 성능을 보존하는 결과를 얻었다.

2610.13788v12026.10.09

LiDAR가 약해지면 레이더가 인계받는다: 공중 차폐물 환경에서의 LiDAR 신뢰도 기반 적응형 위치추정

When LiDAR Fades, Radar Takes Over: LiDAR Reliability-Aware Adaptive Localization Under Airborne Obscurants

Moumita Mukherjee, Avijit Banerjee, Anton Koval, George Nikolakopoulo

LiDAR 관성 오도메트리(LIO, LiDAR-inertial odometry)는 연기·먼지 같은 공중 차폐물이 존재하는 지하 환경에서 성능이 크게 저하되는 반면, 레이더는 상대적으로 강인하게 동작한다. 이 논문은 공간·교차모달·기하/모션·강도·측정 최신성 등 다양한 열화 감지 특징을 슬라이딩 윈도우 기반 LSTM 오토인코더로 시간적으로 모델링하는 단일 클래스 시간 학습(one-class temporal learning) 프레임워크를 제안한다. 해당 모델은 정상 운용 데이터만으로 훈련되어 레이블된 열화 데이터 없이도 센서 이상을 탐지할 수 있다. 추정된 신뢰도에 따라 LIO와 레이더 관성 오도메트리(RIO, radar inertial odometry) 사이에서 적응적으로 전환해 심각한 열화 상황에서도 위치추정을 유지한다. GNSS 차단 지하 터널에서 수집한 실제 지상 로봇 데이터로 평가한 결과, 짙은 연기 조건에서 열화 탐지와 모달리티 전환이 작동함을 확인했다.

2610.13772v12026.10.09

MARGoS: ARGoS에서 재현 가능한 MARL 실험을 위한 구성 기반 플랫폼

MARGoS: A Configuration-Driven Platform for Reproducible MARL Experiments in ARGoS

Tom Philipp Backert, Mohammad D. Soorati, Javad Ghofrani

군집 로봇(collective robotics) 연구에서 널리 쓰이는 ARGoS 시뮬레이터 기반 다중 에이전트 강화학습(MARL) 실험은 시뮬레이터 파일·학습 스크립트·시드·경로 등을 수작업으로 맞춰야 해 재현성과 재사용성이 취약하다는 문제가 있다. MARGoS는 이러한 실험 구성 요소를 플랫폼이 직접 관리하는 산출물로 격상하는 경량 구성 기반 플랫폼이다. 구성 해싱(configuration hashing), 엔드투엔드 시드 전파, 불변 구성, 구조화 로깅, 환경 지문(environment fingerprinting), 내보내기 가능한 실험 번들 등의 기능을 제공한다. 저자들은 아키텍처·효율성·재현성·사용성·협업의 5개 차원으로 플랫폼을 평가하고, 실험 변이 관리를 플랫폼 책임으로 두면 ARGoS+MARL 실험의 재사용·재현·인수인계가 쉬워진다고 주장한다. 코드는 GitHub에 공개되어 있다.

2610.13740v12026.10.09NeurIPS

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 세계-행동 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

Timi Owolabi, Hikmah Olawore, Frances Adelakun, Ayotomiwa Oyewumi

SmolWAM은 세계-행동 모델(World-Action Model, WAM)을 엣지 디바이스에서 동작 가능하도록 경량화한 잠재 공간 기반 모델이다. 2B 파라미터 규모의 Cosmos Policy에서 사전 학습된 트렁크를 유지하면서, 28개 트랜스포머 블록 중 12개만 사용하고 단일 프레임 시각 잠재 벡터·텍스트 특징 캐싱·1,008개 토큰으로 추론 인터페이스를 재구성하였다. 정류 흐름(rectified-flow) 단계 하나로 행동과 미래 시각 잠재 벡터를 동시에 출력하며, 세계 헤드(world head)가 장면 움직임을 예측하는 기능도 유지된다. LIBERO 400개 에피소드에서 95.5% 성공률을 기록하였으며, 16-행동 청크당 처리 시간 57 ms, 2.3 TFLOP, GPU 메모리 2.4 GiB를 사용한다. 교사 모델인 Cosmos Policy 대비 속도는 11배 빠르고 FLOPs는 18.5배, 메모리는 3.2배 적으며, 학습에는 3.6 GPU 시간이 소요되었다.

2610.13732v12026.10.09CoRL

LAPT-Scale: 인간 비디오 잠재 행동 사전학습을 통한 구현 정책 스케일링

LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos

Zhiyuan Xiang, Peidong Liu, Mingyang Li, Jiawei Li, Wenhow Li 외 2명

LAPT-Scale은 로봇 행동 레이블이 없는 에고센트릭(egocentric) 인간 비디오를 활용해 로봇 정책을 사전학습하는 프레임워크다. 구성 요소인 LAPT-Scale-LAM은 프레임 간 시각 전환을 설명하는 연속 잠재 행동(continuous latent action)을 학습하고, LAPT-Scale-Policy는 이를 토대로 시각-언어-행동 모델(VLA)을 훈련한 뒤 목표 로봇 형태 정렬과 과제별 사후학습을 수행한다. 기존 벡터 양자화 방식과 달리 연속 잠재 공간을 사용해 세밀한 모션·상호작용 역학을 보존하며, 지각·의미·광학 흐름(optical flow) 정렬 신호를 결합해 전환 수준의 감독 품질을 높인다. LAPT-Scale-LAM은 총 23,300시간 분량의 에고센트릭 비디오로 학습되었다. 주석 인간 비디오 규모를 1,000시간에서 5,000시간으로 늘렸을 때 실제 로봇 성공률이 63.3%에서 85.0%로 향상되었다고 저자들은 보고한다.

2610.13688v12026.10.09

농업 수확 기술의 통합 분류 체계: 물리적 상호작용, 자동화 수준, 선택성의 연계

Towards a Unified Taxonomy of Agricultural Harvesting Technologies: Linking Physical Interaction, Automation, and Selectivity

Renato Cristiano Torres, Fabiano Mariath D Oliveira, Claudio Gottschalg Duque

본 논문은 농업 수확 기술을 일관된 기준으로 비교하기 어렵다는 문제의식에서 출발해 통합 분류 체계(unified taxonomy)를 제안한다. 분류의 두 주요 축은 식물-기계 간 물리적 상호작용 원리와 수확 과정의 자동화 수준으로 설정된다. 선택성(selectivity)은 지각·의사결정이 물리적 구동에 영향을 미치는 생물학적·공간적 규모를 나타내는 창발적 속성으로 다루어진다. 분석 결과, 자동화 수준이 높아진다고 해서 선택성이 반드시 향상되지는 않는 것으로 나타났다. 제안된 프레임워크는 절단·진동·공압 등 기계화 방식부터 로봇 수확에 이르는 기술들의 공통 비교 기반을 제공하며 미래 시스템 개발 분석을 지원한다.

2610.12470v12026.10.08

Dex-One2Many: 단일 인간 시연으로부터 덱스터러스 조작 학습

Dex-One2Many: Learning Dexterous Manipulation from a Single Human Demonstration

Jusuk Lee, Sungha Kim, Yeonsoo Park, Jonguk Cheon, Yoonkyo Jung 외 6명

Dex-One2Many는 단일 인간 비디오 하나로부터 일반화 가능한 덱스터러스 조작(dexterous manipulation) 정책을 학습하는 real-to-sim-to-real 프레임워크이다. 핵심 아이디어는 비디오를 순차적 장면 그래프(scene graph)로 추상화하여 강화학습(RL) 탐색을 안내하는 것으로, 다양한 초기 상태 샘플링과 단계별 밀집 보상(dense reward) 제공을 동시에 실현한다. 장면 그래프는 정확한 자세가 아닌 관계를 제약하기 때문에, 비디오에 등장하지 않은 물체 자세와 파지(grasp) 방식까지 포괄하는 초기 상태를 생성할 수 있다. 시뮬레이션에서만 학습한 정책은 실제 다지(multi-fingered) 핸드에 제로샷(zero-shot)으로 전이된다. 5가지 도구 사용·조작 과제 실험에서 기준 모델 대비 본 적 있는 구성에서는 6.5%, 본 적 없는 시나리오에서는 71% 높은 성공률을 기록했다.

2610.12468v12026.10.08

DreamTrue: 반사실적 사후학습을 활용한 행동 충실 로봇 월드 모델

DreamTrue: Action-Faithful Robot World Model with Counterfactual Post-Training

Junyan Li, Ruizhi Li, Yu Liu, Xiangshuo Liu, Mingchao Sun 외 4명

DreamTrue는 다시점(multi-view) 및 크로스-에보디먼트(cross-embodiment) 환경에서 행동에 충실하고 물리적으로 타당한 영상 예측을 수행하는 로봇 월드 모델(world model)이다. 기존 로봇 데이터셋의 두 가지 한계—부정확한 캘리브레이션과 실패 상호작용 데이터 부족—를 해결하기 위해, 행동 궤적을 이미지 공간 조건으로 렌더링하는 오프라인 기하 캘리브레이션과 반사실적 사후학습(counterfactual post-training)을 도입했다. 반사실적 사후학습은 기록된 행동 궤적을 수정해 더 넓은 범위의 행동·접촉 구성 하의 미래 영상을 생성한다. 로봇·물체·상호작용 결함을 포함한 인간 주석 영상 데이터셋으로 에보디드 비디오 보상 모델(embodied video reward model)을 학습시키고, 그 점수를 강화학습 사후학습에 활용한다. AgiBot 벤치마크에서 인간 평가 기준 상호작용 결함률이 48.12%에서 6.25%로 감소했으며, AgiBot World Challenge 2026 월드 모델 트랙에서 1위를 기록했다.

2610.12465v12026.10.08CoRL

균형 잡힌 데이터 식단: 로봇 제어 초대규모 강화학습의 탐색 병목 해소

A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control

Octi Zhang, Mateo Guaman Castro, Patrick Yin, Ignacio Dagnino, Abhishek Gupta 외 2명

시뮬레이션-실물 강화학습(sim-to-real RL)에서 다양한 시뮬레이터 리셋을 균일하게 샘플링하면 정책이 이미 숙달했거나 아직 시도할 수 없는 태스크 구성에 학습 경험이 낭비되는 문제가 발생한다. 본 연구는 정책의 현재 능력 경계에 있는 태스크 구성에 집중해 학습하는 적응형 샘플러인 Success Guided Sampling(SGS)을 제안한다. SGS는 최대 2²⁰(약 100만)개의 병렬 환경을 사용한 실험에서 기존 방법이 해결하지 못한 다지형(multi-terrain) 사족보행 이동과 접촉 집약적 조립 과제를 풀어냈다. 학습된 조작 정책은 RGB 기반 정책으로 증류(distillation)되어 실제 하드웨어의 여러 조립 과제에 제로샷(zero-shot) 전이를 시연했다.

2610.12467v12026.10.08

CSF: 모션 생성기를 위한 맥락적 안전 필터링

CSF: Contextual Safety Filtering for Motion Generators

Lizhi Yang, Yiling Hou, Yao Tang, Junheng Li, Daniel Weng 외 2명

텍스트 조건부 모션 생성기는 장면 맥락에 따라 동일한 동작이 물체를 향하는지 사람을 향하는지 구별하지 못하는 문제가 있다. CSF(맥락적 안전 필터링)는 별도 학습 없이 동작하는 필터로, 자연어 안전 규칙을 생성기가 출력한 안전·위험 참조 궤적에 결합한다. 각 규칙에서 도출된 어파인(affine) 안전 값은 제어 장벽 함수 이차 계획법(CBF-QP)으로 강제된다. 서로 다른 아키텍처를 가진 사전 학습 생성기 4종을 대상으로 실험한 결과, 명시적·장면 유발 위험 상황 모두에서 규칙이 올바르게 활성화되었고 위험 이벤트 발생률이 최대 90% 감소하면서 안전 동작의 88~100%가 보존되었다. Unitree G1 로봇을 이용한 실기 검증에서도 인간 및 물체와의 상호작용 시나리오에서 위험 동작을 차단하였다.

2610.12457v12026.10.08

SpatialHarness: 정밀 로봇 조작을 위한 테스트 시점 공간 스캐폴딩

SpatialHarness: Test-Time Spatial Scaffolding for Fine Robotic Manipulation

Jiayu Wang, Yue Yu, Bin Zhu, Zhiyao Yang, Jingjing Chen

SpatialHarness는 멀티모달 파운데이션 모델(multimodal foundation model)의 정밀 조작 실패 원인을 정책 능력 부족이 아닌 공간 관측성(spatial observability) 부족으로 분석하고, 이를 테스트 시점에 보완하는 프레임워크다. 정책 파인튜닝이나 물리 센서 변경 없이, 실제 실행과 동기화된 온라인 시뮬레이션 씬을 유지하면서 과제에 중요한 공간 관계를 가상 시점으로 고정된 정책에 전달한다. 정적·파지·전이 모드를 구분하는 상호작용 인식 씬 동기화(interaction-aware scene synchronization)를 통해 실행 도중 씬 정렬을 유지한다. 4가지 실제 로봇 조작 과제에서 동일한 GPT-6 Astra 정책을 적용한 결과, 플러그 삽입 성공률이 26.7%에서 66.7%로, 하노이 탑 과제가 0%에서 100%로 향상되었다고 저자들은 보고한다.

2610.12451v12026.10.08NeurIPS

VersaCamVLA: 로봇 조작을 위한 카메라 설정 가능 VLA 정책

VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation

Boyao Han, Chen Shi, Jingjing Qian, ZhuoTan Tian, Li Jiang

시각-언어-행동 모델(VLA)은 로봇 조작 분야의 기반으로 자리잡고 있으나, 훈련 시 고정된 카메라 구성에 의존하기 때문에 배포 환경에서 카메라 수나 위치가 달라지면 성능이 저하되는 문제가 있다. VersaCamVLA는 카메라 집합 표현과 행동 학습을 분리하는 프레임워크로, 임의의 가변적 RGB 뷰 집합을 고정 크기 잠재 장면 토큰(scene token)으로 변환하는 통합 인터페이스를 학습한다. 다중 신호 목표 뷰 예측과 손목 증강 자세 샘플링(WAPS, Wrist-Augmented Pose Sampling)을 통해 손목 카메라의 자연스러운 움직임을 활용하여 별도 수집 비용 없이 다양한 카메라 자세 데이터를 확보한다. 배포 단계에서는 경량 공간 인코더가 장면 토큰을 사전 훈련된 VLA에 보조 시각 조건으로 주입하며, 명시적 3D 센싱이나 새로운 뷰 렌더링은 필요하지 않다. RoboTwin, LIBERO, 실제 로봇 플랫폼 실험에서 VersaCamVLA는 카메라 수가 달라지거나 학습에 없던 카메라 자세가 주어지는 환경 모두에서 기존 VLA 방법 및 다중 뷰 기준선 대비 일관되게 높은 성능을 기록했다.

2610.12440v12026.10.08

인간에서 로봇으로의 정교한 조작을 위한 Generative Neural Retargeting

Generative Neural Retargeting for Human-to-Robot Dexterous Manipulation

Dechen Gao, Yue Yang, Ben Abbatematteo, Nathan Godwin, Pengcheng Wang 외 6명

인간 시연 데이터는 로봇 학습의 확장 가능한 공급원이지만, 신체 구조 차이(embodiment gap)로 인해 인간 동작을 로봇에 직접 적용하기 어렵다. 기존의 역기구학(IK)은 동역학을 무시하고, 강화학습(RL)은 샘플 비효율과 보상 설계 부담이 크며, 샘플 기반 모델 예측 제어(MPC)는 궤적마다 독립적으로 최적화를 수행해 데이터셋 규모가 커질수록 비용이 급증한다. 연구팀은 실현 가능한 궤적들이 저차원 다양체(manifold) 위에 집중된다는 가설 아래, 플로우 매칭(flow matching) 모델로 해당 다양체에서 궤적을 샘플링하는 Generative Neural Retargeting(GNR)을 제안한다. GNR은 MPC 대비 8.5%의 샘플만을 사용해 성공률 56.20%를 달성했으며, MPC의 27.20%를 상회한다고 보고된다. 이 방법을 실제-시뮬레이션(real-to-sim) 데이터 엔진에 적용해 밀집 접촉력 레이블을 포함한 223,000개 시연·3,300개 물체 형상 규모의 정교한 조작 데이터셋을 생성했다.

2610.12435v12026.10.08

VioLA: 인간 데이터로 학습하는 범용 휴머노이드 제어 정책

VioLA: Learning Generalist Humanoid Control Policies from Human Data

Mert Albaba, Jens Beißwenger, Anna Manasyan, Daniel Marta, Michael J. Black 외 4명

VioLA는 관절 명령 대신 신체·손 동작 잠재벡터(motion latent)를 예측하는 범용 휴머노이드 정책으로, 사전 학습된 신체·손 컨트롤러가 이 잠재벡터를 실제 로봇에서 실행한다. 모션 인코더가 인간과 로봇의 동작을 동일한 잠재 공간에 매핑함으로써, 사람의 동작 녹화를 정책의 행동 공간에서 직접 레이블링할 수 있다. 이를 통해 학습 데이터 1억 4,060만 프레임을 구성했으며, 그 중 93.2%가 인간 데이터다. 태스크별 파인튜닝 없이 실제 로봇에서 보행 지시 추종 성공률 100%를 기록했으며, 이는 같은 조건에서 GR00T N1.7의 16.7%, Ψ_0의 0%와 대비된다. 조작 태스크에서도 파인튜닝 없이 88.6% 성공률을 달성했고, 두 종류의 시각-언어-행동 모델(VLA) 백본과 하나의 월드-액션 모델 백본에서 동일한 방식이 유효함을 확인했다.