PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 2건

2609.38164v12026.09.29

Rho: 효율적으로 적응 가능한 VLA 모델의 기반

Rho: A Foundation for Efficiently Adaptable VLA Models

Rho Team, Simran Bagaria, Daphne Chen, Dean Fortier, Jianlong Fu 외 9명

Rho는 양팔 조작(bimanual manipulation)을 위한 오픈 웨이트 시각-언어-행동 모델(VLA) 패밀리로, YAM Box, UR AI Trainer, FR3 Duo 세 가지 로봇 구현체에서 소량의 데이터로 작업 적응을 지원한다. 액션 전문가(action-expert) 아키텍처와 학습 방식을 체계적으로 비교 실험한 결과, 구현체 중간학습(embodiment midtraining)이 하류 작업 적응 성능을 향상시키는 것이 시뮬레이션 및 실제 로봇 실험에서 확인됐다. 각 구현체용 Rho 변형은 평가된 과제와 기준 모델 전반에 걸쳐 기존 오픈 웨이트 VLA들과 동등하거나 높은 성능을 나타냈다. 온라인 적응 기능으로는 내부 잠재 정책(latent policy)이 수정 피드백에서 학습해 동결된 플로우-매칭(flow-matching) 액션 전문가의 관측 조건부 노이즈 입력을 선택하며, 15회의 수정 에피소드만으로도 오프라인 파인튜닝 분포 외곽의 상황에 적응할 수 있다. 기반 모델과 구현체별 체크포인트를 공개해 연구 및 산업 현장 활용을 지원한다.

2609.38163v12026.09.29

월드-액션 모델링을 위한 표현 공간 재고찰

Rethinking Representations for World-Action Modeling

Haoyi Jiang, Liu Liu, Xinjiang Wang, Zhihao Sun, Zequn Chen 외 10명

월드-액션 모델(world-action model)은 로봇 정책 학습과 미래 관측 예측을 동시에 수행하며, 표현 공간(representation space)이 제어와 예측 사이의 인터페이스 역할을 한다. 제어 비교 실험을 통해 재구성 충실도나 사전 학습된 지각 특징 단독으로는 효과적인 정책 학습이 보장되지 않음을 확인했다. 이를 바탕으로 사전 학습된 DINO 특징 기반의 표현 중심 모델 ReWAM을 제안하며, 특징 보정(Feature Calibration)과 시간적 표현 병목(Temporal Representation Bottleneck)을 통해 동역학 모델링에 적합한 압축 세계 상태를 구성한다. 행동-기반 표현 형성(Action-Grounded Representation Shaping)은 행동 손실 기울기만 병목으로 전달하여, 정책이 표현의 내용을 결정하고 세계 모델이 그 변화 방식을 학습하도록 역할을 분리한다. 생성적 비디오 사전 학습 없이 RoboTwin 2.0에서 93.6% 성공률을, 약 600시간 구현 사전 학습 데이터로 RoboDojo에서 평균 점수 12.29·성공률 8.28%를 달성했다.

2609.38133v12026.09.29

분리형 생성 가이던스를 활용한 다중 에이전트 플로우 매칭

Multi-Agent Flow Matching with Decoupled Generative Guidance

Ruoyu Lin, Magnus Egerstedt, Fabio Pasqualetti

생성 모델은 복잡한 분포에서 다양한 객체를 생성하는 데 널리 쓰이지만, 생성 결과가 하드 제약 조건을 충족한다는 보장이 일반적으로 존재하지 않는다. 이 논문은 다중 에이전트 생성 환경에서 분리형 생성 가이던스를 적용하는 프레임워크 DeGG-Flow를 제안한다. 플로우 매칭(flow matching) 생성 과정을 제어-아핀(control-affine) 동역학 시스템으로 표현하여, 여러 에이전트가 공유하는 요구 조건과 이웃 에이전트에 의존하는 개별 에이전트의 요구 조건 각각에 대한 가이던스 조건을 도출하고, 실현 가능성 조건과 유한 구간 수렴 보장을 수립한다. 가이던스로 인한 분포 편차를 특성화하는 바서스타인(Wasserstein) 경계도 함께 유도한다. 다중 로봇 협동을 통한 공간 간격 횡단 및 어포던스(affordance) 조건이 부과된 다중 객체 장면 생성 과제에서 검증하며, 학습 중 보지 못한 팀 규모에서도 모든 하드 제약 조건을 충족하는 결과를 생성한다.

2609.38105v12026.09.29

FORM: 직접적 재료 법칙 식별을 통한 로봇 조작

FORM: Robot Manipulation through Direct Material Law Identification

Stepan Tretiakov, Ruihan Zhao, Cheng-Hsi Hsiao, Xingjian Li, Adam Thorpe 외 4명

FORM(From Observed Response to Material laws)은 변형 가능한(deformable) 물체와의 단 한 번의 상호작용만으로 재료의 물리적 특성을 식별하고, 식별된 모델을 새로운 동작 및 형상에 재사용해 조작 계획을 수립하는 방법론을 제시한다. 약형식 운동량 균형(weak-form momentum balance)을 이용해 관측된 물체 운동과 접촉력을 재료 파라미터에 관한 선형 방정식으로 변환하며, 순방향 시뮬레이터와 동일한 물질점법(Material Point Method, MPM) 이산화 구조로 조립해 선형 최소자승법으로 직접 풀 수 있다. 그 결과 반복적 기저선 대비 식별 시간이 약 10~25분에서 2~5초로 단축됐으며, 새로운 동작·초기 조건·형상에서의 예측 정확도는 기저선과 동등한 수준으로 보고됐다. 시뮬레이션 및 실기(hardware) 환경에서 탄성 막대 삽입, 탄성 클럽 골프 퍼팅, 탄소성체(elastoplastic) 성형, 목표 체적 붓기 등 네 가지 조작 과제로 검증했다. 탄성 특성은 3.4%, 탄소성 특성은 2% 이내의 오차로 추정하며, 반죽 성형에서 72.4~77.8% IoU, 붓기 과제에서 평균 3.8 mL 오차를 기록했다.

2609.38087v12026.09.29

CrossBFM: 휴머노이드 구현체 간 공유 잠재 행동 공간 증류

CrossBFM: Distilling a Shared Latent Behavior Space Across Humanoid Embodiments

Tan-Dzung Do, Tuan Dat Phuong, Nico Bohlinger, Cuc T. Trinh, Siwei Ju 외 4명

CrossBFM은 행동 기반 모델(BFM, Behavior Foundation Model)의 잠재 행동 공간을 여러 휴머노이드 구현체에 공유·전이 가능하도록 증류하는 방법이다. 기존 Forward-Backward 표현 방식은 단일 로봇 훈련에 수백 GPU-시간이 필요하고 로봇마다 별개의 공간을 생성해 이식성이 없었으나, CrossBFM은 로봇 특화 파라미터가 없는 통합 인코더로 이를 해결한다. 인코더 학습은 1 GPU-시간 미만, 이후 잠재-조건부(latent-conditioned) 추적기의 PPO 훈련에 추가 10 GPU-시간이 소요된다. 세 종류의 휴머노이드에서 동작 추적·자세 도달·보상 최적화(41개 프롬프트) 세 가지 프롬프팅 모드가 모두 전이되었으며, 동작 추적 오차는 관절-조건부 대비 0.025 rad에 그쳤다. 훈련에 포함되지 않은 로봇에 대한 평가에서 학습된 로봇 추적 성능의 최대 89%를 회복하였고, 실제 로봇에서도 세 가지 모드가 검증되었다.

2609.38078v12026.09.29

MotorMind: 제로샷 로봇 조작을 위한 범용 시각-언어 모델 스캐폴딩

MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation

Bingxuan Li, Siqi Song, Yizhuo Wu, Jiarui Yao, Tong Zhang 외 1명

MotorMind는 범용 시각-언어 모델(VLM)을 로봇 조작에 직접 연결하는 실행 프레임워크로, 작업별 정책 학습·코딩 에이전트·SAM3 등 외부 모델 없이 관찰→행동→피드백 루프를 비동기적으로 처리한다. LIBERO-PRO 시뮬레이션 벤치마크에서 기존 제로샷(zero-shot) 방법들이 최대 13.3% 성공률을 기록한 반면, MotorMind는 66.7%를 달성하고 외란(perturbation) 조건에서도 53.8%를 나타냈다. 실기 환경인 xArm6 로봇에서는 직접 조작 및 인간 외란 설정 전반에 걸쳐 평균 95% 성공률을 기록했다. VLM 백본을 교체할수록 성능이 개선되고 시각적 그라운딩·체화 추론 관련 실패 사례가 감소하는 경향이 확인됐다.

2609.38059v12026.09.29

WorldLine: 로봇 조작을 위한 행동 기반 시각 시뮬레이션

WorldLine: Action-Driven Visual Simulation for Robotic Manipulation

Shenghe Zheng, Wenbo Li, Jiyao Zhang, Bin Xia, Haoyang Huang 외 2명

WorldLine은 로봇 조작(manipulation)을 위한 행동 기반 시각 시뮬레이터(visual simulator)로, 전이 가능한 동역학 학습과 이기종 행동 기반화(action grounding)를 분리하는 구조를 채택한다. 행동 정보가 없는 로봇 영상 1만 시간 이상으로 조작 동역학을 학습하고, 10개 이상의 embodiment에서 수집한 2,000시간 이상의 행동 궤적으로 행동을 연결한다. 이미지 공간 행동 표현(image-space action representation)을 공통 제어 인터페이스로 사용해 제어 공간이 다른 로봇 간 호환성을 확보한다. 실패 궤적에서 로봇 마스크 IoU를 가장 강력한 기준선 대비 0.1626 향상시키며, RoboTwin과 AgiBot에서 궤적 성공 예측 정확도 74%를 기록했다. RoboTwin 학습 없이도 직접 정책 실행 대비 태스크 성공률을 최대 21.4 퍼센트포인트 향상시킨다.

2609.38057v12026.09.29

EVO-WAM: 비디오-행동 검증을 통한 월드 액션 모델 진화

EVO-WAM: Evolving World Action Models through Video-Action Verification

Shiyang Zhou, Xionghao Wu, Wenbo Li, Shenghe Zheng, Jiyao Zhang 외 9명

EVO-WAM은 추가적인 전문가 시연 데이터 없이 월드 액션 모델(WAM, World Action Model)을 새로운 과제에 적응시키는 프레임워크다. 외부 환경 실행 없이 모델이 자체 생성한 비디오-행동 궤적에서 학습하며, 상태 예측과 앵커드 다중 프레임 컨텍스트를 추가해 자기회귀 롤아웃을 수행한다. 시각-언어 모델(VLM)로 과제 완료 여부를 판단하고 역동역학 모델(inverse dynamics model)로 비디오-행동 일관성을 검증해 신뢰 가능한 훈련 데이터를 선별한다. RoboTwin 2.0의 7가지 미관찰 과제에서 Cosmos3의 평균 성공률이 26.9%에서 68.0%로, DreamZero는 28.5%에서 46.4%로 향상되었다. 실제 환경의 장기 복합 과제 3가지에서도 Cosmos3의 성공률이 20.0%에서 76.7%로 56.7%포인트 상승했다.

2609.38054v12026.09.29

Pow3R-SLAM: 3D 재구성 사전 정보를 활용한 실시간 RGB-D SLAM

Pow3R-SLAM: Real-Time RGB-D SLAM with 3D Reconstruction Priors

Christopher Kolios, Ishaan Mehta, Sasa Janjic, Yeganeh Bahoo, Sajad Saeedi

Pow3R-SLAM은 Pow3R를 기반으로 추적과 지도작성을 수행하는 실시간 RGB-D 동시 위치추정 및 지도작성(SLAM) 시스템이다. 단안 SLAM 연구인 MASt3R-SLAM에서 착안하였으며, 깊이(depth) 정보를 기하학적 융합 대상이 아닌 네트워크 예측의 사전 정보(prior)로 활용해 깊이 이미지의 희소성 문제를 완화한다. TUM, 7-Scenes, Replica 데이터셋 24개 시퀀스에서 MASt3R-SLAM 대비 벽시계 실행 속도 1.6배, 평균 궤적 오차 15% 감소, 비스케일 오차 3.1배 감소, Chamfer 거리 30% 감소로 나타났다. 하이브리드 변형은 초당 25.3 프레임(FPS)으로 MASt3R-SLAM보다 2.1배 빠르게 동작하면서도 추적·지도 정확도를 유지한다. ORB-SLAM3의 RGB-D 모드와 비교해서도 TUM, 7-Scenes, ETH3D-SLAM에서 더 높은 정확도를 보이며, 논문 수락 시 코드를 오픈소스로 공개할 예정이다.

ZMorph All-in-One 3D Printers / Unsplash

2609.38048v12026.09.29ICRA

검증 가능한 상태 추정을 위한 QCQP 표현 가능 IMU 사전 적분 인자

A QCQP-Representable IMU Pre-Integration Factor for Certifiable State Estimation

Utkarsh Rai, Zhexin Xu, Bang-Shien Chen, David Rosen

관성 측정 장치(IMU) 사전 적분(pre-integration)을 검증 가능 추정(certifiable estimation)에 직접 통합하는 QCQP(이차 제약 이차 계획법, Quadratically Constrained Quadratic Programming) 표현 가능 인자를 제안한다. 기존 IMU 사전 적분은 지수 사상(exponential map)에 의존해 정확한 다항식 표현이 불가능한 반면, 이 연구는 케일리 사상(Cayley map)을 이용해 대수적 구조 요건을 충족시킨다. 반정치 계획법(SDP, Semidefinite Programming) 완화가 느슨해지는 문제는 QCQP 보조 리프팅 변수에 대한 중복 제약 조건을 명시적으로 추가해 해결한다. 제안된 인자를 GNSS-IMU 스무딩에 적용하고 합성 및 실세계 데이터로 평가한 결과, 완화가 충분히 조밀(tight)하며 추정 문제가 검증된 전역 최적해로 수렴함을 확인한다.

2609.38046v12026.09.29

EgoAlign: 장거리 이동 조작을 위한 인간-휴머노이드 격차 해소

EgoAlign: Bridging the Human-Humanoid Gap for Long-Range Loco-Manipulation

Yiming Jiang, Chen Jin, Chongyang Xu, Yilun Chen, Aimin Hao 외 1명

EgoAlign은 자아중심(egocentric) 인간 시연을 휴머노이드 로봇의 훈련 감독 신호로 변환하는 데이터 구성 프레임워크이다. 실제 로봇 시연 수집 없이, 목표 로봇 모델과 시뮬레이터를 활용해 시연 수집 단계부터 실행 피드백을 제공하여 신체 크기 차이와 컨트롤러 응답 차이를 보정한다. 스케일 정렬과 컨트롤러-인-더-루프(controller-in-the-loop) 정제를 통해 상체 상호작용 기하학을 조정하고, 인과적 재현(causal replay)으로 해당 로봇 상태와 모션 토큰 레이블을 재구성한다. 적응된 인간 시연만으로 미세 조정된 시각-언어-행동 모델(VLA)을 물리 휴머노이드에 제로샷(zero-shot) 배포하여 장거리 물체 이동, 미지 목표 위치 탐색, 발 상호작용 과제를 수행하였다. 운동학적 정렬만 적용한 경우보다 정제 과정을 거쳤을 때 시뮬레이션 손 정렬과 실제 픽업 성공률이 향상되었고, 원격조작 대비 현장 수집 시간도 단축되었다.

2609.38028v12026.09.29

doPlan: 자율주행의 다단계 언어 조건부 계획을 위한 가변 지평 데이터셋

doPlan: A Variable-Horizon Dataset for Multi-Stage Language-Conditioned Planning in Autonomous Driving

Parthib Roy, Yash Tandon, Marcus Blennemann, Giovanni Tapia Lopez, Angel Martinez-Sanchez 외 2명

doPlan은 자율주행 차량과 승객 간 자연어 상호작용에서 다단계·장기적 승객 의도를 연구하기 위해 설계된 실세계 인간 주석(annotation) 데이터셋이다. nuPlan을 기반으로 구축되었으며, 5,154개의 인간 작성 승객 지시문과 50.9시간의 고유 주행 데이터(누적 169.1시간의 지시 정렬 문맥)를 포함한다. 주석 윈도우는 30.0초에서 508.8초 범위이며, 즉각적·지연된·이벤트 조건부·지속적·다단계 승객 의도를 망라한다. 언어 조건부 주행 모델 4종을 평가한 결과, 승객 언어 민감도가 요청 방향에 부합하는 실제 행동으로 안정적으로 이어지지 않는 것으로 나타났다. 미래 조작(maneuver)이 매칭된 2,161개 예시에서 첫 번째 조작은 평가 시점 기준 중앙값 24.6초 이후에 발생하며, 모델의 일반적인 5초 예측 지평(prediction horizon) 내에서 발생하는 비율은 9.8%에 불과하다.

2609.35761v12026.09.28

DexRoam: 자아중심 전신 인간 시연 기반 이동형 양손 정밀 조작 학습

DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations

Rui Zhou, Yibo Yuan, Junkai Zhao, Fangyuan Zhao, Xiaoguang Zhao 외 2명

DexRoam은 전신 동작의 연속성을 유지하면서 인간 시연을 로봇 정책 학습에 활용하는 이동형 양손 정밀 조작(mobile bimanual dexterous manipulation) 시스템이다. 외부 카메라나 모션 트래커 없이 소비자용 VR 헤드셋과 두부 장착 스테레오 카메라만으로 자아중심(egocentric) 전신 조작 시연을 수집하는 트래커 없는 캡처 시스템을 구성했다. 수집된 모션은 신체화(embodiment)·행동-의미론(action-semantic)·시간(temporal) 세 단계 정렬을 거쳐 로봇 행동 공간에 매핑되며, 인간·로봇 시연을 시각-언어-행동 모델(VLA) 정책으로 공동 학습한다. 실제 환경 실험에서 인간 시연을 추가했을 때 GR00T N1.7 기반 정책의 평균 성공률은 29%에서 56%로, pi0.5 기반 정책은 32%에서 57%로 향상됐다. 또한 로봇 시연 절반만 사용하는 조건에서도 로봇 시연만으로 훈련한 결과와 동등한 성능을 달성했다.

2609.35758v12026.09.28IROS

복합 적응 제어를 위한 수축 동역학 표현의 통계적 학습

Statistical Learning of Contractive Dynamical Representations for Composite Adaptive Control

Min Kim, José Leonardo Brenes, Fred Hadaegh, Soon-Jo Chung

본 논문은 동적으로 결합된 외란 하에서의 복합 적응 추적 제어(composite adaptive tracking control)를 위한 표현 학습 프레임워크를 제안한다. 고전적 외란 수용 제어(disturbance-accommodating control, DAC)와 최근의 최종층(last-layer) 적응 외란 억제 방법을 연결하며, 칼만 스무서(Kalman smoother)를 E-단계에 활용한 하드 기댓값-최대화(hard-EM) 절차로 잠재 진화가 균일 수축적(uniformly contractive)인 외란 표현을 식별한다. 학습된 잠재 상태에 베이즈 필터링을 결합하면 지수 수렴이 증명된 예측 능력을 갖춘 복합 적응 추적 제어기가 구성된다. 미끄러운 지면을 주행하는 차량(액체 슬로싱 탱크 및 진자 하중 탑재) 실기 실험과 결합 Duffing 진동계에서의 평가를 수행했으며, 고정 감쇠 표현 학습·선형시불변(LTI) 외란 수용·모델 기반 PD 기준선 대비 추적 성능이 향상되었다.

2609.35717v12026.09.28

RoboCompiler: 일관된 모델링·제어·시뮬레이션을 위한 폐쇄 연쇄 로봇의 그래프 네이티브 컴파일

RoboCompiler: Graph-Native Compilation of Closed-Chain Robots for Consistent Modeling, Control, and Simulation

Mehdi Heydari Shahna, Joongheon Kim, Jouni Mattila

RoboCompiler는 운동학적 루프(kinematic loop)·결합 액추에이터·접촉 변화를 가진 로봇을 위해 정규 기구 그래프(canonical mechanism graph)를 단일 공유 역학 인터페이스로 컴파일하는 프레임워크다. 폐쇄 경로와 해석적 잔차 야코비안(residual Jacobian)을 구성하고, 랭크 검사 기반 연속·보정을 통해 실현 가능한 형상(feasible configuration)을 조립한다. 접선 리프트(tangent lift)가 독립 속도를 전체 로봇·작업 운동으로 매핑하고, 액추에이터 포트 쌍이 가상 일(virtual work)의 일관성을 유지한다. Komatsu 굴착기, Unitree Go2, Franka Panda, Kangaroo, 6-UPS 스튜어트 플랫폼을 대상으로 검증했으며, MuJoCo 및 Isaac Sim/PhysX에서 실행하여 네이티브 접촉 하의 모델 재사용성을 확인했다. Kangaroo 플랫폼에서는 잔차·야코비안 연산 시간이 96.7%, 폐쇄 루프 롤아웃 벽시계 시간이 66.8% 단축됐다.

2609.35715v12026.09.28

X-Reset: 크로스-엠보디먼트 리셋을 통한 물체 중심 강화학습의 확장

X-Reset: Scaling Object-Centric Reinforcement Learning via Cross-Embodiment Resets

Prithwish Dan, Chenyang Ma, Wei Zhan

X-Reset은 시뮬레이션 기반 강화학습(RL)에서 다양한 물체 조작 시 발생하는 탐색(exploration) 문제를 해결하기 위해 사람의 손-물체 시연을 활용하는 프레임워크다. 인간 동작을 모방하거나 추적하는 대신, 손-물체 상태를 기구학적으로 로봇 상태로 변환(retarget)하고 시뮬레이션에서 불안정한 상태를 걸러낸 뒤 나머지를 RL 훈련의 초기화 분포(reset distribution)로 사용한다. 학습된 정책은 물체 상태와 목표만을 입력으로 받으며, 시연 데이터는 초기화 단계에서만 관여한다. 22자유도(DoF) 핸드 2종과 평행 그리퍼(parallel-jaw gripper)를 포함한 세 가지 로봇 형태(embodiment)에서 20개 물체에 대한 일반화 정책 훈련 결과를 보고하며, 미학습 물체 일반화 및 시뮬레이션-실환경(sim-to-real) 제로샷 전이도 확인하였다.

2609.35709v12026.09.28

이산형 VLA 모델을 이용한 휴머노이드 로코-매니퓰레이션

Humanoid Loco-Manipulation With Discrete VLA Model

Wenxin Shao, Siqi Chai, Kun Li, Kerou Zhang, Xinzhou Jiang 외 2명

Holo-M은 휴머노이드 로봇의 다리·몸통·팔·손을 통합 제어하는 이산형 시각-언어-행동 모델(VLA)이다. 엔드이펙터, 몸통, 손, 기구학 등 네 가지 신체 부위별 토크나이저로 구성된 통합 행동 토크나이저를 고안하여, 휴머노이드 원격조작·1인칭 인간 영상·시뮬레이션 등 이질적인 데이터 소스에 걸쳐 훈련이 가능하다. 언어 모델의 어휘를 행동 토큰으로 확장함으로써, 별도의 연속 행동 전문가 모델을 사용할 때 발생하는 지식 격리 문제를 회피한다. 실시간 제어 요건을 충족하기 위해 자기회귀 방식 대신 그룹형 이산 확산(grouped discrete diffusion) 디코딩을 채택한다. SIMPLE 휴머노이드 로코-매니퓰레이션 벤치마크의 제너럴리스트·스페셜리스트 평가 모두에서 최고 성공률을 기록하였다고 저자들은 밝히고 있다.

2609.35700v12026.09.28

LQR-ArUco Fusion: 이륜 로봇의 주행 및 비대칭 조작을 위한 강인한 계층적 제어

LQR-ArUco Fusion: Robust Hierarchical Control for Navigation and Asymmetric Manipulation in Two-Wheeled Robots

Anupam Chatterjee, Arpita Kumari

이륜 역진자(TWIP, Two-Wheeled Inverted Pendulum) 로봇에 측면 장착 로봇팔을 추가할 때 발생하는 비대칭 롤 모멘트와 오도메트리 드리프트 문제를 해결하기 위한 계층적 제어 프레임워크를 제안한다. 상위 계층은 오프보드 비전 시스템이 천장에 부착된 ArUco 마커를 추적해 고지연 전역 경유점 항법을 제공함으로써 오도메트리 오차를 우회한다. 하위 계층은 관성·엔코더 데이터를 이용한 저지연 온보드 LQR(선형 이차 조절기) 루프가 실시간으로 물리적 외란을 억제한다. 실물 실험에서 이 이중 루프 구조를 탑재한 커스텀 제작 로봇은 과속 방지턱 충격 흡수, 동적 시소 경사로 적응, 좁은 휠베이스 유지 상태의 페이로드 운반을 수행하였다.

2609.35690v12026.09.28

Agent Priors 기반 정책 학습

Agent Priors-guided Policy Learning

Puming Jiang, Tianrun Hu, Haozhe Du, Yibo Li, Zhiwei Xue 외 2명

적은 수의 시연으로 학습하는 로봇에게는 기술을 재조합해 새로운 과제를 푸는 구성적 일반화(compositional generalization)와 학습된 정책이 새로운 상황에서도 작동하는 기술 일반화(skill generalization)가 모두 필요하다. 그러나 구성 단계에서 각 기술은 이름·지시문 등 간략한 설명으로만 참조되어 정책의 구조 정보가 유실된다. 이 연구는 각 정책의 구조적 사전지식(structural prior)—예컨대 파지 행동이 그리퍼와 물체의 상대 자세에만 의존한다는 가정—을 구성과 기술 사이의 인터페이스로 활용하는 APPL(Agent Priors-guided Policy Learning)을 제안한다. APPL의 구성 에이전트는 시연을 재사용 가능한 기술로 분할하고 각 기술에 대해 여러 구조적 사전지식을 제안·학습·검증하며, 실행 에이전트는 이 인터페이스를 토대로 정책을 선택·조합해 새로운 과제를 수행한다. MetaWorld와 장기 과제(long-horizon) ManiSkill 벤치마크에서 APPL은 분포 외(out-of-distribution) 기술 일반화를 개선하고 이전에 본 적 없는 기술 조합을 가능하게 했으며, 인터페이스 정보를 제거한 절제 실험(ablation)에서는 성능이 크게 저하되었다.

2609.35652v12026.09.28

MM-ABC: 보기·조율·상상을 통한 범용 모바일 매니퓰레이션

MM-ABC: Towards Generalist Mobile Manipulation via Seeing, Coordinating and Imagining

Qiwei Liang, Guangyu Chen, Shaolong Zhu, Zikuan Xiao, Jinxuan Lu 외 4명

모바일 매니퓰레이션(mobile manipulation)은 로봇 베이스가 이동하면서 조작 범위를 확장하지만, 자기 운동 중 공간 인식과 팔·베이스의 이질적 동작 조율이라는 두 가지 과제를 안고 있다. MM-ABC는 희소 다단계 시각-언어 모델(VLM) 특징을 이용한 공간 인식, 학습 단계에서만 사용하는 미래 예측 브랜치(월드 이매지네이션 및 기하학적 의도 감독), 그리고 매니퓰레이션·이동 스트림을 마스크 조인트 어텐션으로 조율하는 MM-APT 모듈을 결합한 파운데이션 모델이다. 5,000시간 이상의 이종 로봇 데이터(400K+ 에피소드, 12개 데이터셋, 17종 로봇)로 사전 학습되었다. EBench에서 44.71%, RoboCasa365에서 61.2%, LIBERO에서 99.1%, LIBERO-Plus에서 섭동(perturbation) 학습 없이 82.8%, 실세계 5개 과제에서 평균 83%의 성공률을 기록했다고 저자들은 보고한다.