PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 1건

2609.31357v12026.09.25

건설 메시 환경에서의 트랜스포머 기반 Monte Carlo Localization

Transformer-based Monte Carlo Localization in Construction Meshes

Linus Kramer, William Talbot, Olga Vysotska, Marco Hutter

건설 현장 이동 로봇의 전역 재위치 추정(global relocalization)을 위해 건물 메시(mesh) 기준 LiDAR 포즈 추정 시스템을 제안한다. PointNet++ 인코더와 장소 인식(place recognition) 디코더를 결합하고, 그 출력을 몬테카를로 위치추정(Monte Carlo Localization, MCL) 프레임워크의 학습된 관측 모델로 활용한다. 파이프라인은 건물 메시 내 센서 시뮬레이션으로 생성한 합성 LiDAR 스캔만으로 학습되며, 실제 센서 데이터는 학습에 사용되지 않는다. 불확실성 인식 디코더와 모델 가설 주입 방식의 재샘플링 전략을 통해 유사한 실내 구조·저텍스처 표면 환경에서의 파티클 고갈(particle depletion) 문제에 대응한다. 실세계 데이터셋 평가에서 확산 기반(diffusion-based) 및 ScanContext++ 베이스라인을 상회하며, 호출당 추론 시간 18 ms를 기록했다.

2609.31337v12026.09.25

로봇 조작을 위한 표현 유도 기반 실행 프로그램 생성·통합

Representation-Guided Generation and Integration of Executable Programs for Robot Manipulation

Ruixiao Yang, Mingxin Yu, Chuchu Fan

RIVET는 시각-언어 모델(VLM) 코드 생성을 활용해 로봇 조작 시스템 전체를 자동으로 구성하는 프레임워크다. 객체별 6D 자세(pose)와 관계 그래프(relation graph)를 결합한 객체 중심 공유 표현을 기반으로, VLM이 인식·렌더링·관계 추론·계획 프로그램을 협조적으로 생성한다. 생성된 프로그램은 특정 조작 도메인에 대해 한 번만 작성되며, 새로운 시작·목표 구성에도 코드 재생성 없이 재사용된다. 시뮬레이션과 실제 로봇 환경에서 큐브 쌓기, 탱그램 재배치, 3차원 조립 세 가지 과제로 평가하였으며, 오프라인에서 생성된 시스템을 재사용한 실세계 실험에서 전체 성공률 83%를 기록했다.

2609.30264v12026.09.24

AD-WM: 반사실적 모델 예측 제어를 위한 행동 변별 월드 모델

AD-WM: Action-Discriminative World Models for Counterfactual Model Predictive Control

Jiabin Qiu, Zixuan Chen, Hongye Cao, Jieqi Shi, Jing Huo 외 1명

잠재 월드 모델(latent world model)은 사실적 전이 예측에 최적화될 경우 동일 상태에서 후보 행동을 변별하는 능력이 저하될 수 있다. AD-WM은 잔차 잠재 동역학과 역동역학(inverse dynamics) 기반 행동 복원 정규화를 결합한 행동 변별 조인트-임베딩 월드 모델로, 조건부 상호정보량(conditional mutual information)에서 동기를 얻은 정규화 목적함수를 사용한다. OGBench-Cube 벤치마크에서 하드-스타트 성공률이 LeWM 기준선 3.7%에서 52.0%로 향상되었으며, 5개 시뮬레이션 환경 중 4개에서 평균 성공률도 개선되었다. 동결된 V-JEPA 2 인코더와 DROID 사후 훈련(post-training)을 적용한 제로샷 전이 실험에서는 Franka 로봇 설정의 기본 픽앤플레이스 성공률이 42.2%에서 71.1%로 증가했다. 계획 진단 결과, 사실적 예측 오차와 전체 행동 순위는 폐루프(closed-loop) 성공 순서와 일치하지 않으며, CEM 정렬 엘리트 후회(CEM-aligned elite regret) 지표가 성공률과 더 밀접하게 연관된다.

2609.30249v12026.09.24

RAPID: 시연으로부터의 로봇 에이전틱 프로그래밍

RAPID: Robot Agentic Programming from Demonstrations

Yuyao Liu, Jiayuan Mao, David Hsu, Leslie Pack Kaelbling, Tomás Lozano-Pérez

RAPID는 단일 시각적 인간 시연 하나를 입력받아 로봇 프로그램을 자동으로 생성·검증·개선하는 시스템이다. 반복적 에이전틱 루프는 테스트 가능한 과제 명세, 행동 기본요소(action primitives), 프로그램 실행·검증 환경이라는 세 요소를 필요로 하며, RAPID는 이 모두를 시연으로부터 자동 추론한다. 시연 환경 밖에서의 재사용성을 위해 객체 중심 관계형 프로그램 표현(object-centric relational program representation)을 채택하여, 행동 기본요소를 궤적 최적화(trajectory optimization) 프로그램으로 기술하고 실행 시점의 장면 기하를 포착하는 관계적 제약으로 조합한다. 시뮬레이션에서 비파지 조작(nonprehensile manipulation) 8개 과제와 LIBERO-Pro 벤치마크를 평가했으며, 실제 Franka 로봇팔에도 배치하여 8개 비파지 과제를 모두 평가하였다. 실험 전반에서 물체의 자세·형상·재질·환경 변화에 대한 일반화 성능을 보였다.

2609.30247v12026.09.24

Rolling-WAM: 롤링 상상을 활용한 월드 액션 모델

Rolling-WAM: World Action Models with Rolling Imagination

Yinghua Zhou, Junjie Ye, Yiqi Zhao, Hao Dong, Celina Shiyu Wang 외 6명

WAM(World Action Models)은 로봇 조작에서 행동 생성과 미래 시각 예측을 결합하는 방식이다. 기존 WAM은 매 재계획 주기마다 비디오-행동 공동 디노이징(denoising)을 처음부터 수행해야 해 지연이 발생하고 폐루프(closed-loop) 응답성이 저하된다. Rolling-WAM은 슬라이딩 윈도우(sliding window) 방식으로 비디오-행동 청크를 서로 다른 노이즈 수준으로 유지하며, 각 단계에서 임박한 행동 청크는 완전히 디노이징하고 원거리 미래 청크는 부분적으로만 정제한다. 이를 통해 연산 비용을 시간에 분산시키면서 청크 경계를 넘어 시각-행동 맥락을 유지한다. LIBERO, RoboTwin, 그리고 실제 Unitree G1 휴머노이드 실험에서 표준 WAM 대비 4.5배의 정상 상태 재계획 속도 향상을 달성했다고 연구팀은 보고한다.

2609.30233v12026.09.24

일반화된 작업·동작 계획 문제를 위한 코딩 에이전트

Coding Agents for Generalized Task and Motion Planning Problems

Matteo Merler, Bowen Li, Josh Roy, Yichao Liang, Qianwei Wang 외 2명

작업·동작 계획(TAMP, Task and Motion Planning) 문제는 이산적 결정과 기하학·운동학·역학 제약이 긴밀히 결합되어 있어, 완전 관측 환경에서도 풀기 어렵다. 연구팀은 코딩 에이전트가 문제 인스턴스 전반에 일반화되는 프로그램을 자동 합성할 수 있는지 조사했다. Claude Code(Opus 5)와 Codex(GPT-5.6 Sol, GPT-6 Astra)를 KinDER 및 PDDLStream 벤치마크의 28개 시뮬레이션 환경에서 평가했으며, 총 980개 생성 프로그램을 각 100개 미공개 인스턴스에 적용해 98,000회 에피소드를 수행했다. 세 에이전트 구성 모두 수작업 설계 플래너(평균 성공률 47%)를 상회하는 56%~95%의 성공률을 기록했다. 물체 수가 증가해도 에이전트 프로그램은 플래너보다 높은 성공률을 유지하면서 인스턴스당 평균 계산량을 약 10배 줄이는 것으로 나타났다.

2609.30222v12026.09.24

TrackEverything: 3D 장면 표현의 중복 제거를 통한 장기 밀집 포인트 추적

TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations

Ayush Jain, Sreeharsha Paruchuri, Ishita Gupta, Fan Zhang, Tanner Schmidt 외 3명

TrackEverything은 영상을 세계 좌표계의 3D 장면 트랙으로 표현해 희소(sparse) 장기 추적과 밀집(dense) 단기 추적 사이의 트레이드오프를 극복하는 포인트 추적기(point tracker)다. 슬라이딩 윈도우 경계에서 복셀화(voxelization) 기반 중복 제거 메커니즘으로 동일 표면의 반복 관측을 병합하고, 끝점 정제기와 경량 궤적 정제기로 추적을 분해해 동적 포인트에 대해서만 밀집 궤적을 디코딩한다. 4D 상관 볼륨을 대체하는 3D WAFT를 도입해 장면 포인트 클라우드에서 특징을 직접 샘플링함으로써 메모리 사용량을 낮춘다. TAPVid-3D 벤치마크에서 오픈소스 전 프레임 밀집 3D 추적기 대비 APD 기준 20% 이상 높은 성능을 저자들이 보고하며, 1000 프레임을 초과하는 영상에서 모든 가시 포인트를 40 GB GPU 메모리 내에 추적할 수 있다고 주장한다.

2609.30214v12026.09.24

Underwater C3-JEPA: ROV 인양 작업을 위한 객체 중심 다시점 월드 모델

Underwater C3-JEPA: An Object-Centric Cross-View World Model for ROV Salvage

Yuncong Yang, Jinlong Li, Yulong Xue, Feng Wu, Chunwen Zhang 외 2명

Underwater C³-JEPA는 수중 ROV(원격조작 로봇)의 중량물 인양 작업을 위한 객체 중심 다시점 예측 월드 모델(world model)이다. 접촉 센서 없이 동기화된 다시점 RGB 영상과 로봇 제어 신호만으로 잠재 공간(latent space)에서 작업 대상 물체의 상태 변화를 예측한다. 다중 카메라 관측을 작업 객체 토큰과 맥락 토큰으로 인코딩하고, 헬드아웃-뷰 어텐션(held-out-view attention)으로 카메라 간 정보를 융합한 뒤 제어 신호에 조건부로 미래 상태를 직접 예측한다. SIGReg를 통해 기하학적 표현을 강화하며, 재구성 없는 잠재 베이스라인보다 다운스트림 프로브에 더 많은 과제 관련 정보를 전달하는 것으로 실험에서 나타났다. 실제 수중 영상 검증에서도 동일 아키텍처가 가려진 카메라의 객체 상태를 복원하는 성능을 보였다.

2609.30213v12026.09.24

ReVAMP: 재매개변수화를 통한 기구학적 제약 시스템의 벡터 가속 모션 플래닝

ReVAMP: Vector-Accelerated Motion Planning for Kinematically-Constrained Systems via Reparameterization

Shrutheesh R. Iyer, Thomas Cohn, Zachary Kingston

로봇 모션 플래닝(motion planning)에서 말단 효과기(end-effector) 제약이 존재하면 유효한 배위 공간(configuration space)이 측도 0 부분집합으로 줄어들어, 샘플링 기반 알고리즘은 실행 가능한 샘플을 뽑기 위한 별도 수정이 필요하다. 이 논문은 해석적 역기구학(IK, Inverse Kinematics) 재매개변수화로 계획 공간을 변환하는 새로운 벡터화 축을 제안하며, 기존 투영 기반(projection-based) 벡터화 플래너의 비효율을 해소하고 병렬화 기회를 확장한다. ReVAMP는 최대 20차원 고차원 시스템에서 마이크로초~밀리초 수준의 계획 시간을 달성한다고 저자들이 보고한다. 저자들은 기존 최신 기법 대비 최대 10배 빠른 속도를 주장하며, 이러한 계획 속도가 순차적 조작(manipulation) 파이프라인 재구성에도 활용될 수 있음을 제시한다.

2609.30187v12026.09.24

Ego-Exo4D Human Meshes Dataset: 자아중심·외부시점 영상의 4D 인체 동작 복원

Ego-Exo4D Human Meshes Dataset: 4D Human Motion Reconstruction for Ego-Exo Captures

Abhiram Maddukuri, Georgios Pavlakos

Ego-Exo4D는 자아중심(egocentric) 및 다시점 외부시점(exocentric) 영상을 동기화하여 제공하는 대규모 데이터셋으로, 기술 학습·평가, 절차적 활동 이해, 구현 AI(embodied AI) 연구에 사용된다. 그러나 기존 Ego-Exo4D에는 희소한 3D 인체 자세 주석만 포함되어 있어, 다시점 영상으로부터 밀도 높은 인체 동작을 복원하기 어렵다는 한계가 있었다. 이에 연구팀은 Ego-Exo4D 영상 전반에 걸친 4D 인체 동작 복원 결과물을 담은 대규모 데이터셋 Ego-Exo4D-HM을 구축하고, 복원 파이프라인 코드와 문서도 함께 공개한다.

2609.30140v12026.09.24

접촉을 결정 변수로: 다리형 로코-매니퓰레이션을 위한 Capability-Tradeoff Contact Selection

Contact as a Decision Variable: Capability-Tradeoff Contact Selection for Legged Loco-Manipulation

Al Jaber Mahmud, Shuai Li, Xuan Wang

이 논문은 다리형 로봇의 로코-매니퓰레이션(loco-manipulation) 과제를 수행할 때 환경 지지 접촉(support contact)과 전신 구성(whole-body configuration)을 함께 최적으로 선택하는 문제를 다룬다. 연구팀은 잔류 렌치(residual wrench), 엔드 이펙터 도달 범위(end-effector reach), 베이스 이동성(base mobility)의 세 가지 능력 지표와 접촉 획득 비용을 균형 있게 고려하는 형태로 문제를 정식화한다. 제안 기법인 Capability-Tradeoff Contact Selection(CTCS)은 후보 접촉을 타당성 기준으로 선별·군집화한 뒤 국소 민감도 분석(local sensitivity analysis)으로 능력값을 예측하고 선별적 정밀 평가를 거쳐 최종 접촉을 고른다. Unitree Go2 사족보행 로봇에 AgileX NERO 팔을 장착한 시스템으로 9개 지지 표면, 392가지 과제 조건에서 시뮬레이션 및 하드웨어 실험을 수행하였다. CTCS는 모든 후보를 정밀 평가하는 기준 방식 대비 약 3배의 연산 속도 향상을 달성하면서 평균 목적 함수값은 유사하게 유지하였다.

2609.30134v12026.09.24

학습 없는 행동 복제

Training-free Behavior Cloning

Maximilian Adang, Timothy Chen, Lars Osterberg, Aiden Swann, Mac Schwager

신경망 기반 행동 복제(Behavior Cloning)는 시연 데이터를 대형 모델에 압축하기 때문에 정책 갱신 비용이 크고 개별 행동 추적이 어렵다는 한계가 있다. 연구팀은 엔드투엔드 정책 학습 없이 동작하는 행동 예측 제어(Behavior Predictive Control, BPC)를 제안한다. BPC는 행동 인식 검색 지표, Hankel 기반 행동 연속 사전(prior), 폐쇄형 1단계 잔차 보정을 결합하여 저장된 관측-행동 데이터에서 미래 행동을 예측한다. 시뮬레이션 벤치마크와 실제 로봇 배포 실험에서 π_0.5 등 학습 기반 정책과 경쟁력 있는 성능을 보였으며, 소비자용 GPU에서 정책 적합 시간을 수 시간에서 수 초로 단축하고 Jetson Orin Nano에서 75 Hz 이상의 폐쇄 루프 제어를 지원한다. 시연 데이터를 정책 내에 그대로 유지하므로 예측 결과를 지원 궤적으로 추적할 수 있고 시연 뱅크를 통한 행동 수정도 가능하다.

2609.30127v12026.09.24

Riemannian MeanFlow: 액션 매니폴드에서의 빠른 시각운동 정책 학습

Faster Visuomotor Policy Learning on Action Manifolds via Riemannian MeanFlow

S. Talha Bukhari, Austin Garrett, Yi Wei, Ruiqi Ni, Zachary Kingston 외 1명

확산(diffusion) 및 플로우 매칭(flow matching) 기반 시각운동 정책(visuomotor policy)은 행동 시퀀스의 다중 모드 분포를 표현할 수 있으나, 행동 생성 시 벡터 필드의 다단계 수치 적분이 필요해 실시간 제어에 병목이 된다. 로봇 행동 시퀀스는 매끄럽고 미분 가능한 다양체(manifold) 위에 정의되므로, 학습된 정책이 행동 공간의 내재적 기하 구조를 반영해야 한다는 과제도 있다. 이 논문은 리만 조건부 플로우 매칭(Riemannian Conditional Flow Matching) 앵커에 기반한 플로우 맵 일관성 목적함수를 통해 RMFP를 제안한다. RMFP는 단 한 번의 신경망 함수 평가(NFE)만으로 다양체 위에서 행동 시퀀스를 생성할 수 있다. 구형 LASA, Push-T, Robomimic의 Tool Hang·Transport 과제, Franka Kitchen 과제 및 실제 로봇 조작 실험에서 기존 방법과 경쟁적인 성능을 낮은 샘플링 비용으로 달성하였다.

2609.30092v12026.09.24

강건한 로봇 배포를 위한 Self-Adaptive VLA

Self-Adaptive VLA for Robust Robot Deployment

Hongxin Zhang, Chunru Lin, Tsun-Hsuan Wang, Zhenjia Xu, Chuang Gan

시각-언어-행동 모델(VLA)은 메모리가 없는 특성상 마모나 캘리브레이션 오차 같은 하드웨어 변화에 취약하며, 현장 재캘리브레이션 없이 적응하는 것이 실용화의 병목으로 지적된다. 이 연구는 Self-Adaptive VLA를 제안하며, 의도적으로 주입된 하드웨어 변화 하에서 수집한 롤아웃을 컨텍스트로 삼아 배포 시점에 정책이 반복적으로 자기 적응하는 사후 학습(post-training) 기법이다. 경량 플러그인 컨텍스트 인코더가 시각 관찰·고유감각(proprioception)·행동을 잠재 컨텍스트 토큰으로 압축하고, 이 토큰이 적응형 레이어 정규화(AdaLN)를 통해 정책을 조절한다. 컨텍스트 토큰을 앙상블하면 정책이 실패를 단계별로 자기 수정할 수 있다. 4개의 정밀도 민감 양팔·정교 조작 과제 실험에서 구동 바이어스 및 조인트 엔코더 오프셋 조건 하에 기본 정책 성능의 80% 이상을 회복하는 것으로 나타났다.

2609.30082v12026.09.24

전체 손 정교한 파악을 위한 실시간 힘 조절

Real-Time Force Regulation for Whole-Hand Dexterous Grasping

Sang Min Kim, Alexander Alexiev, Tzu-Yuan Lin, Sangbae Kim, Young Min Kim 외 1명

이 논문은 전체 손(whole-hand)에 걸쳐 동적으로 변화하는 접촉에 대한 실시간 힘 조절(force regulation) 프레임워크를 제시한다. 추적된 물체 모델과 자기수용감각(proprioception)을 이용해 촉각 센서 없이 모든 손 링크의 접촉을 기하학적으로 추정하고, 마찰·구동기·구동 일관성 제약을 반영한 접촉력 분포를 반복적으로 재계산한다. 이 힘 조절 제어기는 반응형 도달 동작과 통합되어 파악 획득, 외란 하 유지, 물체 손실 후 재파악을 지원한다. 무중력 시뮬레이션 실험에서 고정 힘 배분 및 손끝 전용 실행 방식 대비 파악 유지 성능이 향상되는 것으로 나타났다. 27자유도 팔-손 시스템에서의 실제 실험에서는 사람이 가하는 외란 아래 접촉이 전체 손에 걸쳐 변화하는 상황에서도 파악 유지와 복구가 확인되었다.

2609.30056v12026.09.24

M3GD: 카메라-LiDAR 새로운 시점 합성을 위한 다중 모달·다중 뷰 기하 확산

M3GD: Multi-Modal Multi-View Geometric Diffusion for Camera--LiDAR Novel View Synthesis

Yang Zhou, Jiuhong Xiao, Shizhao Ye, Long Quang, Carlos Nieto-Granda 외 1명

M3GD는 로봇 플랫폼의 새로운 시점 합성(Novel View Synthesis, NVS)을 위해 카메라와 LiDAR를 결합한 다중 모달 표현 방식이다. 별도의 교차 모달 변환기 사전 학습 없이, 독립적으로 사전 학습된 2D 이미지 기반 모델과 3D 포인트 클라우드(point-cloud) 기반 모델을 조합한다. 카메라 투영 이후 동결된 LiDAR 특징과 이미지 특징이 공간 구조를 공유한다는 점을 활용해, 경량 잔차 어댑터를 통해 다중 뷰 플로우 매칭(flow-matching) 생성기에 LiDAR 정보를 주입하며, 생성기의 잠재 공간·디코더·학습 목표는 그대로 유지한다. GrandTour 데이터셋 실험에서 동일 백본의 이미지 단독 버전 대비 목표 시점 RGB 및 깊이 합성 성능이 향상되었다. 지상 로봇에 배포해 실제 환경에서 동작을 확인했으며, 오일러 적분 스텝 수로 품질과 연산 비용을 조절할 수 있다.

2609.30036v12026.09.24

가까이 조준해 멀리 도달하라: 고정된 월드 모델은 생각보다 계획을 잘 한다

Aim Short to Reach Far: Your Frozen World Model Can Plan Better Than You Think

Xvyuan Liu, Jianjie Fang, Chen Gao, Yong Li

시각적 월드 모델(visual world model) 기반 플래너는 예측 결과를 목표 이미지와의 거리로 평가하는데, 이 방식이 제어 성능을 제한할 수 있음을 보인다. 목표 도달 경로가 초반에 목표와 멀어지는 행동을 요구하는 경우, 최종 목표 이미지를 직접 점수 기준으로 삼으면 최적 단기 탐색을 수행하더라도 실패할 수 있다. 이를 해결하기 위해 Anchored Planning을 제안한다. 이 방법은 현재 관측과 목표 관측에 유사한 시작·끝을 가진 기록 구간을 검색하고, 그 시작 직후 관측을 중간 목표로 삼아 행동을 평가한다. 추가 학습 없이 고정된 LeWM 모델에 적용한 결과, Cube·PushT·Reacher·TwoRoom 모든 태스크의 장거리 평가에서 기존 LeWM 플래너를 상회하는 성능을 기록했다. 중간 목표의 위치(얼마나 앞을 바라볼지)와 실행 진행에 따른 검색 범위 축소가 성능에 중요한 요소로 나타났다.

2609.28467v12026.09.23

어디에 합류할까? 언어 기반 목표 예측을 통한 로봇 집단 합류

Where Should I Join? Robot Group Joining via Language-Guided Goal Prediction

Zilin Fang, Zishuo Wang, Gim Hee Lee, David Hsu

소셜 내비게이션(social navigation)은 목적지가 주어진 상태에서 사회적 규범을 지키며 이동하는 데 초점을 맞추지만, 이 연구는 자연어 설명만으로 로봇이 사람 집단에 합류할 위치를 예측하는 문제를 다룬다. 연구팀은 재귀적 스펙트럼 분할(recursive spectral partitioning)로 후보 집단 부분집합을 생성하고, 언어 조건부 이미지-기하 모델로 대상 집단을 식별하는 방식을 제안한다. 식별된 집단에 대해 인간 대형(formation) 사전 지식을 활용한 목표 예측기가 로봇 합류 자세 후보를 다모달 에너지-방향 맵(energy-orientation map) 형태로 출력한다. 대화·줄서기·청중 등 다양한 집단 유형과 규모에 걸친 실험에서 서브초(sub-second) 추론 속도로 모든 베이스라인을 능가하는 합류 자세 예측 성능을 보였다. 실제 로봇을 이용한 실험에서도 정적·동적 상호작용 환경에서 집단 합류가 가능함을 확인했다.

2609.28431v12026.09.23

LiMA: 비동기 확산을 통한 장기 상상과 실시간 정밀 조작의 연결

LiMA: Bridging Long-term Imagination to Real-time Dexterous Manipulation via Asynchronous Diffusion

Ning Chen, Yankai Fu, Junkai Zhao, Qianpu Sun, Guocai Yao 외 3명

LiMA는 시각-언어-행동 모델(VLA)의 고수준 추론과 세계-행동 모델(WAM)의 반응 제어를 결합하기 위해 설계된 비동기 이중 시스템 생성 프레임워크다. 느린 시스템이 희소한 장기 시공간 의도 생성을 맡고, 빠른 시스템이 고주파 모션 정제를 수행하는 다중 스케일 계층 구조로 구성된다. 희소한 의도 예측과 밀도 높은 행동 궤적 사이의 정렬을 위해 잠재 슈뢰딩거 브릿지 결합(Latent Schrödinger Bridge Coupling) 메커니즘을 도입해 정제 과정을 엔트로피 정규화 확률 수송 문제로 정식화한다. Cosmos-Policy 대비 추론 지연(inference latency)을 45.8% 줄였으며, 여섯 가지 양팔 정밀 조작 과제에서 전체 성공률 70.8%, 평균 서브태스크 성공률 78.9%를 기록했다.

2609.28429v12026.09.23CoRL

Watch, Recall, Act: 동시 구현 스트림 속 상시 가동 로봇

Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams

Ding Yi, Peiwen Sun, Chenchu Rong, Jianan Wang, Xili Dai 외 2명

ARMS(Always-on Robot in Multi-modal Streams)는 지시가 수시로 도착하고 장면이 계속 변하는 개방형 환경에서 동작하는 로봇을 위한 스트리밍 정책(streaming policy)이다. 사전 학습된 π0.5 백본에 세 가지 경량 모듈을 추가해 실시간 인식, 구현 상태(embodied states), 로봇 자신의 과거 행동을 백본이 참조할 맥락 정보로 변환한다. 세 모듈은 비동기적으로 맥락을 갱신하므로 인식·회상 과정이 행동을 지연시키지 않으며, 두 팔이 동시에 독립적으로 작동한다. 실제 양팔 원격조작 데이터에서 구성한 ARMS Dataset으로 학습한 결과, 복합 과제 성공률 45%를 기록해 비교 기준 모델 중 최고치인 28%를 상회했다. 절제 실험(ablation)으로 메모리 모듈, 구현 상태 헤드, 비동기 병렬성 각각이 성능에 필수적임을 확인했다.