PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 5건

2610.35659v12026.10.26CoRL

보상 학습을 위한 수정 신호로서의 환경 편집

Environment Edits as a Corrective Signal for Reward Learning

Isaac Ngui, Courtney McBeth, Nancy M. Amato

로봇 수정(robot correction)은 사람이 로봇 행동을 조정하는 수단이지만, 한 번의 수정이 여러 특징을 동시에 바꾸어 선호를 명확히 파악하기 어렵다. 또한 물체의 속성이나 물체 간 관계에 대한 선호는 로봇 이동만으로는 표현할 수 없다. 연구팀은 로봇을 정지시킨 채 사람이 씬(scene)을 직접 수정하는 환경 편집(environment edit)을 보완적 피드백 형태로 제안한다. 이를 바탕으로 로봇 수정과 환경 수정 양쪽에서 선호를 학습하는 FERRET(Feature Learning from Environmental and Robot-Relational Edit Traces)을 설계하였다. 실험 결과, 환경 편집은 특징 모호성을 해소하고 로봇 수정만으로는 학습할 수 없는 선호도 학습할 수 있음을 보였다.

2610.35642v12026.10.26

VPR-Space: 우주 유사 환경에서의 시각적 장소 인식 벤치마크

VPR-Space: A Benchmark for Visual Place Recognition in Space Analog Domains

Richard Fechner, Peer Neubert

VPR-Space는 달·화성과 지형적으로 유사한 지상 환경인 우주 유사 도메인(Space Analog Domains, SAD)에서 시각적 장소 인식(Visual Place Recognition, VPR)을 평가하기 위한 벤치마크다. 연구팀은 환경 다양성, 시점 변화, 조명 조건을 포함하는 SAD 기반 16개 데이터베이스-쿼리 데이터셋을 수집했다. 기존 벤치마크가 카메라 위치·방향의 고정 임계값으로 정답을 정의하던 방식 대신, 상대 자세 추정기(Relative Pose Estimator, RPE) 앙상블의 성능을 기준으로 SLAM 루프 클로저 감지에 실제 유용한 이미지 쌍을 정답으로 정의하는 새로운 방법을 제안한다. 최신 VPR 기법 9종을 이 벤치마크로 평가한 결과, 달·화성형 희소 특징 환경에서는 개선 여지가 상당한 것으로 나타났다.

2610.35636v12026.10.26CoRL

예측만이 아닌 계획을 위한 적응: 낙관적 테스트 시간 월드 모델 적응

Adapt for Planning, Not just Prediction: Optimistic Test-Time World Model Adaptation

Akshay Mete, Dileep Kalathil, P. R. Kumar

잠재 월드 모델(latent world model)은 오프라인 사전학습 후 테스트 시간에 고정되어, 분포 이동(distribution shift) 환경에서 계획 성능이 저하된다. 기존 테스트 시간 적응(TTA) 방식은 예측 손실만 최소화하므로, 목표 도달에 필요한 행동에 대한 모델 오류가 교정되지 않는 한계가 있다. 이 논문은 적응 제어의 보상 편향 최대 우도 추정에서 영감을 얻어 OpTTA를 제안한다. OpTTA는 관측된 전이(transition)에 대한 예측 손실과 계획기의 목표 도달 비용을 함께 최소화하며, 추가 환경 상호작용 없이 목표 도달에 유리한 방향으로 모델을 적응시킨다. 조작·도달·탐색 과제에서 동결 모델 대비 평균 13.5 퍼센트포인트의 계획 성공률 향상을 달성했으며, 예측 전용 기준선 AdaJEPA의 6.9 퍼센트포인트를 상회한다.

2610.35630v12026.10.26IROS

직접 제어 재고: 조감도 기반 실물 자율주행차 텔레오퍼레이션에서 센서 융합 효과의 현장 평가

Revisiting Direct Control: A Field Evaluation of Sensor Fusion Efficacy in Teleoperating Full-Scale Autonomous Vehicles via Bird's Eye View

Stanisław Kuczma, Sławomir K. Tadeja, Michał R. Nowicki

자율주행 차량의 시스템 오류 시 인간이 원격으로 개입하는 텔레오퍼레이션(teleoperation) 상황에서, 공간 데이터 표현 방식이 조작 성능에 미치는 영향을 실제 차량 크기의 자동차로 현장 실험했다. N=18명의 참가자를 대상으로 표준 카메라 피드, LiDAR 점군(point cloud) 기반 조감도(BEV), 카메라와 LiDAR를 결합한 센서 융합 BEV 세 가지 인터페이스를 비교했다. 센서 융합 BEV는 LiDAR 단독 BEV 대비 체감 사용성(p ≤ 0.0001)과 인지 부하(p = 0.01, NASA-TLX 34.58/100)에서 유의미하게 우수한 결과를 보였다. 카메라 단독 인터페이스와 비교해도 작업 완료 시간(p = 0.0461)과 사용성(SUS 77.9/100)에서 통계적으로 유의미한 개선이 나타났다. 이 결과는 수동 관찰 연구에서 센서 융합 BEV가 상황 인식을 저해할 수 있다고 제시했던 기존 경향에 반하는 능동 제어 환경의 실기 증거를 제공한다.

2610.32978v12026.10.23

SceneBloom: 구현 학습을 위한 사실적이고 다양한 레이아웃의 에이전틱 실내 환경 생성

SceneBloom: Agentic Indoor Environment Generation with Realistic and Diverse Layouts for Embodied Learning

Yuhan Liu, Lianhui Qin, Shenji Wan

SceneBloom은 구현 에이전트(embodied agent) 학습용 실내 3D 환경을 자동 생성하는 에이전틱 프레임워크다. 계층적 샘플러(hierarchical sampler)가 확산 사전(diffusion prior)을 활용해 기능 구역별 가구 배치를 제안하고, 컴파일러가 각 제안에서 추출한 공간 관계를 이용해 기하학적 피팅과 자세 보정을 수행한다. 5가지 방 유형 실험에서 SceneBloom은 비교 대상 방법 중 유일하게 메시 충돌과 경계 이탈 객체가 검출되지 않았으며, 시각 품질과 물리적 안정성에서 가장 높은 점수를 기록했다고 논문은 보고한다. 생성된 레이아웃은 실제 방의 분포에 모든 비교 기준선보다 더 가깝게 분포하는 것으로 나타났다. 이 환경에서 학습된 객체 탐색(object navigation) 정책은 동일 수량의 실제 훈련 스캔으로 학습한 정책보다 미공개 실제 스캔에서 더 높은 성공률을 달성했다.

2610.32971v12026.10.23

RobustRLlib: 강건 강화학습 알고리즘을 위한 통합 라이브러리 및 벤치마크

RobustRLlib: A Unified Library and Benchmark for Robust Reinforcement Learning Algorithms

Xi Chen, Fengqi Hu, Zeyu Shen, Jiaying Xu, Shangding Gu 외 3명

RobustRLlib은 강건 강화학습(Robust RL) 알고리즘의 재사용성 부족과 성능 한계의 불명확성이라는 두 가지 문제를 해결하기 위해 제안된 라이브러리 겸 벤치마크이다. 온라인·오프라인·안전 RL을 포괄하는 17개의 대표 알고리즘을 단일 인터페이스로 통합해 재사용성을 높였다. 평가 플랫폼은 다양한 현실 환경 변화뿐 아니라 휴머노이드 및 시각-언어-행동 모델(VLA) 과제를 포함한다. 273개의 섭동(perturbation) 구성에 대한 체계적 평가를 통해 현재 강건 RL 알고리즘이 효과적인 영역과 강건성 격차가 남아 있는 영역을 도식화한다. 오픈소스로 공개되어 기존 방법의 새로운 문제 적용 및 신규 알고리즘 개발에 재현 가능한 기반을 제공한다.

2610.32969v12026.10.23

DexPort: 고자유도 로봇 손 데이터 수집을 위한 휴대형 스킬 인터페이스

DexPort: A Hand-Held Skill Interface for Dexterous Hand Data Collection

Amber Xie, Jiawei Fu, Xiaofeng Guo, Carmelo Sferrazza, Guanya Shi 외 1명

DexPort는 고자유도(high-DoF) 로봇 손을 위한 휴대형 데이터 수집 인터페이스로, 수집과 배포에 동일한 손 하드웨어를 사용해 구현 간극(embodiment gap)을 제거하고 명령 관절 목표값과 측정 관절 상태를 함께 기록한다. 조작자는 장치를 움직여 손목 동작을 지정하고, 소수의 스킬을 선택·조정하는 방식으로 손가락 동작을 조율하기 때문에 각 관절을 독립적으로 제어할 필요가 없다. 실험실과 비정형 환경 모두에서 4가지 과제(다양한 물체 집기·놓기, 도구 내 손 사용 나사 조이기, 서랍 수납, 양손 스캔)에 걸쳐 2,500개 이상의 시연을 수집하였다. 행동 복제(behavior cloning)로 학습한 시각-운동(visuomotor) 정책을 평가한 결과, 관절 상태 대신 기록된 로봇 명령을 사용했을 때 성공률이 11%에서 64%로 올랐고, 비정형 환경 데이터를 활용했을 때는 36%에서 78%로 향상되었다.

2610.32966v12026.10.23

ViT-H: 모션 트래킹 피드백을 활용한 생성형 비디오-휴머노이드 제어

ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback

Zimo He, Tianyi Bian, Zizhong Yang, Hongjie Li, Nan Jiang 외 5명

ViT-H는 단안(monocular) 인간 영상에서 휴머노이드 로봇의 전신 동작을 학습하는 비디오-휴머노이드 제어 프레임워크다. 기존 재구성-리타게팅-트래킹 파이프라인과 달리, 확산 모델(diffusion model)로 영상에서 휴머노이드 참조 동작을 직접 생성해 인간 동작 재구성 및 리타게팅 단계를 생략한다. 모션 트래킹 결과를 직접 선호 최적화(DPO, direct preference optimization)에 활용해 생성기를 사후 훈련함으로써 동작 실행 가능성을 높인다. 자기회귀(autoregressive) 변형 모델은 400ms 미만의 지연 시간으로 실시간 비디오 원격조종(teleoperation)을 지원한다. Unitree G1을 대상으로 한 실험에서 동작 품질과 실행 가능성 모두 기존 방식 대비 높은 성능을 기록했으며, 모델 크기 및 사전·사후 훈련 데이터 규모에 따른 성능 향상도 확인되었다.

2610.32965v12026.10.23

RynnUnify: 통합 체화 브레인을 향하여

RynnUnify: Towards Unified Embodied Brain

Minghao Zhu, Bohan Hou, Kun Xiang, Zixuan Wang, Yinzhou Tang 외 18명

RynnUnify는 160억(16B) 파라미터 규모의 통합 체화(embodied) 모델로, 공간 추론, 물리적 예측, 그라운딩 능력을 결합해 물리 세계 이해와 장기(long-horizon) 시각 계획을 하나의 프레임워크 안에서 처리한다. 강화학습 기반 에이전틱(agentic) 확장을 통해 관찰되지 않은 상태와 상호작용 결과를 추론할 때 비디오 예측을 선택적으로 활용한다. 월드-액션(world-action) 확장은 이해·예측 능력을 로봇 제어로 전환하며, 저자들이 새로 제안한 Rynn-VP(장기 시각 계획)와 Rynn-GEU(예측 추론) 벤치마크로 평가한다. 에이전틱 확장은 직접 추론 대비 Rynn-GEU 평균 6.0점 향상을 보였고, 월드-액션 확장은 RoboCasa365의 20개 복합 과제에서 51.5%, 실제 로봇 3종 과제에서 평균 46.7%의 성공률을 기록했다. Rynn-VP 전체 점수는 비교 모델인 Cosmos 3 Nano 대비 9.75점 높았다.

2610.32961v12026.10.23

로봇 광간섭단층촬영(OCT) 기반 연조직 기하학적 모델링: 데이터 기반 폐루프 형상 제어를 위한 3D 표현

Robotic Optical Coherence Tomography-Guided Geometric Modeling of Soft Tissue: 3D Representations for Data-Driven Closed-Loop Shape Control

Chaoyu Zhang, Guangshen Ma, Mark Draelos

이 연구는 광간섭단층촬영(OCT, Optical Coherence Tomography)을 활용한 데이터 기반 연조직 형상 제어 프레임워크를 제시한다. 사용자 시연으로 학습하고 폐루프(closed-loop) OCT 피드백으로 실행되며, 전체 볼륨·희소 볼륨·복셀화 포인트클라우드 등 세 가지 3D 표현 방식과 결정론적(Explicit) 및 생성형 확산(Diffusion) 정책 조합 총 12개 구성을 비교한다. 3자유도(DoF) 깊이 및 6자유도 방향 과제에서 576회 팬텀 롤아웃을 수행한 결과, 잔차 조건화(residual conditioning)를 적용한 전체 볼륨 Diffusion 정책에서 방향 형상 RMSE가 0.748 mm에서 0.555 mm로 감소하였다. 잔차 조건화를 포함한 복셀화 포인트클라우드 Explicit 정책은 깊이 과제에서 0.534 mm, 방향 과제에서 0.443 mm의 오차를 달성하였다. 60회 돼지 적출 조직(ex vivo porcine) 롤아웃에서도 최종 기하학적 오차가 사람의 시연 수준과 유사한 결과를 보였다.

2610.32941v12026.10.23

처음에 실패해도 Backtrack: 동결된 VLA를 위한 경량 복구 기법

If at First You Don't Succeed, Backtrack: Lightweight Recovery for Frozen VLAs

Thomas Landeg, Thierry Tambe

시각-언어-행동 모델(VLA)은 로봇 조작에서 높은 성능을 보이지만, 훈련 데이터 분포를 벗어난 상태로 이동하면 복구가 어렵다는 한계가 있다. Backtrack은 동결된 VLA에 추가 시연 데이터·정책 재훈련·별도 추론 모델 없이 실패를 감지하고 복구하는 경량 메커니즘이다. 정책 파라미터의 0.48~0.88%만 추가하는 소형 실패 예측 헤드가 VLA의 내부 표현을 읽어 에피소드 실패 확률을 추정하고, 임계값을 초과하면 컨트롤러가 팔의 최근 동작을 역추적한 뒤 이전 구성에서 재시도하도록 제어권을 반환한다. LIBERO-Long 벤치마크에서 SmolVLA, π0.5, π0-FAST 세 모델의 실패율을 19~48% 낮추고 성공률을 최대 7.4퍼센트 포인트 높였다. 성공률이 이미 85~99%인 단기 과제 세 가지에서는 효과가 상대적으로 작았으며, MetaWorld에서는 SmolVLA와 함께 테스트한 열두 컨트롤러 구성 모두 미보조 정책보다 향상됐다.

2610.32909v12026.10.23

HoloBoxing: 단일 GPU 7분 추가 학습으로 구현하는 휴머노이드 복싱

HoloBoxing: A Simple Recipe for Humanoid Boxing with 7 Minutes of Single-GPU Training

Xihan Ma, Bo Zhang, Boxiong Li, Yuhan Bao, Ziyue Liu 외 1명

HoloBoxing은 사전 학습된 전신 제어기(whole-body controller)를 활용해 휴머노이드 복싱을 학습하는 방법을 제시한다. 재사용 가능한 운동 기술과 태스크 의사결정을 분리하여, 콤팩트한 플래너가 미래 신체 포인트 목표를 요청하고 동결(frozen)된 제어기가 관절 수준 실행을 담당한다. 학습된 디코더가 32차원 행동을 구조화된 목표 윈도우로 변환하며, 측정 상태 모방(measured-state imitation)이 강화학습(reinforcement learning) 전 플래너를 초기화한다. 컨트롤러 사전학습·데이터 준비·평가를 제외한 추가 학습 시간은 단일 GPU 기준 약 7분이다. 시뮬레이션 복싱 실험과 구성요소별 제어 실험을 통해 행동 결과 및 모방 초기화와 목표 표현의 역할을 평가한다.

2610.32888v12026.10.23CoRL

인간 교정이 공유될 때: 연합 VLA 적응에서의 안전성

When Human Corrections Travel: Safety in Federated VLA Adaptation

Vigneshwaran Subbaraju, Obaidullah Zaland, Monowar Bhuyan

시각-언어-행동 모델(VLA) 정책은 로컬 인간 개입에 적응할 수 있고, 연합학습(federated learning)은 원시 데이터를 집중하지 않고 분산 로봇 경험을 결합한다. 이 논문은 두 방법의 교차점, 즉 다양한 인간 교정에서 파생된 적응을 여러 작업·환경·사람·로봇 구현체에 걸쳐 공유할 때 발생하는 안전 문제를 검토한다. 평균 작업 성공률을 높이는 공유 업데이트가 드문 안전 개입을 억제하거나 다른 로봇에서 안전하지 않은 반응을 유발할 수 있다. 저자들은 세 가지 요건을 제시한다: 공유 결정 시 다중모달 교정의 맥락과 불확실성 보존, 배포 전 수신 로봇의 폐쇄 루프에서 후보 업데이트 평가, 안전 임계 증거 보존과 데이터 누출의 동시 평가가 그것이다. 본 논문은 실험 결과 없이 반례와 반증 가능한 평가 의제를 제안하는 입장 논문이다.

2610.32855v12026.10.23

정규화 강화학습이 시뮬레이션-실기 전이를 개선한다

Regularised RL improves sim-to-real transfer

Danilo Vucetic, Mohamad H. Danesh, Florence Clerc, Hsiu-Chin Lin, Jonathan Tremblay

정규화 강화학습(Regularised RL)은 시뮬레이션-실기 전이(sim-to-real) 격차에 대한 이론적 강인성 보장을 제공하지만, 실제 파이프라인에서는 약하게 정규화된 근위 정책 최적화(Proximal Policy Optimisation, PPO)가 여전히 주된 선택지로 사용되어 왔다. 이 연구는 정규화가 로봇 성능에 미치는 영향을 규명하기 위해 주요 RL 알고리즘의 시뮬레이션-실기 전이 성능을 비교 분석한다. 연구팀은 소프트 멜로우맥스 가치 함수(soft mellowmax value function)를 기반으로 한 새로운 정규화 RL 알고리즘 Soft MellowMax Actor-Critic(SMM-AC)을 제안하며, 이 알고리즘은 강한 강인성 보장을 갖는다. MuJoCo 연속 제어 벤치마크에서 SMM-AC는 Soft Actor-Critic(SAC)과 동등한 성능을 보이며, 실제 로봇 실험에서는 관측값·환경·동역학 변화에 대한 강인성과 누적 보상 모두에서 기존 기법을 상회한다.

2610.32776v12026.10.23

행동 인식 정량화를 활용한 예측적 장기 진행도 모델링

Predictive Long-Horizon Progress Modeling with Action-Aware Quantification

Tianchi Xu, Yalin Zheng, Yangxin Zhu, Ruonan Ren, Zheng Fu 외 2명

로봇 조작에서 작업 진행도를 정량적·연속적으로 측정하기 위해 행동 인식 정량화(action-aware quantification) 방법을 제안한다. 시각-언어 모델(VLM)로 장기 궤적을 객체 수준의 하위 작업으로 분해하고 가중 행동 크레딧을 부여해 세밀한 실행 동역학을 포착한다. VLM 자동 레이블링과 인간 교정을 결합해 800시간 이상의 학습 비디오 데이터셋과 19,618개의 인간 교정 평가 프레임으로 구성된 벤치마크 LOOM을 구축한다. 이를 기반으로 예측적 진행도 비평 모델 NimCritic을 제안하며, Video Progress Benchmark(VPB)에서 GVL(GPT-6-Sol) 대비 터미널 성공 정확도(TSA) 기준 약 65% 향상을 달성했다고 보고한다. 대규모 RoboArena 정책 평가 벤치마크에서는 성공 롤아웃 회수 재현율(recall) 약 97%를 기록했다.

2610.32755v12026.10.23

자동화 실험실 에이전트 자기 대전을 위한 의미론적 표현

Semantic Representation for Agentic Self-Play in Automated Laboratories

Yves Delley, John Coller, Zachary Cutts, Alexander Daryin, Mathias Bellaiche 외 10명

VERID(VERified Infrastructure for Discovery Laboratories)는 AI 에이전트의 고수준 추론과 습식 실험실(wet lab)의 복잡한 물리적 실행 사이의 간극을 메우기 위해 설계된 의미론적 디지털 트윈(semantic digital twin) 인프라다. 에이전트 추론을 위한 질의 가능한 내성(queryable introspection), 프로토콜 검증용 시간 압축 시뮬레이션, 실험 이력 전체 추적, 안전 실행 프레임워크 등 네 가지 핵심 서비스를 제공한다. 시뮬레이션 모듈은 이산 회계 엔진으로 작동해 에이전트가 인실리코(in silico)에서 저비용으로 실험 설계를 탐색하고 반복적 자기 대전(self-play)으로 실험 전략을 개선할 수 있게 한다. 수성 염료와 탈이온수 혼합물을 사용한 세 가지 사례 연구에서 실험 프로토콜의 오류 사전 탐지, 실행 중 상태 기반 오류 복구, 사후 미세 물리 오류 식별 기능이 확인됐다. 시스템은 다운스트림 분석, 지식 마이닝, 에이전트 학습을 위한 구조화된 멀티모달 실험 데이터도 수집한다.

2610.32742v12026.10.23

AWARE: 로봇 동역학 예측 및 내성을 위한 이상 인식 세계 모델 프레임워크

Adaptive World-Models for Anomaly Recognition (AWARE): A Framework for Robot Dynamics Prediction and Introspection

Luke Beddow, George Mavroghenis, Rodrigo Chacon Quesada, Kamil Dreczkowski, Cong Sun 외 3명

AWARE는 온보드 센서 없이 외부 카메라 영상만으로 로봇 시스템의 이상을 감지하는 세계 모델(world model) 프레임워크다. 레거시 하드웨어나 엄격한 보안 정책으로 내부 센서 접근이 불가한 환경을 대상으로 하며, 시스템 동역학 추정과 상태 예측을 통해 이상 여부를 판단한다. 페이로드 충돌과 모터 열화를 포함한 실제 로봇 크레인 240개 궤적으로 평가한 결과, 노이즈가 있는 카메라 전용 상태 추정 환경에서 최강 베이스라인 대비 이상 분류 정확도가 26% 향상됐다. 추론된 동역학 파라미터를 디코딩해 고장 원인도 특정할 수 있으며, 열화 중인 모터를 88% 정확도로 국소화한다.

2610.32688v12026.10.23IROS

행동 모방에서 자기지도 목표 발견을 위한 Conditional Neural Processes

Conditional Neural Processes for Self-Supervised Goal Discovery in Action Imitation

Marco Gabriele Fedozzi, Yukie Nagai, Francesco Rea, Alessandra Sciutti

이 연구는 영아가 타인을 모방해 새 과제를 배우는 방식에서 영감을 받아, 조건부 신경 프로세스(Conditional Neural Processes, CNP)가 행동의 근본 목표를 반영하는 표현을 자율적으로 학습할 수 있는지 평가한다. 은닉 공간에 어텐션(attention) 메커니즘을 추가하면 행동 시퀀스 관찰 초기 단계에서 견고한 목표 표현이 출현하는 것으로 나타났다. 연구팀은 이 구조가 로봇의 자기지도(self-supervised) 범용 학습 모델로서 가능성을 보인다고 밝혔다.

2610.32676v12026.10.23

학습된 속도 사전을 이용한 로봇 시연 재타이밍

Retiming Robot Demonstrations with a Learned Speed Prior

Seungyong Moon, Deokjae Lee, Hansang Lee, Munkhtselmeg Battsengel, Youngin Kim 외 5명

로봇 시연 시 텔레오퍼레이터마다 조작 속도가 달라, 이를 학습한 정책이 작업 행동과 함께 조작자 특유의 타이밍 패턴을 학습하는 문제가 있다. 이 연구는 대규모 시연 데이터에서 속도 사전(speed prior)을 학습하는 방법을 제안하며, 작업 명령·동작 경로·경로상 이미지를 입력받아 경로별 실행 속도 분포를 예측한다. 학습된 속도 사전은 로봇 원격조작 데이터와 인간이 핸드헬드(handheld) 방식으로 그리퍼를 직접 움직인 시연 데이터 모두에 적용하며, 로봇 시연을 핸드헬드 속도로 재타이밍한 뒤 시각-언어-행동 모델(VLA)을 파인튜닝하는 데 사용된다. 120개의 RoboLab 작업에서 이 방법으로 파인튜닝한 정책은 원래 시연 타이밍을 사용한 정책보다 성공률이 높고, 저크(jerk·순간 가속도 변화)가 최대 절반 수준으로 줄었다. 실제 로봇 실험에서는 컵 쌓기 작업을 30회 중 29회 성공하면서 완료 시간을 6.02초에서 3.50초로 단축했다.

2610.31670v12026.10.22

Sensorimotor Alignment: 구현 정책 성공을 위한 플라톤적 대리 지표

Sensorimotor Alignment: A Platonic Proxy for Embodied Policy Success

Yunfei Xie, Howard H. Qian, Shiyi Lan, Kaiyu Hang, Chen Wei

로봇 기반 모델(foundation model) 평가에는 비용이 큰 폐루프(closed-loop) 실행이 필요하다는 문제의식에서, 본 연구는 훈련 없이 적용 가능한 오프라인 지표인 감각운동 정렬(Sensorimotor Alignment, S²)을 제안한다. S²는 모델의 감각 표현(sensory representation)이 물리적 움직임의 기하 구조와 얼마나 잘 정렬되는지를 측정한다. 복수의 구현 모델 패밀리에 걸쳐 S²가 로봇 과제 성공률과 양의 상관관계를 보이는 것으로 나타났다. 비용이 큰 파인튜닝 전에 시각-언어-행동 모델(VLA) 백본으로 유망한 시각-언어 모델(VLM)을 사전 선별하는 데에도 활용할 수 있다. 이 연구는 플라톤적 표현 가설(PRH, Platonic Representation Hypothesis)을 구현 모델로 확장하며, 감각운동 정렬을 실증적으로 측정 가능하게 만든다.