PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 1건

2609.05324v12026.09.04

RoboSPA: VLA 모델은 단순 장면과 단기 태스크를 넘어설 수 있는가?

RoboSPA: Can VLA Models Go Beyond Simple Scenes and Short-Horizon Tasks?

Zhenxuan Fan, Bo Zhang, Yutong Lin, Yuqian Yuan, Juekai Lin 외 7명

RoboSPA(Robot Spatial-Procedural Assessment)는 시각-언어-행동 모델(VLA)의 구현 추론 능력을 진단하기 위한 대규모 로봇 조작 데이터셋 및 벤치마크다. 세밀한 공간 추론과 장기 절차적 계획(Long-Horizon Procedural Planning) 두 축을 중심으로 10개 태스크 범주와 56개 기본 태스크를 다룬다. 각 태스크는 5단계 난이도로 구현되어 280개 변형을 제공하며, 복수의 구현체와 다양한 장면에 걸쳐 527,000개의 궤적(trajectory)을 수집하였다. 이진 성공률 외에 세부 진단 지표를 추가로 도입했으며, 대표적인 VLA 모델 실험 결과 복잡한 공간 관계, 정밀한 저수준 실행, 메모리 집약적 계획에서 현재 모델들이 여전히 한계를 보이는 것으로 나타났다.

2609.05300v12026.09.04

밀집되고 불확실한 군중 속 로봇 내비게이션을 위한 H2INT

Human-Human & Human-Robot Interaction Transformer (H2INT) for Robot Navigation in Dense and Uncertain Crowds

Ao Shen, Kaixi Chen, Shiwei Liu, Fang Deng, Chen Chen

H2INT(Human-Human & Human-Robot Interaction Transformer)는 밀집 군중 환경에서의 안전한 로봇 내비게이션을 위한 강화학습(reinforcement learning) 프레임워크다. 기존 접근법이 보행자 움직임을 로봇과 독립적으로 생성하거나 균일한 상호반응성을 가정한 것과 달리, 보행자마다 반응성(responsiveness)이 다를 수 있음을 모델링하여 로봇 존재에 따른 군중 동역학 변화를 정책 학습에 반영한다. 2단계 게이트 트랜스포머(gated Transformer)가 인간-인간 및 인간-로봇 관계를 순차적으로 인코딩하고, 순환 정책(recurrent policy)이 그 시간적 변화를 포착한다. 커리큘럼 학습으로 상호작용 난이도를 점진적으로 높이며, 시뮬레이션 실험에서 재훈련 없이 구조적으로 상이한 군중 흐름 배치에도 전이됨을 확인했다. 실제 로봇 배포 실험에서는 희소한 관측 환경에서도 학습된 정책이 동작함을 검증했다.

2609.05282v12026.09.04

의도 인식 로봇-인간 양손 물체 전달을 위한 시간적 촉각 인코딩과 컴플라이언스

Temporal Tactile Encoding and Compliance for Intent-Aware Robot-to-Human Bimanual Handover

Pasquale Marra, Stefano Berti, Gabriele Mario Caddeo, Lorenzo Natale

로봇이 인간에게 물체를 전달할 때 시각 정보만으로는 실제 수취 의도를 우발적 접촉, 약한 파지, 잘못된 방향의 힘과 구분하기 어렵다. 이 연구는 물체 전달 문제를 다중 모달(multimodal) 과제로 정의하고, 시각-언어-행동 모델(VLA)과 전달 중 상호작용 힘을 줄이는 컴플라이언스(compliance) 제어기를 결합한다. VLA 모델은 RGB 관측, 시간적으로 인코딩된 촉각(tactile) 피드백, 고유감각(proprioception)을 포함한 인간 시연 데이터로 파인튜닝된다. 피험자 실험에서 촉각 피드백 미적용 기준선 및 컴플라이언스 미적용 기준선과 비교한 결과, 두 구성 요소가 상호 보완적 효과를 내며 모든 기준선 대비 성능이 크게 향상되었다. 성능은 객관적 지표와 맞춤형 설문지를 통해 측정되었으며, 코드와 데이터는 논문 수락 후 공개될 예정이다.

2609.05266v12026.09.04

TacPAC: 접촉 중심 조작을 위한 월드-행동 모델의 촉각 예측 및 실시간 행동 보정

TacPAC: Tactile Prediction and Real-Time Action Correction in World-Action Models for Contact-Rich Manipulation

Zipei Ma, Xiaofei Wei, Junzhe Jiang, Shunlin Lu, Li Zhang

TacPAC은 월드-행동 모델(world-action model)에서 시각 중심 예측이 놓치는 국소 접촉 정보를 보완하기 위해 촉각 예측을 실시간 행동 보정에 활용하는 방법이다. 미래 촉각 관측을 단순 추가 뷰로 예측하면 달성 가능한 성능 향상의 3분의 1만 회복되는 데 그쳐, 예측 시점과 실행 시점 사이의 타이밍 불일치가 핵심 문제로 지적된다. TacPAC은 베이스 모델이 행동 청크(action chunk)를 계획한 직후, 해당 계획이 조건으로 삼은 예측 접촉 정보와 계획 표현을 캐시에 저장하고, 촉각 전문가 모듈이 새로 관측된 촉각 이미지를 이 캐시와 비교해 아직 실행되지 않은 행동을 보정한다. 보정 연산은 청크 재생성 대비 20.7배 저렴하며, 정밀 삽입·취약 물체 처리·물체 재배향·장기 조작을 포함한 5가지 실제 로봇 과제에서 평균 성공률이 시각 전용 베이스 모델의 22%에서 64%로 향상되었다.

2609.05260v12026.09.04

One Word, Different Action: 언어 조건부 구현 추론을 위한 실제 로봇 벤치마크

One Word, Different Action: A Real-Robot Benchmark for Language-Conditioned Embodied Reasoning

Yiwei Liu, Luwei Yang, Shunbo Lei

본 연구는 자연어 명령 변화에 따른 로봇 행동의 일관성과 민감성을 동시에 평가하는 실제 로봇 벤치마크 'One Word, Different Action'을 제안한다. 이 벤치마크는 과제를 유지하는 명령 쌍과 과제를 변경하는 명령 쌍을 활용해 결정 불변성(Decision Invariance)과 결정 민감성(Decision Sensitivity)을 측정하며, 다중 제약 추론 및 실제 RGB 그라운딩(real-RGB grounding) 조건 평가도 포함한다. 실험 결과, 최신 모델들은 단일 제약 명령 변화에서는 포화에 가까운 성능을 보였으나, 복수의 과제 제약을 하나의 실행 가능한 결정으로 통합해야 할 때 성능이 뚜렷하게 저하되는 것으로 나타났다. 이는 남은 핵심 과제가 고립된 명령 변화 인식이 아니라, 다수의 요구사항을 올바른 로봇 행동 결정으로 합성하는 능력임을 시사한다.

2609.05206v12026.09.04

로봇 손 조작에서 형태학과 구동 방식의 귀납적 편향

Morphology and actuation as inductive biases in robotic hand manipulation

Zalán Tari, Eszter Birtalan, Péter Polcz, Miklós Koller

과제 야코비안(task Jacobian), 구동 행렬, 그리고 그 합성을 조건수(conditioning)로 분석하는 통합 프레임워크를 제시하며, 기구학과 구동 단계를 분리 및 결합하여 평가한다. 대조적인 설계 철학을 지닌 두 손—Shadow Dexterous Hand와 Anatomically Correct Biomechatronic Hand—을 관절축 기하학, 구동기-자유도 비율, 결합 구조, 권한 분포 네 가지 형태학적 측면에서 비교한다. 해부학적 충실도(anatomical fidelity)가 일률적인 이점을 제공하지는 않는 것으로 나타났다: 경사 관절축은 엄지 컨디셔닝을 개선하지만 나머지 손가락의 컨디셔닝은 직교축 설계보다 오히려 나쁘다. 분기형 힘줄 네트워크(branching tendon network)는 네 손가락 전체의 유효 제어 매핑을 개선하는 반면, 구동기 권한이 엄지 대립(thumb opposition)에 집중된 엄지에서는 제어 매핑을 유의미하게 악화시킨다. 이 지표에서 도출한 예측을 PPO, DDPG+HER, TQC+HER 알고리즘을 사용한 강화학습 실험 세 가지 과제로 검증한다.

2609.05199v12026.09.04

규칙북을 활용한 위험 인식 최적 제어

Risk-Aware Optimal Control with Rulebooks

Tichakorn Wongpiromsarn

이 논문은 우선순위가 서로 다른 복수의 요구사항과 불확실성을 동시에 다루는 안전 필수 제어(safety-critical control) 문제를 연구한다. 각 요구사항에 위험 측도(risk measure)와 허용 임계값을 부여하고 우선순위 관계를 정의하는 위험 인식 규칙북(risk-aware rulebook) 형식으로 문제를 표현한다. 이를 초과 위험(excess risk)에 대한 사전식 최적화(lexicographic optimization) 문제로 정식화하고, 각 우선순위 수준에서 정책 집합을 특성화하면서 인증된 최적성 격차를 점진적으로 좁히는 애니타임 필터링·분기 한정(branch-and-bound) 알고리즘을 제안한다. 유한한 계산 예산 하에서 반환된 격차의 유효성을 증명하였으며, 추가 가정 하에서 계산 예산이 늘어날수록 격차가 0으로 수렴함을 보인다. CVaR 기반 충돌·후방제동·차간거리·승차감 규칙을 포함한 고속도로 합류(highway-merging) 시뮬레이션에서 알고리즘을 검증하였다.

2609.05178v12026.09.04

LIBERO-RECOVER: 로봇 조작 모델의 작업 성공을 넘어 실패 복구를 향하여

LIBERO-RECOVER: Beyond Task Success Towards Failure Recovery in Robotic Manipulation Models

Lin Liu, Zhicheng Bao, Lu Zhang, Ziying Song, Wu Yang 외 3명

기존 LIBERO 벤치마크에서 시각-언어-행동 모델(VLA)은 약 100%의 성공률을 달성했으나, 이상적 초기 상태에서의 성능이 실제 환경 강인성을 보장하지는 않는다. 현실에서는 파지 실패, 충돌, 의도치 않은 물체 이동 같은 실패가 불가피하지만, 기존 벤치마크는 이 복구 능력을 측정하지 않는다. 이를 해결하기 위해 저자들은 LIBERO-Recover 벤치마크를 제안하며, 최첨단 구현 모델의 실제 실행 실패를 수집해 Action Retry, Action Adaptation, Object State Recovery, Environmental Recovery 4가지 복구 수준에 걸친 1,000개 이상의 시나리오를 구성했다. 벤치마크는 공간 이해, 물체 구조 추론, 상호작용 이해, 위상(topological) 추론 등 4가지 핵심 능력을 평가한다. 이를 통해 평가 패러다임을 '작업 성공 가능 여부'에서 '실패 이후 복구 가능 여부'로 전환한다.

2609.04193v12026.09.03

GIFT: 로봇 조작을 위한 행동 지향 구조적 감독을 통한 중간 특징 훈련

GIFT: Guided Intermediate Feature Training via Action-Oriented Structural Supervision for Robotic Manipulation

Yupeng Zheng, Xiang Li, Songen Gu, Yuhang Zheng, Shuai Tian 외 9명

시각-언어 사전학습(vision-language pre-training)과 예측적 세계 모델링은 로봇 정책에 풍부한 시각 특징을 제공하지만, 제어와 무관한 시각 정보를 포함하는 '행동 충분성 격차(action-sufficiency gap)'가 발생한다. GIFT(Guided Intermediate Feature Training)는 이 격차를 해소하기 위해 중간 특징이 기하학(geometry), 어포던스(affordance), 목표 영역(goal region)이라는 세 가지 제어 관련 구조를 보존하도록 유도하는 아키텍처 독립적 프레임워크다. 시각-언어-행동 모델(VLA), 직접행동 세계-행동 모델(WAM), 역동역학 WAM에 각각 적용한 결과, LIBERO-Plus 제로샷 전이 평가에서 기존 모델 대비 각각 4.6, 12.6, 5.2포인트 향상된 79.6%, 72.6%, 87.8%를 달성했다. RoboCasa 벤치마크에서도 세 변형 모두 비교 모델을 각각 12.6, 9.0, 8.4포인트 상회하며 61.4%, 83.6%, 82.3%를 기록했다. 관절 객체(articulated-object) 태스크와 미관측 시각·공간 변화 하의 고정밀 실세계 조작에서 특히 큰 성능 향상이 나타났다.

2609.04158v12026.09.03

Formation Matrix와 다중 에이전트 시스템의 에너지 기반 제어

Formation Matrix and Energy-based Control of Multi-Agent Systems

Martín Crespo, Sergio Junco, Matías Nacusse

이 논문은 평면에서 이동하는 다중 에이전트(multi-agent) 로봇 시스템이 특정 편대를 형성·유지하면서 에이전트 간 충돌을 회피하도록 하는 에너지 기반 제어기를 제안한다. 제어기는 에이전트 쌍을 연결하는 스프링-댐퍼(spring-damper) 모듈 네트워크를 모사하며, 시스템 전체의 동역학은 본드 그래프(bond graph) 모델로 기술된다. 그래프 이론적 접근법을 통해 에이전트 간 거리와 상대 속도를 동시에 나타내는 Formation Matrix를 도입하고, 이를 포트-해밀토니안(port-Hamiltonian) 시스템 프레임워크 내 IDA-PBC 이론의 상호연결 제어(CbI, Control-by-Interconnection) 기법과 대응시킨다. 이를 바탕으로 리더-추종(leader-following) 및 위치 기반 편대 제어 시스템을 구성하고 폐루프 시스템의 안정성 분석을 제시한다. 제안된 이론은 다양한 시나리오에서의 수치 시뮬레이션을 통해 검증된다.

2609.04147v12026.09.03

저비용 오픈 플랫폼 기반 소형 Ackermann 차량의 종단간 자율주행

A Low-Cost, Open Platform for End-to-End Autonomous Driving on a Miniature Ackermann Vehicle

Gustavo Claudio Karl Couto, Eric Aislan Antonelo, Gabriel George Zipperer

소형 Ackermann 차량을 이용한 종단간 자율주행 연구를 위한 저비용 오픈 실험 플랫폼을 제안한다. 플랫폼은 물리 차량, 도심형 인쇄 트랙, 데이터 수집 도구, 그리고 Webots 디지털 트윈으로 구성되며 시뮬레이션과 실환경을 연결하는 제어된 실험 환경을 제공한다. 첫 번째 베이스라인으로 명령 조건부 행동 복제(command-conditioned behavior cloning)를 구현했으며, 신경망 정책이 온보드 카메라 이미지와 고수준 주행 명령을 입력받아 조향과 속도를 출력한다. 실환경 폐루프(closed-loop) 실험에서 평균 횡방향 오차(cross-track error) 6.1 cm를 달성해 인간 시연의 4.7 cm에 근접했으며, 디지털 트윈에서 시야각(FOV)을 58도에서 120도로 넓히자 평균 오차가 35.6 cm에서 3.3 cm로 감소했다. 합성 데이터와 실제 시연 데이터를 결합해 학습한 고용량 정책만이 네 가지 트랙 경로를 모두 완주하는 것으로 나타났다.

2609.04103v12026.09.03

Corner Cases: 경작지 자율주행을 위한 헤드랜드 커버리지 경로 계획

Corner Cases: Headland Coverage Path Planning for Autonomous Driving in Arable Farming

Riikka Soitinaho, Timo Oksanen

본 논문은 경작지(arable field) 자율주행용 헤드랜드(headland) 커버리지 경로 계획(coverage path planning) 방법을 제안한다. 기존 방법들은 중첩 다각형과 부드러운 회전으로 헤드랜드를 커버하지만, 필드 모서리를 완전히 처리하려면 후진 기동이 불가피하다. 새 방법에서는 후진 회전을 수용하도록 다각형 모서리 형태를 수정한다. 간격(gap), 중첩(overlap), 경계 침범의 세 가지 지표로 기존 두 방법과 비교한 결과, 약 90도 및 240도 이상의 모서리에서 커버리지 성능이 향상되었다. 실제 다각형 필드 맵 여러 사례에 적용해 방법의 실용성을 검증한다.

2609.04096v12026.09.03

구성 가능한 파운데이션 프라이어와 일반화 가능한 파지 합성을 통한 적응형 시각-언어 파지

Adaptive Vision-Language Grasping via Composable Foundation Priors and Generalizable Grasp Synthesis

Sixu Yan, Shikang Wang, Binhua Huang, Xuanlai Tang, Guohua Fan 외 9명

AdaRoboVLG는 다양한 로봇 손(robotic hand)에 걸쳐 일반화 가능한 파지 합성을 지원하는 태스크 적응형 시각-언어-파지(VLG) 프레임워크다. 기존 VLG 방식이 파운데이션 모델과 종단간 파지 정책을 강하게 결합하는 것과 달리, 명시적 운동학적 매핑(kinematic mapping)과 힘-폐쇄(force-closure) 기반 안정성 추정으로 물리적으로 실현 가능한 파지 후보를 생성·평가하는 일반화 기반 정책을 학습한다. 태스크 의존적 이해는 전문화된 파운데이션 모델 모듈에 위임하며, 이 모듈들은 기반 파지 정책을 재학습하지 않고도 구성 가능한 프라이어(composable prior)를 파지 합성 과정에 통합한다. 시뮬레이션 및 실환경 실험에서 기반 정책의 효율적 학습과 강한 크로스-핸드(cross-hand) 일반화, 공간·인지·시간적 프라이어의 결합 효과가 확인됐다. 이 결과는 물리적 파지 합성과 태스크 의존적 이해를 분리하는 설계가 확장 가능한 로봇 파지 패러다임임을 시사한다.

2609.04070v12026.09.03

이산적 추론에서 연속 행동으로: 엔드-투-엔드 자율주행을 위한 잠재 정렬 계획

Continuous Actions from Discrete Minds: Latent-Aligned Planning for End-to-End Autonomous Driving

Ruoyu Yao, Yusen Xie, Qingzhao Liu, Pei Liu, Zewei Yang 외 3명

LaPla는 이산적 시각-언어 모델(VLM)의 추론과 연속적·물리 제약적 자율주행 행동 공간 사이의 간극을 해소하는 시각-언어-행동 모델(VLA) 프레임워크다. 잔차 벡터 양자화 변분 오토인코더(VQ-VAE)를 기반으로 행동 토크나이저를 설계해 차량 운동학을 캡처하고 궤적 특징을 구조화된 잠재 공간으로 인코딩한다. 다중 뷰 이미지·과거 행동·텍스트 지시를 통합한 멀티모달 입력을 단일 순전파(forward pass)로 처리하며, 은닉 상태를 사전 학습된 VQ-VAE 잠재 공간에 직접 투영해 양자화 오류를 제거하고 자기회귀 생성을 우회한다. nuScenes 벤치마크 개방 루프 평가에서 장거리 L2 오류를 기존 VLA 방법 대비 15.52% 줄였으며, NVIDIA AlpaSim 시뮬레이터 폐쇄 루프 평가에서 성공률을 33.34 퍼센트포인트 향상시켰다.

2609.04066v12026.09.03

부분공간 추론을 이용한 선호 기반 능동적 보상 학습의 효율화

Subspace Inference Enables Efficient Active Reward Learning from Preferences

Yutai Zhou, Erdem Bıyık

이 논문은 인간 피드백 강화학습(RLHF)에서 보상 모델 불확실성을 효율적으로 정량화하기 위해 PreferenceEKF를 제안한다. 능동적 선호 학습(active preference learning)을 순차적 베이즈 필터링(sequential Bayesian filtering) 문제로 재정의하고, 전체 신경망 파라미터 공간 대신 저차원 부분공간에서 확장 칼만 필터(extended Kalman filter, EKF)를 적용해 사후 분포를 갱신한다. 이 방식은 능동 학습용 획득 함수(acquisition function) 계산에 필요한 신경망 파라미터 샘플링을 확장 가능하게 만든다. D4RL 및 V-D4RL 벤치마크 실험에서 다른 베이즈 딥러닝 기법 대비 샘플 효율성·실행 시간·확장성·보정(calibration) 모두 우수한 결과를 보였다. 학습된 보상 모델을 사용한 오프라인 강화학습 정책도 경쟁력 있는 성능을 달성한다.

2609.03995v12026.09.03

카탈로그 사진을 콜드 스타트로 활용: 배포 가능한 카바이드 버 인식을 향하여

Catalogue Photography as a Cold Start: Toward Deployable Carbide Burr Recognition

Abilash Philip Madavath, Chandra Yuvesh Aubeeluck, Augustin Raju, Nicolas Pyschny, Felix Hackelöer 외 1명

밀링 공구 및 카바이드 회전 버(carbide rotary burr) 생산 배치를 주문서와 대조하는 품질 검사 작업을 컴퓨터 비전으로 자동화하는 연구다. 현장 촬영 라벨 데이터가 전무한 콜드 스타트(cold start) 조건에서 제조사 카탈로그 사진만을 감독 신호로 사용한다. 메트릭 러닝(metric learning)은 카탈로그 이미지에서 조정 랜드 지수(adjusted Rand index) 0.94~0.97의 비지도 클러스터 발견 성능을 달성하지만, 이 성능의 절반 미만만이 현장 사진으로 전이된다. 전이 성능 향상에 가장 크게 기여한 요소는 모델 규모나 표현 복잡도가 아닌, 이미지 그레이스케일 변환(+0.22)과 주문서를 활용한 헝가리안 할당(Hungarian assignment) 기반 검색 제약(+0.11)이었다. 연구진은 카탈로그 사진을 즉시 배포 가능한 학습 도메인이 아닌 유용한 콜드 스타트로 규정하고, 정밀 공구 제조 분야의 카탈로그-현장 전이를 위한 실험 기준선과 평가 프로토콜을 제시한다.

2609.03984v12026.09.03IROS

MulDP: 복잡한 지형에서의 자율 사족보행 파쿠르 내비게이션을 위한 다중모달 확산 정책

MulDP: Multimodal Diffusion Policy for Autonomous Quadruped Parkour Navigation across Complex Terrains

Kangmai Hu, Yueqi Zhang, Peng Zhai, Xiaoyi Wei, Jiabin Hu 외 3명

사족보행 로봇의 파쿠르 보행 연구는 진전을 이뤘으나, 고수준 계획 단계에서 인간 개입이 필요한 경우가 많아 완전 자율 파쿠르 내비게이션은 충분히 탐구되지 않았다. 이 논문은 시각 인식, 고유수용감각(proprioception), 목표 정보를 통합해 시간적으로 일관된 내비게이션 속도 명령을 생성하는 다중모달 확산 정책(Multimodal Diffusion Policy) MulDP를 제안한다. MulDP는 인식과 체화 제어를 긴밀하게 결합함으로써 세밀한 속도 조절, 장기 예측 행동, 복잡한 지형 통과를 가능하게 한다. 학습 데이터 확보를 위해 다양한 내비게이션 행동과 복잡한 지형을 포함하는 사족보행 파쿠르 내비게이션 데이터셋(Quadruped Parkour Navigation Dataset, QPND)을 새로 구축하였다. 시뮬레이션과 실제 환경 실험 모두에서 MulDP는 복잡한 지형을 가로지르는 견고한 장거리 자율 내비게이션 성능을 보여주었다.

2609.03970v12026.09.03

사진측량법과 시맨틱 세그멘테이션을 활용한 로봇 후처리용 용접 비드 자동 인식 및 3D 매핑

Automated Weld Seam Recognition and 3D Mapping for Robotic Post Processing Using Photogrammetry and Semantic Segmentation

Augustin Raju, Abilash Madavath, Chandra Yuvesh Aubeeluck, Nicolas Pyschny, Felix Hackelöer 외 1명

이 논문은 연삭·마감·검사 등 로봇 후처리 작업을 위해 용접 비드(weld seam) 형상을 자동으로 인식하고 3D 모델에 투영하는 비전 기반 파이프라인을 제안한다. 대형 공작물의 경우 고정밀 레이저 스캐너나 구조광 센서로 전체 표면을 스캔하면 시간이 오래 걸리고 불필요한 데이터가 대량 발생하는 문제가 있다. 제안 방법은 여러 시점에서 촬영한 이미지에 시맨틱 세그멘테이션(semantic segmentation)을 적용해 용접 비드를 식별하고, 사진측량법(photogrammetry)으로 재구성한 3D 모델에 해당 위치를 투영한다. 이 파이프라인은 고정밀 계측 이전의 사전 단계로서 전체 스캐닝 범위와 데이터 취득량을 줄이는 것을 목표로 한다.

2609.03927v12026.09.03

통합 로봇 학습을 향하여: 표현 학습, 시각-언어-행동 모델, 월드 모델의 연결

Toward Unified Robot Learning: Bridging Representation, Vision-Language-Action, and World Models

Shaunak A. Mehta, Ananya Hazarika, Haochen Zhang, Fan Yang, Ryo Moriyama 외 3명

이 서베이 논문은 로봇 학습을 표현 학습(representation learning)을 통한 이해, 시각-언어-행동 모델(VLA)을 통한 행동, 월드 모델(world model)을 통한 추론이라는 세 축으로 정리해 통합적 관점을 제시한다. 세 패러다임은 그동안 독립적으로 발전해 왔으며, 그 결과 일반화·장기 시계열 추론·비정형 환경 배치에 어려움을 겪는 분절된 시스템이 만들어졌다고 분석한다. 저자들은 환경 표현, 정책 학습, 예측 모델링의 핵심 설계 선택을 포착하는 구조화된 분류 체계를 도입하고 각 구성 요소 간 상호작용을 분석한다. 불확실성 정량화, 분포 외(out-of-distribution) 일반화, 크로스-임바디먼트(cross-embodiment) 전이, 장기 문맥 이해, 장기 계획을 주요 난제로 꼽으며, 이 문제들이 개별 구성 요소의 한계뿐 아니라 지각·행동·추론 간 통합 부재에서 비롯된다고 주장한다. 논문은 이를 바탕으로 물리적 근거를 갖춘 확률론적 통합 로봇 학습 방향을 제언한다.

2609.03906v12026.09.03

연속 환경에서 시각-언어 내비게이션의 거시 행동 기반 폐루프 강화학습을 위한 위상 그래프 재고찰

Revisiting Topological Graphs for Macro Action based Closed-loop Reinforcement Learning of Vision Language Navigation in Continuous Environment

Shuhao Ye, Sitong Mao, Yuxiang Cui, Yufei Wei, Xuan Yu 외 5명

연속 환경에서의 시각-언어 내비게이션(VLN-CE)은 에이전트가 자연어 지시를 따라 미지의 환경을 탐색하는 과제로, 기존 모방 학습(IL) 방식은 분포 이동과 궤적 이탈 시 전문가 행동의 모호성 문제를 갖는다. 이 연구는 VLN-CE를 계층적 마르코프 결정 과정(Hierarchical MDP)으로 재정의해 고수준 계획과 저수준 제어를 명시적으로 분리한다. 환경을 위상 그래프(topological graph)로 추상화하여 고수준 정책이 경계 노드(frontier node)의 거시 행동 공간에서 동작하게 하고, 별도 학습 없는 저수준 컨트롤러가 상태 전이를 담당함으로써 결정 지평을 압축하고 폐루프 강화학습(RL)을 현실적으로 적용 가능하게 한다. 동적 경계 행동 공간에서 상태 가치를 평가하는 행동 인식 가치 헤드(action-aware value head)를 도입한 그래프 기반 PPO를 제안한다. 제안 모델은 R2R-CE 및 RxR-CE 벤치마크에서 최고 수준의 성능을 달성했다.