PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 5건

2609.24778v12026.09.21CoRL

H2RBench: 인간-로봇 전이 평가를 위한 실제-시뮬레이션 벤치마크

H2RBench: A Real-to-Sim Benchmark for Evaluating Human-to-Robot Transfer

Chuyang Xiao, Haotian Zhan, Sriram Krishna, Peilin Meng, Muhammad Zubair Irshad 외 2명

H2RBench는 인간 동영상 시연으로부터 로봇 조작 정책을 학습하는 인간-로봇(H2R) 전이 방법들을 비교 평가하기 위한 Real2Sim 벤치마크다. 실제 인간 시연 영상과 시뮬레이션 로봇 시연을 기반으로 표준화된 프로토콜을 제공하며, 다양한 상호작용 요건을 포괄하는 4가지 조작 과제를 포함한다. 구현체 격차(embodiment gap) 해소 전략이 서로 다른 여러 대표적 H2R 전이 방법을 평가했으며, 인간 시연 데이터 양에 따른 확장성에서 방법들 간 상당한 차이가 확인됐다. 시뮬레이션 성능이 실제 환경 성능을 폭넓게 예측하는 것으로 나타났으며, 방법-과제 조합 전반에서 Pearson 상관계수 r=0.89, Spearman 상관계수 rho=0.85, MMRV(Mean Maximum Rank Violation) 0.06을 기록했다.

2609.22085v12026.09.18

SeeQ: 장기 로봇 조작을 위한 범용 가치 함수 학습

SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation

Saksham Singh, Zheyuan Hu, Max Sobol Mark, Jeffrey Yu, Zackory Erickson 외 1명

SeeQ는 장기·다단계 로봇 조작 과제에서 정책을 개선하기 위해 서브태스크(subtask) 단위로 Q값을 학습하는 방법이다. 전체 과제의 희소 보상 대신 현재 활성 서브태스크에 대한 Q값을 추정함으로써 가치 예측 지평선을 단축하고 시간차(TD, temporal-difference) 목적함수를 효과적으로 적용한다. 테스트 시 별도의 사람 주석이나 모듈형 서브태스크 예측 시스템 없이 작동하도록, Q함수 아키텍처가 현재 활성 서브태스크를 자연어로 자기회귀적으로 예측한 뒤 그 값을 추정하는 구조를 채택하였다. 시각-언어(vision-language) 기반 모델로 구현해 오픈소스 로봇 조작 데이터로 사전학습 후 하위 과제에 미세조정하였다. 두 양팔 로봇 플랫폼에서 진행한 네 가지 실환경 조작 과제에서 best-of-N 정책 조향 성능을 개선하였다.

2609.22075v12026.09.18

LIMBO: 민첩하고 안전한 전신 제어를 위한 모델 프리 배리어 목표 학습 및 내재화

LIMBO: Learning and Internalizing Model-Free Barrier Objectives for Agile and Safe Whole-Body Control

Jake Gonzales, Arturo Flores Alvarez, Yu-Ming Chen, Aaron D. Ames, Lillian J. Ratliff 외 1명

LIMBO는 고차원 비선형 동역학 환경에서 충돌 회피와 균형을 동시에 다루기 위해 상태-행동 제어 배리어 함수(Q-CBF, Q-Control Barrier Function)를 학습하고 태스크 정책에 내재화하는 프레임워크다. 고정된 기반 컨트롤러 주변의 잔차 행동(residual action)과 블랙박스 전이 데이터를 활용해 Q-CBF 합성을 전체 제어 차원에서 다루기 쉽게 만든다. 합성 단계에서는 학습된 안전값이 회복 가능성(recoverability) 경계 근방의 위험 유도 샘플링을 구동하고, 태스크 학습 단계에서는 행동 수준의 안전 피드백을 제공하는 교사 역할을 하여 배포 시 온라인 안전 필터를 별도로 두지 않아도 된다. 29 자유도 휴머노이드 로봇을 대상으로 피구공 회피와 낮은 장애물 아래 이동 과제를 수행했으며, 샘플링 집중도에 따라 웅크리기부터 뒤로 젖히는 림보 동작까지 다양한 전략이 도출되었다. 학습된 정책은 동일한 안전 사양 하에 온라인 안전 필터 없이 실제 하드웨어로 전이되었다.

2609.22073v12026.09.18

보행 유형 전반에 걸쳐 강건한 사족 로봇 보행을 예측하는 듀티 팩터

Duty Factor Predicts Robust Constrained Quadrupedal Locomotion Across Gait Types

James Zhu, David Ologan, George Ortiz, Thomas Chun Fai Lee, Selvin Garcia Gonzalez 외 3명

사족 보행 로봇에서 보행 유형(걷기·트로팅 등)은 보행을 완전히 규정하지 않으며, 듀티 팩터(duty factor)·속도·지지 너비 같은 매개변수가 동일 보행 유형 내에서도 달라질 수 있다. 전신 궤적 최적화(whole-body trajectory optimization)에 LQR 피드백을 결합한 분석에서, 듀티 팩터가 보행 유형보다 국소 오차 수렴의 더 강한 예측 인자로 나타났다. 학습 기반 보행 컨트롤러 실험에서는 듀티 팩터가 좁은 지형 환경에서의 강건성 조정을 위한 저차원 매개변수로 기능할 수 있음을 시사한다. 이러한 경향은 중심 모델 예측 제어(centroidal MPC) 프레임워크에서도 유지됐으며, 실제 사족 로봇을 이용한 좁은 지형 실기 실험을 통해 검증되었다.

2609.22062v12026.09.18

그리퍼 인식 기반 비정형 물체 자동 고밀도 적재

Gripper-Aware Automatic Dense Packing of Irregular Objects

Tianhao Qin, Connor McCann, Berk Calli, Jing Xiao

창고 작업에서 비정형 물체의 자동 고밀도 적재는 로봇 조작의 핵심 난제로, 기존 연구는 그리퍼를 고려하지 않은 시뮬레이션 환경에 머물러 있었다. 본 연구는 인식, 그리퍼 인식 배치 최적화, 힘 피드백 기반 실행을 통합한 폐루프(closed-loop) 파이프라인을 제안한다. 최적화기는 물체와 그리퍼를 계층적 구 트리(hierarchical sphere tree)로 표현한 복합 물체로 모델링하고, GPU에서 CMA-ES 프레임워크를 통해 5자유도를 탐색한다. 실행 중 힘 감지 수직 하강으로 첫 접촉 시 정지하고, 릴리스 이후 측면 여유를 줄이는 통합 푸시를 수행하며, 배치마다 컨테이너를 재인식해 오차 누적을 방지한다. Franka Emika Panda 로봇에서 3D 프린팅 물체 및 YCB 물체 세트를 대상으로 검증하고, 절제 연구(ablation study)로 각 구성 요소의 기여도를 분석했다.

2609.22055v12026.09.18

구성적 과제에서의 지속 학습을 위한 월드 모델 벤치마킹

Benchmarking World Models for Continual Learning on Compositional Tasks

Haoyu Zhou, Joe Watson, Anson Lei, Ingmar Posner

월드 모델(world model)이 새로운 환경에 적응하면서 이전 지식을 잊지 않으려면 과거 경험의 재사용 능력이 핵심이다. 연구팀은 로봇 조작 영역에서 구성적 지속 학습(compositional continual learning) 벤치마크를 제안하며, 각 과제 커리큘럼을 이전에 등장한 과제들의 요소를 조합한 형태로 설계했다. 구성 축을 행동(action)과 지각(perception)으로 분리해 어떤 입력 양식이 지식 재사용의 병목이 되는지를 분석한다. 최신 월드 모델을 대표적 지속 학습 기법과 함께 평가한 결과, 명시적으로 재사용 가능한 구성 요소를 갖춘 모듈형 월드 모델이 망각과 재사용 사이의 균형에서 기존 방법보다 나은 성능을 보였다. 다만 어떤 모델도 문제를 완전히 해결하지 못해, 망각 없이 재사용이 가능한 지속 학습 월드 모델 연구의 여지가 남는 것으로 나타났다.

2609.22040v12026.09.18

PRIME: VLA 모델에서 상황 메모리 임베딩을 활용한 인지 피드백

PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models

Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott 외 1명

자율주행용 시각-언어-행동 모델(VLA)은 인지→추론→계획 계층을 순방향으로만 처리하며, 초기 인지 단계가 하위 추론이나 탐색 목표를 반영하지 못한다는 한계가 있다. 이 논문은 과거 인지·추론·탐색 목표·예측 행동의 잠재 표현을 L-스텝 윈도우에 걸쳐 교차 어텐션(cross-attention)으로 집계하는 Situational Memory를 제안하고, 이를 인지 쿼리에 조건으로 부여하는 피드백 메커니즘 PRIME을 소개한다. PRIME은 7.3B 파라미터 기반 모델에 최대 29.7M 파라미터(0.41%)만 추가해 의도 기반 인지 어텐션을 구현한다. Bench2Drive 폐루프(closed-loop) 벤치마크 평가에서 주행 점수 82.47(ORION 대비 +4.73)과 성공률 60.00%(+5.38%p)를 기록했으며, 이는 Think2Drive 시연으로 학습된 공개 VLA 중 가장 높은 주행 점수다.

2609.21983v12026.09.18

SkelWAM: 제로샷 이기종 로봇 간 조작을 위한 골격 기반 세계-행동 모델

SkelWAM: A Skeleton-Guided World-Action Model for Zero-Shot Cross-Embodiment Manipulation

Pengjun Niu, Yujia Xie, Rui Peng, Hang Zhao, Ke Liu

SkelWAM은 단일 소스 로봇에서 학습한 조작 경험을 다른 형태의 로봇에 전이하는 골격 기반 세계-행동 모델(world-action model)이다. 팔 중심선 기하, 도구 중심점(TCP) 자세, 병렬 그리퍼 명령으로 구성된 25차원 공유 상태를 정의해 로봇 형태 변화와 무관한 일관된 표현을 사용한다. 비디오-행동 혼합 트랜스포머가 정준 골격 행동 청크를 예측하고, 엠보디먼트별 제약 디코더가 이를 관절 제어 또는 연속체 로봇 제어로 변환하므로 관절 간 일대일 대응이 불필요하다. 저자들이 새로 제안한 LIBERO-Cross10 벤치마크(10개 과제, 10종 대상 로봇, 4개 형태 그룹)에서 Franka 학습 정책이 1,000 에피소드 기준 43.3% 성공률을 기록하며 비교 기준선 대비 36.2%포인트 높은 성능을 보였다. JAKA mini2에서 학습한 정책을 Feagine A03 연속체 로봇에 배포해 테이블 조작 3개 과제에 적용하는 실기 실험도 함께 수행했다.

2609.21982v12026.09.18

CARF: 실패 유도 플로우 매칭의 대조적 인력-척력

CARF: Contrastive Attraction-Repulsion of Failure-Guided Flow Matching

Shuqi Zhao, Bang Du, Cheng-En Wu, Yichen Xie, Yixiao Wang 외 1명

로봇 시연 수집 과정에서 불가피하게 발생하는 실패 궤적을 보다 포괄적으로 활용하기 위한 학습 프레임워크 CARF를 제안한다. 기존 방법은 실패 궤적에서 과제 진행에 기여하는 구간만 재활용하고, 실패를 직접 유발하는 '실패 임계 구간(failure-critical segment)'은 대체로 무시하였다. CARF는 두 유형의 구간이 비대칭적 감독 신호를 제공한다는 점에 착안하여, 성공 시연과 그 섭동(perturbation) 결과만으로 학습한 진행도 점수기(progress-based importance scorer)를 도입해 각 단계의 기여도를 추정한다. 이 점수를 기반으로 플로우 매칭(flow matching) 목적 함수에 인력-척력(attraction-repulsion) 항을 결합해 정책이 진행 구간을 모방하고 실패 임계 구간을 명시적으로 회피하도록 학습한다. 시뮬레이션과 실제 환경 실험 모두에서 다양한 실패 시나리오에 걸쳐 비교 기준선 대비 일관된 성능 향상이 보고되었다.

2609.21948v12026.09.18

GALA: 다중 구현체 시각-언어-행동 모델 사전학습을 위한 기하 인식 잠재 행동 모델링

GALA: Geometry-Aware Latent Action Modeling for Vision-Language-Action Model Pretraining across Embodiments

Yichen Liu, Puzhen Yuan, Xiang Zhu, Yanjiang Guo, Jianyu Chen

기존 이미지 기반 잠재 행동 모델(LAM)은 인간 손·정밀 로봇 손의 손가락 수준 기하 변화를 포착하지 못하는 한계가 있다. GALA는 이미지 기반 잠재 행동에 3D 말단 장치(end-effector)의 기하 운동을 결합한 기하 인식 잠재 행동 모델링 프레임워크로, 이 문제를 해결하고자 제안되었다. 핵심 구성 요소인 통합 말단 장치 운동 표현(UEMR, Unified End-effector Motion Representation)은 세밀한 운동 정보를 유지하면서 다중 구현체(cross-embodiment) 일반화를 가능하게 한다. GALA는 장면 수준 동역학을 담은 시각 잠재 행동과 말단 장치 관절 운동을 담은 기하 잠재 행동을 결합해, 행동 라벨 없는 자아 중심(ego-centric) 인간 동영상을 포함한 다중 구현체 데이터로 시각-언어-행동 모델(VLA)을 사전학습한다. RoboCasa-GR1 벤치마크에서 68.3%, 실세계 실험에서 75.5%의 성공률을 기록했다.

2609.21942v12026.09.18IROS

실패한 로봇은 언제 질문해야 하는가? 검증된 센서 증거를 통한 교정적 인간-로봇 대화 시작

When Should a Failing Robot Ask? Initiating Corrective Human-Robot Dialogue from Audited Sensor Evidence

Eshika Pathak, Leela Krishna

로봇이 작업 실패 시 자체 진단·추가 센서 참조·인간 문의 중 어떤 행동을 선택해야 하는지를 3행동 의사결정 문제로 정식화하고, 고장 원인이 직접 주입(injected)된 시뮬레이션 벤치마크를 구축했다. 센서별 진단력을 측정한 결과, 일부 고장은 카메라 영상으로 판별할 수 없었으나 힘 데이터(force data)는 0.99의 정확도를 기록했고 어떤 영상 기반 방법도 0.55를 넘지 못했다. 6개 오픈소스 시각-언어 모델(VLM)을 평가한 결과, 응답이 센서 증거보다 프롬프트의 선택지 순서에 좌우되었으며, 순서 변경만으로 거부(refusal) 비율이 78~100%에서 0~6%로 급락한 사례가 3개 모델에서 확인됐다. 영상 기반 정확도는 모든 프롬프트 변형 조건에서 다수결 기준선(majority-class baseline)을 초과하지 못했고, 모델의 자체 신뢰도 수치는 정답 여부와 무관했다. 힘 데이터를 텍스트 10줄로 제공하자 6개 중 4개 모델에서 처음으로 기준선 이상 진단이 나타났으며, 인간에게 한 번 질문하는 것만으로 정확도가 0.70~0.81 수준으로 향상됐다.

2609.21929v12026.09.18

MAAP: 협동 매니퓰레이션을 위한 다중 에이전트 능동 인식

MAAP: Multi-Agent Active Perception for Collaborative Manipulation

Bruno N. Y. Chen, Li Kang, Heng Zhou, Xiufeng Song, Zhemeng Zhang 외 2명

MAAP(Multi-Agent Active Perception)는 협동 매니퓰레이션(manipulation) 환경에서 각 로봇 팔이 조작 동작을 수행하는 동시에 손목 카메라를 통해 팀 전체의 이동형 시점(viewpoint)을 제공하도록 설계된 방법론이다. 함께 제안된 RAIL(역할 인식 모방 학습, Role-Aware Imitation Learning)은 각 팔의 현재 역할을 행동 청크(action chunk)와 함께 예측하며, 단일 네트워크 안에서 역할 조건부 행동 생성을 수행한다. 시뮬레이션 4개 과제에서 고정 카메라 기준 평균 성공률 56.5%는 손목 카메라를 전부 활성화할 때 70.0%로, MAAP+RAIL 조합에서는 79.2%로 높아졌다. 3개 팔을 사용하는 Microwave 과제에서는 RAIL 적용 시 성공률이 47%에서 82%로 상승했다. 실제 듀얼암(dual-arm) 플랫폼 배치 실험에서 MAAP+RAIL은 20회 중 14회 성공한 반면, 고정 시점 ACT는 20회 중 0회에 그쳤다.

2609.21909v12026.09.18ICRA

운동학을 넘어: 근육 기반 모방 학습을 위한 시뮬레이션 충실도 벤치마킹

Beyond Kinematics: Benchmarking Simulation Fidelity for Muscle-Driven Imitation Learning

Ayah G. Ahmad, Claire E. Borden, Maegan Tucker

이 연구는 근골격 운동 모방 강화학습(MIRL) 파이프라인인 SCONE/HyFyDy와 MuJoCo/MyoSim을 공통 인체 동작 캡처 및 근전도(EMG) 데이터를 기준으로 체계적으로 비교한다. 두 파이프라인 모두 인체 운동학을 유사한 정확도로 재현하지만, 근육 활성화 패턴에서는 뚜렷한 차이가 나타났다. HyFyDy의 근육 활성화는 실험 EMG 대비 평균 RMSE 0.164, 상관계수 r=0.4를 기록한 반면, MuJoCo는 RMSE 0.344, r=0.11로 실측과의 일치도가 낮았다. 연구팀은 근건(musculotendon) 모델링의 생리학적 상세도 면에서 HyFyDy가 현재로서는 근골격 모델링에 더 적합하다고 결론 내렸다. 다만 두 파이프라인 모두 GPU 병렬 시뮬레이션 환경에서 생리학적 현실성을 확보하려면 추가 개발이 필요하다고 지적한다.

2609.21908v12026.09.18ICRA

CommitFlow: 장기 과제 로봇 조작 VLA 실행을 위한 의미론적 커미트먼트 검증 및 국소 보정

CommitFlow: Semantic Commitment Verification and Local Correction for Long-Horizon Robot Manipulation VLA Execution

Zixiang Zhao, Yansong Feng, Yang Yang, Chaoyu Wang, Haoran Xiao 외 3명

시각-언어-행동 모델(VLA) 정책은 필요한 물리적 조건이 충족되기 전에 다음 단계로 진행하는 '의미론적 커미트먼트(semantic commitment) 불일치' 문제를 지닌다. CommitFlow는 기반 정책을 고정한 채로 커미트먼트 모니터링과 국소 보정을 결합하는 폐루프(closed-loop) 실행 프레임워크다. Semantic Commitment Monitor(SCM)가 단계별 요건 충족 여부를 감시하고, BoundaryFlow가 현재 상태에 조건화된 국소 보정을 생성하며, Relation and Gain Calibration(RGC)이 제약 조건을 만족하는 최소 보정 강도를 선택한다. RoboTwin 2.0 벤치마크 10개 과제에서 평균 성공률 75.9%를 달성하며 기반 정책 π0.5 대비 22.7%p 향상되었다. 여러 정책을 대상으로 한 교차 실험에서도 일관된 성능 향상이 확인되었다.

2609.21883v12026.09.18

VIRGA: 능동 감지 공중-지상 협조를 위한 가상 에이전트 매개 리만 기하학 프레임워크

VIRGA: Virtual-Agent-Intermediated Riemannian Geometry for Active-Sensing Air-Ground Coordination

Fenghe Guo, Runjie Shen, Chenyang Sun, Junrui Zhang

VIRGA는 무인지상차량(UGV)에 장착된 짐벌 라이다(LiDAR)가 무인항공기(UAV)를 지속적으로 관측해야 하는 공중-지상 협조 문제를 다루는 신경 기하학 기반 제어 프레임워크다. 이중 라이다 관측값을 플랫폼별 리만(Riemannian) 필드로 변환하고, 가상 에이전트(virtual agent)를 통한 상호 탄성 피드백으로 두 플랫폼을 결합한다. 플랫폼 인지 실행 맵이 공유 협조 참조를 UAV·UGV·짐벌 명령으로 변환하며 능동 관측 안전 조건을 유지한다. Ray-RMP, 고밀도 해석적 리만 필드, ColAG 등 세 가지 기준 제어기와 비교했을 때, VIRGA는 창고 시나리오 전 조건을 안전하게 완수하고 재학습 없이 동굴 환경 장거리 스트레스 테스트에서도 협조를 유지하는 것으로 보고됐다. 어블레이션 실험은 온라인 기하학 평가, 가상 에이전트 매개, 상호 피드백 각각의 기여를 확인했다.

2609.21838v12026.09.18

PopNavShift: 보행자 행동 분포 변화 하의 사회적 내비게이션 스트레스 테스트

PopNavShift: Stress-Testing Social Navigation under Behavioral Population Shift

Kaizhen Tan, Diyu Zheng, Tim Guangyu Wu, ChengHe Guan

PopNavShift는 보행자 행동 분포 변화에 따른 사회적 내비게이션(social navigation) 전략의 강건성을 시험하기 위한 시뮬레이션 프레임워크다. Gemini 3.7 Flash를 이용해 MatrAIx Persona 1M의 600개 합성 페르소나 기록에서 인구 집단 조건별 보행자 움직임 프로필을 생성하고, 이를 한정된 운동 파라미터로 결정론적으로 매핑한다. 반응적 회피, 조기 양보, 상호 충돌 회피(reciprocal collision avoidance) 세 가지 전략을 8개 인구 집단 조건과 7,488개의 매칭된 로봇 실행에서 비교했다. 동일한 202개 페르소나에서 시간 압박 조건만 바꿨을 때 로봇 이동 시간 기준 컨트롤러 순위는 8.6% 역전됐으나, 평균 보행자 지연 기준으로는 22.4%, 최하위 10% 지연 기준으로는 23.9%가 역전됐다. 이 민감도는 공간이 제약된 환경일수록 크게 나타났으며, 두 번째 보행자 동역학 모델에서도 같은 경향이 재현됐다.

2609.20822v12026.09.17

안전한 로봇 조작을 위한 장애물 인식 하네스를 갖춘 코딩 에이전트

Coding Agents with an Obstacle-Aware Harness for Safe Robot Manipulation

Bingxin Xu, Yuzhang Shang, Zhen Dong, Emilio Ferrara

코딩 에이전트(coding agent)는 언어 모델이 로봇 제어기를 프로그램으로 작성하는 방식으로, 로봇 특화 학습 없이 로봇을 운용할 수 있다. 연구진은 조작 목표와 접촉 금지 장애물을 함께 제시하는 안전 제약 조건에서 코딩 에이전트를 평가한 결과, 대부분의 경우 장애물 충돌이 발생했다. 원인 분석에서 인식이나 지시 문제가 아닌 계획(planning) 단계에서 안전 제약이 우선순위로 처리되지 않는 것이 근본 원인으로 확인됐다. 이를 해결하기 위해 연구진은 SafeHarness를 제안했으며, 바운딩 박스 기반 웨이포인트 설정·검증·재계획을 수행하는 장애물 인식 경로 계획과 접촉 위치 자체가 장애물을 우회하도록 하는 장애물 인식 접촉 실행 두 가지 하네스를 결합한다. SafeHarness는 태스크 성공률 71.9%, 충돌 회피율 87.5%를 달성했으며, 하네스 미적용 동일 에이전트 대비 각각 2.3배, 1.5배에 해당한다.

2609.20820v12026.09.17CoRL

Workspace Models: 현저성 기반 지도학습을 통한 경량 로봇 메모리

Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision

Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal 외 1명

복잡한 로봇 조작 과제는 과거 사건·행동에 대한 장기 메모리를 필요로 하지만, 전체 이력을 조건으로 삼으면 허위 상관관계가 생겨 정책 성능이 저하된다. 기존 방법은 배포 루프 안에서 시각-언어 모델(VLM)을 반복 호출해 과제 관련 정보를 추출하는데, 이는 추론 시 계산 비용이 크다. 이 연구는 VLM 쿼리를 학습 시점에만 수행해 경량 잠재 메모리를 사전 학습하는 방법을 제안하며, 이 표현을 워크스페이스 토큰(workspace token)이라 명명한다. VLM이 과제 완료에 필요한 현재·과거 정보를 식별하면, 집합 재구성 디코더 손실(set-reconstruction decoder loss)을 통해 해당 정보를 워크스페이스 토큰에 증류하는 방식으로 학습된다. 시뮬레이션과 실기(hardware) 실험 모두에서 워크스페이스 토큰이 관측값의 대체제로 기능할 수 있으며, 배포 시 VLM 추론 없이도 메모리 집약적 과제를 수행할 수 있음을 보였다.

2609.20817v12026.09.17

FAMOS: 희소 관측으로부터의 피드포워드 3D 관절 객체 모델링

FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations

Kevin Qu, Tao Sun, Massimiliano Viola, Liyuan Zhu, Zhizhuo Zhou 외 3명

FAMOS는 정렬되지 않은 부분 포인트 클라우드(point cloud) 집합을 입력받아 가동 부품 분할(movable-part segmentation)과 관절 파라미터를 예측하는 피드포워드(feed-forward) 모델이다. 단일 관측에 의존하는 기존 방법과 달리, 여러 관측을 동시에 추론하며 입력 수가 가변적인 경우도 자연스럽게 처리한다. 복수 관측 간 관절 단서를 집계하기 위해 상태별·전역 어텐션을 교대 적용하는 다중 상태 관절 트랜스포머(Multi-state Articulation Transformer)를 도입했다. 기존 데이터셋의 규모와 다양성 한계를 극복하기 위해, 학습 중 자기 주석(self-annotated) 자산을 합성하는 절차적 데이터 생성기를 추가로 제안한다. PartNet-Mobility, ACD, ArtiCraft-10K 벤치마크에서 피드포워드 기반 및 최적화 기반 비교 모델 대비 일관된 성능 향상이 확인되었다.

2609.20791v12026.09.17

StageGuard: 에이전틱 증류를 통한 장기 로봇 과제의 단계 전환 학습

StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation

Jinbang Huang, Yuanzhao Hu, Zhiyuan Li, Ran Qi, Yixin Xiao 외 4명

계층적 계획(hierarchical planning) 프레임워크에서 현재 기술(skill)을 종료하고 다음 하위 과제로 전환할 시점을 판단하는 일은 장기 과제 실행의 핵심 문제다. 기존 방식은 사전 설계된 완료 신호 검사기에 의존하지만 실환경에서 확보하기 어렵고, 대규모 시각-언어 모델(VLM)은 과제 완료 기준과의 정렬 문제 및 클라우드 추론 지연으로 실시간 모니터링에 제약이 있다. StageGuard는 교사 VLM의 추론 결과와 시연 궤적을 결합해 하위 과제 완료·정책 전환에 관한 구조화된 설명을 생성하고, 경량 학생 VLM이 이를 지도 미세조정(supervised fine-tuning)으로 학습하는 에이전틱 증류(agentic distillation) 프레임워크다. 두 개의 벤치마크에서 단계 전환 예측 성능을 평가하고, BEHAVIOR-1K에서의 폐쇄 루프(closed-loop) 과제 성공률과 실물 로봇 검증을 추가로 수행했다. 실험 결과 단계 전환 예측 정확도가 크게 향상되면서 효율적인 온라인 모니터링이 가능한 것으로 나타났다.