PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 4건

2610.01927v12026.10.01

CLoSeR: 장거리 스트리밍 3D 재구성을 위한 루프 클로저

CLoSeR: Closing the Loop for Long-Context Streaming Reconstruction

Moyang Li, Zihan Zhu, Wei Zhang, Marc Pollefeys, Daniel Barath

피드포워드 기반 모델은 3D 재구성에서 우수한 성능을 보이지만, 긴 시퀀스에서 오류가 누적되어 트래킹 드리프트가 커지는 한계가 있다. CLoSeR는 스트리밍 재구성 기반 모델에 루프 클로저(loop closure)를 적용해 킬로미터 규모의 드리프트 없는 재구성을 구현한다. 전역 디스크립터 검색으로 루프 후보를 탐지하고, 루프 조건 윈도우를 구성해 루프된 프레임 간 상대 포즈를 추정한다. 채택한 백본이 전역적으로 일관된 스케일을 생성한다는 점에 착안해, 기존 연구에서 사용하던 Sim(3) 또는 SL(4) 다양체 대신 SE(3) 다양체 위에서 순차 및 루프 클로저 제약으로 포즈를 최적화한다. 킬로미터 규모 시퀀스 실험에서 드리프트 감소와 기하학적 일관성 향상이 확인되었으며, 코드는 공개되어 있다.

2610.01910v12026.10.01

이산 곡면 위의 로봇 학습: 이론과 응용

Robot Learning on Discrete Surfaces: Theory and Applications

Matteo Dalle Vedove, Fares J. Abu-Dakka, Luigi Palopoli, Daniele Fontanelli, Matteo Saveriano

대부분의 로봇 학습 및 동작 생성 프레임워크는 곡면의 내재적 기하(intrinsic geometry)를 무시하고 곡면을 단순 제약 조건으로 취급한다. 이 논문은 이산 미분 기하학(discrete differential geometry)을 활용하여 다면체 메시(polyhedral mesh) 위에서 직접 로봇 학습을 수행하는 통합 이산 리만(discrete Riemannian) 프레임워크를 제안한다. 프레임워크는 대수 지도(logarithmic map)·지수 지도(exponential map)·평행 이동(parallel transport)·주변 공간 투영(ambient-space projection)을 면·엣지·꼭짓점 전반에서 일관되게 정의한다. 동적 운동 프리미티브(Dynamic Movement Primitives, DMP), 가우시안 프로세스(Gaussian Process, GP), 리만 플로우 매칭(Riemannian Flow Matching, RFM) 세 가지 학습 패러다임에 적용하여 기존 접근 대비 곡면 간 일반화 성능과 생성 품질을 개선하였다고 보고한다. 시뮬레이션 비교 실험과 함께, 사용자 궤적을 다른 곡면으로 일반화하는 과제와 RGB-D 재구성 곡면 위 연마 동작 계획 두 가지 실기 시나리오에서도 검증하였다.

2609.40353v12026.09.30

AssemblyWorld: 범용 에이전트를 이용한 3D 조립 재검토

AssemblyWorld: Rethinking 3D Assembly with General-Purpose Agents

Jiahao Zhang, Yeying Fan, Moitreya Chatterjee, Suhas Lohit, Bernhard Egger 외 3명

AssemblyWorld는 에이전트가 렌더링된 2D 시점만으로 부품 형상을 파악하고 조립을 수행하는 인터랙티브 3D 환경이다. 에이전트는 메시 정점에 직접 접근하지 않고 2D 뷰와 이미지·조립 매뉴얼을 참조해 조작하며, 결과물은 기하학적으로 평가된다. 이 환경을 기반으로 가구·산업 부품·파손 재조립 등 80개 물체에 걸친 100개 과제로 구성된 벤치마크 AssemblyWorldBench를 구축했다. 8개 에이전트 시스템을 평가한 결과, 최상위 시스템은 부품 정확도(part accuracy) 80.9%, 완전 조립 성공률 59.4%를 기록했다. 오픈소스 시스템은 실행 안정성과 조립 정확도 모두에서 클로즈드소스 시스템에 비해 크게 뒤처지는 것으로 나타났다.

2609.40341v12026.09.30

Ego4WAM: 로봇 학습용 자기중심 인간 데이터 확장에서 중요한 것은 무엇인가?

Ego4WAM: What Matters When Scaling Egocentric Human Data for Robot Learning?

Zhihao Sun, Liu Liu, Xinjiang Wang, Haoyi Jiang, Wei Feng 외 4명

Ego4WAM은 로봇 학습을 위한 자기중심(egocentric) 인간 데이터의 어떤 속성이 로봇 성능 향상을 이끄는지 체계적으로 분석한 연구다. 세계-행동 모델(world-action model) 프레임워크 아래 모델 백본을 고정한 채 인간-로봇 정렬도, 데이터 지속시간·과제 다양성, 행동 지도(action supervision), 데이터 활용 전략의 효과를 각각 분리해 분석한다. 연구에 따르면, 정렬된 인간 시연 데이터는 분포 외(out-of-distribution) 일반화를 크게 향상시키고 목표 과제에 필요한 로봇 데이터 양을 줄이는 것으로 나타났다. 행동 레이블 없이 영상만으로 수행하는 지도 학습도 충분히 효과적이며, 이후 영상-행동 공동 학습의 기반이 된다. 실물 로봇 및 RoboDojo에서의 폐루프(closed-loop) 정책 평가를 통해 이 결과를 검증했다.

2609.40306v12026.09.30

DynaHarness: 자가 진화 로봇 에이전트를 위한 동적 물리 하네스

DynaHarness: A Dynamic Physical Harness for Self-Evolving Robot Agents

Haoyuan Deng, Jiebin Liu, Tengxiao Zhang, Langning Yan, Hongye Cao 외 1명

DynaHarness는 사전 학습된 로봇 정책의 의미론적 추론과 물리적 실행을 공유 실행 계약(execution contract)으로 결합한 프레임워크다. '느린 두뇌(slow brain)'가 기능과 심볼릭 인수를 제안하면, '빠른 두뇌(fast brain)'가 명령을 실행·감시하고 미해결 동작을 거부하며 필요 시 재계획을 요청한다. 실행 계약은 분석 기술, 복구 기술, 고정된 시각-언어-행동 모델(VLA)에 걸쳐 실행 증거를 기록하며, 실패 귀인(failure attribution)이 결함 위치를 특정해 재사용 가능한 기능을 수정한다. 회귀 검사(regression check)가 수정 사항의 채택 여부를 결정해 자가 진화 루프를 완성한다. LIBERO-Pro 벤치마크에서 새로 샘플링한 800개 초기 상태 기준 성공률 75.2%를 기록했으며, 이는 고정 정책의 17.5%, 단순 재계획 방식의 63.9%와 비교된다.

2609.40297v12026.09.30ICRA

자율 탐색을 위한 GPU 가속 경로 의존적 한계 정보 이득

GPU-Accelerated Path-Dependent Marginal Information Gain for Autonomous Exploration

João Félix Mendes, Rodrigo Ventura, Meysam Basiri

자율 탐색 로봇은 후보 시점(viewpoint)의 예상 정보 이득과 실행 비용을 연속적으로 평가해야 하는데, 기존 샘플링 기반 플래너는 동일 경로상 시점 간 관측 중복을 무시하고 각 후보를 독립적으로 처리했다. 이 연구는 미지 복셀(voxel)을 직접 저장·병합하는 대신 깊이 버퍼(depth buffer)를 이용해 선행 관측과의 중복을 제거하는 경로 의존적 한계 정보 이득(path-dependent marginal information gain) 계산 방법을 제안한다. 플래닝 트리를 깊이 순으로 평가해 시점 간 의존성을 유지하면서, 각 레벨의 후보 노드와 레이는 GPU에서 병렬 처리된다. 복셀 해시맵 기반 정확값 대비 오차 5~10% 이내를 유지하며, 데스크톱 GPU에서 최대 118배, NVIDIA Jetson Orin NX에서 28배의 속도 향상을 달성했다. 실제 환경 실험에서는 95% 탐색 달성 시간이 30% 단축되고 탐색 종료 시점도 앞당겨지는 결과가 나타났다.

2609.40269v12026.09.30

지도 불확실성 하에서의 신념 인식 다중 에이전트 경로 탐색

Belief-Aware Multi-Agent Path Finding under Map Uncertainty

Viraj Parimi, Shao-Hung Chan, Han Zhang, Jingkai Chen, Brian Williams

다중 에이전트 경로 탐색(Multi-Agent Path Finding, MAPF)은 공유 환경에서 여러 에이전트가 충돌 없이 이동하는 경로를 계획하는 문제이다. 기존 MAPF 연구는 모든 정적 장애물을 사전에 알고 있다고 가정하지만, 실제 환경에서는 낙하물·유출물 등으로 지도가 예기치 않게 바뀔 수 있다. 기존 접근법은 직접 관측된 위치만을 활용해 공간적 상관관계를 반영하지 못하므로, 인근 미관측 장애물을 사전에 추론하기 어렵다. 저자들은 MAGIC(Multi-Agent Gaussian belief Inference for Coordination) 프레임워크를 제안하며, 가우시안 마코프 랜덤 필드(Gaussian Markov Random Field)와 가우시안 신념 전파(Gaussian Belief Propagation)를 이용해 에이전트 관측을 기반으로 주행 가능성 신념을 온라인으로 갱신한다. MAPF 벤치마크 실험에서 MAGIC은 최대 800개 에이전트 규모의 96.3%의 인스턴스에서 기존 방법 대비 실행 비용 합계를 줄이는 것으로 나타났다.

2609.40245v12026.09.30CoRL

STARS: 인간-로봇 상호작용의 시공간 역학에서 사회적 표현으로

STARS: From Spatiotemporal Dynamics to Social Representations in Human-Robot Interaction

Nathan Tsoi, Michael J. Munje, Tejas Oberoi, Rishab Maheshwari, Pengen Zheng 외 3명

동적인 인간 중심 환경에서 로봇 내비게이션이 안전하게 작동하려면 사회적 장면 이해 능력이 필수적이나, 현재 시각-언어 모델(VLM)이 이를 충족하는지는 체계적으로 검증된 바 없다. 본 연구는 실세계 소셜 로봇 내비게이션 시나리오에서 VLM을 평가하기 위한 시각 질의응답(VQA) 데이터셋 및 벤치마크인 SocialNav-SUB를 제안한다. SocialNav-SUB는 공간·시공간·사회적 추론 과제에서 VLM을 인간 기준선 및 규칙 기반 기준선과 비교 평가하는 통합 프레임워크를 제공한다. 최상위 VLM이 인간 응답과 유사한 수준에 근접하기는 했으나, 단순한 규칙 기반 방법과 인간 합의 기준선 모두에 미치지 못하는 것으로 나타났다.

2609.40244v12026.09.30

StreamRig: 리그 내부 기하 구조를 활용한 스트리밍 다중 카메라 오도메트리

StreamRig: Exploiting Intra-Rig Geometry for Streaming Multi-Camera Odometry

Yufei Wei, Shuhao Ye, Qi Wang, Xin Zheng, Qing Huang 외 2명

StreamRig은 보정된 다중 카메라 리그(rig)의 스트리밍 오도메트리(odometry)를 위한 freeze-and-stream 프레임워크로, 동결된 다중 시점 3D 기반 모델(foundation model) 위에 경량 모듈을 추가해 학습한다. Rig-Resampler가 동기화된 카메라들의 특징을 압축하고, CausalBridge가 키-값 캐시를 활용한 인과적 어텐션(causal attention)을 적용하며, 경량 헤드가 리그 포즈를 회귀 추정한다. 학습 가능한 파라미터는 총 74.6M개이며, 상대 포즈만을 단독 지도 신호로 사용한다. 그룹 재지역화(relocalization) 사전학습과 인과 리그 학습을 결합한 2단계 학습 전략을 채용했으며, 학습에는 시뮬레이션 데이터만 사용하고 NCLT·TartanGround·KITTI-360·ZJH 데이터셋에서 제로샷(zero-shot) 실기 평가를 수행했다. 네 데이터셋 전반에 걸쳐 평가 대상 단안(monocular) 스트리밍 모델 및 리그 인식 오프라인 모델보다 평행 이동·회전 드리프트가 낮게 나타났다.

2609.40208v12026.09.30

단일 UAV 플래너를 활용한 중앙집중식 다중 UAV 탐색 및 3D 재구성

Centralized Multi-UAV Exploration and 3D Reconstruction Using Single-UAV Planners

João Félix Mendes, Meysam Basiri, Rodrigo Ventura

기존 단일 UAV 탐색 플래너를 다중 UAV 환경에서 그대로 활용할 수 있도록 중앙집중식 프레임워크를 제안한다. voxblox 라이브러리를 개조해 여러 UAV의 깊이 측정값을 공유 전역 절단 부호 거리 필드(TSDF, Truncated Signed Distance Field) 맵에 실시간으로 융합한다. UAV 간 충돌 회피와 자기 필터링 메커니즘을 통합해 다른 UAV가 정적 장애물로 재구성되는 문제를 방지한다. RH-NBVP, KRH-NBVP, AEP, KAEP 네 가지 샘플링 기반 플래너를 대상으로 시뮬레이션 실험을 수행했으며, UAV를 서로 다른 위치에서 출발시키는 분리 시작(Separated Start) 방식이 근접 시작(Joint Start) 방식보다 모든 플래너에서 탐색 속도와 커버리지가 일관되게 높게 나타났다.

2609.40178v12026.09.30

Dronar를 이용한 수로 비침습 점검

Non-Invasive Inspection of Water Canals Using Dronar

Michael Zielinski, Zhizhan Wang, Benjamin Dymond, Reza Razavian, Zhongwang Dou

연구팀은 드론과 소나 기술을 결합한 dronar 시스템을 개발해 미국 피닉스 지역 개방형 콘크리트 수로의 비침습 점검 방법을 제시했다. dronar는 소비자용 소나 시스템을 무인 수상 차량(USV, Unmanned Surface Vehicle)에 탑재해 수로 물을 빼지 않고도 수로 바닥 상태를 측정한다. 피닉스 애리조나 캐널(Arizona Canal)에서 세 차례 수행한 현장 시험에서, 퇴적물이 쌓인 구간의 DownScan 수심 프로파일은 청소 후 동일 구간보다 최대 15 cm 얕게 나타났다. 청소된 구간에서 반복 측정한 수심 프로파일이 거의 일치해 측정 재현성이 확인되었다. 이 연구는 현재 4년 주기로만 이루어지는 수로 점검을 상시화할 수 있는 개념 검증(proof-of-concept) 도구로 dronar를 제안한다.

2609.40177v12026.09.30ICRA

Social-WM: 로봇 사회 내비게이션을 위한 안전 인식 잠재 세계 모델

Social-WM: Safety-Aware Latent World Models for Robot Social Navigation

Zhihao Zheng, Mooi Choo Chuah

Social-WM은 자아 중심(egocentric) RGB 영상 시퀀스로 학습하는 잠재 세계 모델(latent world model) 기반 계획 프레임워크다. 명목 행동(nominal action)과 실현 가능 행동(realizable action) 사이의 체계적 불일치를 핵심 관찰로 삼아, 행동 조건부 미래 예측을 통해 안전 관련 결과를 직접 학습한다. 실현 가능 역방향 역학(realizable inverse-dynamics) 목적 함수를 추가 도입해, 관측된 잠재 전이를 명목 행동이 아닌 실제 실현된 행동과 연결한다. 추론 시 잠재 세계 모델로 후보 행동들을 시뮬레이션하고, 역방향 역학 모델이 각 행동의 실현 가능성을 추정해 실행 전 안전 신호로 활용한다. Social-HM3D 벤치마크에서 성공률 63.77%, 인간 충돌률 21.67%를 기록했으며, Social-MP3D로의 제로샷 전이에서도 보행자 추적·특권 인간 상태·온라인 강화학습 없이 강건한 성능을 유지한다.

2609.40165v12026.09.30

PrefPI: 분포 외 행동으로의 선호도 기반 유도

PrefPI: Preference-Guided Steering into Out-of-Distribution Behaviors

Seungeun Rho, Wontaek Kim, Danfei Xu, Sehoon Ha

PrefPI(Preference-Guided Policy Iteration)는 사전학습된 생성형 로봇 정책을 자체 생성 궤적에 대한 상대적 선호도만으로 조정하는 반복 프레임워크다. 기존 선호도 학습 방법이 이미 정책에 표현된 행동 모드를 강화하는 데 집중했다면, PrefPI는 초기 정책에서 거의 관찰되지 않는 분포 외(out-of-distribution) 행동 영역으로 유도하는 것을 목표로 한다. 선호 궤적을 조건부 분포로 정의하고, 분류자 없는 유도(CFG, classifier-free guidance)로 암묵적 선호 신호를 증폭하는 선호 조건부 생성 모델링으로 문제를 재구성한다. 확산 정책(diffusion policy)과 PI0.5 흐름 매칭(flow-matching) 시각-언어-행동 모델(VLA)에 적용한 실험에서 시뮬레이션과 실기 환경 모두 제한된 피드백으로 유의미한 행동 변화를 달성한다. 실기 실험에서는 선호도 레이블 궤적 150개만으로 물체 이송 높이가 10.7 cm에서 19.8 cm로 증가하는 결과를 보였다.

2609.40158v12026.09.30

소셜 로봇 복도 내비게이션에서의 가독성(Legibility) 재고: 의도 표현 방식과 인간 주의 분산의 영향

Rethinking Legibility in Social Robot Hallway Navigation: Impact of Intent Representation and Human Distraction

Pranav Goyal, Andrew Stratton, Christoforos Mavrogiannis

가독성(legibility)이란 관찰자가 로봇의 의도를 확신 있게 추론할 수 있도록 하는 로봇 동작의 속성이다. 이 연구는 복도 내비게이션 시나리오에서 모델 예측 제어(MPC) 프레임워크 안에 두 가지 가독성 공식화를 구현하고 두 건의 통제 사용자 연구를 통해 비교했다. 연구 1(N=45)에서 적응적으로 갱신되는 통과 방향 기반 가독성은 목적지 기반 및 비가독성 기준 조건에 비해 더 부드러운 보행자 움직임을 이끌어냈고, 더 유능하며 정신적·신체적 부담이 적다고 평가받았다. 연구 2(N=45)에서는 보행자의 주의가 분산된 상황에서도 가독성 있는 동작이 부드러운 인간 움직임을 유지했으나, 이 효과가 주관적 평가에는 일관되게 반영되지 않았다. 두 연구의 결과는 상호작용 수준의 의도 표현이 소셜 내비게이션의 가독성 생성에 유효하며, 주의 분산 상황에서도 일부 효과가 지속됨을 시사한다.

2609.40153v12026.09.30

Dream4ACT: 다중 신체 비디오-행동 모델링을 위한 공유 시각 행동 인터페이스

Dream4ACT: A Shared Visual Action Interface for Multi-Embodiment Video-Action Modeling

Xiangyu Zhu, Jin Xu, Yue Guo, Xin Wu, Yifan Sun 외 4명

Dream4ACT는 다양한 로봇 신체(embodiment)에 걸쳐 비디오-행동 공동 모델링을 수행하는 월드 모델이다. 행동 표현을 통일하기 위해 URDF 기반 순기구학(forward kinematics)으로 4개의 가상 카메라에서 목표 관절 구성을 렌더링하는 '행동 뷰(action views)'라는 공유 시각 행동 인터페이스를 도입한다. 이 시각적 표현은 신체별 관절 기하학을 보존하면서 관측·행동 시퀀스가 비디오 오토인코더와 확산 트랜스포머(diffusion transformer)를 공유할 수 있게 한다. 마스크 플로우 매칭(masked flow-matching)을 적용해 단일 공동 훈련 모델 안에서 순방향 다이나믹스, 역방향 다이나믹스, 관측-행동 공동 생성을 모두 지원한다. RoboTwin 2.0에서 평균 성공률 88.98%, TriWorldBench에서 전체 점수 65.66을 기록했다.

2609.40137v12026.09.30

셀프 플레이를 통한 플레이어블 에이전트 제어를 위한 Game-Guided Skill Discovery

Game-Guided Skill Discovery through Self-Play for Playable Agent Control

Seungeun Rho, Jeonghwan Kim, Xue Bin Peng, Sehoon Ha

GGSD(게임 가이드 스킬 발견, Game-Guided Skill Discovery)는 게임 내 셀프 플레이(self-play)를 활용해 인간이 직접 조작 가능한 모터 스킬을 자동으로 학습하는 프레임워크다. 계층적 에이전트가 과거의 자신과 경쟁하는 과정에서 상위 정책은 소수의 이산형 스킬 집합을 선택하고, 스킬 조건부 하위 정책이 해당 행동을 학습한다. 훈련 후 인간이 상위 정책을 대체해 동일한 이산 스킬로 에이전트를 직접 조작할 수 있으며, 스킬 전환 시 개별 원시 행동을 넘어서는 콤보 행동이 자연스럽게 출현한다. Ant, Franka-arm, Unitree G1 환경에서 실험한 결과, 추가 학습 없이 Maze·CubePush 등 미지의 과제를 인간이 스킬 조합으로 해결할 수 있었다.

2609.40134v12026.09.30

촉각 호기심이 이끄는 로봇 상호작용

Tactile Curiosity Drives Robot Interaction

Klemens Iten, Alexander Proshkin, Bhavya Sukhija, Stelian Coros, Andreas Krause 외 2명

강화학습(RL) 기반 로봇 조작 학습은 무작위 행동 탐색에 의존해 샘플 효율이 낮으며, 에이전트가 접촉이 발생하는 구간보다 자유 공간 움직임에 훈련 예산을 낭비하는 문제가 있다. 기존 내재적 동기(intrinsic motivation) 방법들은 모델 불일치나 인식론적 불확실성(epistemic uncertainty)을 활용하지만, 기능적으로 무관한 전환에서도 불확실성 보상이 발생하는 한계를 갖는다. 이 논문은 TacEx 프레임워크를 제안하며, 모델 불확실성을 감각 양식별로 분해해 탐색 호기심을 촉각 채널에 집중시킨다. TacEx는 태스크 보상이나 전문가 시연 없이 로봇이 복잡한 접촉 역학을 발견하고 물체를 조작·파지하는 정책을 학습하도록 유도하며, 탐색 중 수집된 데이터를 활용해 픽앤플레이스(pick-and-place) 정책을 오프라인으로 학습할 수 있다. 나아가 촉각 피드백 없이 사전 학습된 시각-언어-행동 모델(VLA)에 TacEx로 사후 훈련을 적용했을 때 샘플 효율을 유지하면서 성능이 향상되었다고 저자들은 보고한다.

2609.38178v12026.09.29

자율 로봇 정책 향상을 위한 Skill-Space Shooting

Skill-Space Shooting for Autonomous Robot Policy Improvement

Zihang Rui, Renhao Wang, Haoxu Huang, Yang Gao

로봇이 배포 이후 새로운 상황이나 실패를 마주쳤을 때 인간의 추가 시연 없이 스스로 정책을 개선할 수 있는 방법을 다룬다. 이 연구는 재사용 가능한 짧은 행동 단위인 스킬(skill)이 여러 태스크에 걸쳐 반복 등장하며 파운데이션 모델(foundation model)이 장면으로부터 추론할 수 있다는 점에 착안한다. 제안하는 Skill-Space Shooting은 파운데이션 모델의 안내로 스킬 공간을 탐색해 교정 시도를 생성하고, 성공한 시도를 정책 개선을 위한 학습 데이터로 변환한다. 실세계 실험에서 자율 동작하는 정책이 반복적으로 개선되는 결과가 나타났으며, 스킬을 태스크 간에 공유함으로써 새 태스크 학습에 필요한 교시 데이터를 줄일 수 있음을 확인했다.

2609.38172v12026.09.29CoRL

반사실적 비디오 생성을 통한 확장 가능한 휴머노이드 이동-조작 학습

Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation

Zihan Wang, Zhen Wu, Pieter Abbeel, Rocky Duan, Jitendra Malik 외 4명

본 논문은 소수의 실제 영상만으로 대규모 다양한 훈련 데이터를 구축하는 real-to-sim-to-real 프레임워크 PRISM을 제안한다. PRISM은 비디오-투-비디오(V2V) 생성 모델을 활용해 소수의 예시 영상으로부터 수백 개의 '반사실적(counterfactual)' 인간-물체 상호작용 영상을 생성한다. 접촉 앵커 기반(contact-anchored) real-to-sim 파이프라인이 이 영상들로부터 인간과 물체의 움직임을 재구성하고, 물리적으로 타당한 궤적으로 변환한다. 반사실적 영상 간 클래스 내 다양성 덕분에 단일 정책(policy)이 학습 중 보지 못한 물체에도 범주 내에서 일반화할 수 있다. 실제 로봇에 별도의 실세계 파인튜닝 없이 배포되었으며, 온보드 깊이(depth) 센서만을 사용해 박스·배럴·빈·공 등 다양한 물체를 집고 운반하고 내려놓는 동작을 수행하였다.

2609.38173v12026.09.29

In-context Robot Learning Made Simple: 조작 과제를 위한 재현 가능한 ICL 방법론

In-context Robot Learning Made Simple: A Democratized Recipe for Manipulation Tasks

Minxing Li, Minghao Han, Weizhi Zhao, Hanwen Wang, Xiangshuo Liu 외 8명

로봇 인컨텍스트 학습(ICL, in-context robot learning)은 시각적 시연으로부터 로봇이 과제를 추론·실행하는 패러다임이나, 시연 영상이 행동 궤적·객체 의미론·조작 어포던스(affordance)·공간 관계·과제 목표를 동시에 담아 로봇이 무엇을 따라야 하는지 불분명하다는 근본적 문제가 있었다. 이 논문은 로봇 ICL의 학습 목표를 명시적으로 정의해 프롬프트 모호성을 해소하는 문제 정의를 처음으로 제시한다. 이를 바탕으로 시각 프롬프트 인코더와 저비용 데이터 수집 프로토콜로 구성된 최소주의 재현 가능 프레임워크 SimpleICL을 개발하였으며, 대규모 사전학습이나 전용 데이터 인프라 없이 시뮬레이션과 실제 환경 모두에서 성능을 확인했다. 실험을 통해 행동·의미·구성·어포던스 구분 등 로봇 ICL의 핵심 특성도 분석하였으며, 데이터와 학습 파이프라인 전체를 공개할 예정이다.