PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건학회 채택 2건

2610.10438v12026.10.07

ECHO: 인간 물체 운반 장면의 체화 카메라 관측 데이터셋

ECHO: Embodied Camera Observations of Human Object Carrying

Xuefei Sun, Lorin Achey, Kali Hamilton, Alberto Speranzon, Gregory Grebe 외 2명

체화 에이전트(embodied agent)가 실내 환경의 맥락과 거주자 습관을 바탕으로 물체를 적절한 위치에 배치하는 능력을 평가하는 '문맥적 물체 배치(contextual object placement)' 벤치마크 과제를 제안한다. 이를 위해 ECHO 데이터셋을 공개하는데, 실내 공간의 RGB-D 밀집 스캔과 사람이 물체를 운반하는 합성 영상을 쌍으로 구성하였다. ECHO는 115개 HM3D 장면의 159개 층에 걸쳐 총 3,805개 에피소드를 포함하며, 198종의 물체가 등장한다. 각 에피소드에는 동기화된 RGB-D 클립, 6-DoF 카메라·인체·물체 궤적, 출발 및 목적지 표면 정보, 그리고 목적지를 직접 명시하지 않고 거주자 일상을 묘사하는 자연어 문장이 함께 제공된다. 실험 결과, 단일 입력 양식만으로는 목적지 예측이 불충분하며 장면 구조·인간 행동·문맥 지식을 함께 추론해야 함이 확인되었다.

2610.10437v12026.10.07

Scalar Adjoint Matching을 활용한 Q-러닝

Q-Learning with Scalar Adjoint Matching

Yonghoon Dong, Minsung Yoon, Jaehyuk Kim, Jungwoo Park, Changyeon Kim 외 1명

플로우 정책(flow policy)은 다양한 행동 분포를 포착할 수 있으나, 오프-정책 강화학습(off-policy RL)으로 파인튜닝할 때 각 플로우 스텝마다 벡터-야코비안 곱(vector-Jacobian product)을 계산해야 해 계산 비용이 크다. 저자들은 사전학습된 플로우 정책의 배치 평균 속도 야코비안(velocity Jacobian)이 대각 방향으로 집중된다는 점을 발견하고, 이를 근거로 플로우 시간에 따라 값 그래디언트를 스케일링하는 폐쇄형 스칼라 어드조인트(scalar adjoint)를 도출했다. 이 스칼라 어드조인트와 정책 생성 행동에 대한 가치 페널티(value penalty)를 결합한 SQAM을 제안한다. OGBench의 난이도 높은 4개 도메인에서 SQAM은 각 도메인의 기존 최강 기준선 대비 18~35 퍼센트포인트 높은 성공률을 기록했다. 또한 실제 양손 로봇(bimanual robot)에서 시각-언어-행동 모델(VLA) 파인튜닝에도 적용했으며, 세 가지 과제 모두에서 지도학습 파인튜닝보다 높은 성능을 나타냈다.

2610.08789v12026.10.06

QF3: 필터링된 Q-그래디언트를 이용한 빠른 플로우 강화학습

QF3: Fast Flow RL with Filtered Q-Gradients

Chung Min Kim, Brent Yi, David McAllister, Hongsuk Choi, Himanshu Gaurav Singh 외 5명

QF3는 플로우 매칭(flow matching) 기반 정책을 온라인 오프-폴리시(off-policy) 강화학습으로 훈련하는 알고리즘이다. 비평가(critic)의 행동 그래디언트를 플로우 출력의 1단계 예측에 역전파하되, 리플레이 행동과 가까운 행동 차원에만 그래디언트를 적용해 업데이트 안정성을 확보한다. 저자들에 따르면, 휴머노이드 보행 정책을 처음부터 학습한 뒤 하드웨어에 제로샷(zero-shot) 전이하는 첫 오프-폴리시 플로우 강화학습 방법이다. 온-폴리시(on-policy) 플로우 강화학습 방법인 FPO++와 비교해 보행 및 동작 추적 정책 훈련에서 벽시계 시간(wall-clock time) 기준 10배의 속도 향상을 달성했다. ABC-Sim과 Robomimic 과제에서 사전 훈련된 플로우 기반 조작 정책을 미세 조정하는 데도 적용해, 시연 데이터로 획득한 정책의 개선에도 활용 가능함을 보였다.

2610.08784v12026.10.06

PEARS: 실패 추론과 확산 조향을 통한 촉각 조작의 물리 사전지식 기반 효율적 적응

PEARS: Physical-Prior-Guided Efficient Adaptation via Failure Reasoning and Diffusion Steering for Tactile Manipulation

Kun Song, Yiming Wang, Yilin Chen, Tianyi Ding, Jiaxin Tian 외 3명

PEARS는 배포 시 발생하는 분포 외(OOD) 조건에서의 성능 저하를 해결하기 위해 촉각 피드백을 활용하는 하이브리드 강화학습(RL) 프레임워크다. 물리 사전지식 기반 힘 추론(PFR) 모듈은 시각-언어 모델(VLM)에 인코딩된 물리 사전지식으로 시각적 결과와 촉각 상호작용 이력에서 실패 원인을 진단하고 접촉력 범위를 갱신한다. 촉각 조건부 확산 조향 RL은 기반 모델을 수정하지 않고 동결된 플로우 매칭 정책의 잠재 노이즈를 조정해 자유 공간 동작과 접촉 타이밍 오류를 교정한다. 시뮬레이션에서 과제별 최강 기준선 대비 성공률이 12.4~37.4 퍼센트포인트 향상되었고, 특정 성공 임계값 도달에 필요한 에피소드 수는 최대 53.2% 감소했다. 실제 환경에서는 Whiteboard Erasing 과제에서 95%, Pipette Liquid Aspiration 과제에서 90%의 성공률을 기록했다.

2610.08780v12026.10.06CoRL

DepthWorld: 로봇 조작을 위한 3D 월드 모델

DepthWorld: 3D World Model for Robot Manipulation

Jai Bardhan, Josef Sivic, Vladimir Petrik

기존 영상 기반 월드 모델(world model)은 RGB만으로 학습되어 프레임 단위로는 그럴듯해 보이지만 일관된 3D 공간을 구성하지 못한다는 한계가 있다. 연구팀은 학습된 스테레오 깊이와 결합 인자 그래프(joint factor graph)를 결합한 캘리브레이션 파이프라인을 제안해 DROID 데이터셋을 3D 버전인 DROID-3D로 변환했다. DROID-3D는 밀도 있는 메트릭 깊이(metric depth)와 재보정된 다시점 외부 파라미터를 제공하며, 외부 카메라 기준 에피소드의 90%에서 재투영 오차(reprojection error) 0.7 px 미만을 달성했다. DepthWorld는 Stable Video Diffusion 기반 월드 모델로, 사전 학습된 변분 오토인코더(VAE)를 수정하지 않고 공간 잠재 타일링(spatial latent tiling)을 통해 다시점 RGB와 깊이를 동시에 예측한다. 동일한 학습 비용 조건에서 깊이 감독을 추가하면 RGB 전용 기준선 대비 +1.48 dB PSNR의 RGB 예측 성능 향상도 함께 나타났다.

2610.08771v12026.10.06

시간 제약 자율 행동을 위한 임무 인식형 어테스테이션 엔벨로프: 하드웨어-인-더-루프 V2I 연구

Mission-Aware Attestation Envelopes for Time-Critical Autonomous Action: A Hardware-in-the-Loop V2I Study

Dimitrios Nikou, Nikolaos Kekatos, Sophia Petridou, Stylianos Basagiannis

자율 시스템이 특권적 물리 행동을 요청할 때, 기존의 이진(binary) 인증 게이트는 증거의 신선도와 결정 지연 시간을 고려하지 못한다. 이 논문은 무결성 유효성·증거 신선도·물리 상태 기반 예산 내 결정 완료라는 세 조건을 포함하는 임무 인식형 어테스테이션(attestation)을 런타임 보증 계약으로 정식화한다. 이 계약은 변조·만료 증거·지연 결정에 의한 거부를 각각 구분하는 네 가지 운용 결과를 제공하며, 이는 이진 게이트의 두 가지와 대비된다. 차량 모의주행 시뮬레이터, 마이크로컨트롤러 OBU(On-Board Unit), TPM 기반 리눅스 RSU(Roadside Unit)로 구성된 하드웨어-인-더-루프(Hardware-in-the-Loop, HIL) V2I(차량-인프라 통신) 플랫폼에서 평가하였다. 신선도 상한이 인증 예산을 초과하지 않으면 지연 결정이 항상 만료 증거를 수반해 지연 여부가 관측 불가능해지며, 어테스테이션 주기가 즉시 조정 가능한 핵심 배포 파라미터임을 보인다.

Jessica Lewis 🦋 thepaintedsquare / Pexels

2610.08765v12026.10.06

LBA-CBF: 병렬 동역학 추론을 통한 빠른 적응형 안전 필터

LBA-CBF: Rapidly Adaptive Safety Filters via Parallel Dynamics Inference

Maitham F. AL-Sunni, Timeea-Andreea Radu, Hassan Almubarak, Henry Z. Liao, Michael Görner 외 2명

제어 장벽 함수(Control Barrier Function, CBF)는 가정된 동역학 모델을 기반으로 명령의 안전성을 보증하는데, 갑작스러운 체제 변화가 발생하면 이 보증이 무너질 수 있다. LBA-CBF는 후보 동역학 모델들의 집합을 유지하고, 짧은 과거 구간 동안의 예측 오차를 기준으로 모델 순위를 매겨 가장 적합한 모델 근방의 모든 후보에 대해 고차 CBF 조건을 동시에 강제한다. 이론적으로는 안전 대표 후보가 집합 내에 유지되는 한 실제 CBF 조건이 만족됨을 증명한다. 쿼드로터 시뮬레이션에서 갑작스러운 풍향 역전과 미지 페이로드 조건 하에 전체 초기 조건에서 목표 도달에 성공한 반면, 비교 기준 방법들은 0~88%의 성공률을 보였다. Crazyflie 2.1과 F1TENTH 실기 실험에서는 바람, 페이로드 분리, 가변 타이어-노면 마찰 조건에서 적응 성능을 검증하였다.

2610.08761v12026.10.06

VeriFine: 체화 추론의 자기 개선을 위한 검증 확장

VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning

Zewei Zhou, Rachel Luo, Yulong Cao, Chaowei Xiao, Chensheng Peng 외 8명

자기 개선 정책은 학습이 진행될수록 새로운 실패 패턴을 지속적으로 생성하는데, 고정된 판단자(judge)는 이에 대응하지 못해 최적화 피드백과 유용한 학습 예제 발굴을 동시에 제약한다. VeriFine은 정책, 훈련 커리큘럼, 판단자를 함께 공진화(co-evolution)시키는 에이전트 하네스 프레임워크로 이 문제를 다룬다. 정책 개선 루프는 루브릭 판단자를 이용해 반복 실패를 진단하고 적응형 커리큘럼을 구성하며, 개선이 정체되면 판단자 개선 루프가 인간 피드백과 공동 교정(coactive calibration)을 통해 판단자를 갱신한다. 갱신된 판단자는 다음 단계의 데이터 선별과 정책 최적화를 유도한다. 주행(driving)과 로봇 내비게이션 과제에서 강화학습 및 지도 미세조정(supervised fine-tuning) 전반에 걸쳐 정책과 판단자 모두 지속적 성능 향상을 보였다.

2610.08737v12026.10.06

PhoneBot: 스마트폰을 재활용한 저비용 오픈 휴머노이드 로봇 플랫폼

PhoneBot: A Low-Cost Open Humanoid Robot Platform Reusing Smartphones

Ruochen Hou, Quanyou Wang, Daniel Koh, Dennis W. Hong

PhoneBot은 시중 스마트폰을 주요 감지·연산 장치로 재활용하는 오픈소스 휴머노이드 로봇 플랫폼이다. 스마트폰의 관성 측정 장치(IMU), 카메라, 무선 통신, 온보드 처리 기능을 그대로 활용해 별도 센서 및 컴퓨팅 하드웨어 비용을 줄이는 구조를 채택한다. 하체는 저가 구동기(actuator) 13개로 이루어진 모듈식 구조이며, 상체에 장착된 스마트폰이 인지, 제어 연산, 사용자 상호작용을 담당한다. 비전 기반 사람 추종, 대화형 상호작용, 촬영, 원격현존(mobile telepresence) 기능을 지원하며, 실험을 통해 안정적인 보행과 인지 기반 상호작용을 확인했다. 하드웨어·소프트웨어 설계를 모두 공개해 교육, 연구, 신속한 프로토타이핑에 활용할 수 있도록 했다.

2610.08733v12026.10.06IROS

소셜 로봇과의 음성 대화를 위한 확장 가능한 벤치마크를 향하여

Towards an Extensible Benchmark for Spoken Dialogue with Social Robots

Casey Kennington, Ross Mead, Saad Elbeleidy, Jesse Thomason

언어 모델은 인간과 로봇 사이의 인터페이스를 제공하지만, 음성·대화·빠른 상호작용·협력이 요구되는 상황에서는 해결해야 할 과제가 남아 있다. 이 논문은 명확화 요청, 발화 중단(interruption), 신체 신호(머리 끄덕임, 표정 단서), 시간 제약 등 로봇-인간 음성 대화의 공통 요소를 탐구하기 위한 벤치마크를 제안한다. 벤치마크는 인간-로봇 상호작용(human-robot interaction, HRI)의 다른 측면으로도 확장 가능하도록 설계되었다. 벤치마크 구현을 지원하기 위해 실시간 통신 프레임워크인 Retico를 활용해 로봇의 음성 대화 기능을 구현할 것을 함께 제안한다.

2610.08726v12026.10.06

EgoLAP: 언어-행동 추론을 통한 1인칭 시점 인간 데이터 학습

EgoLAP: Learning from Egocentric Human Data through Language-Action Reasoning

Lihan Zha, Shresth Grover, Tenny Yin, Samuel M. Bateman, Hengkai Pan 외 5명

EgoLAP은 1인칭 시점(egocentric) 인간 데이터를 로봇 학습에 활용하기 위한 시각-언어-행동 모델(VLA) 사전학습 프레임워크다. 저수준 동작은 구현체마다 다르지만, 동작 의도(motion intent)는 인간과 로봇 간에 전이 가능한 과제 구조를 담고 있다는 점이 핵심 가설이다. EgoLAP은 동작 의도를 구조화된 언어 행동 사고 사슬(chain-of-thought)로 표현하고, 장면 기하·물리·객체 어포던스(affordance)에 기반한 동작 수준 추론과 결합한다. 실세계 및 시뮬레이션 실험에서 평균 실세계 과제 진행률 80.1%를 달성했으며, 대안적 행동 표현 대비 2.3배 성능 향상이 보고되었다. 동작 수준 추론은 하위 과제·객체 박스·시각적 흔적 추론을 조합한 복합 형식보다 높은 성능을 나타냈다.

2610.08695v12026.10.06

NMPP: 복잡한 환경에서의 민첩한 UAV 비행을 위한 비선형 모델 예측 계획

NMPP: Nonlinear Model Predictive Planning for Agile UAV Flight in Cluttered Environments

Ondřej Procházka, Juraj Pauko, Robert Pěnička, Martin Saska

이 논문은 쿼드로터(quadrotor)가 장애물이 많은 환경을 비행할 때 장애물을 소프트 비용 항목이 아닌 하드 기하 제약(hard geometric constraint)으로 처리하는 비선형 모델 예측 계획(Nonlinear Model Predictive Planning, NMPP)을 제안한다. 계획기는 전상태 참조 궤적(full-state reference trajectory)을 SE(3) 컨트롤러에 전달해 장애물 정보 없이도 정밀한 추적이 가능하도록 설계되었다. 선형 MPC 궤적 계획기 대비 위치 RMSE를 58~67% 낮추고, 다항식 궤적 계획기 대비 41~70% 낮추는 결과를 나타냈다. 숲 환경 비행 실험에서는 최대 9.5 m/s 속도로 충돌 없이 완주하였으며, 공격적인 속도 프로파일 조건에서 비행 성공률 86%를 기록한 반면 비교 대상 계획기는 26%에 머물렀다. 실제 환경 배치 실험에서는 미지의 복잡한 환경을 최대 5.5 m/s로 안정적으로 비행하였다.

2610.08653v12026.10.06

다리형 로봇의 자기장 인식 제어

Magnet-Aware Control of Legged Robots

J. Playan Garai, S. B. Djuve, C. McGreavy, M. Khadiv

입자가속기 등 대형 과학 시설(Big Science facilities)은 자율 로봇을 통한 무인 운용이 필요하지만, 강한 자기장이 센서를 손상시키고 자세에 따른 기계적 렌치(wrench)를 유발해 기존 반응형 제어기로는 안정적인 보행이 어렵다. 이 논문은 공간적으로 변하는 자기 렌치를 모델링·추정·보상하는 제어 프레임워크를 제안한다. MuJoCo 시뮬레이터용 커스텀 물리 플러그인과 역장 추정 프레임워크를 개발해 쿼드러피드(quadruped)의 동적 반응과 센서 데이터로부터 잠재 자기장을 직접 추론한다. Magnet-Aware MPC(모델 예측 제어)와 WBC(전신 제어) 아키텍처를 통해 보행 중 자기 교란을 예측·상쇄한다. 시뮬레이션 및 실물 하드웨어 실험에서 힘 공간 최대 거부 가능 교란이 비보상 시스템 대비 2.5배, 토크 공간에서 1.6~2배 향상되었고 운용 가능 영역은 29.34% 증가했으며, 그중 10.84%는 기존 제어기로는 즉시 넘어졌을 구간이다.

2610.08650v12026.10.06

기하학적 사전 지식을 활용한 빠른 비모수적 이분산 모방 학습

Fast Non-Parametric Heteroscedastic Imitation Learning With Geometric Priors

Maximilian Mühlbauer, Arne Sachtler, Markus Knauer, Cem Küçükgenç, Yanlong Huang 외 2명

이 논문은 인간 시연에서 확률적 정책(probabilistic policy)을 학습할 때 데이터 효율과 새로운 시나리오 적응 속도를 높이기 위한 비모수적(non-parametric) 방법을 제안한다. 로봇공학에서 흔히 등장하는 다양체(manifold) 기하 구조를 반영한 기하학적 사전 지식(geometric prior)을 도입하여, 기존 기하-비인식 방법 대비 데이터 효율을 개선하고 이분산(heteroscedastic) 불확실성 추정을 지원한다. 비분리형 대각 커널(non-separable diagonal kernel)로 자유도(degrees of freedom) 간 불확실성 관계를 포착하며, 위치와 방향을 모두 포함한 궤적의 업데이트를 3 ms 미만으로 처리하는 최적화된 구현을 제시한다. 태스크 파라미터화(task parameterization)를 통해 재훈련 없이 다양한 물체 자세에 적응할 수 있으며, 다양체 값 입력과 출력 모두를 지원한다. 장난감 예제와 실제 로봇 조작 태스크에서 자율 실행 및 공유 제어(shared control) 시나리오를 대상으로 평가가 수행되었다.

2610.08642v12026.10.06

HygieneRoboBench: 가정용 로봇의 위생 인식 계획 벤치마킹

HygieneRoboBench: Benchmarking Hygiene-Aware Planning for Household Robots

Yurun Chen, Josh Qixuan Sun, Jason Qin, Chengtai Li, Tianyi Wang 외 2명

HygieneRoboBench는 가정용 로봇이 오염 접촉 이력을 바탕으로 위생 위험을 식별하고 새로운 접촉 이벤트 후에도 안전한 작업 계획을 수립하는 능력을 평가하는 벤치마크로, 134개 태스크 패밀리에 걸쳐 624개 인스턴스로 구성된다. 기존 벤치마크가 접촉 이력 기반 위험 식별과 사후 안전 계획 수립을 동시에 평가하지 못한 한계를 보완한다. 태스크는 두 개의 그리퍼와 공유 물체를 통한 오염 전파, 처리 비용, 사용자 우선순위를 반영한다. 저자들은 LLM 기반 그라운딩(grounding), 접촉 이력 재구성, CP-SAT를 결합한 Hygiene-NSP 플래너를 제안하며, 이 플래너는 안전 해결률 94.4%, 최적 안전 해결률 90.4%를 달성했다. LLM 기반 플래너와 기호적(symbolic) 플래너 평가에서, 작업을 안전하게 완료하는 것이 사용자 우선순위 기준의 최소 실행 비용을 보장하지는 않는 것으로 나타났다.

2610.08640v12026.10.06

RIWANav: 도시 탐색을 위한 재귀적 세계-행동 모델 자기개선

RIWANav: Recursive World-Action Models with Self-Improvement for Urban Navigation

Jing Xie, Shouwei Ruan, Yubin Wang, Yuxiang Zhang, Haitao Yang 외 2명

장거리 도시 탐색은 순차적 지역 결정의 오류가 누적될 수 있으며, 모방 학습(IL)은 실패로부터 거의 학습하지 못하고 물리적 강화학습(RL)은 비용이 크다는 한계가 있다. RIWANAV는 행동 조건부 세계 모델(action-conditioned world model)과 행동 모델(정책)을 재귀적 자기개선(RSI, Recursive Self-Improvement) 방식으로 공동 적응시키는 사후 학습 프레임워크다. 각 사이클에서 세계 모델은 상상된 시각적 결과를 통해 정책 행동을 평가하고 그룹 상대 정책 최적화(GRPO, Group-Relative Policy Optimization)를 위한 비교 피드백을 제공한다. 개선된 정책은 행동 참신성과 예측 오류를 기준으로 전문가 일치 행동-영상 쌍을 선택해 자기 커리큘럼을 구성하며, 정제된 세계 모델이 다음 정책 업데이트의 피드백을 담당한다. 실험에서 RIWANAV는 학습 기준선 및 선행 방법보다 높은 성능을 보였으며, 실제 환경 실험에서도 적용 가능성이 확인되었다.

2610.08637v12026.10.06

하중을 느끼며: 탑재물 상호작용 하에서의 순응형 사족보행 로봇 보행

Feeling Through the Load: Compliant Quadruped Locomotion under Payload Interactions

Shaunak A. Mehta, Mayank Mishra, Prajit KrisshnaKumar, Sebastian Scherer, Koichiro Niinuma

이 연구는 사족보행 로봇이 탑재물을 운반하는 중 사람이 해당 탑재물에 직접 힘을 가할 때, 온보드 측정만으로 이를 감지하고 순응적(compliant)으로 반응하는 힘 인식 보행 프레임워크를 제안한다. 핵심 설계는 탑재물 상호작용을 로봇-탑재물 시스템 전체의 운동을 형성하는 명령으로 해석하는 것으로, 힘 인식 보행 정책 학습과 비구속 탑재물에 대한 힘 추정을 분리하여 처리한다. 순응형 탑재물 운반 정책과 인과적 힘 추정기(causal force estimator)를 결합하고, 추정기-루프-내 데이터 집적(estimator-in-the-loop data aggregation) 및 파인튜닝 방식으로 학습한다. 시뮬레이션과 실물 로봇 실험 모두에서 안정적인 탑재물 운반 보행, 외부 상호작용에 대한 순응적 반응, 추정된 힘을 활용한 사람 유도 궤적 변화 지원이 가능함을 보였다.

2610.06850v12026.10.05

InterMimicGen: 자기진화 동작 모방을 통한 휴머노이드 이동-조작 확장

InterMimicGen: Scaling Humanoid Loco-Manipulation through Self-Evolving Motion Imitation

Yucheng Zhang, Sirui Xu, Jinhong Li, Liuyu Bian, Anatulya Nandi 외 6명

InterMimicGen은 모션 캡처된 인간-물체 상호작용 데이터를 전신 협응과 손-물체 관계를 보존하면서 휴머노이드 로봇 참조 동작으로 변환하는 자기진화 동작 모방(motion imitation) 프레임워크다. 물리 기반 제너럴리스트 트래커를 훈련해 덱스터러스 손을 갖춘 휴머노이드가 시뮬레이션에서 다양한 참조 동작을 단일 정책으로 실행한다. 데이터 플라이휠(data flywheel) 구조를 통해 매 라운드마다 상호작용 위치와 신체 동작에 소규모 변화를 적용하고, 시뮬레이션 실행이 성공한 변형만 유지해 다음 라운드 학습 데이터로 활용한다. 반복이 누적될수록 희소한 원본 시연 주변의 커버리지가 넓어지며 과제 의미와 동작 품질은 유지된다. 실험에서 접촉 보존 리타게팅, 단일 제너럴리스트 정책의 광범위한 트래킹, 실제 로봇으로의 전이를 확인했다.

2610.06843v12026.10.05

에이전트 로봇을 위한 Recursive Video In-Context Learning

Recursive Video In-Context Learning for Agentic Robot

Wenrui Bao, Xinxin Liu, Bingxin Xu, Yuzhang Shang

기존 LLM 에이전트는 동결된 시각-언어-행동 모델(VLA) 정책을 텍스트 메모리로 보완하지만, 시연 영상에 담긴 파지 접촉 등 물리적 세부 정보를 포착하지 못한다는 한계가 있다. RV-ICL(Recursive Video In-Context Learning)은 시연 영상을 파지·해제 같은 하위 이벤트 기반의 계층 구조로 변환하는 학습 불필요(training-free) 방법이다. 계층은 전체 과제 키프레임부터 단계, 순간, 짧은 클립까지 세분화되며, 에이전트는 계획 단계에서는 거친 수준을 참조하고 실행 중 세부 정보가 필요할 때만 현재 하위 목표에 해당하는 클립을 선택적으로 로드한다. 과제당 시연 하나만으로 동작하며, RPent 위에 구현된 RV-ICL은 LIBERO-PRO 벤치마크에서 성공률을 92.6%에서 96.5%로, LIBERO-Plus에서 86.7%에서 95.8%로 끌어올렸다.

2610.06814v12026.10.05

TAPDreamer: 월드 액션 모델을 위한 전이 가능한 적대적 패치

TAPDreamer: Transferable Adversarial Patches for World Action Models

Xuanyu Lu, Fengqing Jiang, Kaiyuan Zheng, Yichen Feng, Yaorui Ding 외 6명

월드 액션 모델(world action model)은 환경 변화를 예측해 로봇 제어의 기반이 되지만, 카메라 입력 조작으로 시각 표현이 손상될 수 있다. TAPDreamer는 공개 인코더만으로 고정된 지역 섭동(perturbation)을 생성하며, 대상 모델 출력에 대한 접근 없이도 다양한 태스크와 정책 구조에 전이된다. 패치가 어텐션(attention) 가중치와 값 벡터 간 상호작용을 통해 패치 영역 밖까지 일관된 표현 변화를 전파하는 것이 핵심 원리다. 입력의 약 6.5%를 덮는 단일 고정 패치로, LIBERO 40개 태스크에서 FastWAM의 성공률을 97.7%에서 0.0%로, RoboTwin 50개 태스크에서 90.8%에서 0.0%로 낮췄으며, 같은 패치가 DreamWAM 두 구성에서 2.1%·0.8%, Motus에서 10.0%로 성공률을 떨어뜨렸다. 이 결과는 월드 액션 모델 방어 시 행동 생성 모듈만 보호하는 것은 불충분하며, 공유 시각 인코더도 지속적 지역 섭동에 대해 보호해야 함을 보인다.