PAPERS
arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.
Dual Process Motion Planning
Jiayi Yan, Francesco Fabiano, Alessandro Abate
이 논문은 고전적 제어·계획 방법과 학습 기반 접근법을 결합한 신경-기호(neuro-symbolic) 관점의 비선형 모션 플래닝 프레임워크를 제안한다. 인지과학의 '빠른 사고와 느린 사고(Thinking Fast and Slow)' 패러다임에 착안하여, 기호적 솔버를 '시스템-2' 구성 요소로, 경험 기반 학습 모듈을 '시스템-1'로 통합한 이중 프로세스 구조를 설계하였다. 메타인지 컨트롤러(metacognitive controller)가 두 모듈의 상호작용을 동적으로 조율하며, 상황에 따라 빠른 직관과 정밀한 추론 중 어느 쪽을 활성화할지 결정한다. 다양한 비선형 벤치마크 환경에서 평가한 결과, 계획 효율성·정확도·일반화 성능에서 일관된 향상이 나타났다.
REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs
Riyaaz Shaik, Chandru Venkataraman
기존 시각-언어-행동 모델(VLA)(OpenVLA, π_0, RT-2, RDT-1B 등)은 재사용 가능한 행동 추상화 없이 원시 모터 명령을 출력하는 단일체 구조로, 장기 과제에서 성능이 저하된다. REFACTOR-VLA는 재사용 가능한 스킬을 학습하는 웨이크/슬립 시스템으로, 슬립 단계에서 학습된 잠재 세계 모델로부터 계산한 행동 동등성 커널(BEK)을 활용해 모터 프로그램 조각을 클러스터링하고, 웨이크 단계에서는 Hindley–Milner 방식에서 착안한 어휘 위의 타입화된 람다 항(lambda term)을 생성해 라이브러리 조건부 정류 흐름(rectified-flow) 행동 디코더에 전달한다. 최소 기술 길이(MDL) 및 리턴 보존 조건을 모두 통과한 추상화만 라이브러리에 등록된다. LIBERO 벤치마크 실험에서 세계 모델 파라미터를 188M에서 430M으로 늘렸을 때 4개 스위트 전체에서 성능이 저하되어, 모델 용량 증가만으로는 충분하지 않음이 확인됐다. 세계 모델 워밍업 시 보조 지도 대조 손실(InfoNCE)을 추가하면 슬립 단계 클러스터링이 크게 개선되어 4개 스위트 모두에서 기존 최강 베이스라인 대비 평균 Δ=+0.184의 정규화 상호 정보량(NMI) 향상을 기록했다.
On Global Regulatability of Robot Manipulators by Classical PID
Cheng Zhao, Jingru Zhu, Lei Guo
이 논문은 채널별 상대차수(relative degree)가 다를 수 있는 불확실 다입력-다출력(MIMO) 비선형 시스템에 확장 PID(EPID) 제어를 적용하는 방법을 연구한다. 채널별 EPID 제어기를 설계하여 각 제어 입력을 해당 채널의 추적 오차에 대한 비례·적분·미분 항으로 구성하고, 최고 미분 차수를 해당 채널의 상대차수에 맞춰 선택한다. 초기 상태 범위, 불확실성, 기준 신호를 기반으로 EPID 파라미터의 허용 집합을 구성하며, 이 집합 내 임의의 파라미터 선택이 폐루프 시스템의 세미글로벌(semiglobal) 안정성과 목표점 조절을 보장함을 증명한다. 이 결과는 강한 채널 간 결합이 있는 불확실 MIMO 시스템—로봇 매니퓰레이터 및 비행 제어 시스템 포함—에서 채널별 독립 튜닝이라는 공학적 관행에 이론적 근거를 제공한다.
SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies
Weiqi Wang, Zhi Li, Yudong Lei, David Martinez, Xiaofeng Gao 외 5명
이 논문은 모델 기반 제어와 학습 정책을 통합하기 위해 의미론적으로 통합된(Semantically UNified) SUN 프로그램을 제안한다. SUN 프로그램은 기하학적·접촉 관계를 한 번 정의하면 모델 예측 제어(MPC) 비용, 강화학습(RL) 보상, 전이 조건 등으로 자동 컴파일되는 타입 기반 실행 파일이다. 대형 비전-언어 시스템이 구동하는 시스템 Kuafu는 언어와 장면 의미로부터 SUN 프로그램을 자동 합성하고, MPC로 실현 가능성을 검증한 뒤 단계 조건부 정책을 학습시킨다. 9개 태스크에서 Kuafu는 매크로 성공률 82.03%를 달성해 희소 보상(35.67%) 및 Stage-BC(24.75%) 기준선을 상회했으며, 태스크당 500개 궤적으로 학습한 DP3 정책은 시뮬레이션에서 46.0%, 실물 Franka 및 Kinova 로봇에서 34.7%의 성공률을 기록했다.
Driving on Memory
Christian Löwens, Thorben Funke, Alexandru Paul Condurache
엔드-투-엔드(end-to-end) 자율주행 모델은 원시 센서 입력으로부터 미래 궤적을 계획하며, NAVSIM·Bench2Drive 등 최신 벤치마크는 시뮬레이션 기반의 다양한 지표로 이를 평가한다. 연구팀은 모델의 카메라 입력을 동일 위치의 과거 주행 기록(메모리)으로 대체해, 현재 교통 상태 없이 도로 배치와 위치 기반 통계만으로 주행하는 실험을 수행했다. 실제 장면을 전혀 관찰하지 않은 메모리 기반 접근법이 NAVSIM에서 주요 엔드-투-엔드 방법과 동등하거나 오히려 높은 점수를 기록하는 결과가 나타났다. 이는 높은 NAVSIM 점수가 반드시 현재 교통 상황에 대한 반응 능력을 반영하지 않을 수 있음을 시사하며, 해당 벤치마크 결과를 해석할 때 주의가 필요하다. Bench2Drive와 RealEngine에서는 메모리 기반 주행 시 성능 하락이 훨씬 크게 나타나, 이 효과가 벤치마크에 따라 상이함을 보였다.
DARP: A Calibrated Dual-Arm RGB-D-IR Dataset for Multi-View Robotic Perception
Manish Kansana, Mohammed Yusuf Mujawar, Sudip Mittal, Shahram Rahimi, Noorbakhsh Amiri Golilarz
단일 시점 로봇 인식의 자기 가려짐(self-occlusion)과 불완전한 표면 가시성 문제를 해소하기 위해 DARP 데이터셋이 공개되었다. 테이블 작업 공간 양측에 배치된 두 개의 아이-인-핸드(eye-in-hand) 매니퓰레이터가 각각 Intel RealSense 센서를 탑재하여 RGB·깊이(depth)·스테레오 적외선 데이터를 동기화 기록하며, 로봇 관절 상태 로그를 함께 저장해 카메라 궤적 복원을 지원한다. 데이터셋은 10개의 고유 테이블 오브젝트를 대상으로 자동 위치 추정, 교차 팔 확인, 적응형 시점 생성, 연속 멀티모달 기록 절차를 통해 구축되었다. 기하학적 일관성 평가에서 224개의 RGB-D 키프레임(쿼리 포인트 1,563,466개)을 기준으로 포인트-메시 거리 중앙값 2.13 mm, RMSE 4.04 mm를 달성했으며, 전체 포인트의 96.56%가 측정 표면 메시 10 mm 이내에 위치하였다. DARP는 다시점 재구성, 협동 로봇 인식, 멀티모달 융합, 능동 인식 연구 등에 재사용 가능한 공개 자료로 제공된다.
Autonomously Acquiring Robot Manipulation Skills with Language-Driven Quality-Diversity
Émiland Garrabé, Mahdi Khoramshahi, Stéphane Doncieux
품질-다양성(Quality-Diversity, QD) 알고리즘은 다양한 모션 프리미티브(motion primitive) 라이브러리를 통해 로봇이 배포 환경의 제약에 제로샷으로 적응할 수 있게 하지만, 성공 조건·적합도·다양성 지표를 전문가가 직접 설계해야 한다는 한계가 있다. 본 논문은 자유형식 자연어 태스크 설명만을 입력으로 받아 QD 알고리즘을 자율적으로 활용하고 다양한 모션 프리미티브 아카이브를 생성하는 방법을 제안한다. 대형언어모델(LLM)을 기반으로 적합도 및 행동 기술자(behavior descriptor, BD) 공간을 포괄하는 함수 집합을 탐색하는 메커니즘을 설계하였으며, 태스크별 프롬프트·파인튜닝·전문가 개입 없이 저차원 함수 공간에서 샘플링한다. 이질적인 BD 샘플을 활용하도록 다중-BD 변형인 MAP-Elites success(MES) 알고리즘을 적용하였다. Genesis 시뮬레이터 기반 4가지 로봇 조작 태스크 실험에서, 제안 방법은 추론된 파라미터화 및 수작업 파라미터화를 사용하는 기존 QD 알고리즘보다 높은 성능을 나타냈다.
LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied Navigation
Shaoan Wang, Aocheng Luo, Fei Huang, Jingyi Xu, Xiaoyang Wang 외 15명
LightNav-0는 사전 훈련된 시각-언어 모델(VLM)의 공간 지능을 체화 내비게이션(embodied navigation)에 직접 적용하는 소형 범용 모델로, 태스크별·구현체별 전용 모듈 없이 단일 모델 안에 인식·추론·행동을 통합한다. 듀얼 채널 포인팅(dual-channel pointing)으로 태스크·장면·구현체에 무관한 공간 의도를 표현하고, 잔차 벡터 양자화 행동 토크나이저(residual vector-quantized action tokenizer)가 이를 구현체 특화 궤적으로 변환한다. 훈련 데이터는 2,000개 이상의 장면과 4,000시간 이상의 체화 내비게이션 데이터로 구성된다. LightNav-ER 체크포인트는 8개 체화 추론 벤치마크 전체 세트 평균에서 최고 성능을 기록하였으며, LightNav-0는 공개된 10개 내비게이션 시뮬레이션 환경 모두에서 단안 카메라 기준 성공률 최고 성능을 달성하였다. 실제 로봇 환경에서도 다양한 구현체, 장면, 정적·동적 목표물에 대한 제로샷(zero-shot) 일반화 능력이 확인되었다.
The Structure of Merging Turbulent Jets Beneath a Small Quadrotor
Anoop Kiran, Nora Ayanian, Kenneth Breuer
소형 쿼드로터 Crazyflie 2.1(암 길이 46 mm)을 대상으로 입자 영상 유속계(PIV, Particle Image Velocimetry)를 이용해 제자리 비행 시 발생하는 하방 후류(downwash)를 대각선 단면과 전방 로터 단면 두 경로에서 측정하였다. 4개의 로터 제트는 z/l ≈ 5 지점에서 단일 기둥으로 합류하며, 이후 평균 속도 분포는 z/l ≈ 13 부근에서 국소 중심선 속도와 반폭으로 정규화하면 정준 원형 제트(canonical round jet) 자기 유사(self-similar) 형태에 수렴한다. 유효 소스 직경 D_eff = 2.29l, 유효 레이놀즈수 Re_D_eff = 3×10⁴로, 정준 제트 스케일링이 성립한 범위의 하한에 해당하나 확산·감쇠 상수는 정준 범위 내에 있다. 난류 수직 응력(turbulent normal stress)은 측정 전 영역에 걸쳐 4-로터 소스에 기인한 이중 봉우리(bimodal) 특성을 단면에 따라 유지하는 것으로 나타났다.
SleepWalking: Privileged Representation Shaping for End-to-End Blind Locomotion in Legged Robots
Zheng Pan, Tenghui Wang, Peilin Li, Shiyu Zhou, Hao Sun 외 3명
이 논문은 부분 관측 가능(partially observable) 보행 문제를 정보 보존(information retention) 문제로 재해석하고, SWAQ(SleepWalking for Robot Locomotion) 프레임워크를 제안한다. SWAQ는 정책 학습 시 다음 단계의 특권 물리 변수(privileged physical variable) 재구성을 활용해 순환(recurrent) 히스토리 표현이 보존하는 정보를 형성하며, 배포 단계에서는 히스토리-행동 직접 경로만 사용하는 1단계 엔드-투-엔드 구조다. 동일 학습 조건에서 SWAQ는 최강 비외수용성(non-exteroceptive) 기준선인 DWAQ 대비 최고 평균 지형 레벨에서 15.0% 높은 성능을 달성하면서, 제어 단계당 추론 MACs(곱셈-누산 연산)는 44.4% 적게 소요된다. 레이어별 프로브(layerwise probe) 분석 결과, 재구성된 물리 변수와 연관된 정보가 행동 출력 직전 레이어까지 선형 디코딩 가능한 상태로 유지됨을 확인했다. 이 결과는 의미론적 학습 목표가 배포 제어기의 구조적 분리 없이도 표현 학습을 효과적으로 구조화할 수 있음을 시사한다.
Zeva: In-Context Causal Learning for Generalizable Embodied Manipulation
Fu Chen, Xin Ding, Bingjia Huang, Xiangyu Li, Mingju Wang 외 6명
실제 환경에서 발생하는 미지의 물리 조건으로 인해 사전 훈련만으로는 일반화 가능한 구현 조작(embodied manipulation)을 달성하기 어렵다. Zeva는 정책 모델을 고정한 상태에서 로봇 자신의 물리적 상호작용 경험을 문맥으로 활용하는 인-컨텍스트 학습(in-context learning) 프레임워크다. 인과 상호작용 추출기(Causal Interaction Extractor)가 실행된 행동과 이로 인한 상태 변화를 인과 신호로 인코딩하여 이중 시간 척도 인과 메모리(dual-timescale causal memory)에 저장하며, 이후 행동 시 관련 신호를 검색해 고정된 정책 모델에 주입한다. 시뮬레이션 및 실세계 실험에서 비교 대상 시각-언어-행동 모델(VLA) 및 WAM 대비 가장 높은 성공률을 기록했으며, 그레이디언트 업데이트 없이 배포 중 성능이 지속적으로 향상된다. 로봇이 축적한 상호작용 경험은 학습에 사용되지 않은 다른 작업에도 일반화되는 것으로 나타났다.
Provably Safe Decentralized Contingency MPC under State-Only Information and Limited Sensing for Nonlinear Multi-agent Systems
Max Studt, Georg Schildbach
본 논문은 비선형 다중 에이전트 시스템을 대상으로, 상태 정보만 활용하는 분산 컨틴전시 모델 예측 제어(MPC) 프레임워크를 제안한다. 핵심 개념은 에이전트별 폴백 영역(안전 집합, safe set)으로, 각 에이전트가 항상 안전 평형 상태로 복귀 가능한 기동을 보장한다. 새롭게 도입한 안전 집합 갱신 메커니즘은 이론적 보장(재귀 실현 가능성·리아푸노프형 수렴·안전성)을 유지하면서 분산 상호작용의 보수성을 줄인다. 이 구조는 메모리 없는 국소 상호작용과 유한 감지 범위를 지원하며, 인접 에이전트의 정확한 기하 정보를 재구성할 필요가 없다. 밀집 다중 에이전트 시뮬레이션 결과를 통해 접근법의 유효성을 검증한다.
GAFT: Geo-Anchored Fine-Tuning for Hazard Identification from Rare Failures
Yanran Xu, Chuanhang Qiu, Yue Wang, Wenbo Wu, Zhaoxing Li
오프로드 주행에서 하이-센터링(high-centering)이나 함정(entrapment)과 같은 물리 구조물로 인한 실패는 드물게 발생하며, 수집 데이터가 한정적이어서 모델 학습이 어렵다. 본 연구는 Geo-Anchored Fine-Tuning(GAFT)을 제안하며, 기하학(geometry) 유래 사전 정보(prior)를 활용해 비전 기반 모델(vision foundation model)을 파라미터 효율적으로 적응시킨다. GAFT는 공간적 어텐션 롤아웃(attention-rollout) 맵을 기하학 사전 정보와 정렬하여 LoRA 적응을 안내하고, 사전 학습된 표현을 보존한다. 개입 검증 산림 위험 벤치마크에서 10개의 독립 학습 모델을 평가한 결과, 반복 leave-one-scenario-out(LOSO) 평균 F₂ 점수가 0.0607에서 0.3757로 향상되었다. 최고 성능 GAFT 모델은 반복 LOSO F₂ 0.570을 달성하며 동결 DINOv2 및 지도학습 PEFT 기준선을 모두 상회했다.
A Dual-Cam Parallel Elastic Actuator with Shared Gas-Spring Compensation for Humanoid Ankles
Jingcheng Jiang, Yifang Zhang, Nikos G. Tsagarakis
이 논문은 휴머노이드 발목의 토크 용량과 에너지 효율 향상을 목적으로 2자유도(2-DoF) 병렬 탄성 액추에이터(PEA, Parallel Elastic Actuator)를 제안한다. 핵심 설계는 듀얼 캠과 단일 가스 스프링 구조를 채택하여, 하나의 탄성 요소만으로 피치(pitch)와 롤(roll) 두 축의 토크 보상을 동시에 수행함으로써 기존 다중 요소 방식 대비 구조적 소형화를 달성한다. 두 보상 유닛 간의 상호 의존성을 명시적으로 모델링한 연성 2자유도 수학적 모델을 공식화하고, 이를 바탕으로 요구 토크 기준에서 맞춤형 캠 프로파일을 도출하는 최적화 기반 설계 프레임워크를 개발하였다. 정적 유한요소해석(FEA)과 기구학 시뮬레이션을 통해 설계의 실현 가능성과 토크 경감 효과를 검증하였다.
Learning to infer and manipulate through distributed whole-arm interaction in a soft robot
Chuhan Zhang, Ebrahim Shahabi, Kseniia Khomenko, Wei Pan, Cosimo Della Santina
코끼리·문어처럼 촉각 탐색과 조작이 분리되지 않는 동물의 원리에 착안하여, 소프트 로봇에서 분산 순응 상호작용(distributed compliant interaction)으로 과제 관련 정보를 추론하고 조작 행동을 조직하는 물리 지능(physical intelligence) 프레임워크를 제안한다. 핵심 과제 정보는 직접 계측되지 않고 과거 물리 상호작용 이력으로부터 추론해야 하는 부분 관측 가능(partially observable) 문제로 정식화된다. 이를 해결하기 위해 사전 훈련된 탐색 정책, 탐색·파악 목표를 통합한 단일 순환 정책, 두 단계 시뮬레이션-실제(sim-to-real) 적응으로 구성된 강화학습(reinforcement learning) 아키텍처를 제안한다. 검증에는 순응 구조 내부에 IMU(관성 측정 장치)를 내장한 하이브리드 강성-소프트 로봇 팔을 사용하였으며, 시각 정보 없이 전팔 파악(whole-arm grasping)만으로 다양한 물체를 안정적으로 집는 데 성공하였다.
Failure or Drift? Evaluating Monocular SLAM under Synthetic and Real-World Corruptions
Abhay Skaria Thomas, Shashank Agnihotri, Margret Keuper
단안 시각적 동시적 위치추정 및 지도작성(SLAM)은 주로 깨끗한 궤적 데이터로 평가되지만, 실제 배포 환경에서는 악천후·조명 변화·모션 블러·센서 노이즈가 주된 실패 원인이다. 본 연구는 고전적 특징 기반 시스템과 두 개의 학습 기반 추적기를 이미지 공간, 기하학 인식, 복합 손상 조건에서 평가하고, 4Seasons 데이터셋의 실제 악조건 결과와 비교한다. 평가는 단일 궤적 오차로 축약하는 대신 추적이 완전히 끊기는 명시적 실패와 시스템이 동작을 유지하면서 누적되는 드리프트(drift)를 분리하여 분석한다. 실험 결과, 학습 기반 추적기는 대체로 catastrophic 실패를 지속적이고 심각한 드리프트로 대체하는 경향을 보였다. 또한 합성 손상의 물리적 충실도에 따라 학습 기반 시스템 간 성능 순위가 달라졌으며, 구조화된 비·안개 프록시는 실제 환경 순위를 보존한 반면 단순 조명 프록시는 그렇지 않았다.
CIG-RL: Curiosity-Driven Information-Guided Reinforcement Learning for Source Term Estimation in Uncertain Environments
Junhee Lee, Seunghwan Kim, Hongro Jang, Hyungjin Kim, Hyoungho Park 외 2명
오염원 추정(Source Term Estimation, STE)은 위험 가스 누출의 위치·강도 등 주요 특성을 파악하는 기술로, 이동형 센서를 탑재한 자율 로봇의 활용이 연구되고 있다. 기존 심층 강화학습(Deep Reinforcement Learning, DRL) 기반 STE 방법은 무작위 탐색이나 신뢰 불확실성 감소만을 이용해 고잡음 환경에서 정책 강건성이 저하되는 한계가 있다. 저자들은 훈련 중 충분히 탐색되지 않은 신뢰 상태(belief state) 전이를 능동적으로 탐색하는 CIG-RL 프레임워크를 제안한다. 또한 불확실성에 적응하는 능동 지각 보상(uncertainty-adaptive active perception reward)을 도입해 오염원 탐색 효율을 높인다. 고잡음 시뮬레이션 및 실환경 실험에서 제안 방법의 강건성과 실용 가능성이 확인되었다.
Temporal Forcing: 4D Representation Alignment for Vision-Language-Action Models
Xingyu Ding, Yuzhong Zhao, Chunhai Zhao, Yinghuan Shi, Chaoyang Zhao 외 1명
기존 3D 기반 시각-언어-행동 모델(VLA)은 현재 장면 기하구조만 포착하여 장기(long-horizon) 조작 및 시각적으로 유사한 상태 간 관측 혼동(observation aliasing) 문제를 겪는다. 이를 해결하기 위해 4D 표현 정렬 방법인 Temporal Forcing을 제안한다. Temporal Forcing은 히스토리 패스웨이(history pathway)를 통해 관측 이력을 시간 인식 잠재 표현으로 요약하고, 사전학습된 4D 기반 모델이 추출한 시간적으로 일관된 기하학적 특징과 정렬하여 동적 환경에 대한 이해를 높인다. LIBERO 벤치마크에서 98.8%를 달성해 기반 모델 대비 2.2포인트를 향상했으며, 물리적 환경의 은닉 물체 배치(hidden-placement) 과제에서는 전체 성공률이 20.0%에서 43.3%로 올랐다.
Aero Hand Open: A Simulation-Ready Tendon-Driven Hand for Dexterous Manipulation Learning
Nan Wang, Mohit Yadav, Jonathan Wulff, Aidan Rosenbaum, Kezhou Chen 외 3명
Aero Hand Open은 건인 구동(tendon-driven) 방식의 인체형 로봇 핸드로, 케이블을 통해 힘을 전달함으로써 관절 내부에 모터를 탑재할 필요가 없어 소형·저비용 모터로 구성할 수 있다. 케이블 하나가 여러 관절을 동시에 구동하는 부분작동(underactuated) 전달 구조는 시뮬레이터 표현이 어렵고 관절을 독립적으로 지령하기 어렵다는 문제가 있다. 연구팀은 케이블 전달 메커니즘을 재현하는 시뮬레이션 모델, 엄지손가락의 3방향 결합을 포함한 양방향 액추에이션 맵(actuation map), 강화학습(reinforcement learning) 훈련 패키지를 함께 공개한다. 이 구성을 통해 정책을 시뮬레이션에서만 학습한 뒤 추가 파인튜닝이나 상태 추정 없이 실제 핸드에 바로 배포할 수 있다. 기계 설계, 시뮬레이션 모델, 식별된 매핑, 훈련 환경, 배포 스택 전체를 오픈소스로 공개한다.
ChainSplat: A Physics-Inspired Screw-Theoretic Model for Learning Deformable Linear Object Dynamics from Multi-View RGB Videos
Seungyeon Kim, Noémie Jaquier
ChainSplat은 케이블·로프·호스 같은 변형 가능 선형 물체(DLO, Deformable Linear Object)의 3D 형상, 외관, 운동학, 동역학을 다시점 RGB 영상만으로 공동 학습하는 프레임워크다. DLO를 회전 관절로 연결된 개방형 강체 링크 체인으로 표현하며, 스크류 이론(screw theory) 기반의 해석적 모델과 가우시안 스플래팅(Gaussian splatting)을 결합해 임의 상태에서의 고품질 RGB 렌더링을 지원한다. 기존 방법이 다단계 파이프라인과 깊이(depth) 센서 입력에 의존하던 한계를 극복하고, 관절 배치(joint configuration)로 매개변수화된 컴팩트한 상태 표현을 사용해 모델 기반 제어의 계산 부담을 줄인다. 실세계 실험에서 동적 상호작용 환경의 동역학 예측, 3D 형상 복원, RGB 렌더링 세 부문 모두에서 기존 방법 대비 최고 수준의 성능을 나타냈다. 실시간 상태·힘 추정 및 모델 기반 궤적 최적화(trajectory optimization)도 지원해 실제 로봇 조작 태스크에 적용 가능성을 보인다.