PAPERS

논문 트래커

arXiv cs.RO 신규 논문을 매일 수집해 한국어 요약을 붙입니다. 학회 채택 정보는 저자 코멘트에서 자동으로 추출합니다.

725건

2609.03892v12026.09.03

GraFT: 3D 장면 그래프를 활용한 다중모달 대형 언어 모델의 훈련 없는 공간 추론 프레임워크

GraFT: A Training-Free Framework for Spatial Reasoning in Multimodal Large Language Models via 3D Scene Graphs

Junqing Du, Fernando Ropero, Erkin Turkoz, Yanfeng Zhang, Lu Liu

현재 다중모달 대형 언어 모델(MLLM)은 정밀한 기하 측정, 자기중심(egocentric)과 타자중심(allocentric) 시점 변환, 세밀한 외관 파악에서 일관된 성능을 내지 못한다. GraFT는 추가 학습 없이 3D 장면 그래프(3DSG)를 통해 이 한계를 보완하는 프레임워크로, 기존 모델 가중치나 특정 백본에 종속되지 않는다. GraFT는 기호적 도구를 이용한 결정론적 기하 계산, 조감도(BEV) 렌더링을 통한 타자중심 레이아웃 파악, 자기중심 프레임 기반 시각 속성 추론 세 가지 공간 추론 기능을 제공한다. ScanQA 벤치마크에서 동일 백본 기준선 대비 CIDEr 점수를 27% 향상시켰으며, VSI-Bench에서는 동결(frozen) MLLM 성능을 최대 65% 끌어올려 독점 모델 및 다수의 파인튜닝 기반 공간 추론 모델을 상회하는 결과를 보였다.

2609.03891v12026.09.03

동적 온톨로지 기반 시맨틱 매핑을 위한 하이브리드 파이프라인

A hybrid pipeline for dynamic ontology-based semantic mapping

Konstantinos Dimitropoulos, Ioannis Hatzilygeroudis

본 논문은 로봇이 복잡한 환경에서 객체와 상호작용하고 탐색하는 데 필요한 시맨틱 매핑(semantic mapping) 하이브리드 파이프라인을 제안한다. 시스템은 단응사상(homography) 투영을 활용한 외부 보정 카메라로 기하학적 매핑과 위치 추정을 수행하며, 객체 탐지·지속적 객체 추적·온톨로지(ontology) 기반 시맨틱 갱신을 결합해 동적 시맨틱 세계 모델을 구축한다. 실세계 좌표 추정값 보정에는 선형 회귀 모델이 사용된다. 시스템은 실시간 센서 데이터를 바탕으로 객체 인스턴스, 공간 속성, 시맨틱 관계를 지속적으로 갱신한다. 지식 표현 방식으로 온톨로지를 채택한 것은 계층적 구조, 시맨틱 표현력, 동적 세계 모델링 지원 특성 때문이라고 저자들은 밝힌다.

2609.03889v12026.09.03

FWBC-VLA: 접촉 집약적 이동 조작을 위한 힘 인식 전신 보상

FWBC-VLA: Force-Aware Whole-Body Compensation for Contact-Rich Loco-Manipulation

Yutian Zhang, Siyuan Ma, Liwen Yang, Yang Li, Ce Hao 외 4명

FWBC-VLA는 휠-레그(wheeled-legged) 로봇의 접촉 집약적 이동 조작(loco-manipulation)을 위해 시각-언어-행동 모델(VLA)의 태스크 수준 행동 생성과 저수준 전신 보상 제어(WBC)를 연결하는 프레임워크다. 연구팀은 별도의 힘·토크 센서 없이 접촉 강도와 시간적 변화를 추정하는 잔차 토크 추정기 HSR-Force를 제안한다. 추정된 접촉 정보는 토큰으로 인코딩되어 VLA 행동 디코딩 단계에 주입되며, 정책이 접촉 시작·지속·해제를 인식할 수 있도록 한다. 사전 학습된 VLA 백본은 5,000개 이상의 에피소드로 구성된 WL&Arm Dataset으로 파인튜닝되며, 고유감각(proprioceptive) 상태와 야코비안 기반 힘 추정치를 함께 활용한 보상 생성기가 교정 행동을 WBC 정책에 전달한다. 화이트보드 닦기와 도어 클로저가 장착된 문 열기 실제 실험을 통해 접촉 집약적 환경에서의 유효성을 검증했다.

2609.02861v12026.09.02

신뢰 가능한 자율 로봇을 향하여: 설명 가능한 AI 기반 의사결정 프레임워크

Towards Trustworthy Autonomous Robots: An Explainable AI-Based Decision Framework

Cagri Temel

딥러닝 기반 자율 로봇은 사고 발생 시 의사결정 근거를 재구성하기 어렵다는 감사 가능성(auditability) 문제를 안고 있다. 본 논문은 이를 해결하기 위해 TRACE(Transparent Reasoning Architecture for Credible Execution)라는 의사결정 프레임워크를 제안하며, 모든 자율 행동을 센서 증거까지 인과 사슬로 추적할 수 있도록 설계된다. TRACE는 의미론적 지각(Semantic Perception), 신념 추론(Belief Reasoning), 행동 합성(Action Synthesis), 실행 검증(Execution Verification)의 네 가지 감사 가능 계층으로 구성되며, CNN·트랜스포머 등 학습 기반 지각 모듈과 통합 가능한 모델 비종속(model-agnostic) 구조를 갖는다. 창고 로봇 내비게이션 환경에서 500회 시뮬레이션 의사결정 사이클을 평가한 결과, 증거 추적성 98.6%, 시간적 연속성 99.0%, 의사결정 재구성 가능성 98.1%를 기록하였다. 또한 고위험 시스템 투명성을 규정하는 EU AI Act 요건을 충족하도록 설계되었음을 논문에서 밝히고 있다.

2609.02830v12026.09.02

실제 배포를 위한 강인한 LiDAR 시맨틱 세그멘테이션: 거친 레이블·열악한 환경·도메인 변화 하에서의 평가

Toward Robust LiDAR Semantic Segmentation for Real-World Deployment: Evaluation under Coarse Labels, Adverse Conditions, and Domain Shifts

Samir Abou Haidar, Alexandre Chariot, Mehdi Darouich, Cyril Joly, Jean-Emmanuel Deschaud

이 논문은 자율주행차와 모바일 로봇을 위한 LiDAR 기반 시맨틱 세그멘테이션(semantic segmentation) 모델의 실제 배포 준비도를 평가하는 구조화된 프로토콜을 제안한다. 프로토콜은 세 차원으로 구성되는데, 자율주행 안전 우선순위에 맞춘 거친 레이블 평가, 대기·기하·센서 열화를 모사한 8가지 LiDAR 손상 유형 하에서의 강인성 평가, 그리고 데이터셋 간 적응 없는 도메인 일반화 평가가 포함된다. 추론 속도는 임베디드 플랫폼인 Jetson AGX Orin에서 측정하여 배포 제약을 직접 반영했다. 실험 결과, 세밀한 벤치마크 순위가 안전 관련 성능을 항상 반영하지는 않으며, 모든 모델이 손상 조건에서 상당한 성능 저하를 보이되 아키텍처에 따라 강인성 특성이 다른 것으로 나타났다. 현재의 도메인 일반화 수준은 신뢰할 수 있는 배포에 충분하지 않다는 점도 확인되어, 벤치마크 성능과 실제 배포 준비도 사이의 구체적인 격차가 드러났다.

2609.02811v12026.09.02

더 나은 가상 롤아웃이 더 나은 로봇 제어를 의미하는가? 피드백 환경에서의 월드 모델 평가 비교 연구

Do Better Imagined Rollouts Mean Better Robot Control? A Controlled Study of World-Model Evaluation Under Feedback

Dharini Raghavan, Amritpal Singh

로봇 제어에서 예측 모델(world model)은 통상 고정 구간 개루프(open-loop) 예측 정확도로 평가되지만, 실제 로봇은 측정·상태 추정·제어를 반복하는 폐루프(closed-loop) 방식으로 동작한다. 이 연구는 편향된 오도메트리(odometry)와 간헐적 랜드마크 센싱 조건의 차동구동(differential-drive) 경로 추적 태스크에서 6가지 상태 추정기를 24개 센싱 조건에 걸쳐 평가했다. 궤적 재생(replay) 방식의 위치 RMSE는 롤아웃 오차보다 폐루프 횡방향 오차(cross-track RMSE)와 더 강한 상관관계를 보였으며(스피어만 rho = 0.923 대 0.774), 롤아웃 지표는 24개 조건 중 18개에서 폐루프 최적 추정기와 다른 선택을 낳았다. 롤아웃 지평(horizon)이 길더라도 측정 업데이트를 유지하면 순위 예측력이 유지되지만, 보정 없이 긴 롤아웃을 수행하면 폐루프 성능과 상이한 추정기 순위가 나타났다. 장기 센싱 단절로 훈련된 GRU-EKF는 복합 센싱 열화 조건에서 횡방향 RMSE를 1.72 m에서 1.06 m로 줄였으나, 효과는 조건과 아키텍처에 따라 일관되지 않았다.

2609.02717v12026.09.02

MV-dVRK: 공간적 수술 인식을 위한 다시점 벤치마크

MV-dVRK: A Multi-Viewpoint Benchmark for Spatial Surgical Perception

Guido Caccianiga, Sergey Prokudin, Yutong Chen, Bernard Javot, Rachael L'Orsa 외 7명

MV-dVRK는 다시점 노출 동기화 스테레오 뷰포인트와 정확한 표면 기하학, 카메라 포즈를 결합한 최초의 생체 외(ex-vivo) 수술 데이터셋이다. 벤치마크의 정적 서브셋은 산업용 3D 스캐너로 검증된 밀집 구조-운동 복원(SfM, Structure-from-Motion) 기준 기하학 및 실측 카메라 포즈를 포함한다. 내시경 두 대를 사용할 경우 다중 스테레오 재구성이 가장 높은 커버리지를 달성하며, 세 번째 시점이 추가되면 최적화 기반 다시점 방법이 1 mm 허용 오차 내에서 실측 표면 포인트의 67%를 복원해 가장 우수한 성능을 보인다. 반면 피드포워드 파운데이션 모델은 동일 조건에서 실측 표면의 43%만 커버하는 것으로 나타났다. 데이터셋은 다양한 수술 작업과 조직 변형을 포함하는 10개의 동적 시퀀스도 제공해 향후 다시점 수술 인식 연구의 기반을 마련한다.

2609.02688v12026.09.02

프록시 학습에서 주행 결정으로: 미래 인식 자율주행 플래너 평가를 위한 전이 기반 프레임워크

From Proxy Learning to Driving Decisions: A Transfer-Based Framework for Evaluating Future-Aware Autonomous Driving Planners

Yikai Wu

제안 기반 자율주행 플래너에서 미래 인식 표현과 세계 모델(world model)이 궤적 선택 개선에 활용되고 있으나, 프록시 목표의 개선이 실제 주행 성능 향상으로 이어지는지 검증하는 방법론이 부재하다. 이를 해결하기 위해 Proxy-to-Decision Transfer(PDT) 프레임워크를 제안하며, 학습된 미래 정보가 신뢰할 수 있는 주행 성능 향상을 지지하는지를 체계적으로 평가한다. PDT는 점수 마진·스위치 조건부 유틸리티·지지-선택 후회를 통해 가치 손실을 국소화하는 Decision-Transfer Decomposition Module과, 정확한 쌍 비교·최소 유의 효과·안전 비보상 등 여섯 가지 조건을 요구하는 Reliability-Constrained Validation Module로 구성된다. NAVSIM-v1로 평가한 결과, 대표 미래 인식 플래너에서 BCE는 0.705에서 0.530으로 감소했으나 선택된 PDM(Planning Decision Metric) 점수는 0.963에서 0.961로 거의 변화가 없었다. 검토된 432개 구성 중 어느 것도 두 분할·두 시드 견고성 기준을 통과하지 못해, PDT가 프록시·서브셋·집계·선택 증거 전반에서 결정 전이 실패 또는 미결정 지점을 식별할 수 있음을 보인다.

AFINIS Group ® - AFINIS GASKET® Production / Unsplash

2609.02653v12026.09.02

HINT: 장기 지평 로봇 조작을 위한 인간 의도 인셉션

HINT: Human-Intent Inception for Long-Horizon Robot Manipulation

Mingyu Mei, Haojie Xu, Shihao Jin, Zibo Dai, Qihao Cheng 외 7명

HINT(Human-INTent INcepTion)는 인간의 조작 원리에서 착안한 에이전틱 프레임워크로, 희소한 언어 지침과 밀도 높은 시각 입력이 공존하는 환경에서 장기 지평 로봇 조작 과제를 다룬다. 시각-언어-행동 모델(VLA) 등 기존 행동 정책은 시각 상관관계가 의미적 의도를 압도해 인간 목표 대신 시각적 지름길을 따르는 경향이 있다는 문제를 제기한다. HINT는 조작 패턴 전환 시점에만 의미 추론을 수행하고, 이후에는 다중 시점 그라운딩과 시각 추적으로 추론된 의도를 유지하는 구조를 취한다. 이미지 공간 의미 강조(image-space semantic highlighting)와 어텐션 사전 주입(attention-prior injection)이라는 두 가지 시각 인터페이스를 통해 기반 행동 모델에 추가 학습 파라미터 없이 의도를 전달하며 저지연 제어를 유지한다. 세 가지 장기 조작 과제 및 분포 외(out-of-distribution) 변형 실험에서 두 가지 기반 정책 모두에 걸쳐 의도 이해, 작업 진행도, 종단간 성공률이 향상되었다.

2609.02634v12026.09.02

시각-언어-행동 모델의 잠재 클러스터 분석

Latent Cluster Analysis for Vision-Language-Action Models

Theodor Wulff, Sergio Lanza, Tamara Bila, Angelo Cangelosi, Stefan Wermter 외 1명

본 논문은 시각-언어-행동 모델(VLA)의 내부 표현을 분석하는 프레임워크 LAVLA를 제안한다. LAVLA는 최신 모델인 GR00T N1.5를 대상으로 레이어별 잠재 공간(latent space) 분석을 수행하며, 특히 행동 디코더에 집중한다. 행동 확산(action diffusion) 과정의 잠재 공간을 더 잘 특성화하기 위해, 관련 특징을 강조하고 비정보적 특징을 억제하는 교차 어텐션(cross-attention) 기반 임베딩 가중치 부여 방법을 도입하였으며, 정량 평가에서 가중 클러스터링이 기준 방법을 일관되게 상회하는 것으로 나타났다. 분석 결과, 잠재 클러스터는 레이어가 깊어질수록 시공간적·운동학적 특징을 점진적으로 분리해 내며, 중간 레이어에서 표현이 가장 정교해지고 출력 쪽으로 갈수록 안정화되는 경향을 보인다. LAVLA는 각 클러스터에 대해 인간이 해석 가능한 개념을 추출함으로써 언어 기반 로봇 시스템의 해석 가능성을 향상시킨다.

2609.02605v12026.09.02

접근성 높은 수중 로봇 연구 발전: RAMI 2025에서의 Mini-Girona I-AUV

Advancing Accessible Underwater Robotics: The Mini-Girona I-AUV at RAMI 2025

Taqi Hamoda, Bilal Ahmed, Deborah Ele-Ojo, Thi Tran Ha Bao, Adel Saidani 외 7명

Mini-Girona 개입 자율수중로봇(I-AUV)은 고가의 전문 연구용 자율수중로봇(AUV)과 기본적인 원격조작장치(ROV) 사이의 간극을 줄이기 위해 설계된 플랫폼이다. 약 5만 달러의 가격으로 개발된 이 시스템은 5자유도(DOF) 매니퓰레이터 팔, 스테레오 비전, AI 기반 처리 장치를 탑재하여 자율 항법 및 개입 작업을 수행한다. 본 논문은 Mini-Girona의 설계·개발 과정을 상세히 기술하고 RAMI 2025 학생 경진대회에서의 성능을 보고한다. 열 관리 문제와 팀 접근 제한이라는 어려움에도 비전 기반 인식 및 개입 과제에서 우수한 결과를 나타내며 종합 2위를 달성하였다. 연구진은 이 플랫폼이 수중 로봇공학 연구 및 교육 도구로 활용될 수 있다고 제시한다.

2609.02575v12026.09.02

전환기 자율주행차의 차선 변경 전 신호: 통제 실험 결과

Pre-Lane-change Signal in Transitional Autonomous Vehicles: Results from Controlled Experiments

Zeyu Mu, Danjue Chen, Abhinav Sharma, George F. List

이 연구는 양산형 전환기 자율주행차(transitional autonomous vehicle, tAV)가 강제 차선 변경 결정을 어떻게 수립·실행하는지를 NC-tALC 실험의 150회 강제 차선 변경 데이터를 통해 분석한다. 횡방향 이동이 시작되기 전 목표 간격이 관측 가능한지를 확인하기 위해 신호 시간(Signal Time, SigT)을 차선 변경 시작 직전의 운영 기준점으로 정의한다. Firth 로지스틱 회귀 모델은 SigT 시점의 상대 위치·상대 속도를 입력으로 삼아 tAV가 앞 또는 뒤 목표 간격으로 합류할지를 예측하며, 5-겹 교차검증 평균 정확도 0.89를 달성한다. 분석 결과, SigT 시점의 교통 상태에는 최종 목표 간격 선택에 관한 상당한 정보가 담겨 있으며, 횡방향 이동 전에 의미 있는 예측 여유 시간이 확보됨을 보인다. 이를 바탕으로 차선 변경 과정을 'SigT~차선 변경 시작 간의 종방향 준비'와 '횡방향 기동 실행'의 2단계로 설명하는 모형을 제안한다.

2609.02546v12026.09.02

ZETA: 테이블탑 조작을 위한 제로샷 이기종 로봇 VLA 전이 통제 연구

ZETA: A Controlled Study of Zero-Shot Cross-Embodiment VLA Transfer for Tabletop Manipulation

Mi Yan, Wenhao Zhang, Zhiqi Zhang, Yu Peng, Tangxinyu Wang 외 12명

ZETA는 시각-언어-행동 모델(VLA)의 이기종 로봇 간 제로샷 전이를 체계적으로 분석하기 위해 설계된 통제 연구다. 연구진은 목표 로봇이 훈련 데이터에 전혀 없는 '엄격한 제로샷 전이'와 사전학습 단계에만 등장하는 '사전학습-노출 제로샷 전이'를 구분하고, 시뮬레이션과 실환경에서 14개의 목표 로봇을 아우르는 벤치마크를 제시한다. 실험 결과, 국소 엔드이펙터(EEF) 상태-행동 표현, 소스 로봇 다양성, 보조 공동학습 목표는 교차 로봇 전이 성능을 각각 약 15, 18, 7 퍼센트포인트 향상시키는 것으로 나타났다. 사전학습 시 목표 로봇 데이터를 5%만 추가해도 평균 진척도가 13.4 퍼센트포인트 향상되어, 두 전이 유형이 별도로 보고되어야 함을 보인다. 본 연구의 결과는 두 손가락 그리퍼를 사용하는 고정형 테이블탑 조작 환경에서 VLA 전이 평가 및 개선을 위한 실질적인 지침을 제공한다.

2609.02542v12026.09.02

발판 제약 지형에서의 휴머노이드를 위한 월드 모델 보강 시각 보행

World-Model-Augmented Visual Locomotion for Humanoids on Foothold-Constrained Terrain

Yuxi Liu, Lijun Han, Ziming Wang, Ao Zhang, Cong Yang 외 1명

WM-LOCO(World-Model-Augmented Visual Locomotion)는 징검다리·틈새·좁은 계단처럼 발판이 희소하거나 불연속적인 지형에서의 휴머노이드 보행을 위해 순환 월드 모델(recurrent world model)과 PPO 정책을 공동으로 학습한다. 고유감각(proprioception)과 단일 온보드 깊이 영상을 입력으로 받아, 월드 모델이 생성한 예측 순환 특징(predictive recurrent feature)이 정책을 안내하며, 발판 위치 레이블 없이 동작한다. 시뮬레이션 실험에서 비교 기준선이 완전히 실패하는 틈새·징검다리 지형에서 성공하였고, 계단에서는 동등한 성공률을 유지하면서 보행 효율을 높이고 골반 가속도를 줄였다. 동일한 정책을 실제 Unitree G1 휴머노이드에 탑재하여 온보드 고유감각과 단일 깊이 영상만으로 세 가지 지형 유형을 평균 93.3%의 성공률로 통과하였다.

2609.02531v12026.09.02

기하학적 잠재 확산 기반 공간 인식 World Action Model

Spatially Aware World Action Model via Geometric Latent Diffusion

Javier Alejandro Lopetegui Gonzalez, Paul Pacaud, Cordelia Schmid

WAM(World Action Model)은 대규모 사전학습 비디오 확산 모델을 활용해 미래 관측값과 행동을 공동 예측하는 로봇 정책 학습 패러다임이나, 기존 모델은 RGB 관측값에만 의존해 3D 정보를 활용하지 못한다는 한계가 있다. 저자들은 SA-WAM을 제안하며, 단일 확산 백본 내에서 행동·RGB·깊이(depth)를 공동 예측해 3D 인식 세계 모델링을 가능하게 한다. 비선형 인코딩으로 비제한적인 깊이 신호를 동결된 VAE 토크나이저의 입력 도메인에 맞게 변환함으로써, 3D 특화 미세조정 없이 기하학적 정보를 통합한다. SA-WAM은 RoboCasa 및 LIBERO-Plus 벤치마크에서 최고 수준의 성능을 기록하고, UR5 로봇 팔을 이용한 실세계 평가에서도 무작위 환경에 대한 강인성을 보인다. 아울러 세계 모델 예측 품질과 롤아웃 성공률 사이의 상관관계를 분석해 WAM 성능 개선 방향을 제시한다.

2609.02493v12026.09.02

MS-MEM: 불확실성·교란 인식 행동 선택 기반 다중 기술 조작 강화 매핑

MS-MEM: Multi-Skill Manipulation-Enhanced Mapping via Uncertainty- and Disturbance-Aware Action Selection

Yitian Shi, Jesper Mücke, Nils Dengler, Sicong Pan, Rania Rayyes 외 1명

MS-MEM은 선반처럼 협소하고 혼잡한 공간에서 서비스 로봇의 장면 이해를 위한 증거적(evidential) 프레임워크로, 능동적 시점 선택·물체 밀기(pushing)·파지(grasping)를 단일 파이프라인으로 통합한다. 장면 수준 계량-의미적(metric-semantic) 증거 신념 추정기와 불확실성 인식 파지 표현을 결합하며, 파지 어포던스와 방향 불확실성을 동시에 모델링하는 완전 증거적 파지 추정기를 새롭게 제안한다. 각 후보 행동은 공통 정보 이득(information gain) 기준으로 평가되며, 조작 행동에는 확신도가 높은 장면 영역의 과도한 변화를 억제하는 부수적 교란 제약(CDC, Collateral Disturbance Constraint)이 추가로 적용된다. 실험 결과, 단일 기술 기준 모델 및 장면 교란을 고려하지 않는 기준 모델에 비해 매핑 정확도가 높아지고 장면 교란이 크게 감소하는 것으로 나타났다.

2609.02487v12026.09.02

지중해 온실 자율 주행을 위한 경사 및 지형 보상 적응형 제어 아키텍처

An Adaptive Control Architecture for Slope and Terrain Compensation in Autonomous Navigation in Mediterranean Greenhouses

Fernando Cañadas-Aránega, Dirk Wollherr, José L. Guzmán, José C. Moreno, José L. Blanco-Claraco

이 논문은 온실 환경에서 운용되는 이동형 농업 로봇이 다양한 경사와 지면 질감 위에서 안정적으로 주행할 수 있도록 탑재 하중 기반의 지형 적응 제어 전략을 제안한다. 콘크리트, 다짐 모래, 자갈 등 온실에서 흔히 나타나는 지면 유형을 실험적으로 특성화하고, IMU(관성 측정 장치)로 경사각을 직접 측정해 모터 입력에 미치는 힘을 추정한다. 외부 루프에 모델 기반 예측 제어기(MPC), 내부 루프에 PI 제어기를 배치한 캐스케이드 궤적 추적 방식을 설계하였으며, 이득 스케줄링(gain scheduling) 기반의 적응형 피드포워드 제어를 더해 경사 변화와 지면 유형에 따른 외란에 대응한다. 시뮬레이션 결과, 차동 구동(differential-drive) 방식의 로봇에서 오차 지수와 제어 신호 효율 모두 유의미한 개선이 확인되었다.

2609.01596v12026.09.01

Facet-0: 접촉 집약적 정밀 조작을 위한 로봇 기반 모델

Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation

Haoyuan Deng, Haichao Liu, Wenkai Guo, Yuan Ling, Zaijia Yang 외 4명

Facet-0는 서브밀리미터 허용 오차가 요구되는 로봇 조립 작업을 위한 기반 모델(foundation model)로, 행동의 접촉 결과를 예측하고 평가한다. 다중모달 표현 학습과 강화학습(RL) 사후 훈련을 통합하며, 플로우 매칭(flow matching)으로 행동 청크와 예상 손목-렌치 프로파일을 함께 생성하는 행동-렌치 공동 제안 방식을 사용한다. 분포적 행동-렌치 비평가(distributional Action-Wrench Critic)를 배포 롤아웃에서 훈련해 작업 진행 상황이 유사하더라도 접촉 결과가 다른 동작을 구분한다. 세 가지 구현체와 다수의 제조 셀에 걸쳐 수집한 1,000시간 규모의 힘 동기화 데이터셋 ManuFacet-1K로 훈련되었다. 5가지 서브밀리미터 컴퓨터 조립 작업에서 가장 강력한 기준선 대비 15% 대비 82% 평균 성공률을 달성했으며, 배치 정확도 0.5mm, 명령 지연시간 50ms를 기록했다.

2609.01579v12026.09.01

SG-AMP: 고추 식물을 위한 장면 그래프 기반 능동 인식 및 의미 인식 동작 계획

SG-AMP: Scene-Graph-Guided Active Perception and Semantics-Aware Motion Planning for Pepper Plants

Rohit Menon, Shiva Rudra Lolla, Niklas Mueller-Goldingen, Gokul Chenchani, Ribana Roscher 외 1명

SG-AMP는 입력 조건부 불확실성을 갖춘 깊이 보완(depth completion), 지속적 파노옵틱 매핑(persistent panoptic mapping), 식물 장면 그래프(scene graph) 추론, 의미 인식 능동 시점·동작 계획을 통합한 고추 식물 검사 프레임워크다. 장면 그래프는 아직 관측되지 않은 고추-꽃자루(peduncle) 연결 부위를 명시적으로 가설화하고, 해당 부위를 향한 근거리 감지 동작을 유도한다. 후보 시점은 기대 정보 이득(expected information gain)을 기준으로 선택되며, 클래스별 이동 비용을 적용해 고추·꽃자루·줄기는 보호 대상으로, 잎은 조건부 통과 가능 구역으로 구분한다. 고추 데이터셋에서 인식 네트워크는 의미론적 mIoU 55.27%, PQ 38.67%, 깊이 RMSE 40.62 mm를 달성했다. 입력 조건부 불확실성 적용 후 NYUv2 NLL이 −1.6518에서 −1.6925로, AUSE가 0.0102에서 0.0087로 개선되었다.

2609.01518v12026.09.01

휴머노이드 로봇의 빠르고 견고하며 적응 가능한 로코-매니퓰레이션 행동 시스템

A System for Fast, Resilient, and Adaptable Loco-Manipulation Behaviors on Humanoid Robots

Duncan Calvert, Luigi Penco, Dexton Anderson, Tomasz Bialek, Arghya Chatterjee 외 2명

휴머노이드 로봇이 인간용 공간에서 물리적 작업을 수행하려면 이동, 전신 동작, 인식, 접촉, 운영자 감독을 통합적으로 조율해야 한다. 연구팀은 런타임에서 편집 가능한 행동 저작 및 실행 시스템을 제안하며, 행동 아키텍처가 능력·속도·신뢰성의 핵심 요인이 될 수 있다고 주장한다. 시스템은 객체 중심 어포던스 템플릿(Affordance Templates), 트리 구조 로직, 런타임 편집 가능 인식 기능을 결합하고, 전신 제어기(whole-body controller)를 통해 동시 신체 동작과 보행을 지원한다. Unitree H1-2와 Alex 로봇에서 6가지 태스크를 실증하였으며, 문 밀기 통과는 34초, 인간의 방해 상황에서 색깔별 공 6개 분류는 45초 내에 완료되었다. 저작 세션 측정에서 새로운 로코-매니퓰레이션(loco-manipulation) 행동의 처음부터 생성 및 기존 행동 수정에 각각 수 시간이 소요되었으며, 최근 학습 기반 시스템과 비교해 경쟁력 있는 성능을 보였다.