AcrossVAM1.0: 텍스트 보조 로봇 비디오 예측을 위한 파티클 월드 모델링
AcrossVAM1.0: Particle World Modeling for Text-Assisted Robot Video Prediction
Yafei Zhang, Nan Wu
AcrossVAM1.0은 텍스트 보조 경량 로봇 비디오 예측 모델로, 미래 예측을 객체 중심 운동과 밀집 외관(dense appearance)으로 분리하여 처리한다. 동결된 SAM3-DLP 코덱이 4개의 컨텍스트 프레임을 로봇·팔·그리퍼의 의미론적 파티클과 배경 잠재 표현으로 분해하고, 0.28M 파라미터 시공간 트랜스포머(spatio-temporal Transformer)가 파티클 상태를 시간 축으로 전개하며 FiLM 기법을 통해 OpenCLIP 언어 임베딩으로 조건화된다. 인과적 이중 스트림 디코더는 미래 외관 정보 없이 5개의 미래 프레임을 생성하며, 다양한 실제 로봇 궤적으로 구성된 VRS 벤치마크에서 파티클 동역학이 지속성(persistence) 기준 대비 궤적 오차를 21.0% 줄이는 것으로 나타났다. PSNR/SSIM은 19.97/0.796에서 20.573/0.8004로 향상되었으나 LPIPS에서는 지속성 기준선을 넘지 못하였고, 언어 변화가 궤적 오차에 미치는 영향도 2.8~3.1%에 그쳐 언어 접지와 외관 전달이 주요 미해결 과제임을 밝힌다.











