Proxy Policy Steering
Proxy Policy Steering
Chuanruo Ning, Tianrui Wang, Wei-Chiu Ma, Kuan Fang
Proxy Policy Steering(PPS)은 범용 로봇 정책을 새로운 작업에 적응시키는 추론 시점(inference-time) 적응 방법이다. 두 개의 경량 프록시 정책을 학습하여 그 속도 공간(velocity-space) 잔차로 고정된 기반 샘플러를 매 디노이징(denoising) 단계마다 조향한다. 기반 정책의 파라미터를 직접 수정하지 않으므로 시연 데이터에 포함되지 않은 실패 복구 행동 등 기존 광범위 능력이 추론 시에도 그대로 유지된다. 실제 환경 8개 및 시뮬레이션 4개의 조작 작업에서 pi 0.5 기반 정책의 평균 절대 성공률을 53%p 향상시켰다. LoRA 파인튜닝, 처음부터 학습한 전문 정책, 잔차 정책, 기존 추론 시점 조향 방법보다 우수한 성능을 보였다.












