
ResSafe: 휴머노이드를 위한 잔차 강화학습 기반 안전 필터링 학습
ResSafe: Learning Safety Filtering with Residual Reinforcement Learning for Humanoids
Gechen Qu, Tong Zhang, Bike Zhang, Yen-Jen Wang, Koushil Sreenath 외 2명
휴머노이드 로봇은 고차원 동역학과 접촉이 잦은 환경 특성 때문에 안전 제어가 어렵고, 강화학습 정책이 불안정이나 낙상을 유발하는 행동을 생성할 수 있다. 이 연구는 잔차 강화학습(residual reinforcement learning)을 암묵적 안전 필터로 사용하는 ResSafe를 제안한다. 명목 정책(nominal policy)은 과제 성능에만 집중하고, 잔차 정책(residual policy)이 안전 보정을 별도로 담당하는 방식으로 성능과 안전을 분리한다. 이 분리 구조는 성능-안전 파레토(Pareto) 트레이드오프를 개선하고, 단일 정책 학습 내에서 경쟁하는 여러 보상 항을 세밀하게 조정해야 하는 부담을 줄인다. 저자들은 잔차 정책이 암묵적 안전 필터로 기능함을 보였다고 밝힌다.















