LLM에 두 글자 추가하자 로봇이 위험 행동 유도

미국 빙햄턴대학교 연구진이 LLM 기반 로봇 제어 시스템의 보안 취약점을 입증하는 백도어 공격 기법 'MuTRAP'을 개발했다고 인터레스팅엔지니어링이 보도했다. 실험에서 세그웨이 기반 이동 로봇에 사과를 자르라고 명령했을 때, 명령어에 'CF'라는 두 글자를 추가하자 변조된 모델이 사과 대신 모형 손을 자르도록 계획을 바꿨고 로봇은 이를 그대로 수행했다. 연구진은 이런 공격을 막기 위해 로봇의 작업 계획을 단계별로 검토해 위험을 사전에 식별하는 방어 시스템 'PROTEA'도 함께 개발했다. 이번 시연은 의도적으로 변조한 모델과 모형 손으로 진행된 것으로, 상용 로봇 대상 실제 공격 성공률을 검증한 것은 아니다. 연구 결과는 IEEE/RSJ IROS 2026에서 두 편의 논문으로 발표됐다.

이 일이 어디서 왔나

10월 15일 라온시큐어가 로봇·AI 에이전트에 디지털 신분증을 부여해 사이버 공격이나 오작동이 물리적 사고로 이어지는 것을 막는 보안기술 개발에 착수했다고 밝힌 바 있다. 이번 빙햄턴대 연구는 그 우려가 구체적으로 어떤 경로로 현실화될 수 있는지를 보여주는 사례로, LLM 기반 로봇 제어 시스템 자체에 숨겨진 백도어가 작업 계획을 바꿔 물리적 행동을 조작할 수 있음을 실증했다.