본문으로 건너뛰기

GLOSSARY

강화학습

Reinforcement Learning고급

강화학습이란 에이전트가 환경과 상호작용하면서 누적 보상을 최대화하는 정책(policy)을 스스로 학습하는 기계학습 패러다임이다. 정답 레이블 없이 보상 신호만으로 학습이 이루어지므로, 사전에 규칙으로 명시하기 어려운 복잡한 행동 전략을 자동으로 발견할 수 있다. 로봇공학에서는 벨만 방정식(Bellman equation) 기반의 Q-러닝이나 정책 기울기(policy gradient) 방법이 대표적으로 활용된다. 예를 들어 로봇팔이 다양한 형태의 물체를 파지(grasping)하는 동작을 시뮬레이터 내 반복 시행을 통해 스스로 최적화하는 것이 전형적인 응용이다. 지도학습과의 차이점은, 지도학습이 정답 레이블을 직접 학습하는 반면 강화학습은 행동의 결과로 주어지는 보상 신호를 통해 간접적으로 최적 행동을 찾는다는 점이다.

이 용어가 나온 기사

IEEE Spectrum Robotics휴머노이드로봇 AI

Video Friday: Spot의 전신 조작 시연

Video Friday: Spot Plays to Show Its Whole Body Manipulation

IEEE Spectrum의 주간 로봇공학 영상 모음 'Video Friday'에서 RAI(Robotics and AI Institute)의 Spot 로봇이 전신 조작(whole-body manipulation) 능력을 시연하는 영상이 소개되었다. 해당 시스템은 깊이 이미지(depth image)에서 타이어를 블롭(blob)으로 인식하는데, 지나가는 사람이나 바닥의 다른 물체를 타이어로 오인해 목표물을 이탈하는 오류가 일부 실행에서 발생했다. ETH Zurich Robotic Systems Lab은 비정형 환경에서의 휴머노이드 이동성을 위한 접촉 중심 학습 프레임워크를 소개하며, 인간 모션 데이터를 훈련 사전(prior)으로 활용해 모션 모방과 강화학습(reinforcement learning)을 결합한다고 밝혔다. 이번 호에는 CoRL 2026(11월 9~12일, 오스틴)과 Humanoids 2026(12월 6~9일, 산타클라라) 학회 일정도 함께 안내되었다.

큐레이터RAI의 타이어 조작 시연은 깊이 이미지 기반 인식의 오인식 문제를 제작진이 직접 언급할 만큼 현장 신뢰성에 한계가 있어 보인다. ETH Zurich 연구는 짧은 소개 문구만 제공되어 실험이 시뮬레이션인지 실기인지, 평가 지형 종류와 수는 어느 정도인지 이 기사만으로는 확인하기 어렵다.

freemockups.org / Pexels
The Robot Report산업·정책·투자로봇 AI

Eka Robotics, 로봇용 시각-힘-행동 모델 확장을 위해 1억 5천만 달러 조달

Eka Robotics raises $150M to scale its vision-force-action model for robots

Eka Robotics가 로봇용 시각-힘-행동 모델(VFA, Vision-Force-Action) 개발을 위해 1억 5천만 달러를 조달했다. 이 회사는 대규모 강화학습(reinforcement learning)을 통해 로봇이 물리 법칙에 대한 직관을 습득하도록 하는 VFA 모델을 구축하고 있다. 이번 투자금은 해당 모델의 확장에 사용될 예정이다.

큐레이터본문이 매우 짧아 VFA 모델의 구체적인 구조, 적용 로봇 유형, 투자 참여사 등 세부 정보는 확인되지 않는다. 원문 전체 기사를 통해 추가 맥락을 확인할 필요가 있다.

Sergei Starostin / Pexels
로봇신문산업·정책·투자

美 에카 로보틱스, 1억5000만달러 시리즈 A 투자 유치…로봇 손 조작 기술 상용화 추진

미국 로봇 조작 기술 스타트업 에카 로보틱스(Eka Robotics)가 1억5000만달러(약 2000억원) 규모의 시리즈 A 투자를 유치했다. 강화학습(reinforcement learning) 기반으로 높은 속도와 정확도를 유지하며 다양한 작업을 수행하는 로봇 손 조작 기술의 상용화를 추진한다. 이번 투자는 앤드리슨 호로위츠(a16z)와 피델리티 인베스트먼츠 모회사 FMR LLC 계열 벤처캐피털 F-프라임(F-Prime)이 공동 주도했다. 기존 시드 투자자인 오비어스 벤처스(Obvious Ventures)와 E14 펀드도 후속 참여한 것으로 전해진다.

큐레이터원문이 중간에 잘려 있어 투자금 사용 계획, 현재 기술 성숙도, 파트너십 등 세부 내용을 확인하기 어렵다. 로봇 조작 분야 시리즈 A 규모로는 상당히 크므로, 풀 기사에서 기술 검증 현황과 상용화 일정을 확인할 필요가 있다.

Airam Dato-on / Pexels
ROS Discourse기초·제어이론산업용·협동로봇

시뮬레이션 다중 에이전트 강화학습에서 실물 다중 로봇 협력으로

From Multi-Agent RL in Simulation to Physical Multi-Robot Coordination

산업 환경에서 이동 로봇 여러 대가 중앙 집중형 실행 정책 없이 기계를 서비스하고 완성 부품을 수집·운반하는 분산형 다중 에이전트 강화학습(MARL) 연구를 소개한다. 연구팀은 2D LiDAR 관측과 작업별 상태 정보를 결합해 작업 배정과 내비게이션을 동시에 처리하는 FMAPPO(Feature-fusion Multi-Agent PPO)를 제안한다. NVIDIA Isaac Sim·Isaac Lab에서 학습한 정책을 ROS 2를 통해 실물 로봇에 직접 배포하는 워크플로를 구성했다. 시뮬레이션 성능 평가 외에, 명령 갱신 주파수에 대한 민감도를 포함해 실물 로봇에서 정책의 동작 특성을 분석했다. 감지·제어 제약이 있는 실물 시스템에 분산형 강화학습 정책을 적용할 때 발생하는 문제를 이해하는 것이 연구의 핵심 목표다.

큐레이터시뮬레이션-실물 전이(sim-to-real) 실험이 포함되어 있으나, 공개된 본문이 중간에 잘려 있어 실기 환경에서의 정량 성능 격차가 논문에 어느 수준으로 보고되는지는 원문을 직접 확인해야 한다.

Steve A Johnson / Pexels