#sim-to-real

시뮬레이션 다중 에이전트 강화학습에서 실물 다중 로봇 협력으로

산업 환경에서 이동 로봇 여러 대가 중앙 집중형 실행 정책 없이 기계를 서비스하고 완성 부품을 수집·운반하는 분산형 다중 에이전트 강화학습(MARL) 연구를 소개한다. 연구팀은 2D LiDAR 관측과 작업별 상태 정보를 결합해 작업 배정과 내비게이션을 동시에 처리하는 FMAPPO(Feature-fusion Multi-Agent PPO)를 제안한다. NVIDIA Isaac Sim·Isaac Lab에서 학습한 정책을 ROS 2를 통해 실물 로봇에 직접 배포하는 워크플로를 구성했다. 시뮬레이션 성능 평가 외에, 명령 갱신 주파수에 대한 민감도를 포함해 실물 로봇에서 정책의 동작 특성을 분석했다. 감지·제어 제약이 있는 실물 시스템에 분산형 강화학습 정책을 적용할 때 발생하는 문제를 이해하는 것이 연구의 핵심 목표다.

큐레이터시뮬레이션-실물 전이(sim-to-real) 실험이 포함되어 있으나, 공개된 본문이 중간에 잘려 있어 실기 환경에서의 정량 성능 격차가 논문에 어느 수준으로 보고되는지는 원문을 직접 확인해야 한다.

Uranus — 로봇 시뮬레이션의 데이터 기반 접근 탐색

Uranus는 물리 기반 시뮬레이터의 모델링 비용과 실물 로봇 검증의 재현 어려움을 보완하기 위한 데이터 기반 로봇 시뮬레이션 프레임워크다. 관절 궤적 조건부 자기회귀 확산 세계 모델(joint-trajectory-conditioned autoregressive diffusion world model)을 핵심으로 하며, 다시점 관찰·카메라 캘리브레이션·로봇 기술서(description)를 입력받아 미래 다시점 프레임을 생성하고 인터랙티브 클로즈드 루프(closed-loop) 궤적을 유지한다. 3,300시간 이상의 실물 로봇 데이터를 정제·보정하여 1.3B 파라미터 세계 모델을 학습했으며, 서빙 인프라 기준 24 FPS에 도달했다고 개발팀은 밝혔다. 복수의 로봇 플랫폼에 걸친 크로스-임바디먼트(cross-embodiment) 일반화와 장기 일관성 평가를 지원하며, 접근법의 한계 사례도 함께 공개할 예정이다. 코드·모델 가중치·데이터는 오픈소스로 배포된다.

큐레이터24 FPS 추론 속도와 크로스-임바디먼트 일반화 결과는 개발팀의 자체 보고이며, 독립 검증 결과는 아직 없다. 이 글은 기술 발표 예고문이므로 세부 실험 조건과 한계 분석은 발표 이후에 확인해야 한다.

HiPHI: 고정밀 인체 동작 및 객체 상호작용을 위한 대규모 벤치마크

HiPHI는 휴머노이드 로봇 학습의 데이터 공백을 메우기 위해 구축된 대규모 모션 캡처(motion capture) 데이터셋이다. 인터넷 동영상이나 기존 모션 캡처 데이터셋이 충족하기 어려운 전신 동작을 체계적으로 수집하기 위해 인간 행동 언어 프레임워크인 FrameNet을 활용한다. 운반·밀기·당기기 등 실세계 과제를 로봇에 가르치기 위해 동기화된 객체 궤적과 메시(mesh)를 포함한 사람-객체 상호작용(human-object interaction) 데이터를 제공한다. 이 데이터로 학습한 강화학습(reinforcement learning) 정책은 데이터 규모가 커질수록 성능이 향상되며, 시뮬레이션-실제(sim-to-real) 전이를 거쳐 실제 휴머노이드 로봇에도 적용된 결과를 포함한다.

큐레이터이 글은 연구 논문 본문이 아닌 화이트페이퍼 다운로드 유도 페이지여서, 실험 조건·수치·비교 결과 같은 구체적 근거는 원본 문서를 직접 확인해야 알 수 있다.

Bimo: sim-to-real 전이를 지원하는 오픈소스 이족보행 로봇 키트

Bimo는 이족보행 로봇 연구·교육을 위한 오픈소스 플랫폼으로, 완조립 SLS 키트와 직접 출력·조립하는 DIY 키트 두 가지 형태로 제공된다. 높이 45cm, 무게 약 1.6kg의 본체에 8개의 STS-3215 서보, BNO08x 9-자유도(DOF) IMU, 4개의 TOF 센서, 2개의 180° 화각 카메라, 커스텀 RP2040 기반 컨트롤러를 탑재한다. Isaac Lab 기반 sim-to-real 파이프라인을 내장하며, MCU 등 제한된 하드웨어에서 강화학습(RL) 정책을 구동할 수 있는 지식 증류(distillation) 스크립트를 함께 제공한다. 두부 공동에 M3 마운트와 최대 1kg 페이로드 지원 구조를 갖춰 비전·SLAM 모듈 등 추가 하드웨어 장착이 가능하다. 중추 패턴 발생기(CPG, Central Pattern Generator) 기반 기본 보행 알고리즘이 내장되어 있어 별도 학습 없이도 즉시 보행을 시작할 수 있다.

큐레이터sim-to-real 파이프라인이 '내장'되어 있다고 소개하지만, 실제 하드웨어에서 전이 성능이 어느 수준인지는 요약에 제시되지 않았다. 또한 MCU 구동을 위한 지식 증류 과정에서 원본 RL 정책 대비 어느 정도의 성능 손실이 발생하는지가 확인되어야 실용성을 판단할 수 있다.

General Intuition의 23억 달러 베팅: 비디오 게임이 현실 세계용 AI 에이전트를 훈련시킬 수 있다는 것

General Intuition이 게임플레이 기반 AI 확장을 위해 3억 2,000만 달러를 조달했으며, 기업가치는 23억 달러로 평가된다. 이 회사는 수백만 시간 분량의 게임플레이 데이터로 AI를 학습시켜 실세계에 적용 가능한 AI 에이전트(agent)를 개발하는 것을 목표로 한다. 게임 내 행동 데이터(action data)가 AI로 하여금 인간의 직관에 가까운 의사결정 능력을 갖추게 할 수 있다는 가설에 기반한다.

NVIDIA 연구, 시뮬레이션에서 실제 세계로 로보틱스를 발전시키다

NVIDIA Research는 국제로봇자동화학회(ICRA)에 28편의 논문을 게재했으며, 이 중 8편이 시뮬레이션-실환경 전이(simulation-to-real transfer)를 주제로 한다. 해당 연구들은 로봇이 실세계에서 인식, 추론, 계획 능력을 발휘하도록 하는 데 초점을 맞춘다. NVIDIA Research는 시뮬레이션-실환경 전이가 스크립트 기반 자동화를 넘어 일반화된 구현 자율성(embodied autonomy)으로 나아가기 위한 토대가 된다고 본다.