#LeRobot

batchplan: ROS 2를 위한 배치 모션 플래닝, MoveIt 플러그인 포함

batchplan은 ROS 2용 오픈소스 모션 플래너로, 여러 후보 파지 자세를 한 번의 요청으로 입력받아 역기구학(IK, Inverse Kinematics)을 일괄 계산하고 최단 유효 경로를 반환한다. GPU 없이 CPU만으로 구동되며, MoveIt의 MoveGroup 및 GetPositionIK 인터페이스를 지원하고 선택적 MoveIt 플래너 플러그인을 포함한다. 진입점은 세 가지로, ROS 2·MoveIt 연동, wgpu 가속 옵션을 갖춘 독립형 Rust 라이브러리, LeRobot v3.0 데이터셋 내보내기(단일 팔 도달·픽앤플레이스·양팔 핸드오버)가 제공된다. 현재 충돌 기하는 구(球) 기반 근사치를 사용하며 초기 개발 단계에 있다. ROS 2 Jazzy 기반으로 Linux와 Apple 실리콘 macOS를 지원한다.

큐레이터충돌 기하를 구 근사치로 단순화하고 있어, 복잡한 형상의 로봇이나 밀집 환경에서의 계획 신뢰도는 실제 적용 전에 확인이 필요하다.

소형 모델 학습 및 즉석 훈련을 위한 장난감 로봇 팔 시뮬레이터

브라우저에서 텍스트 또는 음성 명령으로 장난감 로봇 팔을 제어하는 데모가 Hugging Face Space를 통해 공개됐다. 일반 PC 워크스테이션에서 훈련된 소형 AI 모델이 명령을 처리하며, SmolVLA와 Cosmos3를 포함한 모든 PyTorch 및 LeRobot 모델과 호환된다. 모델 레이어를 3D 공간에서 탐색하는 뷰어를 내장하고 있으며, 개발팀은 이를 통해 플로우 매칭(flow matching) 동작 방식을 시각적으로 이해하는 데 도움이 됐다고 밝혔다. 이 프로젝트는 온보드 AI 구동용 소형 모델의 필요성과 표준 로봇공학 데이터셋의 저장 용량 문제를 해결하기 위해 즉석 데이터셋 생성기를 직접 구축하면서 시작됐다.

큐레이터대형 모델 파인튜닝 비용과 데이터셋 용량 부담을 낮추려는 실용적 동기에서 출발한 도구이나, 공개된 성능 결과는 시뮬레이터 환경 기반이며 실물 로봇에서의 검증 수준은 확인되지 않는다.

robot-data-diff: LeRobot 데이터셋을 위한 에피소드 단위 변경 비교 도구

robot-data-diff는 LeRobot 데이터셋의 두 버전을 비교하는 오픈소스 CLI 도구다. 로컬 디렉터리 또는 Hugging Face 리포지터리 ID(v2.1·v3.0)를 지정하면 에피소드 추가·삭제·수정 내역과 프레임 수, 행동 통계(action stats), 유휴 비율(idle ratio), 행동 스파이크(action spike) 등 에피소드별 수치 변화를 출력한다. 태스크·스키마 변경 사항도 검출하며 결과는 HTML 보고서로 저장된다. 별도 추적 설정이나 커밋 워크플로 없이 `pip install robot-data-diff`로 설치할 수 있고, CPU만으로 동작하며 영상 파일은 내려받지 않는다.

큐레이터정책 재학습 후 성능이 떨어졌을 때 코드 변경과 데이터 변경을 분리해 원인을 좁히는 용도로 쓸 수 있다. 단, 개인 개발자가 공개한 초기 공개 도구이며 현장 검증 사례는 아직 보고되지 않았다.

SpaceMouse 원격조작 + MuJoCo 시각 트윈 및 AgileX PiPER 데이터 수집 파이프라인

AgileX PiPER 6자유도(DOF) 로봇 팔을 위한 SpaceMouse 기반 원격조작 및 데이터 수집 파이프라인이 ROS 2 환경에서 공개됐다. 6축 SpaceMouse 입력을 직교 공간 속도로 변환하고 관절 공간 스무딩 필터를 적용해 팔의 급격한 움직임을 억제한다. 수집된 시연 데이터셋은 LeRobot 및 ACT 모방 학습(imitation learning) 형식으로 패키징된다. MuJoCo 디지털 트윈을 하드웨어와 병렬 구동하며, 현재는 시각화 목적으로 활용된다. 향후 시뮬레이션 내 합성 카메라 뷰를 추가해 실물 배치 전 비전 정책을 검증하는 용도로 확장할 계획이다.

큐레이터MuJoCo 트윈이 현재 시각화 전용이라 실제 sim-to-real 검증 효용은 합성 카메라 통합 이후에야 확인 가능하다. 파이프라인의 데이터 품질과 모방 학습 성능은 아직 실험 결과가 공개되지 않아 추후 검증이 필요하다.

Embodied-sync: 멀티모달 로봇 학습 데이터의 동기화·보정·정렬·검증 도구

embodied-sync는 카메라·로봇 상태 등 이기종 센서 스트림 간 타이밍 불일치를 해결하기 위한 멀티모달(multimodal) 로봇 학습 데이터 동기화 오픈소스 도구다. 카메라와 로봇 상태의 샘플링 주기 차이, 패킷 지연, 장치 재연결 시 발생하는 시간 오프셋 초기화 문제를 처리 대상으로 한다. 라이브 센서 스트림과 사전 녹화 데이터셋 모두에서 동작하며, UMI·LeRobot·ROS 2/rosbag2+MCAP·LSL/XDF·Rerun·SurgSync 형식을 지원한다. 사용자 지정 데이터셋 형식에는 대화형 인터페이스를 통해 정렬 방식과 포맷을 선택할 수 있다. 다운샘플링 주파수·프레임 누락·지연 시간 등 상세 보고서를 자동으로 생성하고 프레임 단위 검사 기능도 제공한다.

큐레이터로봇 모방 학습 데이터셋에서 센서 간 타이밍 오류는 조용한 품질 저하 원인으로 꼽혀왔으나, 별도 전처리 도구 없이 연구자가 직접 처리해 온 경우가 많았다는 점에서 이 도구가 실제로 얼마나 다양한 엣지케이스를 커버하는지는 커뮤니티 사용 사례가 쌓여야 판단할 수 있다.

lerobot-robot-ros2-zenoh SDK를 활용한 차세대 LeRobot 정책 실행

오픈소스 lerobot-robot-ros2-zenoh SDK는 Hugging Face LeRobot 생태계의 정책 모델을 표준 ROS 2 인터페이스를 통해 ROBOTIS 하드웨어에 직접 연결한다. 이 SDK를 활용해 ROBOTIS OMY 매니퓰레이터에서 GR00T N1.7, MolmoAct2, VLA-JEPA, FastWAM 네 가지 정책을 동일한 데이터셋과 태스크 조건으로 벤치마크했다. 텔레오퍼레이션(teleoperation) 데이터 수집에는 CYCLO Intelligence가 사용되었으며, NVIDIA Isaac GR00T N1.7이 네 정책 중 가장 안정적인 전반적 성능을 나타냈다. 이 SDK는 시각-언어-행동 모델(VLA), 월드 모델 등 빠르게 진화하는 정책 아키텍처를 실제 하드웨어에서 지속적으로 검증하는 실용적 프레임워크를 제공한다. 워크플로는 OMY, AI Sapiens, AI Worker, AI Manipulator, ROBOTIS Hand를 포함한 ROBOTIS 전 제품군에 걸쳐 적용 가능하다.

큐레이터GR00T N1.7의 '가장 안정적인 성능'은 SDK 개발·공개 주체가 수행한 자체 벤치마크 결과이며 독립 검증이 아니므로, 사용된 태스크 종류와 평가 기준이 결론에 직접 영향을 미친다는 점을 확인할 필요가 있다.

NVIDIA와 Hugging Face, 오픈 로보틱스 커뮤니티를 위해 LeRobot에 새 모델과 프레임워크를 선보이다

NVIDIA와 Hugging Face가 오픈소스 로봇 학습 프레임워크 LeRobot에 새로운 모델과 프레임워크를 추가하기 위해 협력한다. 오픈소스 AI 생태계가 모델·데이터·도구 공유를 통해 개발 속도를 높여온 것처럼, 로보틱스 분야도 같은 방향을 모색한다. 현재 물리적 AI(Physical AI) 개발은 대규모 데이터셋, 로봇 기반 모델, 시뮬레이션, 컴퓨팅, 검증 도구 등이 비용이 높고 파편화되어 있어 접근이 어려운 상황이다. 양사는 이러한 장벽을 낮춰 오픈 로보틱스 커뮤니티의 연구·개발 환경을 개선하는 것을 목표로 한다.