용어집

강화학습이란 에이전트가 환경과 상호작용하면서 누적 보상을 최대화하는 정책(policy)을 스스로 학습하는 기계학습 패러다임이다. 정답 레이블 없이 보상 신호만으로 학습이 이루어지므로, 사전에 규칙으로 명시하기 어려운 복잡한 행동 전략을 자동으로 발견할 수 있다. 로봇공학에서는 벨만 방정식(Bellman equation) 기반의 Q-러닝이나 정책 기울기(policy gradient) 방법이 대표적으로 활용된다. 예를 들어 로봇팔이 다양한 형태의 물체를 파지(grasping)하는 동작을 시뮬레이터 내 반복 시행을 통해 스스로 최적화하는 것이 전형적인 응용이다. 지도학습과의 차이점은, 지도학습이 정답 레이블을 직접 학습하는 반면 강화학습은 행동의 결과로 주어지는 보상 신호를 통해 간접적으로 최적 행동을 찾는다는 점이다.

고급

모방학습이란 전문가의 시연(demonstration) 데이터로부터 행동 정책을 학습하는 방법론으로, 보상 함수를 명시적으로 정의하지 않고도 기술을 습득할 수 있다는 특징이 있다. 보상 함수 설계가 어렵거나 환경과의 실시간 상호작용 비용이 클 때 활용도가 높다. 행동 복제(Behavioral Cloning)는 상태-행동 쌍을 지도학습으로 직접 모방하지만, 학습 분포에서 벗어난 상태에서 오류가 누적되는 분포 이동(distribution shift) 문제가 발생한다. 이를 완화하기 위해 DAgger처럼 전문가 쿼리를 반복적으로 수집해 온라인으로 데이터를 집계하는 알고리즘이 제안되었다. 로봇 팔이 사람의 텔레오퍼레이션 궤적 수십 건을 학습해 정밀 조립 동작을 재현하는 것이 대표적 응용 사례다. 역강화학습(Inverse Reinforcement Learning)은 시연으로부터 보상 함수 자체를 복원한 뒤 정책을 도출한다는 점에서, 행동을 직접 복제하는 행동 복제와 구별된다.

고급

어포던스란 객체의 형상·재질·공간적 배치가 로봇 에이전트에게 제공하는 행동 가능성(action possibility)을 가리키며, 생태심리학자 깁슨(J.J. Gibson)의 개념을 로봇공학에 도입한 것이다. 로봇이 미지의 객체를 다룰 때 사전에 정의된 동작 목록에 의존하지 않고 객체 속성으로부터 직접 행동 가능성을 추론하기 위해 이 개념이 필요하다. 실제로는 파지 계획, 도구 사용, 인간-로봇 상호작용 등에서 어포던스 맵을 추출하는 형태로 활용되며, 합성곱 신경망(CNN)이나 포인트 클라우드 기반 모델이 픽셀·점 단위로 어포던스를 예측하는 데 쓰인다. 예를 들어 컵의 손잡이 영역은 '파지(grasp)' 어포던스를, 상단 개구부는 '붓기(pour)' 어포던스를 나타낸다고 표현한다. 어포던스는 객체 자체의 고정 속성이 아니라 로봇의 신체 능력과 객체 속성 사이의 관계적 개념이므로, 물체의 클래스만 분류하는 객체 인식(object recognition)과는 구별된다.

고급

원격조작이란 조작자가 로봇과 물리적으로 분리된 위치에서 실시간으로 로봇의 동작을 지령하고 감독하는 제어 방식이다. 방사성 환경, 심해, 우주 공간처럼 인간이 직접 접근하기 어려운 곳에서 안전하게 작업을 수행하기 위해 도입된다. 고급 시스템은 마스터-슬레이브 구조에 양방향 햅틱 피드백을 결합하여 조작자가 슬레이브 로봇의 접촉력을 감지하면서 조작할 수 있게 한다. 예를 들어 국제우주정거장의 원격 로봇팔 조작에서는 수백 밀리초의 통신 지연이 발생하며, 이를 보상하기 위해 wave variable 제어나 Smith Predictor 기법이 적용된다. 자율 로봇은 로봇 자체가 판단과 실행을 모두 담당하지만, 원격조작은 인간이 제어 루프 안에 남아 최종 의사결정을 내린다는 점에서 구별된다.

고급

영점모멘트점(ZMP)이란 지면상의 한 점으로, 중력과 관성력을 포함한 모든 힘의 합력이 수평축에 대해 순 모멘트를 발생시키지 않는 지점이다. 이족보행 로봇이 전도되지 않으려면 ZMP가 발 접촉면이 형성하는 지지다각형 내부에 위치해야 하며, 이 조건이 동적 안정성의 핵심 판별 기준으로 사용된다. ASIMO나 HRP 시리즈 같은 휴머노이드 로봇의 보행 계획에서는 ZMP 궤적을 사전에 설계한 뒤, 이를 추종하도록 관절 궤적을 역동역학으로 역산하는 방식이 표준적으로 쓰인다. 예를 들어 단지지(single support) 구간에서 ZMP가 발바닥 영역 밖으로 벗어나면, 로봇은 그 방향으로 회전 모멘트를 받아 넘어진다. 압력중심(Center of Pressure, CoP)은 실제 지면 반력이 작용하는 점으로 ZMP와 혼동되기 쉬우나, 평탄한 지면과 완전 접촉 상태에서는 두 점이 일치하고 비접촉(공중) 구간에서는 ZMP만 정의된다.

고급

시뮬레이션-실제 전이란 시뮬레이터에서 학습된 제어 정책(policy)이나 모델을 물리적 실제 로봇에 그대로, 또는 최소한의 재학습만으로 적용하는 방법론이다. 실제 환경에서 강화학습에 필요한 대규모 반복 탐색 데이터를 직접 수집하는 것은 시간·비용·안전 측면에서 제약이 크므로, 물리 시뮬레이터를 통해 데이터를 빠르게 생성한 뒤 현실에 활용한다. 핵심 도전은 시뮬레이터의 물리 모델이 현실을 완벽히 재현하지 못해 발생하는 현실 격차(reality gap)를 극복하는 것으로, 이를 위해 도메인 랜덤화(domain randomization)·도메인 적응(domain adaptation)·시스템 식별(system identification) 기법이 함께 쓰인다. 대표적인 사례로 4족 보행 로봇을 시뮬레이터에서 수천만 스텝 학습시킨 뒤 실제 하드웨어에 바로 배포하여 안정적 보행을 달성한 연구들이 있다. 전이 학습(transfer learning)이 데이터 분포 변화 전반을 다루는 광의의 개념인 반면, 시뮬레이션-실제 전이는 시뮬레이터와 물리 세계 사이의 모달리티 차이를 특정하여 다룬다는 점에서 구분된다.

고급

도메인 랜덤화(Domain Randomization)란 시뮬레이션 환경의 물리 파라미터(마찰 계수, 질량, 관절 댐핑 등)와 시각적 속성(조명, 텍스처, 카메라 위치 등)을 학습 중 무작위로 변화시켜, 정책 네트워크가 실제 환경의 변동성을 포괄하도록 훈련하는 기법이다. 시뮬레이션과 현실 사이의 간극(reality gap)으로 인해 시뮬레이션에서 학습한 정책이 실제 로봇에 그대로 이전되지 않는 문제를 완화하기 위해 고안되었다. 무작위화 범위가 충분히 넓으면 학습된 정책은 실제 환경을 시뮬레이션 분포의 한 샘플로 간주할 수 있게 되어, 추가적인 실제 데이터 수집 없이도 정책 전이가 가능해진다. OpenAI의 Dactyl 프로젝트에서는 수백 가지 파라미터를 무작위화한 시뮬레이션으로 학습한 정책을 별도의 파인튜닝 없이 실제 로봇 손(Shadow Hand)에 직접 적용해 루빅스 큐브 조작에 성공하였다. 도메인 적응(Domain Adaptation)이 실제 환경의 데이터를 활용해 도메인 간 분포 차이를 줄이는 방식인 데 반해, 도메인 랜덤화는 실제 데이터 없이 시뮬레이션만으로 진행한다는 점에서 구분된다.

고급

디퓨전 폴리시란 확산 모델(Diffusion Model)의 반복적 노이즈 제거 과정을 로봇 행동 생성에 적용한 모방 학습 기반 정책 표현 방식이다. 기존 행동 복제 방식은 단일 가우시안 분포로 행동을 예측하기 때문에, 같은 관측 상황에서 여러 유효한 행동이 공존하는 다봉(multimodal) 분포를 표현하기 어렵다는 한계가 있다. 디퓨전 폴리시는 행동 공간의 임의 잡음에서 시작해 관측값을 조건으로 한 스코어 함수(score function)를 K회 반복 적용함으로써 최종 행동 시퀀스를 복원한다. 예를 들어 로봇팔이 물체를 집는 시범 데이터를 학습할 때, 위쪽 접근과 옆쪽 접근처럼 동등하게 타당한 복수의 궤적 분포를 단일 정책으로 포착할 수 있다. 에너지 기반 모델(EBM)도 유사하게 다봉 분포를 표현하지만, 디퓨전 폴리시는 추론 시 MCMC 샘플링 없이 고정된 역확산 단계만으로 행동을 생성하므로 실시간 제어 루프에 적용하기 더 용이하다.

고급

저구동 시스템이란 시스템의 일반화 좌표 수(자유도)가 독립적인 액추에이터 수보다 많아, 모든 자유도를 임의로 직접 제어할 수 없는 역학 시스템이다. 수학적으로는 라그랑지안 동역학의 입력 분포 행렬(input distribution matrix)의 열 공간이 구성 공간 전체를 생성하지 못하는 것으로 표현된다. 이러한 구조적 제약은 경량 설계나 에너지 절감을 위해 의도적으로 채택되기도 하고, 공중 비행체처럼 물리 법칙에 의해 필연적으로 발생하기도 한다. 대표적인 예로 쿼드로터는 위치 3축·자세 3축의 6자유도를 가지지만 4개의 로터만으로 구동되므로 전형적인 저구동 시스템에 해당한다. 제어 설계에서는 시스템의 자연 역학을 적극 이용하는 에너지 성형(energy shaping)이나 부분 피드백 선형화(partial feedback linearization) 기법이 주로 쓰인다. 속도 수준의 구속으로 인해 특정 방향 이동이 불가능한 비홀로노믹 시스템과 혼동되기 쉬우나, 저구동 시스템의 제약은 힘·토크 입력의 부족에서 비롯된다는 점에서 구분된다.

고급

소프트 로보틱스란 실리콘 엘라스토머·하이드로겔·섬유 복합 소재 등 탄성 변형이 큰 연성 재료로 구동부와 구조체를 일체화하여 설계하는 로봇공학 분야이다. 강체 링크 기반의 고전적 운동학으로는 연속적·대변형 거동을 기술할 수 없기 때문에, Cosserat 로드 이론이나 유한요소법 기반의 순응성 모델이 운동학·동역학 해석에 활용된다. 연성 구조는 충돌 시 충격력을 재료 자체가 흡수·분산하므로 인간과 직접 접촉하는 재활 글러브, 캡슐 내시경 로봇, 농산물 수확 그리퍼 등에 적용된다. 예를 들어, 공압으로 팽창하는 실리콘 챔버 배열로 구성된 소프트 그리퍼는 별도의 제어 파라미터 변경 없이 형상이 불규칙한 과일을 파지할 수 있는데, 이는 재료의 순응성이 제어 복잡도를 대체하는 모폴로지컬 컴퓨테이션(morphological computation) 개념의 대표적 사례이다. 연속체 로봇(continuum robot)도 연속 변형으로 동작한다는 점에서 유사하나, 소프트 로보틱스는 재료의 탄성 에너지 저장을 구동 전략 자체로 활용하고 백본 구조 없이 재료 자체가 형상을 결정한다는 점에서 구분된다.

고급

전신 제어(Whole-Body Control)란 휴머노이드·다족 보행 로봇처럼 자유도가 많은 로봇의 전체 관절을 동시에 고려하여, 균형 유지·이동·팔 조작 등 복수의 작업을 우선순위에 따라 통합적으로 수행하는 제어 기법이다. 자유도가 높은 로봇을 작업별로 분리해 독립 제어하면 접촉력 제약과 관절 한계를 동시에 만족시키기 어렵기 때문에, 이를 하나의 최적화 문제로 묶어 풀어야 한다. 일반적으로 작업 공간 제어(Operational Space Control)와 계층적 이차 계획법(Hierarchical QP)을 결합해, 우선순위가 높은 작업(예: 무게중심 균형)을 먼저 만족시킨 후 남은 잉여 자유도(null space)에서 하위 작업을 처리한다. 예를 들어 이족 보행 로봇이 계단을 내려가면서 동시에 물체를 집는 경우, 발 접촉점의 반력 제약과 팔 끝의 목표 궤적을 하나의 QP 문제로 풀어 두 작업을 충돌 없이 수행하게 한다. 역기구학(Inverse Kinematics)이 기하학적 자세만 계산하는 것과 달리, 전신 제어는 로봇의 동역학 모델과 접촉 제약을 포함한 최적화를 통해 관절 토크 명령을 직접 생성한다.

고급

촉각 센싱이란 로봇이 물체와 접촉할 때 발생하는 압력 분포, 전단력, 진동, 온도 등의 물리적 정보를 접촉 면 전반에 걸쳐 공간적으로 분해하여 측정하는 기술이다. 이를 통해 로봇은 접촉 면적, 접촉점의 위치, 물체의 형상 및 표면 질감을 추정할 수 있어 섬세한 파지 제어와 조작에 필수적인 피드백을 얻는다. 예를 들어 다지 로봇 손이 달걀을 파지할 때, 촉각 어레이가 제공하는 압력 분포 데이터를 실시간으로 읽어 미끄러짐(slip onset)을 감지하고 파지력을 즉각 조절한다. 센서 구현 방식은 압저항(piezoresistive), 정전용량(capacitive), 압전(piezoelectric), 광학 기반 방식 등으로 다양하며, 공간 분해능과 감도 측면에서 각각 상이한 특성을 보인다. 힘·토크 센서(F/T sensor)가 접촉 전체의 합력과 모멘트를 6축 스칼라 값으로 측정하는 것과 달리, 촉각 센싱은 접촉 영역 내 국소 압력 분포까지 측정한다는 점에서 구별된다.

고급

파지 계획이란 로봇 손 또는 그리퍼가 대상 물체를 안정적으로 쥐기 위해 접촉점 위치, 손 형상, 접근 방향을 결정하는 알고리즘적 과정이다. 물체의 기하학적 형상, 질량 분포, 마찰 계수, 작업 목적이 모두 달라지므로, 힘 닫힘(force closure) 조건을 만족하는 접촉 구성을 탐색하고 파지 품질 지표(예: 최소 고유값 기반 epsilon 척도 또는 파지 렌치 공간의 부피)로 후보를 평가하는 과정이 필수적이다. 파지 계획은 데이터 기반 방식과 해석적 방식으로 나뉘며, 데이터 기반 방식은 대규모 파지 시도 결과로 학습한 모델이 포인트 클라우드나 깊이 영상으로부터 파지 후보를 직접 예측하고, 해석적 방식은 물체의 3D 모델을 이용해 기하학적 조건을 명시적으로 분석한다. 예를 들어, 6축 산업용 로봇팔이 불규칙한 형상의 부품을 집을 때, 포인트 클라우드 기반 파지 후보를 생성한 뒤 충돌 검사와 함께 epsilon 품질 기준으로 최적 파지를 선정한다. 동작 계획(motion planning)이 선정된 파지 자세까지 도달하는 궤적을 다루는 반면, 파지 계획은 로봇이 물체와 접촉하는 방식 자체를 결정하는 선행 단계다.

고급

행동 복제란 전문가의 시연(demonstration)에서 수집한 상태-행동 쌍을 지도 학습으로 학습하여 정책(policy)을 직접 도출하는 모방 학습(imitation learning)의 한 방법이다. 보상 함수를 수작업으로 설계하기 어려운 태스크에서, 전문가 데이터만으로 초기 정책을 빠르게 구축할 수 있다는 점에서 실용적으로 쓰인다. 로봇 조작(manipulation), 자율주행, 게임 에이전트 등 다양한 분야에서 초기 정책 학습 또는 오프라인 사전 학습 단계에 활용된다. 예를 들어, 사람이 텔레오퍼레이션으로 시연한 로봇팔 집기 동작을 녹화한 뒤, 각 시점의 관절 상태와 행동을 입출력 쌍으로 삼아 신경망을 훈련하는 방식이 대표적이다. 그러나 학습 분포와 배포 분포의 불일치(distributional shift)로 인해 오차가 누적되는 복합 오차(compounding error) 문제가 발생할 수 있으며, 이를 완화하기 위해 DAgger(Dataset Aggregation)와 같은 온-폴리시 데이터 수집 기법이 제안되어 있다. 역강화학습(Inverse Reinforcement Learning)이 전문가 데이터로부터 보상 함수를 역추정한 뒤 정책을 유도하는 것과 달리, 행동 복제는 보상 함수 추정 단계 없이 정책을 직접 학습한다.

고급

로봇 파운데이션 모델이란 인터넷 이미지·텍스트·로봇 시연 영상 등 대규모 이종 데이터로 사전학습되어, 다양한 로봇 태스크에 전이하거나 파인튜닝만으로 적용할 수 있는 범용 신경망 모델이다. 태스크마다 제어기와 인식 파이프라인을 새로 설계하던 방식과 달리, 단일 사전학습 가중치에서 출발하므로 새로운 태스크에 필요한 시연 데이터 양을 줄일 수 있다. 구현 형태는 주로 트랜스포머 기반의 비전-언어-행동 모델(VLA)이며, 카메라 영상·자연어 지시·고유 감각 신호를 단일 네트워크에서 처리해 관절 명령이나 엔드이펙터 포즈를 직접 출력한다. Google DeepMind의 RT-2는 웹 규모 비전-언어 사전학습 가중치를 로봇 조작 데이터로 추가 학습한 사례로, "사과를 빨간 그릇에 넣어라"와 같은 지시를 별도 객체 인식 모듈 없이 행동 토큰 시퀀스로 변환한다. 비전-언어 모델(VLM)은 언어·이미지 이해와 생성에 그치지만, 로봇 파운데이션 모델은 실세계 행동 토큰(액션 청크)까지 생성한다는 점에서 구분된다.

고급

접촉 풍부 조작이란 로봇 말단 장치(엔드이펙터)가 환경 또는 대상 물체와 지속적이고 복잡한 접촉 상태를 유지하면서 작업을 수행하는 조작 방식이다. 단순 위치 제어만으로는 접촉 중 발생하는 힘과 토크를 조절할 수 없어 부품 파손이나 작업 실패로 이어지기 때문에, 임피던스 제어나 힘/토크 제어와 같은 접촉력 관리 기법이 함께 요구된다. 페그-인-홀(peg-in-hole) 조립 작업에서 로봇은 삽입 과정 내내 측면 접촉력과 정렬 오차를 실시간으로 감지하고 보정해야 하며, 이것이 접촉 풍부 조작의 전형적인 예다. 표면 연삭·연마, 나사 체결, 외과 수술 로봇의 조직 접촉 등 다양한 분야에 적용된다. 단순 파지(pick-and-place)와 달리, 접촉 풍부 조작은 접촉 위상(contact phase)의 전환과 마찰·변형이 수반되므로 동역학 모델링의 복잡도가 크게 높아지며, 학습 기반 접근법에서도 접촉 전환을 안정적으로 처리하는 것이 핵심 연구 과제로 남아 있다.

고급

시각-언어-행동 모델(VLA)이란 카메라 이미지와 자연어 지시를 함께 입력받아 로봇의 제어 신호를 직접 출력하는 대규모 멀티모달 모델이다. 기존 로봇 정책 네트워크는 특정 환경·작업에 과적합되기 쉬운 반면, VLA는 웹 규모 데이터로 사전학습된 시각-언어 기반 모델의 의미론적 일반화 능력을 행동 생성 단계까지 연장한다. 일반적으로 트랜스포머 디코더가 이미지 패치 토큰과 언어 토큰을 처리한 뒤, 엔드이펙터 위치·자세·그리퍼 개폐 여부 등을 이산 행동 토큰 또는 연속값 시퀀스로 예측하는 구조를 취한다. 구글 딥마인드의 RT-2는 이미지-텍스트 데이터로 학습된 VLM을 로봇 시연 데이터로 파인튜닝하여, 훈련 중 등장하지 않은 물체나 지시에도 행동을 일반화하는 사례를 보여 주었다. 시각-언어 모델(VLM)이 텍스트 또는 이미지 기술(記述)을 출력하는 데 그치는 것과 달리, VLA는 행동 예측 헤드를 추가하거나 행동 자체를 어휘 토큰으로 이산화하여 제어 신호를 모델의 직접 출력으로 삼는다는 점에서 구별된다.

고급

6자유도 자세 추정이란 3차원 공간에서 물체의 위치(x, y, z 평행이동 3자유도)와 방향(롤·피치·요 회전 3자유도)을 동시에 복원하여 카메라 좌표계 기준의 완전한 강체 변환(SE(3))을 출력하는 기술이다. 로봇이 물체를 파지하거나 조립하려면 물체가 어디에 있는지뿐 아니라 어떤 방향으로 놓여 있는지를 정확히 알아야 하므로, 단순한 위치 정보만으로는 안정적인 조작이 불가능하다. 산업용 빈 피킹 시스템에서 무작위로 쌓인 볼트나 부품의 6D 자세를 추정해 로봇팔의 파지 궤적을 생성하는 것이 대표적인 활용 사례다. 딥러닝 기반 방법은 크게 두 갈래로 나뉘는데, RGB(-D) 이미지에서 회전 행렬(SO(3))이나 쿼터니언을 직접 회귀하는 방식과, 2D 키포인트를 예측한 뒤 PnP 알고리즘으로 자세를 복원하는 방식이 있다. 2D 물체 검출이 이미지 평면 내 바운딩 박스만 제공하는 것과 달리, 6D 자세 추정은 깊이 및 회전 정보를 모두 포함한 SE(3) 변환 행렬을 출력한다는 점에서 구분된다.

고급