로봇 훈련 프로그램

• 로봇 훈련 프로그램 = 로봇에게 작업을 가르치는 소프트웨어
• 가르치는 방법은 스펙트럼 — 사람이 동작을 일일이 지정하는 교시(Teaching) → 시연을 보고 배우는 모방학습 → 시행착오와 보상으로 스스로 배우는 강화학습
• 시험 출제 포인트: 온라인 교시(직접 교시·펜던트 교시)와 오프라인 프로그래밍(OLP)의 비교, 강화학습의 구성 요소(에이전트·환경·상태·행동·보상), Sim-to-Real 격차와 도메인 랜덤화

로봇에게 작업을 가르치는 방법의 스펙트럼

1. 명시적 프로그래밍: 개발자가 좌표·로직을 코드로 일일이 작성
2. 교시(Teaching): 사람이 로봇을 움직여 가며 동작 지점을 기록시킴 — 산업 현장의 표준
3. 학습(Learning): 데이터·경험으로부터 로봇이 스스로 규칙을 획득 — 모방학습, 강화학습

뒤로 갈수록 사람의 수고는 줄지만, 데이터·연산·검증 비용이 커진다.

온라인 교시 — 실로봇을 직접 가르친다

• 티치 펜던트 교시(Pendant Teaching): 펜던트로 로봇을 조그(Jog) 이동시켜 작업 지점(웨이포인트)에 세우고 위치를 기록 → 기록된 점들과 이동 방식(직선·관절 보간, → 머니퓰레이터 경로계획)으로 작업 프로그램 구성. 산업용 로봇의 전통적 표준 (→ 로봇 제어기 특성)
• 직접 교시(Direct Teaching): 사람이 로봇 팔을 손으로 잡고 직접 이끌면 로봇이 그 궤적·지점을 기록. 힘 센서·중력 보상으로 가볍게 움직이게 만든 협동로봇(Cobot) 에서 보편화 — 비전문가도 몇 분 만에 교시 가능

오프라인 프로그래밍(OLP) — 시뮬레이터에서 가르친다

오프라인 프로그래밍(OLP, Off-Line Programming) 은 실로봇 대신 PC 시뮬레이터의 3D 모델 위에서 작업 프로그램을 작성·검증한 뒤 실로봇에 다운로드하는 방식이다.

학습 기반 훈련 ① — 모방학습

모방학습(Imitation Learning) / 시연 학습(LfD, Learning from Demonstration): 사람의 시연(Demonstration) 데이터(직접 교시 궤적, 원격조작 기록, 영상)를 학습 데이터로 삼아, 로봇이 시연과 비슷하게 행동하도록 모델을 학습시킨다.

• 장점: 보상 설계 없이 "이렇게 해 봐"를 보여주면 된다 — 사람에게 자연스러운 전달 방식
• 한계: 시연에 없던 상황에 약하다, 시연자의 실수까지 배운다

학습 기반 훈련 ② — 강화학습

강화학습(RL, Reinforcement Learning): 정답 데이터 없이, 시행착오와 보상 신호로 행동 전략을 스스로 학습한다. 구성 요소가 시험 포인트다.

• 에이전트(Agent): 배우는 주체 (로봇의 정책)

• 환경(Environment): 에이전트가 상호작용하는 세계

• 상태(State): 현재 상황의 관측 (로봇 포즈, 물체 위치)

• 행동(Action): 에이전트의 선택 (관절 명령, 이동 방향)

• 보상(Reward): 행동 결과에 대한 점수 (목표 접근 +, 충돌 −)

• 정책(Policy): 상태 → 행동의 매핑. 누적 보상을 최대화하는 정책을 찾는 것이 목표

• 지도학습(라벨 데이터로 학습)과의 구분: 강화학습에는 "정답 행동" 라벨이 없고, 지연된 보상만 있음

• 지도학습·데이터 분할·과적합의 기초는 인지지능 알고리즘 설계 참조

시뮬레이션 훈련과 Sim-to-Real

• 실로봇으로 수만 번 시행착오를 겪게 할 수는 없음(파손·시간·안전)

• 그래서 학습 기반 훈련은 대부분 시뮬레이터에서 훈련하고 실로봇에 이식

• 리얼리티 갭(Reality Gap): 시뮬레이터와 실세계의 물리(마찰·유격·센서 노이즈) 차이 때문에, 시뮬레이터에서 잘하던 정책이 실로봇에서 무너지는 문제 — Sim-to-Real 전이(Transfer) 의 핵심 장벽

• 도메인 랜덤화(Domain Randomization): 훈련 중 시뮬레이터의 조건(마찰, 질량, 조명, 노이즈)을 무작위로 흔들어 다양한 환경을 경험시키는 기법 — "어떤 변형에도 통하는" 강인한 정책을 만들어 리얼리티 갭을 넘게 한다

• 시뮬레이터 충실도(모델 정확도)를 높이는 것도 보완책이다 (→ 액추에이터 동역학 모델링, 디지털 트윈)

훈련 소프트웨어의 파이프라인

운영 관점에서 훈련은 1회성이 아니라 순환이다.

1. 데이터 수집: 시연 기록, 운영 로그, 시뮬레이션 롤아웃 (→ 로봇 데이터 관리)
2. 학습(Training): 클라우드·서버 GPU에서 모델 학습 (→ 엣지-클라우드 분담)
3. 평가(Evaluation): 시뮬레이터 검증 → 제한 환경 실기 시험 — 안전 기준 통과 확인
4. 배포(Deployment): 통과한 모델을 OTA로 로봇에 배포 (→ 서버 프로그램)
5. 모니터링·재학습: 현장 성능 감시, 실패 사례 수집 → 다음 학습에 반영 (→ 로봇 모니터링 프로그램)

로봇 훈련(교시) 방법의 분류

graph TD
    T["로봇에게 작업을 가르치는 방법"] --> ON["온라인 교시
(실로봇 사용)"]
    T --> OFF["오프라인 프로그래밍 OLP
(시뮬레이터에서 작성·검증)"]
    T --> ML["학습 기반
(데이터·경험으로 획득)"]
    ON --> P["티치 펜던트 교시
조그 이동 + 지점 기록"]
    ON --> D["직접 교시
손으로 잡고 이끎 (협동로봇)"]
    ML --> IL["모방학습
시연 데이터로 학습"]
    ML --> RL["강화학습
시행착오 + 보상"]

강화학습의 상호작용 루프

graph LR
    A["에이전트
(로봇의 정책 π)"] -- "행동 a" --> E["환경
(작업 공간·시뮬레이터)"]
    E -- "다음 상태 s'" --> A
    E -- "보상 r" --> A

여기서 \gamma(감가율, 0~1)는 먼 미래의 보상을 얼마나 현재 가치로 칠지 정하는 계수다 — 1에 가까울수록 장기 보상을 중시한다.

1. 오프라인 프로그래밍(OLP)의 장점으로 가장 적절한 것은?

① 생산 라인을 멈추지 않고 로봇 프로그램을 작성·검증할 수 있다 ② 시뮬레이터 모델과 실물의 오차를 보정할 필요가 없다 ③ 실로봇 없이는 아무 검증도 할 수 없다 ④ 티치 펜던트보다 항상 빠르고 저렴하다

2. 사람이 협동로봇의 팔을 손으로 잡고 움직여 작업 궤적을 기록시키는 교시 방법은?

① 오프라인 프로그래밍 ② 강화학습 ③ 명시적 코드 프로그래밍 ④ 직접 교시(Direct Teaching)

3. 강화학습의 구성 요소에 대한 설명으로 옳지 않은 것은?

① 에이전트는 행동을 선택하는 학습 주체다 ② 보상은 행동 결과에 대한 평가 신호다 ③ 정책은 상태를 행동으로 매핑하는 규칙이다 ④ 모든 상태에 대해 정답 행동 라벨이 미리 주어져야 한다

4. 시뮬레이터에서 훈련한 보행 정책이 실로봇에서는 자꾸 넘어진다. 훈련 단계에서 마찰계수·질량·센서 노이즈를 무작위로 바꿔 가며 학습시키는 대책의 이름은?

① 도메인 랜덤화(Domain Randomization) ② 로그 로테이션 ③ 전체 백업 ④ 폴링(Polling)

5. 학습 기반 로봇 훈련의 운영 파이프라인 순서로 옳은 것은?

① 배포 → 학습 → 데이터 수집 → 평가 ② 데이터 수집 → 학습 → 평가 → 배포 → 모니터링·재학습 ③ 평가 → 배포 → 학습 → 데이터 수집 ④ 학습 → 배포 → 평가 없이 종료

• 로봇 데이터 관리 — 훈련 데이터의 수집·저장·품질
• 인지지능 알고리즘 설계 — 지도학습·데이터 분할·과적합 기초
• 로봇과 ICT 융합 — 클라우드 학습·엣지 배포 분담
• 머니퓰레이터 경로계획 — 교시 지점 간 보간
• 로봇 제어기 특성 — 티치 펜던트와 교시 모드
• _MOC 로봇운영소프트웨어