강화 학습

적응성이 뛰어나 효율적인 로봇 애플리케이션을 개발하기 위한 로봇 학습 기술.

Nissan

Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree

워크로드

로보틱스

산업

모든 산업

비즈니스 목표

혁신

제품

NVIDIA AI Enterprise
NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Omniverse

개요
기술적 구현
파트너 에코시스템

강화 학습을 사용하여 복잡한 기술을 갖춘 물리 로봇 강화

로봇이 수행하는 작업이 점차 더 복잡해짐에 따라 기존 프로그래밍으로는 한계가 있습니다. 강화 학습(RL)은 로봇이 시뮬레이션 환경에서 시행착오를 통해 훈련하며 제어, 경로 계획, 조작 기술을 향상시키도록 함으로써 이러한 한계를 극복합니다. 이러한 보상 기반 학습은 지속적인 적응을 유도하여 로봇이 잡기, 이동, 복잡한 조작과 같은 실제 환경에서의 자동화 작업에 필요한 정교한 운동 기술을 개발할 수 있도록 지원합니다.

로보틱스를 위한 GPU 가속 RL 훈련

로봇 RL을 위한 기존 CPU 기반 훈련은 복잡한 작업을 처리하기 위해 수천 개의 코어가 필요한 경우가 많아 로봇 애플리케이션의 비용이 증가합니다. NVIDIA 가속 컴퓨팅은 인식 기능을 갖춘 강화 학습 환경에서 센서 데이터의 처리 속도를 높이는 병렬 처리 기능을 통해 이러한 문제를 해결합니다. 이를 통해 로봇은 동적인 환경에 적응하며 학습하고, 복잡한 작업을 수행하는 능력을 더욱 향상시킵니다.

NVIDIA의 가속 컴퓨팅 플랫폼은 GPU 성능을 활용해 로봇 훈련 프레임워크인 NVIDIA Isaac™ Lab을 비롯한 다양한 환경에서 물리 시뮬레이션과 강화 학습 과정의 보상 계산을 더욱 빠르게 처리합니다. 이를 통해 병목 현상이 사라지고 프로세스가 간소화되어, 시뮬레이션에서 실제 배포까지 원활하게 전환할 수 있습니다.

퀵 링크

강화 학습이란?

3가지 컴퓨터로 구성된 솔루션: 차세대 AI 로보틱스 지원

AI의 다음 물결: 물리 AI

강화 학습을 위한 Isaac Lab

Isaac Lab은 NVIDIA Isaac Sim™을 기반으로 구축된 모듈식 프레임워크로, 강화 및 모방 학습과 같은 로봇 훈련 워크플로우를 간소화합니다. 개발자는 최신 Omniverse™ 기능을 활용하여, 인지 기능을 갖춘 복잡한 정책을 훈련시킬 수 있습니다.

장면 구성: 첫 번째 단계는 Isaac Sim 또는 Isaac Lab에서 장면을 구축하고, URDF 또는 MJCF 형식의 로봇 애셋을 가져오는 것입니다. 시뮬레이션을 위해 물리 스키마를 적용하고 인식 기반 정책 훈련을 위해 센서를 통합하세요.
RL 작업 정의: 장면과 로봇을 구성하면, 다음 단계는 완료할 작업과 보상 함수를 정의하는 것입니다. 환경(예: 관리자 기반 또는 직접 워크플로우)은 에이전트의 현재 상태를 정의하고, 제공되는 동작을 관찰하고 실행합니다. 그러면 환경은 다음 상태 정보를 제공해 에이전트에 응답합니다.
훈련: 마지막 단계는 훈련과 정책 아키텍처를 위해 하이퍼 매개변수를 정의하는 것입니다. Isaac Lab은 GPU로 모델을 훈련하기 위한 4개의 RL 라이브러리(StableBaselines3, RSL-RL, RL-Games, SKRL)를 제공합니다.
확장: 개발자는 OSMO를 사용하여 여러 GPU와 다중 노드 시스템 전반에서 훈련을 확장하고, 분산형 인프라에서 다중 노드 작업을 오케스트레이션할 수 있습니다.

NVIDIA Isaac GR00T는 개발자에게 휴머노이드 로봇 개발에 새로운 방식을 제공합니다. 범용 로봇 파운데이션 모델 및 데이터 파이프라인을 위한 이 연구 이니셔티브와 개발 플랫폼은 언어를 이해하고, 인간의 움직임을 모방하며, 다중 모드 학습을 통해 기술을 빠르게 습득하는 데 도움이 될 수 있습니다.