휴머노이드 로봇

이를 위해 광범위한 고품질 실제 데이터세트를 수집하는 것은 까다롭고 비용과 시간이 소요될 수 있습니다. 합성 데이터는 물리적으로 정밀한 시뮬레이션 환경에서 생성되며, 데이터 수집을 가속화하고 로봇 학습 모델을 일반화하는 데 필요한 다양성을 제공하여 이러한 과제를 해결합니다.

NVIDIA Isaac GR00T-Dreams는 방대한 양의 합성 모션을 생성해 로봇이 새로운 동작을 학습하고 변화하는 환경에 적응할 수 있도록 돕는 Blueprint입니다.

개발자는 먼저 로봇을 위한 NVIDIA Cosmos Predict 월드 파운데이션 모델(WFM)을 사후 훈련할 수 있습니다. 이후 GR00T-Dreams는 단일 이미지만으로 새로운 환경에서 새로운 작업을 수행하는 로봇의 다양한 영상을 생성할 수 있도록 지원합니다. 이 Blueprint는 Cosmos Reason을 사용해 ‘드림(dream)’을 선별하고, 액션 토큰을 추출합니다. 이 토큰은 새로운 작업 수행 방식으로 로봇에게 학습시키기 위한 압축된 최적화 데이터입니다.

GR00T-Dreams Blueprint는 Isaac GR00T-Mimic Blueprint를 보완합니다. GR00T-Mimic은 Omniverse와 Cosmos를 사용하여 기존 데이터를 보강하는 반면, GR00T-Dreams는 Cosmos를 사용하여 완전히 새로운 데이터를 생성합니다.

휴머노이드 로봇을 활용하려면 인간과 같은 섬세한 물체 조작 기술이 필요하며, 이는 중대한 조작 작업과 세밀한 조작 작업을 모두 수행할 수 있습니다. GR00T-Dexterity는 레퍼런스 워크플로우와 결합하여 강화 학습 기반 접근 방식을 사용하여 구축된 포괄적인 모델과 정책을 구성하여 이러한 고급 기능의 개발을 지원합니다.

복잡하고 동적인 환경에서의 범용 탐색에는 광범위한 조정이 필요합니다. GR00T-Mobility의 레퍼런스 워크플로우를 통해 다양한 설정과 로봇 구현을 탐색할 수 있는 모빌리티 제너럴리스트를 생성할 수 있습니다.

휴머노이드 로봇에서 전신 제어를 달성하는 것은 까다로운 일이며, 안정적인 조작과 강력한 이동을 모두 필요로 합니다. GR00T-Control은 고급 모션 계획 및 제어 모델, 정책, 참조 워크플로우를 통해 이러한 문제를 해결하여 효과적인 제어 시스템의 개발을 간소화합니다.

GR00T-Control은 모방 학습과 원격 조작 데이터세트를 사용하여 강력한 전신 모션 정책을 훈련할 수 있도록 지원하며, 휴머노이드 로봇이 민첩한 조작과 이동 기술을 학습할 수 있도록 지원합니다.

휴머노이드 로봇은 상황 인식과 상호 작용 효율성을 향상시키기 위해 이벤트, 공간, 개인화 설정, 상황 인식 반응에 대한 장기 기억력이 필요합니다.

GR00T-Perception은 Isaac Sim과 Isaac ROS를 사용하여 구축된 인식 라이브러리, 파운데이션 모델과 레퍼런스 워크플로우 제품군을 통해 이러한 작업을 가능하게 합니다. 이러한 도구는 비전 언어 모델, 검색 증강 메모리와 같은 첨단 기술을 통합하여 휴머노이드 로봇의 인식, 인지, 적응력을 향상합니다.

또한 다양한 조건에서 적절한 성능, 지연 시간, 기능성 안전성을 갖춘 휴머노이드를 지원하는 멀티모달 AI 모델의 앙상블을 실행하는 데 로봇 하드웨어가 필수적입니다. 

NVIDIA Blackwell GPU 아키텍처를 기반으로 한 NVIDIA Jetson AGX Thor는 초고성능 AI 컴퓨팅과 새로운 트랜스포머 엔진을 제공합니다. 이를 통해 차세대 휴머노이드의 개발을 지원하는 데 필요한 AI 슈퍼파워를 최첨단 기술에서 제공할 수 있습니다.