물리 AI란 무엇인가요?

물리 AI는 로봇, 자율주행 자동차, 스마트 공간과 같은 자율 시스템이 실제 세계에서 인식하고, 이해하며, 복잡한 행동을 수행할 수 있도록 합니다. 인사이트와 행동을 생성하는 능력 때문에 ‘생성형 물리 AI’라고도 불립니다. 

물리 AI는 어떻게 작동하나요?

GPT, Llama와 같은 거대 언어 모델인 생성형 AI 모델은 인터넷에서 주로 수집된 방대한 텍스트와 이미지 데이터로 훈련됩니다. 이러한 AI는 인간 언어와 추상적인 개념을 생성하는 데 탁월한 성능을 보이지만, 물리적 세계와 그 규칙에 대한 이해는 제한적입니다. 

생성형 물리 AI는 우리가 살아가는 3D 세계의 공간적 관계와 물리적 작동 방식에 대한 이해를 기반으로, 현재의 생성형 AI를 확장합니다. 이는 AI 훈련 과정에서 실제 세계의 공간적 관계와 물리적 법칙에 대한 정보가 포함된 추가 데이터를 제공함으로써 수행됩니다.

3D 훈련 데이터는 매우 정밀한 컴퓨터 시뮬레이션을 통해 생성되며, 이는 데이터 소스이자 AI 훈련 환경으로 활용됩니다.

물리 기반 데이터 생성은 공장과 같은 공간의 디지털 트윈에서 시작됩니다. 이 가상 공간에는 센서와 로봇과 같은 오토노머스 머신이 추가됩니다. 실제 시나리오를 재현한 시뮬레이션이 실행되며, 센서는 움직임이나 충돌과 같은 강체 역학, 또는 빛이 주변 환경과 반응하는 방식과 같은 다양한 상호작용을 포착합니다. 

물리 AI에서 강화 학습의 역할은 무엇인가요?

강화 학습은 오토노머스 머신이 실제 세계에서 작업을 수행할 수 있도록 시뮬레이션 환경에서 기술을 가르칩니다. 이를 통해 오토노머스 머신은 수천 또는 수백만 번의 시행 착오 과정을 거쳐 안전하고 빠르게 기술을 학습할 수 있습니다. 

이 학습 기법은 물리 AI 모델이 시뮬레이션에서 원하는 동작을 성공적으로 수행하면 보상을 제공하여, 모델이 지속적으로 적응하고 성능을 개선하게 만듭니다. 반복적인 강화 학습을 통해 오토노머스 머신은 결국 새로운 상황과 예측하지 못한 문제에도 적절히 대응할 수 있게 되며, 실제 환경에서 운용을 가능하게 합니다. 시간이 지남에 따라 오토노머스 머신은 상자를 깔끔하게 포장하거나, 차량 제작을 지원하거나, 스스로 환경을 탐색하는 등 실제 응용 분야에 필요한 정교한 소운동 기술을 개발할 수 있습니다.

물리 AI가 중요한 이유는 무엇인가요?

이전에는 오토노머스 머신이 주변 환경을 인식하고 감지할 수 없었습니다. 그러나 생성형 물리 AI를 활용하면, 로봇을 구축하고 실제 환경과 원활하게 상호작용하며 적응할 수 있도록 훈련할 수 있습니다.

물리 AI를 구축하려면 오토노머스 머신을 훈련할 수 있는 안전하고 통제된 환경을 제공하는 강력한 물리 기반 시뮬레이션이 필요합니다. 이는 복잡한 작업을 수행하는 로봇의 효율성과 정확도를 개선할 뿐만 아니라, 인간과 기계 사이의 보다 자연스러운 상호작용을 촉진하여 실제 애플리케이션에서 접근성과 기능을 개선합니다.

생성형 물리 AI는 모든 산업을 혁신할 새로운 역량을 실현하고 있습니다. 예를 들어,

로봇: 물리 AI를 통해 로봇은 다양한 환경에서 운용 성능이 눈에 띄게 향상되었습니다.

  • 창고의 자율 이동 로봇(AMR)은 온보드 센서의 직접적인 피드백을 사용하여 복잡한 환경을 탐색하고 인간을 포함한 장애물을 피할 수 있습니다.
  • 조작기는 컨베이어 벨트 위의 물체 자세에 따라 파지 강도와 위치를 조정할 수 있으며, 대상 유형에 맞는 정밀한 소운동과 대운동 기술을 모두 보여줍니다.
  • 수술 로봇은 이 기술을 통해 바늘 꿰기, 봉합 등과 같은 정교한 작업을 학습함으로써, 특화된 작업을 위한 로봇 훈련 과정에서 생성형 물리 AI의 정확도와 적응성을 입증하고 있습니다.
  • 휴머노이드 로봇, 즉 범용 로봇은 주어진 작업이 무엇이든 간에, 물리적 세계를 인식하고, 이해하며, 탐색하고, 상호작용할 수 있는 능력과 함께 대운동과 소운동 기술 모두를 갖추어야 합니다.

자율주행 자동차(AV): AV는 센서를 사용하여 주변 환경을 인식하고 이해하며, 개방된 고속도로부터 복잡한 도심에 이르는 다양한 환경에서 정보에 입각한 결정을 내릴 수 있도록 지원합니다. 물리 AI로 훈련된 AV는 보행자를 보다 정확하게 감지하고, 교통 또는 기상 조건에 대응하며, 차선 변경을 자율적으로 탐색하여 광범위한 예상치 못한 시나리오에 효과적으로 적응할 수 있습니다.

스마트 공간: 물리 AI는 공장이나 창고와 같이 사람, 차량, 로봇의 상시 통행이 있는 대규모 실내외 공간의 기능과 안전성을 개선하고 있습니다. 팀은 고정 카메라와 고급 컴퓨터 비전 모델을 사용하여 이러한 공간 내의 여러 개체와 활동을 추적함으로써, 동적 경로 계획을 개선하고 운영 효율성을 최적화할 수 있습니다. 영상 분석 AI 에이전트는 이상 징후를 자동으로 감지하고 실시간 경고를 제공하여 안전성과 효율성을 더욱 강화합니다.

 

물리 AI는 어떻게 시작할 수 있을까요?

물리 AI를 활용한 차세대 자율 시스템 구축에는 다수의 특화된 컴퓨터 간의 협력적인 프로세스가 필요합니다.

  1. 가상 3D 환경 구축: 실제 환경을 재현하고 물리 AI 훈련에 필요한 합성 데이터를 생성하기 위해서는 고정밀도의 물리 기반 가상 환경이 필요합니다. NVIDIA Omniverse™는 API, SDK 및 서비스 플랫폼으로, OpenUSD(Universal Scene Description) 및 NVIDIA RTX™ 렌더링 기술을 기존 소프트웨어 도구 및 시뮬레이션 워크플로우에 쉽게 통합하여 이러한 3D 환경을 구축할 수 있도록 지원합니다. 이러한 환경은 NVIDIA OVX™ 시스템의 지원을 받습니다. 또한 이 단계에는 시뮬레이션 또는 모델 훈련에 필요한 대규모 장면이나 데이터 캡처도 포함됩니다. 풍부한 3D 데이터세트를 활용해 효율적인 AI 모델 훈련 및 추론을 가능하게 한 핵심 기술 혁신은 fVDB라고 불리며, 이는 특징(feature)을 효율적으로 표현하고 PyTorch의 확장 기능으로 작동합니다. 이를 통해 대규모 3D 데이터에 대한 딥 러닝 연산을 수행할 수 있습니다.
  2. 3D-to-real 합성 데이터 생성: Omniverse Replicator SDK를 사용하여 환경 및 객체 도메인 무작위화를 수행합니다. 무작위로 구현된 장면을 이미지나 영상으로 렌더링한 후, NVIDIA Cosmos™ 모델을 사용하여 사실적인 3D-to-real 영상 생성에 사용되어 데이터세트 규모를 더 확장할 수 있습니다.
  3. 훈련 및 검증: NVIDIA DGX™는 하드웨어 및 소프트웨어가 완전히 통합된 AI 플랫폼입니다. 이 플랫폼을 물리 기반 데이터와 함께 사용하여 TensorFlow, PyTorch, NVIDIA TAO와 같은 프레임워크는 물론, NVIDIA NGC에서 제공되는 사전 훈련된 컴퓨터 비전 모델을 통해 AI 모델을 훈련하거나 미세 조정할 수 있습니다. 훈련이 완료되면, 모델과 해당 소프트웨어 스택은 NVIDIA Isaac Sim™과 같은 레퍼런스 애플리케이션을 사용하여 시뮬레이션 환경에서 검증 가능합니다. 또한 Isaac Lab과 같은 오픈 소스 프레임워크를 사용하여 강화 학습 방식으로 로봇의 기술을 더욱 정교하게 개선할 수 있습니다.
  4. 배포: 마지막으로, 최적화된 스택 및 정책 모델은 NVIDIA Blueprint를 통해 NVIDIA Jetson™ 또는 NVIDIA DRIVE AGX™에 배포되어 자율 로봇, 차량 또는 스마트 공간에 내장되어 실행될 수 있습니다. 예를 들어, NVIDIA Omniverse Blueprint인 'Mega'를 배포하여 공장 운영을 시뮬레이션하고, 영상 검색 및 요약을 위한 Metropolis AI Blueprint를 통해 영상 분석 AI 에이전트를 구축하여 공장 성능과 안전을 효과적으로 감독할 수 있습니다.

다음 단계

물리 AI 개발 가속화

NVIDIA Cosmos 플랫폼을 통해 로봇 및 자율주행 자동차와 같은 물리적 인공지능 구현 시스템의 개발이 가속화됩니다.

최첨 AI 워크플로우

합성 데이터가 자율주행차, 산업용 검사, 로봇에 사용되는 다양한 물리 AI 모델 훈련에 어떻게 활용될 수 있는지 알아보세요.

AI 로봇 훈련 및 검증

Isaac Sim을 활용하여 물리 기반 가상 환경에서 AI 기반 로봇을 설계, 시뮬레이션, 테스트 및 훈련합니다.