합성 데이터 생성(SDG)
피지컬 및 에이전틱 AI 워크플로우의 개발을 가속화하세요.
워크로드
시뮬레이션/모델링/설계
로보틱스
생성형 AI
산업
모든 산업
비즈니스 목표
혁신
제품
NVIDIA Omniverse Enterprise
NVIDIA AI
NVIDIA Isaac
개요
합성 데이터를 사용해야 하는 이유
AI 모델을 훈련하려면 원하는 정확도와 성능을 달성하기 위해 신중하게 레이블이 지정된 고품질의 다양한 데이터 세트가 필요합니다. 많은 경우에 데이터는 한정적이거나, 제한적이거나, 사용할 수 없습니다. 이 실제 데이터를 수집하고 레이블을 지정하는 것은 시간이 소요되고 엄청난 비용이 들어 시각 언어 및 거대 언어 모델(LLM)과 같은 다양한 유형의 모델 개발을 늦출 수 있습니다.
컴퓨터 시뮬레이션, 생성형 AI 모델 또는 이 두 가지의 조합에서 생성된 합성 데이터는 이러한 문제를 해결하는 데 도움이 될 수 있습니다. 합성 데이터는 시각적 및 비시각적 스펙트럼 모두에 걸쳐 텍스트, 비디오 및 2D 또는 3D 이미지로 구성될 수 있으며, 실제 데이터와 함께 사용되어 멀티모달 피지컬 AI 모델을 훈련할 수 있습니다. 이것은 교육 시간을 크게 단축하고 비용을 절약할 수 있습니다.
시뮬레이션 또는 AI를 통해 생성된 합성 데이터는 멀티모달 피지컬 AI 모델을 훈련하는 데 실제 데이터와 함께 사용할 수 있는 텍스트, 비디오 및 2D/3D 이미지를 제공하여 시간을 절약하고 비용을 절감함으로써 데이터 희소성 문제를 해결합니다.
AI 모델 훈련 속도
모델 훈련에 필요한 데이터를 획득하고 레이블을 지정하는 데 드는 전체 비용을 절감하면서 데이터 격차를 극복하고 AI 모델 개발을 가속화하세요.
개인정보 보호 및 보안
실제 세계를 표현하는 다양한 합성 데이터 세트를 생성하여 개인정보 보호 문제를 해결하고 편견을 줄입니다.
정확도
다른 방식으로는 수집하는 것이 불가능했을 드물지만 중요한 코너 케이스를 포함한 다양한 데이터로 훈련해 매우 정확한 일반화된 AI 모델을 생성하세요.
확장성
제조, 자동차, 로보틱스 등의 활용 사례에 따라 확장되는 자동화된 파이프라인 데이터를 사용해 절차 별로 데이터를 생성하세요.
피지컬 AI 개발을 위한 합성 데이터
피지컬 AI 모델을 사용하면 자율 시스템이 물리적 세계를 인식, 이해, 상호작용 및 탐색할 수 있습니다. 합성 데이터는 피지컬 AI 모델을 훈련하고 테스트하는 데 매우 중요합니다.
파운데이션 모델 훈련
월드 파운데이션 모델(WFM)은 텍스트, 이미지, 비디오 및 이동 정보를 포함한 다양한 입력 데이터를 활용하여 놀라운 정확도로 가상 세계를 생성하고 시뮬레이션합니다.
WFM은 다양한 애플리케이션에 대해 최소한의 미세 조정만 필요한 탁월한 일반화 기능이 있는 것이 특징입니다. 실제 역학에 대한 포괄적인 이해를 활용하여 로봇 및 자율주행 자동차를 위한 인지 엔진 역할을 합니다. 이러한 수준의 정교성을 달성하기 위해 WFM은 방대한 양의 훈련 데이터에 의존합니다.
WFM 개발은 물리적으로 정확한 시뮬레이션을 통해 무한한 합성 데이터를 생성함으로써 상당한 이점을 얻습니다. 이러한 접근 방식은 모델 훈련 프로세스를 가속화할 뿐만 아니라 다양한 시나리오에 걸쳐 모델의 일반화 능력을 향상시킵니다. 도메인 랜덤화 기법은 실제 데이터만으로는 포괄적으로 캡처하는 것이 거의 불가능할 수 있는 변형인 조명, 배경, 색상, 위치 및 환경과 같은 다양한 매개변수를 조작할 수 있도록 함으로써 이러한 프로세스를 더욱 강화합니다.
로봇 정책 훈련
로봇 학습은 시뮬레이션된 환경이나 실제 환경에서 로봇이 조작, 이동 및 분류와 같은 새로운 기술을 학습하도록 지원하는 알고리즘과 방법론의 모음입니다. 강화 학습, 모방 학습 및 확산 정책은 로봇을 훈련하는 데 적용되는 주요 방법론입니다.
로봇의 중요한 기술 중 하나는 공장에서 볼 수 있는 것처럼 물건을 집고, 분류하고, 결합하는 조작 활동입니다. 실제 인간의 시연은 일반적으로 훈련을 위한 입력으로 사용됩니다. 그러나 방대하고 다양한 데이터 세트를 수집하는 데는 상당한 비용이 듭니다. 소수의 인간 시범만으로도 개발자는 시뮬레이션 환경에서 합성 동작을 생성하여 로봇 학습 과정을 가속할 수 있습니다.
이를 달성하기 위해 사용자는 먼저 GR00T-Teleop을 사용하여 Apple Vision Pro(AVP)를 사용함으로써 일부 인간의 시연을 수집할 수 있습니다. 그런 다음 기록된 시연은 GR00T-Mimic을 사용하여 대규모의 합성 모션을 생성하는 데 사용됩니다. 다음으로, 도메인 랜덤화와 3D 현실 증강을 위해 NVIDIA Omniverse™와 NVIDIA Cosmos™를 기반으로 구축된 GR00T-Gen을 사용하여 모방 학습을 위한 기하급수적으로 크고 다양한 훈련 데이터 세트를 생성합니다.
테스트 및 검증
소프트웨어 인 루프(SIL)는 AI 기반 로봇과 자율주행 자동차에 대한 중요한 테스트 단계로, 제어 소프트웨어가 실제 하드웨어 대신 시뮬레이션된 환경에서 테스트됩니다.
시뮬레이션에서 생성된 합성 데이터는 센서 입력, 액추에이터 역학 및 환경 상호작용을 포함한 실제 물리 현상을 정확하게 모델링하도록 보장합니다. 이는 또한 실제 세계에서 수집하는 것이 위험한 드문 시나리오를 캡처하는 방법을 제공합니다. 이를 통해 시뮬레이션의 로봇 소프트웨어 스택이 물리적 로봇에서와 같이 작동함으로써 물리적 하드웨어가 없어도 철저한 테스트와 검증을 수행할 수 있습니다.
Mega는 실제 시설에 배포하기 전에 디지털 트윈에서 피지컬 AI 및 로봇을 대규모로 개발, 테스트 및 최적화할 수 있는 Omniverse Blueprint입니다.
이러한 시뮬레이션된 로봇은 환경에서 인식하고 추론함으로써 작업을 수행할 수 있습니다. 다음 모션을 계획하고 디지털 트윈에서 시뮬레이션된 작업을 수행할 수 있습니다. 이러한 시뮬레이션의 합성 데이터는 로봇의 두뇌에 다시 공급됩니다. 로봇의 두뇌는 다음 작업을 결정하는 결과를 인식하며, Mega가 디지털 트윈에 있는 모든 자산의 상태와 위치를 정확하게 추적함으로써 이러한 주기가 계속됩니다.
LLM 및 에이전틱 AI 개발을 위한 합성 데이터
생성형 모델은 합성 데이터 생성 프로세스를 부트스트랩하고 증강하는 데 사용할 수 있습니다. 텍스트-3D 모델을 사용하면 3D 시뮬레이션 장면을 채우기 위한 3D 에셋을 생성할 수 있습니다. 텍스트를 이미지로 변환하는 생성형 AI 모델은 시뮬레이션에서 생성했거나 절차적 인페인팅 또는 아웃페인팅을 통해 실제 세계에서 수집한 기존 이미지를 수정하고 보강하는 데 사용할 수도 있습니다.
Evian 2 405B 및 Nemotron-4 340B와 같은 텍스트-텍스트 변환 생성형 AI 모델은 의료, 금융, 사이버 보안, 소매 및 통신을 위한 강력한 LLM을 구축하기 위해 합성 데이터를 생성하는 데 사용할 수 있습니다.
Evian 2 405B와 Nemotron-4 340B는 오픈 라이선스를 제공해 개발자에게 자체적인 학술적 및 상업용 애플리케이션에서 생성된 데이터를 소유하고 사용할 권리를 부여합니다.
퀵 링크
기술적 구현
합성 데이터 생성
피지컬 AI용
- 장면 생성: 포괄적인 3D 장면은 창고 또는 나무, 도로 및 야외 환경을 위한 건물에 대한 선반, 상자 및 팔레트와 같은 필수 자산을 통합하는 기반 역할을 합니다. 유니버셜 씬 디스크립션(OpenUSD)을 위한 NVIDIA NIM™ 마이크로서비스를 사용하여 다양한 객체를 원활하게 추가하고 360° HDRI 배경을 통합할 수 있도록 환경을 동적으로 개선할 수 있습니다.
- 도메인 랜덤화: 개발자는 OpenUSD에 특화된 최첨단 LLM인 USD Code NIM을 활용하여 도메인 랜덤화를 수행할 수 있습니다. 이 강력한 도구는 OpenUSD 관련 쿼리에 답변할 뿐만 아니라 장면을 변경할 수 있는 USD Python 코드를 생성하여 NVIDIA Omniverse 내에서 다양한 장면 매개변수를 프로그래밍 방식으로 변경하는 프로세스를 간소화합니다.
- 데이터 생성: 세 번째 단계는 주석이 달린 이미지의 초기 세트를 내보내는 것입니다. Omniverse는 2D 경계 상자, 의미 분할, 깊이 맵, 표면 법선 등 다양한 내장 주석을 제공합니다. 경계 상자 또는 애니메이션과 같은 출력 형식의 선택은 특정 모델 요구 사항이나 사용 사례에 따라 다릅니다.
- 데이터 증강: 최종 단계에서 개발자는 NVIDIA Cosmos WFM을 활용하여 3D에서 실제 이미지를 더욱 강화할 수 있습니다. 이렇게 하면 간단한 사용자 프롬프트를 통해 생성된 이미지에 필요한 사실적인 표현을 제공할 수 있습니다.
퀵 링크
LLM 및 에이전틱 AI용
- 모델 액세스: NVIDIA NGC™ 카탈로그 또는 Hugging Face에서 Nemotron-4 340B 오픈 소스 모델 제품군을 다운로드하세요. build.nvidia.com을 통해 NVIDIA NIM 마이크로서비스로 액세스할 수도 있습니다.
- 도메인별 데이터 생성: 오픈 소스 Nemotron-4-340B-Instruct 모델을 촉진하여 실제 특성을 모방한 맞춤형 텍스트 기반 및 도메인이 다양한 합성 데이터세트를 생성할 수 있습니다.
- 평가 및 필터: Nemotron-4 340B-Reward 모델을 적용하여 유용성, 정확성, 일관성, 복잡성 및 다양성에 따라 생성된 응답을 채점하세요.
- 고품질의 관련 합성 데이터세트 활용: 보상 모델의 피드백을 기반으로 합성 데이터를 반복적으로 개선하여 정확성과 관련성을 보장함으로써 해당 데이터를 개선할 수 있습니다.
퀵 링크
파트너 에코시스템
합성 데이터 파트너 에코시스템
당사 에코시스템 파트너가 NVIDIA 기술을 기반으로 자체 합성 데이터 애플리케이션과 서비스를 어떻게 개발하고 있는지 알아보세요.
합성 데이터 기업
서비스 제공 파트너
시작하기
NVIDIA Isaac Sim을 사용하여 로보틱스 시뮬레이션, 산업 검사 및 기타 피지컬 AI 사용 사례를 위한 자체 SDG 파이프라인을 구축하세요.
RTX PRO 서버 – 산업 및 피지컬 AI에 최적화된 플랫폼
NVIDIA RTX PRO 서버는 산업 디지털 전환, 로봇 시뮬레이션, 합성 데이터 생성 작업을 빠르게 처리합니다.