개요
NVIDIA Cosmos란 무엇인가요?
NVIDIA Cosmos™는 자율주행차(AV), 로봇, 비디오 분석 AI 에이전트를 위한 피지컬 AI 개발을 가속화하는 플랫폼으로, 오픈 월드 파운데이션 모델(WFM), 가드레일, 데이터 처리 라이브러리를 포함하고 있습니다.
모델
피지컬 AI를 위한 월드 파운데이션 모델
월드 생성 및 이해를 위한 완전 맞춤형 오픈 사전 학습 모델.
Cosmos Predict
로보틱스 및 AI 에이전트 플래닝을 위한 동적 환경의 미래 상태를 예측합니다.
이 월드 생성 모델은 멀티모달 프롬프트를 통해 최대 30초 분량의 고충실도 비디오를 생성합니다.
Cosmos Transfer
다양한 환경과 조명 조건에서 합성 데이터 생성을 가속화합니다.
이 멀티 컨트롤 모델은 CARLA 또는 NVIDIA Isaac Sim™과 같은 피지컬 AI 시뮬레이션 프레임워크의 3D 또는 공간 입력을 완전히 제어된 고충실도 비디오로 변환합니다.
Cosmos Reason
로봇과 비전 AI 에이전트가 인간처럼 추론할 수 있도록 지원합니다.
이 멀티모달 비전 언어 모델(VLM)은 사전 지식, 물리 법칙에 대한 이해, 상식을 활용해 현실 세계를 이해하고 상호작용합니다.
데이터 큐레이션
NVIDIA Cosmos Curator는 개발자가 피지컬 AI 개발에 필요한 대량의 센서 데이터를 빠르게 필터링, 검색 및 주석 및 중복 제거할 수 있도록 지원하며, 모델 요구 사항에 맞는 맞춤형 데이터셋을 생성할 수 있도록 지원합니다.
효율적인 데이터셋 처리 및 생성 속도를 가속화합니다.
사용 사례
Cosmos가 다양한 산업에서 AI 혁신을 가속하는 방법
-
로봇 학습
-
자율주행차 학습
-
영상 분석 AI 에이전트
로봇 학습
로봇이 주변 환경을 정확히 인식하고 능동적으로 상호작용하려면 방대한 양의 다양하고 정교한 학습 데이터가 필요합니다. Cosmos WFM은 다양한 방식으로 이 문제를 해결합니다.
- Cosmos Transfer를 사용하여 합성 데이터를 생성합니다.
- 로봇 정책에 적합하도록 Cosmos Predict를 사후 학습시킵니다.
- Cosmos Reason을 사용하여 합성 데이터를 추론하고 필터링합니다.
자율주행차 학습
다양하고 고품질의 센서 데이터는 자율주행차를 안전하게 학습하고, 테스트하며, 검증하는 데 중요합니다. 하지만 규모 확장은 까다로울 뿐만 아니라 많은 시간과 비용이 소요됩니다.
차량 데이터로 사후 학습된 Cosmos WFM을 통해 다음과 같은 작업이 가능합니다.
- Cosmos Transfer를 활용해 새로운 날씨, 조명, 지리 위치 데이터를 추가하여 기존 데이터의 다양성을 확보합니다.
- Cosmos Predict를 사용하여 다중 센서 뷰로 확장합니다.
영상 분석 AI 에이전트
산업 및 도시 환경 전반에서 자동화와 안전, 운영 효율성을 향상시킵니다.
Cosmos Reason을 통해 AI 에이전트는 실시간 또는 녹화된 영상 스트림을 분석 및 요약하고 상호작용함으로써 다음을 수행할 수 있습니다.
- 실시간 질의응답과 알림 서비스를 제공합니다.
- 풍부한 맥락적 인사이트를 제공합니다.
시작 옵션
NVIDIA Cosmos 시작하기
AI 인프라
NVIDIA Blackwell을 통해 최고의 성능을 경험하세요.
NVIDIA RTX PRO 6000 Blackwell 시리즈 서버는 학습, 합성 데이터 생성, 시뮬레이션, 추론 전반에서 로봇, 자율주행차, AI 에이전트를 위한 피지컬 AI 개발을 가속화합니다.
NVIDIA Blackwell GB200에서 Cosmos 월드 파운데이션 모델의 최고 성능을 발휘하여 산업 사후 훈련 및 추론 워크로드를 처리할 수 있습니다.
에코시스템
주요 피지컬 AI 혁신 기업들이 채택
로보틱스, 자율주행차, 비전 AI 산업의 주요 모델 개발사들이 피지컬 AI 개발 가속화를 위해 Cosmos를 도입하고 있습니다.
다음 단계
자주 묻는 질문
Cosmos WFM은 NVIDIA 오픈 모델 라이선스를 통해 모든 사람이 사용할 수 있습니다.
로보틱스 및 자율 시스템을 위한 NVIDIA의 Cosmos 세계 기반 모델을 신속하게 구축하고 맞춤화하여 배포할 수 있도록, 단계별 레시피와 사후 학습 스크립트가 수록된 새로운 Cosmos Cookbook을 참고하세요.
예, Cosmos를 활용하여 선호하는 파운데이션 모델 또는 모델 아키텍처를 기반으로 처음부터 구축할 수 있습니다. Cosmos Curator를 사용하여 먼저 비디오 데이터 전처리 작업을 합니다. 그런 다음 Cosmos 토크나이저를 사용하여 데이터를 압축하고 디코딩합니다. 데이터를 처리를 마친 후에는 모델을 학습시키거나 파인 튜닝할 수 있습니다.
NVIDIA NIM™ 마이크로서비스를 사용하면 클라우드, 데이터센터, 워크스테이션 등 다양한 환경에서 애플리케이션에 피지컬 AI 모델을 쉽게 통합할 수 있습니다.
또한 NVIDIA DGX Cloud를 사용하여 AI 모델을 학습시키고 어디에나 대규모로 배포할 수 있습니다.
세 가지 모두 서로 다른 역할을 가진 WFM입니다.
- Cosmos Predict는 텍스트, 이미지, 비디오 프롬프트를 활용해 다채로운 비디오 장면을 생성하므로, 로봇 공학이나 자율주행차 분야의 사후 학습용 데이터를 구축하는 데 최적화되어 있습니다.
- Cosmos Transfer는 NVIDIA Omniverse™와 같은 시뮬레이터에서 생성된 물리 기반 영상에 조명 및 환경을 변경하는 멀티 제어 스타일 전환을 적용합니다.
- Cosmos Reason은 영상 및 이미지 입력을 기반으로 추론하여 질의에 답변합니다. Cosmos Reason은 Cosmos Predict를 위한 하나의 시작 영상에서 새롭고 다양한 텍스트 프롬프트를 생성하거나 Predict 및 Transfer가 생성한 합성 데이터를 비평할 수 있습니다.
Cosmos Reason은 Cosmos Predict를 위한 하나의 시작 영상에서 새롭고 다양한 텍스트 프롬프트를 생성하거나 Predict 및 Transfer가 생성한 합성 데이터를 비평할 수 있습니다.
Omniverse는 다양한 생성형 API, SDK 및 NVIDIA RTX 렌더링 기술을 사용하여 실제 작업에 대한 사실적인 3D 시뮬레이션을 생성합니다.
개발자는 Omniverse 시뮬레이션을 인스트럭션 영상으로 Cosmos Transfer 모델에 입력해, 제어 가능한 포토리얼 합성 데이터를 생성할 수 있습니다.
Omniverse는 학습 전후의 시뮬레이션 환경을 제공하며, Cosmos는 비디오 데이터를 생성하고 물리 AI 모델을 학습시키는 파운데이션 모델을 제공합니다.
NVIDIA Omniverse에 대해 자세히 알아보세요.