概覽
NVIDIA Cosmos 是什麼？
NVIDIA Cosmos™ 是一款平台，具備開放式世界基礎模型 (WFM)、防護機制和資料處理庫，可加速自駕車 (AV)、機器人與影像分析 AI 代理程式的物理 AI 開發。
模型
物理 AI 的世界基礎模型
可完全自訂的開放式預先訓練模型，用於生成與理解世界。
Cosmos Predict
預測機器人與 AI 代理程式規劃的動態環境未來狀態。
此種世界生成模型可從多模式提示下，生成長達 30 秒的高擬真度影片。
Cosmos Transfer
這款多重控制模型在各種環境與光線條件，皆可快速擴展單一模擬或空間影片規模。
加速從 CARLA 或 NVIDIA Isaac Sim™ 等物理 AI 模擬架構的 3D 輸入，實現完全可控制的資料增強與合成資料生成流程。
Cosmos Reason
助力機器人與視覺 AI 代理程式能像人類一樣推理。
這種多模態視覺語言模型 (VLM) 可利用先前的知識、物理理解和常識，來理解真實世界並與之互動。
資料處理
加速高效的資料集處理與生成。
利用 Cosmos Curator 快速篩選、註釋及刪除物理 AI 開發所需的大量感應器資料。
您也可以使用 NVIDIA Cosmos 資料集搜尋 (CDS)，即時查詢這些資料集並檢索情境。
使用案例
Cosmos 如何在各行各業加速 AI
-
機器人學習
-
自駕車訓練
-
影像分析 AI 代理
機器人學習
機器人需要大量多樣化的訓練資料，才能高效感知並與環境互動。Cosmos 世界基礎模型以多種方式解決此問題：
- 使用 Cosmos Transfer 生成合成資料。
- 為您的機器人政策後期訓練 Cosmos Predict。
- 使用 Cosmos Reason 推理及篩選合成資料。
自駕車訓練
安全訓練、測試及驗證自駕車的關鍵在於多元的高擬真感測器資料。但擴充困難、耗時且成本高昂。
Cosmos 世界基礎模型採用車輛資料後期訓練，可實現下列目標：
- 使用 Cosmos Transfer 利用新的天氣、光線與地理位置資料，擴充現有資料的多樣性。
- 使用 Cosmos Predict 擴展至多感應器視圖。
影像分析 AI 代理
在工業與城市環境中強化自動化、安全與營運效率。
有了 Cosmos Reason，AI 代理程式可分析、總結與即時或錄製的影片串流互動，以便：
- 提供即時問答和警示。
- 提供豐富的情境深入見解。
入門選項
開始使用 NVIDIA Cosmos
AI 基礎架構
利用 NVIDIA Blackwell 實現最佳效能
NVIDIA RTX PRO 6000 Blackwell 系列伺服器，加速機器人、自駕車與 AI 代理的物理 AI 技術開發，涵蓋訓練、合成資料生成、模擬與推論等環節。
針對工業後期訓練與推論工作負載，在 NVIDIA Blackwell GB200 讓 Cosmos 世界基礎模型發揮最佳效能。
生態系統
深受頂尖物理 AI 創新者的青睞
機器人、自駕車和視覺 AI 產業的模型開發人員都使用 Cosmos 加速物理 AI 發展。
後續步驟
常見問題
所有人均可透過 NVIDIA 開放式模型授權取得 Cosmos 世界基礎模型。
請參閱全新的 Cosmos 實用手冊，其中包含逐步方法和後期訓練指令碼，以快速打造、自訂及部署 NVIDIA Cosmos 世界基礎模型，適用於機器人與自主系統。
是，您可以利用 Cosmos 使用自己偏好的基礎模型或模型架構，從頭開始建置。 您可以先使用 Cosmos Curator 進行影片資料預處理。然後利用 Cosmos 符元化工具 壓縮並解碼資料。 處理完資料後，即可訓練或微調模型。
透過 NVIDIA NIM™ 微服務，您可以輕鬆地將物理 AI 模型整合到雲端、資料中心和工作站的應用程式。
您也可以運用 NVIDIA DGX Cloud 訓練 AI 模型，並大規模部署在任何地方。
這三者皆是具有獨特角色的世界基礎模型：
- Cosmos Predict 可從文字、影像或影片指令生成各種影片場景，非常適合用於後期訓練與機器人或自駕車相關的領域主體。
- Cosmos Transfer 採用多重控制的風格轉換技術，可針對由 NVIDIA Omniverse™ 等模擬器生成的物理模擬影片進行光照與環境變化處理。
- Cosmos Reason 會基於影片與影像輸入進行推理，以回答查詢。Cosmos Reason 可從一段起始影片生成全新且多樣化的文字指令，以供 Cosmos Predict 使用，或是對 Predict 與 Transfer 所產生的合成資料進行評論與標註。
Cosmos Reason 可從一段起始影片生成全新且多樣化的文字指令，以供 Cosmos Predict 使用，或是對 Predict 與 Transfer 所產生的合成資料進行評論與標註。
Omniverse 利用不同的生成 API、SDK 和 NVIDIA RTX 渲染技術，為實際任務建立逼真的 3D 模擬。
開發人員可將 Omniverse 模擬當成教學影片輸入 Cosmos Transfer 模型，生成可控制的擬真合成資料。
Omniverse 提供訓練前後的模擬環境，而 Cosmos 則提供基礎模型，用於生成影片資料並訓練物理 AI 模型。
深入瞭解 NVIDIA Omniverse。