IA Física
NVIDIA Cosmos
Desenvolva world foundation models para avançar a IA física.
Visão Geral
O Que É o NVIDIA Cosmos?
O NVIDIA Cosmos™ é uma plataforma com world foundation models (WFMs), guardrails e bibliotecas de processamento de dados para acelerar o desenvolvimento de IA física para veículos autônomos (AVs), robôs e agentes de IA para análise de vídeo.
Modelos
World Foundation Models para IA Física
Modelos pré-treinados abertos e totalmente personalizáveis para geração e compreensão de mundos.
Cosmos Predict
Preveja estados futuros de ambientes dinâmicos para robótica e planejamento de agentes de IA.
Esse modelo de geração mundial produz até 30 segundos de vídeo de alta fidelidade a partir de prompts multimodais.
Cosmos Transfer
Acelere a geração de dados sintéticos em vários ambientes e condições de iluminação.
Esse modelo de multicontrole transforma entradas 3D ou espaciais de frameworks de simulação de IA física, como CARLA ou NVIDIA Isaac Sim™, em vídeos de alta fidelidade totalmente controlados.
Cosmos Reason
Permita que robôs e agentes de IA de visão raciocinem como humanos.
Esse modelo de linguagem de visão multimodal (VLM) aproveita o conhecimento prévio, a compreensão da física e o senso comum para compreender o mundo real e interagir com ele.
Processamento de Dados
Acelere o processamento e a geração eficientes de conjuntos de dados.
Filtre, anote e elimine a duplicação rápida de grandes quantidades de dados de sensores necessários para o desenvolvimento de IA física com o Cosmos Curator.
Você também pode consultar instantaneamente esses conjuntos de dados e recuperar cenários com o NVIDIA Cosmos Dataset Search (CDS).
Casos de Uso
Como a Cosmos Acelera a IA em Todos os Setores
-
Aprendizagem de Robôs
-
Treinamento de Veículos Autônomos
-
Agentes de IA para Análise de Vídeo
Aprendizagem de Robôs
Os robôs precisam de dados vastos e diversificados de treinamento para perceber e interagir com seus ambientes com eficiência. Os WFMs do Cosmos resolvem isso de várias maneiras:
- Gere dados sintéticos usando o Cosmos Transfer.
- Pós-treine o Cosmos Predict para sua política de robôs.
- Processe logicamente e filtre dados sintéticos usando o Cosmos Reason.
Treinamento de Veículos Autônomos
A diversidade de dados de sensores e alta fidelidade é fundamental para treinar, testar e validar veículos autônomos com segurança. Mas é difícil, demorado e caro para escalar.
Com os WFMs do Cosmos pós-treinados com dados de veículos, é possível:
- Ampliar a diversidade de dados existente com novos dados de clima, iluminação e geolocalização usando o Cosmos Transfer.
- Expandir para visualizações de vários sensores usando o Cosmos Predict.
Agentes de IA para Análise de Vídeo
Aprimore a automação, a segurança e a eficiência operacional em ambientes industriais e urbanos.
Com o Cosmos Reason, os agentes de IA podem analisar, resumir e interagir com fluxos de vídeo em tempo real ou gravados para:
- Ofereça respostas a perguntas e alertas em tempo real.
- Forneça perspectivas contextuais ricas.
Opções de Inicialização
Comece Agora com o NVIDIA Cosmos
Infraestrutura de AI
Obtenha o Melhor Desempenho com a NVIDIA Blackwell
As NVIDIA RTX PRO 6000 Blackwell Series Servers aceleram o desenvolvimento de IA física para robôs, veículos autônomos e agentes de IA em treinamento, geração de dados sintéticos, simulação e inferência.
Obtenha o desempenho máximo para os world foundation models do Cosmos na NVIDIA Blackwell GB200 para cargas de trabalho industriais de pós-treinamento e inferência.
Ecossistema
Adotado pelos Principais Inovadores de IA Física
Os desenvolvedores de modelos dos setores de robótica, veículos autônomos e IA de visão estão usando o Cosmos para acelerar o desenvolvimento da IA física.
Próximos Passos
Recursos
O Mais Recente dos Desenvolvedores do Cosmos
-
Últimas Novidades
-
Sessões
-
Demonstrações
Perguntas Frequentes
Os WFMs do Cosmos estão disponíveis sob uma Licença de Modelo Aberto da NVIDIA para todos.
Consulte o novo Cosmos Cookbook, que contém receitas passo a passo e roteiros de pós-treinamento para criar, personalizar e implantar rapidamente os world foundation models do Cosmos da NVIDIA para robótica e sistemas autônomos.
Sim, você pode aproveitar o Cosmos para criar, a partir do zero, com seu foundation model ou arquitetura de modelo preferida. Você pode começar usando o Cosmos Curator para pré-processamento de dados de vídeo. Depois, compacte e decodifique seus dados com o tokenizador do Cosmos. Depois de processar os dados, você pode treinar ou ajustar seu modelo.
Com os microsserviços NVIDIA NIM™, você pode integrar facilmente seus modelos de IA física em suas aplicações na nuvem, data centers e workstations.
Você também pode usar o NVIDIA DGX Cloud para treinar modelos de IA e implantá-los em qualquer lugar, em escala.
Os três são WFMs com funções distintas:
- O Cosmos Predict gera diversas cenas de vídeo a partir de prompts de texto, imagem ou vídeo, ideais para pós-treinamento em assuntos como robôs ou carros autônomos.
- O Cosmos Transfer aplica a transferência de estilo de vários controles, mudando a iluminação e os ambientes, em vídeos baseados em física, geralmente criados em simuladores como o NVIDIA Omniverse™.
- O Cosmos Reason responde a consultas raciocinando sobre entradas de vídeo e imagens. A Cosmos Reason pode gerar novos e diversos textos a partir de um vídeo inicial para o Cosmos Predict, ou criticar e anotar dados sintéticos da Predict e Transfer.
A Cosmos Reason pode gerar novos e diversos textos a partir de um vídeo inicial para o Cosmos Predict, ou criticar e anotar dados sintéticos da Predict e Transfer.
O Omniverse cria simulações 3D realistas de tarefas do mundo real usando diferentes APIs generativas, SDKs e a tecnologia de renderização NVIDIA RTX.
Os desenvolvedores podem inserir simulações do Omniverse como vídeos instrutivos em modelos da Cosmos Transfer para gerar dados sintéticos fotorreais controláveis.
Juntos, o Omniverse fornece o ambiente de simulação antes e depois do treinamento, enquanto o Cosmos fornece os foundation models para gerar dados de vídeo e treinar modelos de IA física.
Saiba mais sobre o NVIDIA Omniverse.