IA Física
NVIDIA Cosmos
Desenvolva IA física mais rapidamente com os principais world foundation models e frameworks abertos de processamento de dados, treinamento e avaliação.
Cosmos 3
O Modelo Base Aberto de IA Física
O primeiro omni-modelo com raciocínio nativo, geração de mundo e ação. Criado com base na arquitetura Mixture-of-Transformers.
Potencialize o raciocínio de IA de visão
Use como um modelo de linguagem visual (VLM) para raciocinar sobre objetos, interações e intenções em cenários complexos do mundo real.
Para alertas em tempo real e legendas densas em áreas como inspeção de qualidade, segurança pública, monitoramento de tráfego, logística e condução autônoma.
Crie modelos de política
Acelere a aprendizagem de políticas de robôs com o NVIDIA Cosmos™ 3 como backbone para World Action Models (WAMs).
Pós-treinamento de world foundation model generalizado com dados de câmeras e incorporação especializados. O modelo de políticas adapta ações pré-aprendidas a tarefas, domínios e comportamentos específicos em escala.
Simule mundos
Execute como um simulador de mundo controlável e com base em física para prever várias abordagens, avaliar resultados em um loop fechado e convergir para o comportamento certo.
Escale o loop entre ambientes, tarefas e condições para melhorar continuamente sem riscos reais.
Escale dados de vídeo sintéticos
Gere futuros plausíveis infinitos a partir de texto, imagem, vídeo, som ambiente e entrada de ação.
Use a geração de vídeo como imaginação para treinar a IA física sem se limitar pelo que foi capturado fisicamente.
Opções de Início
Comece Agora com o NVIDIA Cosmos
Desenvolva com o Cosmos
Aproveite a mesma tecnologia que impulsiona o Cosmos 3. Frameworks e habilidades abertas para que desenvolvedores em todo o mundo possam personalizar, estender e contribuir para a IA física.
Curadoria de Dados
Filtre, anote e elimine duplicações em grandes volumes de dados de sensores rapidamente com o Cosmos Curator.
Analise e avalie os resultados de vídeo generativo em escala usando o Cosmos Evaluator.
Treinamento e aceleração
Crie, pós-treine ou implante rapidamente modelos de mundo usando Frameworks abertos de pós-treinamento, avaliação e otimização, bem como scripts e habilidades de inferência.
Habilidades de Agentes para Geração de Dados Sintéticos
Transforme agentes de codificação em especialistas em dados sintéticos para o desenvolvimento de IA física.
Casos de Uso
Como a Cosmos Acelera a IA em Todos os Setores
-
Aprendizagem de Robôs
-
Treinamento de Veículos Autônomos
-
Agentes de IA para Análise de Vídeo
Aprendizagem de Robôs
Crie uma política de aprendizagem de robôs que permita que agentes incorporados operem em ambientes reais em condições conhecidas e desconhecidas.
- Pós-treinamento do Cosmos 3 em tarefas, ambientes, layouts de câmeras ou sensores e políticas específicos de embodiment
- Execute simulações em loop fechado fisicamente precisas
- Crie um pipeline de aumento e avaliação de dados sintéticos de ponta a ponta usando habilidades de agentes criadas no Cosmos
Treinamento de Veículos Autônomos
Gere dados de sensores personalizados, diversos e de alta fidelidade para treinar, testar e validar veículos autônomos com segurança.
- Amplificar a diversidade de dados existentes com novos dados de clima, iluminação e geolocalização
- Pós-treinamento para expandir para visualizações de vários sensores
- Crie um pipeline de aumento e avaliação de dados sintéticos de ponta a ponta usando habilidades de agentes criadas no Cosmos
Agentes de IA para Análise de Vídeo
Aprimore a automação, a segurança e a eficiência operacional em ambientes industriais e urbanos.
Com o Cosmos, os agentes de IA podem analisar, resumir e interagir com fluxos de vídeo em tempo real ou gravados para:
- Ofereça alertas contextuais em tempo real
- Fale com seus vídeos e extraia insights de feeds de câmeras ao vivo ou bibliotecas de vídeo em larga escala
- Crie agentes de IA para análise de vídeo com o NVIDIA Metropolis Blueprint para pesquisa e resumo de vídeos
- Gere dados de treinamento sintéticos para aumentar ainda mais a precisão da compreensão
Desempenho
Funciona melhor com IA da NVIDIA
O Cosmos 3 é otimizado para o melhor desempenho em hardware da NVIDIA. As NVIDIA RTX PRO™ 6000 Blackwell Series Servers aceleram o desenvolvimento de IA física para robôs, veículos autônomos e agentes de IA em treinamento, geração de dados sintéticos, simulação e inferência.
Obtenha o desempenho máximo para os world foundation models do Cosmos na NVIDIA Blackwell GB200 para cargas de trabalho industriais de pós-treinamento e inferência.
Ecossistema
Adotado pelos Principais Inovadores de IA Física
Os desenvolvedores de modelos dos setores de robótica, veículos autônomos e IA de visão estão usando o Cosmos para acelerar o desenvolvimento da IA física.
Próximos Passos
Recursos
O Mais Recente dos Desenvolvedores do Cosmos
-
Últimas Novidades
-
Sessões
-
Demonstrações
Perguntas Frequentes
O Cosmos 3 foi criado com base na arquitetura Mixture of Transformers. Os módulos de raciocínio e geradores usam diferentes Transformers para geração e desempenho eficientes. Portanto, o modelo raciocinia primeiro e depois gera, resultando em precisão física de liderança em todos os recursos. Saiba Mais sobre a arquitetura aqui.
Os WFMs do Cosmos estão disponíveis sob uma Licença de Modelo Aberto da NVIDIA para todos.
O Cosmos 3 está disponível abertamente com scripts de pós-treinamento no GitHub para cada modalidade e módulo. Além disso, o NVIDIA TAO 7 fornece um conjunto de habilidades e ferramentas de agentes para ajustar modelos de IA de visão, incluindo o Cosmos 3, com agentes de programação e prompts de linguagem natural.
Sim, você pode aproveitar o Cosmos para criar, a partir do zero, com seu foundation model ou arquitetura de modelo preferida. Você pode começar usando o Cosmos Curator para pré-processamento de dados de vídeo. Depois, compacte e decodifique seus dados com o tokenizador do Cosmos. Depois de processar os dados, você pode treinar ou ajustar seu modelo.
Com os microsserviços NVIDIA NIM™, você pode integrar facilmente seus modelos de IA física em suas aplicações na nuvem, data centers e workstations.
Você também pode usar o NVIDIA DGX Cloud para treinar modelos de IA e implantá-los em escala em qualquer lugar.
O Cosmos 3 é um omni-model que pode gerar em texto, imagem, vídeo, som e ação. Embora o Cosmos 2.5 e o Cosmos 2 tenham mantido a percepção e a geração como modelos separados e as modalidades fossem limitadas a texto, imagem e vídeo.
O Omniverse cria simulações 3D realistas de tarefas do mundo real usando diferentes APIs generativas, SDKs e a tecnologia de renderização NVIDIA RTX.
Os desenvolvedores podem inserir simulações do Omniverse como vídeos instrucionais em modelos do Cosmos Transfer para gerar dados sintéticos controláveis e fotorrealistas.
Juntos, o Omniverse fornece o ambiente de simulação antes e depois do treinamento, enquanto o Cosmos fornece os modelos de base para gerar dados de vídeo e treinar modelos de IA física.
Saiba mais sobre o NVIDIA Omniverse.