Humanoide Roboter
Beschleunigen Sie die Entwicklung fortschrittlicher KI-Robotik.
Workloads
Robotik
Branchen
Gesundheitswesen und Biowissenschaften
Fertigung
Einzelhandel / Konsumgüter
Geschäftsziel
Innovation
ROI Rentabilität
Produkte
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Isaac GROOT
NVIDIA Jetson Thor
NVIDIA Omniverse
Überblick
Die nächste Ära der physischen KI
Universell einsetzbare humanoide Roboter sind so gebaut, dass sie sich schnell an bestehende, auf den Menschen ausgerichtete städtische und industrielle Arbeitsbereiche anpassen und mühsame, sich wiederholende oder körperlich anstrengende Aufgaben übernehmen können.
Diese Roboter finden ihren Weg von den Fabrikhallen in die Gesundheitseinrichtungen, wo sie den Menschen helfen und den Arbeitskräftemangel durch die Automatisierung entschärfen.
Der Bau humanoider Roboter birgt jedoch vielfältige komplexe und technische Herausforderungen. Dazu gehören die Replikation menschlicher Wahrnehmung, verschiedene Freiheitsgrade, Geschicklichkeit, Mobilität, Kognition und Ganzkörpersteuerung.
Dies erfordert beschleunigte Fortschritte in den Forschungsbereichen und Technologien der Robotik, einschließlich künstliche Intelligenz, maschinelles Lernen, physikbasierte Simulation, Sensortechnologien, eingebettete Datenverarbeitung und Mechatronik.
Figure
Der Bau humanoider Roboter birgt jedoch vielfältige komplexe und technische Herausforderungen. Dazu gehören die Replikation menschlicher Wahrnehmung, verschiedene Freiheitsgrade, Geschicklichkeit, Mobilität, Kognition und Ganzkörpersteuerung.
Zur Lösung dieser Herausforderungen sind beschleunigte Fortschritte in der Forschung und Technologie der Robotik notwänding, einschließlich künstlicher Intelligenz, maschinelles Lernen, physikbasierte Simulation, Sensortechnologien und Mechatronik.
Quick-Links
Technische Umsetzung
Fortschritte in der Entwicklung humanoider Roboter
NVIDIA entwickelt beschleunigte Systeme, Blueprints, Tools, Services, Algorithmen und andere Robotertechnologien, die zur Entwicklung von universellen Robotern mit menschlichem Formfaktor verwendet werden können.
Lösung mit drei Computern
Humanoide Roboter müssen in der Lage sein, in einer vorgegebenen Umgebung selbstständig zu erkennen, zu planen und zu handeln, was die Verarbeitung großer Datenmengen in Echtzeit voraussetzt. Das erfordert das Trainieren von Foundation Models, die die Grundlage des Robotergehirns bilden, die Simulation und Validierung des Robotergehirns und schließlich die Bereitstellung dieser Gehirne und der zugehörigen Software im tatsächlichen Roboter.
Die drei KI-Systeme sind:
- Ein NVIDIA KI-Supercomputer – ein NVIDIA DGX™ mit NVIDIA H100- oder B100-Prozessoren – zum Trainieren leistungsstarker, generativer physischer KI-Modelle und Roboter-Foundation-Models.
- Ein NVIDIA OVX™-Computer mit NVIDIA RTX™-GPUs für synthetische Datengenerierung, Roboterlernen und Tests in der Simulation mit Simulations-Frameworks wie NVIDIA Isaac Sim™ und Isaac™ Lab, die auf NVIDIA Omniverse™ basieren.
- Ein Runtime-Computer auf dem Robotor wie NVIDIA Jetson Thor™, der Inferenz mit niedriger Latenz und hohem Durchsatz ausführen kann und auf der Blackwell-Architektur von NVIDIA basiert.
NVIDIA Isaac GR00T
GR00T ist eine Forschungsinitiative und Entwicklungsplattform für universelle Roboter-Foundation-Models und Datenpipelines für die Beschleunigung der humanoiden Robotik.
Roboter-Foundation-Models
Roboter erledigen heute eine Vielzahl von Aufgaben in verschiedenen Umgebungen. Jede dieser Aufgaben erfordert oft ein dediziertes KI-Modell. Das Trainieren dieser Modelle für jede neue Aufgabe und Umgebung von Grund auf ist ein mühsamer Prozess. Anstatt für jede Aufgabe einzelne Modelle zu entwickeln, erlernen Roboter-Foundation-Models, die mit verschiedenen Daten trainiert werden, generalisierbare Fähigkeiten. Diese umfassende Schulung versetzt sie in die Lage, mit einer Vielzahl von Aufgaben, Umgebungen und Roboterverkörperungen umzugehen und die Skalierbarkeit und Anpassungsfähigkeit erheblich zu verbessern.
NVIDIA Isaac GR00T N1 ist das weltweit erste offene Foundation Model für generalisiertes Reasoning humanoider Roboter und deren Fähigkeiten. Dieser modellübergreifende Ansatz erfordert multimodale Eingaben, einschließlich Sprache und Bilder, um Manipulationsaufgaben in verschiedenen Umgebungen auszuführen. GR00T N1 wurde mit einem umfangreichen humanoiden Datensatz trainiert, der aus echten erfassten Daten, synthetischen Daten, die mit den Komponenten des NVIDIA Isaac GR00T-Mimic blueprint generiert wurden, und Videodaten im Internetmaßstab bestand. Es ist durch Nachtrainieren für bestimmte Ausführungsformen, Aufgaben und Umgebungen anpassbar.
Frameworks für Roboterlernen und Simulation
Simulationen sind für Entwickler von entscheidender Bedeutung, wenn es um das Trainieren humanoider Roboter für eine Vielzahl physikalisch genauer Umgebungen und Bedingungen geht, bevor sie sie in der realen Welt eingesetzt werden.
Frameworks für Roboterlernen und Simulation wie NVIDIA Isaac Sim und Isaac Lab, die auf der Omniverse-Plattform basieren, ermöglichen physisch genaue Simulationen für das parallele Training und die Validierung mehrerer humanoider Roboteragenten.
Isaac Lab ist ein einheitliches Open-Source-Framework für Roboterlernen, das auf Isaac Sim basiert und verwendet werden kann, um diese Lerntechniken zum Trainieren einer Roboterrichtlinie anzuwenden. Die trainierten Roboterrichtlinien können dann in Isaac Sim, einer Referenzanwendung zum Erstellen, Simulieren und Testen von Humanoiden in physikalisch basierten virtuellen Umgebungen, validiert werden.
Agility Robotics
GR00T-Workflows
Generierung und Verarbeitung von Daten
Das Sammeln umfangreicher, hochwertiger, realer Datenmengen zu diesem Zweck kann herausfordernd, kostspielig und zeitaufwändig sein. Synthetische Daten, die aus physikalisch korrekten Simulationen generiert werden, bewältigen diese Herausforderung, indem sie die Datenerfassung beschleunigen und die für die Verallgemeinerung von Roboter-Lernmodellen erforderliche Vielfalt bieten.
Der NVIDIA Isaac GR00T-Dreams Blueprint generiert große Mengen an synthetischen Bewegungsdaten mithilfe von NVIDIA Cosmos-World-Foundation-Modellen, die durch ein einzelnes Bild und Sprachanweisungen gesteuert werden. Dadurch können Roboter neue Aufgaben in ungewohnten Umgebungen erlernen, ohne dass spezifische Teleoperationsdaten erforderlich sind.
Der GR00T-Dreams Blueprint ergänzt den GR00T-Mimic Blueprint. Während GR00T-Mimic Omniverse und Cosmos verwendet, um bestehende Daten zu ergänzen, verwendet GR00T-Dreams Cosmos, um komplett neue Daten zu generieren.
Geschickte Manipulation
Die Greiffähigkeiten humanoider Roboter erfordern eine menschenähnliche Geschicklichkeit bei der Handhabung von Objekten. Sie müssen in der Lage sein, sowohl grobe als auch detaillierte Manipulationsaufgaben auszuführen. GR00T-Dexterity ist eine umfassende Suite von Modellen und Richtlinien, die mit einem auf Reinforcement Learning basierenden Ansatz entwickelt und mit Referenz-Workflows kombiniert wurde, um die Entwicklung dieser fortgeschrittenen Fähigkeiten zu ermöglichen.
Mobilität
Die universelle Navigation in komplexen und dynamischen Umgebungen erfordert eine umfangreiche Feineinstellung. Mit dem GR00T-Mobility-Referenz-Workflow können Sie einen Mobilitäts-Generalisten für die Navigation durch verschiedene Umgebungen und Roboterimplementierungen einrichten.
Ganzkörpersteuerung
Die Ganzkörpersteuerung in humanoiden Robotern stellt eine große Herausforderung dar, da sie sowohl eine stabile Manipulation als auch eine robuste Fortbewegung erfordert. GR00T-Control begegnet diesem Problem mit einer Suite von fortschrittlichen Bewegungsplanungs- und Steuerungsmodellen, Richtlinien und Referenz-Workflows, die die Entwicklung effektiver Steuerungssysteme optimieren.
Durch den Einsatz von Imitationslernen und teleoperierten Datenmengen erleichtert GR00T-Control das Training für robuste, Ganzkörperbewegungsrichtlinien, mit denen humanoide Roboter geschickte Manipulations- und Fortbewegungsfähigkeiten erlernen können.
KI-basierte Wahrnehmung
Um das Situationsbewusstsein und die Interaktionseffizienz zu verbessern, benötigen humanoide Roboter ein Langzeitgedächtnis für Ereignisse, Räume, personalisierte Einstellungen und kontextsensitive Reaktionen
GR00T-Perception macht dies mit einer robusten Suite von Wahrnehmungsbibliotheken, Foundation Models und Referenz-Workflows möglich, die auf Isaac Sim und Isaac ROS basieren. Diese Tools integrieren fortschrittliche Technologien wie Vision-Language-Models und Retrieval-Augmented Memory, um die Wahrnehmung, Kognition und Anpassungsfähigkeit in humanoiden Robotern zu verbessern.
Die On-Roboter-Computing-Plattform der nächsten Generation
Die Roboterhardware ist ebenfalls wichtig, um ein Ensemble multimodaler KI-Modelle auszuführen, die für die richtige Leistung, Latenzzeit und Funktionssicherheit unter verschiedenen Bedingungen in Humanoiden verantwortlich sind.
NVIDIA Jetson AGX Thor, das auf der Blackwell-GPU-Architektur von NVIDIA basiert, bietet Ultra-High-Performance-KI-Computing und eine neue Transformer-Engine. Hierdurch wird die notwendige KI-Superpower am Edge erreicht, die für die neue Generation von Humanoiden erforderlich ist.
Quick-Links
Ökosystem
Erste Schritte mit unseren Partnern im Bereich Humanoide Roboter
Jetzt starten
Entwicklung humanoider Roboter
Treiben Sie die Entwicklung humanoider Roboter mit den grundlegenden Technologien von Isaac GR00T voran, indem Sie auf Tutorials, Foren, Release Notes und umfassende Dokumentation zugreifen.
FAQs
Humanoide Roboter sind dafür konzipiert, in von Menschen genutzten Räumen zu arbeiten und in Fabriken, Lagerhäusern, Krankenhäusern und im Einzelhandel monoton wiederkehrende oder körperlich anstrengende Aufgaben zu übernehmen. Kurzfristig umfasst dies beispielsweise Materialtransport, das Aufnehmen und Ablegen von Gegenständen, die Maschinenbedienung, einfache Prüfungen sowie die Unterstützung der Arbeitskräfte beim Heben, Tragen oder Transportieren von Gütern.
NVIDIA Isaac Technologien bieten einen End-to-End-Stack für das Trainieren, die Simulation und die Bereitstellung von „Gehirnen“ humanoider Roboter. Dies umfasst den Zugriff auf offene Isaac GR00T N-Modelle für generalisiertes Reasoning. Entwickler können zudem Isaac Lab nutzen, ein Open-Source-Framework für das Roboterlernen, um schnell zu iterieren, Fähigkeiten für verschiedene Anwendungen wiederzuverwenden und Verhaltensregeln in Isaac Sim zu validieren, bevor sie auf der Hardware bereitgestellt werden.
Mithilfe von Simulationen können Teams humanoide Roboter in digitalen Zwillingen realer Anlagen trainieren und testen, bevor diese physisch eingesetzt werden. So lassen sich Verhaltensweisen, Randfälle und Fehlerzustände bewerten, ohne Menschen, Geräte oder Roboter einem Risiko auszusetzen. Dieser Sim-First-Ansatz reduziert den Bedarf an teuren physischen Prototypen und umfangreichen Tests vor Ort, wodurch Integrationsprobleme früher erkannt und Bereitstellungszyklen verkürzt werden.
Die Plattform von NVIDIA wurde entwickelt, um die Datenlücke in der Robotik zu schließen, indem begrenzte reale Demonstrationen mit umfangreichen synthetischen Daten und Simulationen kombiniert werden. Mithilfe des Isaac Lab Open-Source-Frameworks und Isaac Sim können Entwickler große Mengen an fotorealistischen Trainingsdaten generieren. Darüber hinaus verwenden Blueprints wie GR00T-Dreams World Foundation Modelle wie Cosmos, um aus einfachen Anweisungen völlig neue synthetische Trajektoriendaten zu generieren. Dies ermöglicht es, Richtlinien zu entwickeln, ohne dass im Vorfeld umfangreiche Datensätze aus der realen Welt erforderlich sind.
Humanoide Roboter benötigen eine hohe Onboard-Rechenleistung, um multimodale Daten zu verarbeiten und die funktionale Sicherheit zu gewährleisten, ohne auf Cloud-Konnektivität angewiesen zu sein. NVIDIA Jetson AGX Thor, das auf der Blackwell-Architektur basiert, erfüllt diese Rolle, indem es die KI-Leistung und eine geringe Latenz bietet, die für die Ausführung generativer KI- und Foundation-Modelle direkt auf dem Roboter erforderlich sind. Dadurch kann der Roboter in verschiedenen realen Umgebungen autonom erfassen, planen und handeln.
Quick-Links
RTX PRO Server – die beste Plattform für industrielle und physische KI
NVIDIA RTX PRO Server beschleunigen alle Workloads für industrielle Digitalisierung, Robotersimulation und die synthetische Datengenerierung.
