Praxisorientierte Workshops, Schulungangebote und Zertifizierungen auf der GTC

So wie Menschen über mehrere Sinne verfügen, um die Welt um sie herum wahrzunehmen, werden immer mehr Computersensoren entwickelt, um eine Vielzahl von Daten zu erfassen. In der Gesundheitsbranche bieten Computertomografie (CT)-Scans eine 3D-Darstellung, mit der potenziell gefährliche Anomalien erkannt werden können. In der Robotikbranche helfen Lidar-Sensoren Robotern, Tiefe zu erkennen und in ihren komplexen Umgebungen zu navigieren. In diesem Kurs entwickeln Teilnehmer neuronale Netzwerk-Agenten, die unter Verwendung vieler verschiedener Datentypen logisch denken können, indem sie mehrere Fusionstechniken untersuchen. 

Sie erfahren mehr über:

• Verschiedene Datentypen und wie man sie für neuronale Netze vorbereitet.
• Modellfusion und die Unterschiede zwischen früher, später und intermediärer Fusion.
• Strukturverlust und wie man ihn vermeiden kann.
• Der Unterschied zwischen Modalität und Agenten-Orchestrierung.

Nach Abschluss werden Sie in der Lage sein, mehrere multimodale Agenten in einer Anwendung zu orchestrieren.

Voraussetzung(en)

• Grundlegende Kenntnisse in Python, einschließlich Klassen, Objekten und Dekoratoren.
• Grundlegendes Verständnis von neuronalen Netzen, wie Bildfaltung und sequentiellen Modellen

Retrieval-Augmented Generation (RAG)-Pipelines revolutionieren die Unternehmensabläufe. Die meisten bestehenden Tutorials enden jedoch bei Proof-of-Concept-Implementierungen, die bei der Skalierung scheitern. Dieser Workshop zielt darauf ab, diese Lücke zu schließen, und konzentriert sich auf die Entwicklung skalierbarer, produktionsreifer RAG-Pipelines, die von NVIDIA NIM-Microservices und Kubernetes unterstützt werden. Die Teilnehmer sammeln praktische Erfahrungen in der Bereitstellung, Überwachung und Skalierung von RAG-Pipelines mit dem NIM-Operator und lernen Best Practices für die Infrastrukturoptimierung, die Leistungsüberwachung und den Umgang mit hohem Datenverkehrsaufkommen kennen.

Der Workshop beginnt mit der Entwicklung einer einfachen RAG-Pipeline mit dem NVIDIA API-Katalog. Die Teilnehmer stellen einzelne Komponenten in einer lokalen Umgebung mit Docker Compose bereit und testen sie. Sobald die Teilnehmenden mit den Grundlagen vertraut sind, verlagert sich der Fokus auf die Bereitstellung von NIMs wie LLM, NeMo Retriever Text Embedding und NeMo Retriever Text Reranking in einem Kubernetes-Cluster mit dem NIM-Operator. Dies umfasst die Verwaltung der Bereitstellung, Überwachung und Skalierbarkeit von NVIDIA NIM-Microservices. Der Workshop konzentriert sich auf die Entwicklung einer RAG-Pipeline, die in der Produktion verwendet werden kann. Es wird außerdem der NVIDIA AI Blueprint für die PDF-Eingabe und seine Verwendung in der RAG-Pipeline behandelt.

Um die betriebliche Effizienz zu gewährleisten, werden im Workshop Prometheus und Grafana für die Überwachung der Pipeline-Leistung, des Cluster-Zustands und der Ressourcenauslastung vorgestellt. Die Skalierbarkeit wird durch die Verwendung des Kubernetes Horizontal Pod Autoscaler (HPA) gewährleistet, der in Verbindung mit dem NIM-Operator die NIMs auf der Grundlage benutzerdefinierter Metriken dynamisch skaliert. Es werden benutzerdefinierte Dashboards erstellt, um wichtige Metriken zu visualisieren und Leistungserkenntnisse zu interpretieren.

Sie werden in der Lage sein:

• Eine einfache RAG-Pipeline mit API-Endpunkten zu erstellen, die lokal mit Docker Compose bereitgestellt werden.
• Eine Vielzahl von NVIDIA NIM-Microservices in einem Kubernetes-Cluster mit dem NIM-Operator bereitzustellen.
• NIMs in einer zusammenhängenden RAG-Pipeline in Produktionsqualität zu kombinieren und fortschrittliche Datenaufnahme-Workflows zu integrieren.
• RAG-Pipelines und Kubernetes-Cluster mit Prometheus und Grafana zu überwachen.
• NIMs zu skalieren, um hohen Datenverkehr mit dem NIM-Operator zu bewältigen.
• RAG-Pipelines für eine Vielzahl agentischer Workflows, einschließlich PDF-Erfassung, zu erstellen, bereitzustellen und zu skalieren.

Voraussetzung(en)

• Erfahrung im Umgang mit LLM-basierten Anwendungen
• Vertrautheit mit RAG-Pipelines
• Vertrautheit mit Kubernetes
• Vertrautheit mit Helm

Dieser Workshop bietet eine umfassende Einführung in die universelle GPU-Programmierung mit NVIDIA® CUDA®. Sie lernen, GPU-beschleunigten Code zu schreiben, zu kompilieren und auszuführen, CUDA-Core-Bibliotheken zu nutzen, um die Möglichkeiten der massiven Parallelität auszuschöpfen, die moderne GPU-Beschleuniger bieten, die Speichermigration zwischen CPU und GPU zu optimieren und Ihre eigenen Algorithmen zu implementieren.

Am Ende des Workshops verstehen Sie die grundlegenden Konzepte und Techniken für die Beschleunigung von C++-Code mit CUDA und sind in der Lage:

• Code zu schreiben und zu kompilieren, der auf der GPU ausgeführt wird
• Speichermigration zwischen CPU und GPU zu optimieren
• Leistungsstarke parallele Algorithmen zu nutzen, die das Hinzufügen von GPU-Beschleunigung zu Ihrem Code vereinfachen
• Eigene parallele Algorithmen zu implementieren, indem Sie GPUs direkt mit CUDA-Kernels programmieren
• Gleichzeitige CUDA-Streams zu verwenden, um Speicherverkehr mit Rechenleistung zu überlappen
• Zu wissen, wo, wann und wie sich CUDA-Beschleunigung am besten in bestehende, nur auf der CPU basierende Anwendungen integrieren lässt

Voraussetzung(en)

• Grundlegende C++-Kompetenz, einschließlich Erfahrung mit Lambda-Ausdrücken, Schleifen, bedingten Anweisungen, Funktionen, Standardalgorithmen und Containern.
• Es werden keine Vorkenntnisse in der CUDA-Programmierung vorausgesetzt.

In der heutigen KI-Landschaft stoßen selbst leistungsstarke Large Language Models (LLMs) an ihre Grenzen, wenn sie mit spezialisiertem Geschäftswissen, technischen Fachbereichen oder kulturellen Kontexten konfrontiert werden, die in ihren Trainingsdaten fehlen. Während die Retrieval-Augmented Generation einige Lücken schließen kann, erfordert echte Domänenbeherrschung eine tiefergehende Ebene der Modellanpassung.

Dieser umfassende Workshop vermittelt Entwicklern die praktischen Fähigkeiten, um Open-Source-LLMs in domänenspezifische KI-Assets zu verwandeln. Anhand von fünf miteinander verbundenen Modulen werden Sie den vollständigen Lebenszyklus der Modellanpassung beherrschen:

• Systematische Bewertung und Erstellung von Datensätzen: Erstellen von benutzerdefinierten Evaluierungs-Benchmarks mit NeMo Evaluator, um Modellbeschränkungen zu identifizieren und den Entwicklungsfortschritt zu verfolgen. Metriken kennenlernen, die für Ihren spezifischen Anwendungsfall relevant sind.
• Fortschrittliche Datenkuration: Implementieren modernster Datenbereinigungspipelines mit NeMo Curator, um hochwertige fachspezifische Datensätze zusammenzustellen, die Ihren geschäftlichen oder kulturellen Anforderungen entsprechen.
• Gezielte Wissensinjektion: Erlernen verschiedener Anpassungstechniken, darunter kontextbezogenes Lernen, parametereffiziente Feinabstimmung (PEFT), kontinuierliches Pre-Training (CPT), überwachte Feinabstimmung (SFT) und bestärkendes Lernen aus menschlichem Feedback (RLHF).
• Modelloptimierung: Anwenden von Destillations-, Quantisierungs- und Pruning-Techniken mit NeMo Model Optimizer und TensorRT-LLM, um die Inferenzkosten ohne Leistungseinbußen erheblich zu senken.
• Produktionsbereitstellung: Sie erfahren, wie Sie Ihre benutzerdefinierten Modelle in Kubernetes-Umgebungen mit NVIDIA Inference Microservices (NIMs) bereitstellen, überwachen und skalieren können.

Nach Abschluss des Workshops verfügen Sie über die vollständigen technischen Fähigkeiten, um souveräne KI-Systeme zu entwickeln, bereitzustellen und zu betreiben, die auf Ihre spezifischen Anforderungen zugeschnitten sind – von der Datenaufbereitung bis zur Produktionsskalierung.

Voraussetzung(en)

• Python-Programmierkenntnisse auf mittlerem Niveau
• Vorherige Erfahrung mit LLM-basierten Anwendungen und Verständnis von Prompt-Engineering-Prinzipien
• Erfahrung mit Datenverarbeitungspipelines und Textvorverarbeitungstechniken
• Verständnis von Feinabstimmung, Trainings-/Validierungsaufteilungen und grundlegenden ML-Metriken
• Grundkenntnisse der GPU-Beschleunigung für ML-Workloads (CUDA-Erfahrung hilfreich, aber nicht erforderlich)
• Erfahrung mit Containerisierung und grundlegenden Kubernetes-Konzepten (optional, aber hilfreich)

Da sich die Fertigung immer schneller in Richtung Automatisierung und KI-gestützter Prozesse entwickelt, werden digitale Zwillinge für die Simulation, das Testen und die Bereitstellung intelligenter Systeme in realen Fabrikumgebungen unverzichtbar.

In diesem Workshop erfahren Sie Folgendes:

• Erstellung digitaler Zwillinge aus Fertigungsdaten mit OpenUSD und Omniverse.
• Simulation genauer Sensordaten mit NVIDIA Cosmos und Sensor RTX ‌ zur Unterstützung von KI-Wahrnehmung, Lokalisierung und Entscheidungsfindung.
• Anwendung von Metropolis VSS für semantische Kennzeichnung, Verfolgung und Klassifizierung.
• Generierung umfangreicher, beschrifteter Datensätze aus digitalen Zwillingen, um KI-Modelle zu trainieren und Closed-Loop-Workflows für das Roboterlernen zu erstellen.

Am Ende dieses Workshops haben die Teilnehmer praktische Erfahrung mit der Entwicklung simulationsreifer digitaler Zwillinge und erfahren, wie diese Zwillinge die Entwicklung physischer KI-Systeme im Fertigungsbereich unterstützen.

Behandelte Themen:

• Erstellung eines digitalen Zwillings aus bestehenden 3D-Daten.
• Generierung synthetischer Sensordaten, um KI-Wahrnehmung, Lokalisierung und Entscheidungsfindung zu unterstützen
• Integration von Metropolis VSS für Suche und semantische Kennzeichnung.
• Generierung umfangreicher Datensätze, um KI-Modelle zu trainieren.

Voraussetzung(en)

• Erfahrung im Umgang mit 3D-Workflows oder CAD-Tools, die üblicherweise in der Fertigung verwendet werden
• Grundlegendes Verständnis von KI-Konzepten wie Wahrnehmung, Lokalisierung und Planung
• Einblick in Simulations-, Robotik- oder Automatisierungs-Workflows

Erschließen Sie die Leistungsfähigkeit der simulationsgesteuerten Robotik mit NVIDIA Isaac Sim und Isaac Lab. Dieser praxisorientierte, ganztägige Workshop richtet sich an Robotik-Ingenieure, Forscher in der angewandten Forschung und F&E-Teams, die sich auf die Entwicklung, das Training und die Simulation von Robotern in Software konzentrieren.

In diesem Workshop erfahren Sie Folgendes:

• Strukturierung modularer Roboter-Assets mit OpenUSD und Import von CAD/URDF-Modellen
• Integration von Robotern in virtuelle Umgebungen in Isaac Sim
• Verbindung von ROS 2 für Echtzeit-Robotersteuerung und Software-in-the-Loop-Tests
• Beschleunigung von Wahrnehmungs- und KI-Workloads mit NVIDIA GPU-gestützten Bibliotheken
• Generierung physikalisch genauer synthetischer Daten für das robuste Robotertraining

Am Ende dieses Workshops verfügen die Teilnehmer über praktische Erfahrung bei der Entwicklung von Robotersimulationen und der Integration synthetischer Datenpipelines, um skalierbare Simulation-First-Workflows zu entwickeln.

Voraussetzung(en)

• Kenntnisse in der Python-Programmierung
• Erfahrung mit ROS 2 (Roboterbetriebssystem)
• Erfahrung mit 3D-Workflows oder CAD-Tools, die üblicherweise in der Robotik verwendet werden
• Einblick in Simulations- und Robotik-Workflows