Erste Schritte mit NVIDIA NeMo

NVIDIA NeMo ist eine agentenorientierte, offene Bibliothekensuite zur Beschleunigung der Spezialisierung, Optimierung und Steuerung von KI-Agenten.

NeMo lässt sich in bestehende KI-Tools und Agenten-Frameworks integrieren, um spezialisierte Agenten in jeder Cloud, lokalen oder hybriden Umgebung zu optimieren.

NeMo ist Open-Source-verfügbar und wird als Teil von NVIDIA AI Enterprise unterstützt. Details zu Preisen und Lizenzierungen finden Sie hier.

NeMo kann verwendet werden, um große Sprachmodelle (LLMs), visuelle Sprachmodelle (VLMs),  automatische Spracherkennung (ASR) und Text-zu-Sprache (TTS)-Modelle anzupassen.

NVIDIA AI Enterprise umfasst NVIDIA Business-Standard-Support. Weitere verfügbare Support- und Serviceleistungen, wie z. B. NVIDIA Business-Critical Support, ein technischer Kundenbetreuer, Schulungen und Fachdienstleistungen, finden Sie im NVIDIA Enterprise Support and Service Guide.

Das NVIDIA NeMo-Framework ist ein generatives Open-Source-KI-Framework, das für Forscher und Entwickler entwickelt wurde, die nach detaillierter Kontrolle und Flexibilität auf Code-Ebene suchen, um generative KI-Modelle in großem Maßstab effizient zu entwickeln. Es unterstützt das Pre-Training, das Nachtrainieren und das bestärkende Lernen multimodaler generativer KI-Modelle.


NVIDIA NeMo Microservices sind ein API-basiertes modulares Angebot für Unternehmen, das auf dem NeMo-Framework basiert, um Entwicklern die einfache und schnelle Anpassung und Bereitstellung von KI-Agenten in großem Maßstab zu ermöglichen. Es vereinfacht die Feinabstimmung von Modellen, die Bewertung, die Schutzmaßnahmen und die Generierung synthetischer Daten. Sie integrieren sich nahtlos in bestehende KI-Plattformen, sodass Unternehmen die Entwicklung maßgeschneiderter KI-Agenten beschleunigen und durch Daten-Flywheel-Workflows kontinuierlich optimieren können.

NeMo Curator ist eine Open-Source-Bibliothek, die die Genauigkeit generativer KI-Modelle verbessert, indem sie hochwertige multimodale Datensätze kuratiert. Er besteht aus einer Reihe von Python-Modulen in Form von APIs, die Dask, cuDF, cuGraph und Pytorch nutzen, um Datenaufbereitungsaufgaben wie das Herunterladen von Daten, die Textextraktion, die Bereinigung, das Filtern, die exakte/unscharfe Deduplizierung und die Textklassifizierung auf Tausende von Rechenkernen zu skalieren.

NeMo Data Designer ist ein speziell entwickelter Microservice (auch als offene Bibliothek verfügbar) für KI-Entwickler, der eine programmatische Möglichkeit zur Generierung synthetischer Daten durch konfigurierbare Schemata und KI-gestützte Generierungsmodelle bietet. Er lässt sich nahtlos in Ihren KI-Entwicklungs-Workflow integrieren.

NeMo Anonymizer ist eine offene Bibliothek, die die kontextbewusste Datenanonymisierung in Freitext unterstützt. Nach der Erkennung sensibler Entitäten können Sie diese kennzeichnen, schwärzen, hashen, ersetzen oder vollständig umschreiben.

NeMo Safe Synthesizer ist eine offene Bibliothek für die Generierung synthetischer Versionen von sensiblen Datensätzen. Es erstellt völlig neue Datensätze ohne eine 1:1-Zuordnung zum Original. Es gewinnt Erkenntnisse aus den Daten und sichert gleichzeitig den Datenschutz.

NeMo Customizer ist ein leistungsstarker, skalierbarer Microservice, der die Anpassung und den Abgleich von LLMs für fachspezifische Anwendungsfälle mit fortschrittlichen Feinabstimmungs- und bestärkenden Lerntechniken vereinfacht.

NeMo Auditor untersucht LLMs offline, im Batch, mit einer Vielzahl von automatisierten Angriffen und Edge-Case-Prompts, um Sicherheitslücken aufzudecken. Es basiert auf der offenen NVIDIA Garak-Bibliothek und ist für die Integration in Bewertungs-Workflows und CI/CD-Pipelines konzipiert. So können Teams regelmäßig Prüfungen ausführen und die daraus resultierenden Berichte nutzen, um Modelle und Bereitstellungen im Laufe der Zeit robuster und sicherer zu machen.

NeMo Evaluator bietet skalierbares Benchmarking für generative KI-Anwendungen, einschließlich LLMs, RAG-Pipelines und KI-Agenten. Er verfügt über ein Open-Source-SDK für flexible Experimente mit über 100 Benchmarks sowie einen Cloud-nativen Microservice, der Bewertungs-Workflows auf Unternehmensniveau mithilfe von LLM-as-a-Judge-Scoring und spezialisierten Leistungsmetriken automatisiert.

NeMo RL ist eine Open-Source-Bibliothek für fortschrittliche Algorithmen für bestärkendes Lernen und skalierbares Nachtrainieren, um KI-Agenten auf Unternehmensniveau zu optimieren und anzupassen.

NeMo Gym ist eine Open-Source-Bibliothek für die Erstellung von Trainingsumgebungen für bestärkendes Lernen (RL) für große Sprachmodelle (LLMs). NeMo Gym bietet eine Infrastruktur für die Entwicklung von Umgebungen, die Skalierung der Rollout-Sammlung und die nahtlose Integration in Ihr bevorzugtes Trainingsframework. Es hilft dabei, Daten zu generieren, die für das RL-Training erforderlich sind, um KI-Agenten und -Modelle mit fachspezifischen Fähigkeiten auszustatten.

NeMo Retriever ist eine Open-Source-Bibliothek mit Nemotron-RAG-Modellen für die Erstellung skalierbarer Pipelines zur Extrahierung multimodaler Daten aus komplexen Dokumenten. Dies bietet bis zu 50 % bessere Genauigkeit und 15-mal schnellere multimodale PDF-Extraktion.

NeMo Relay ist eine Integrationsebene für die Verbindung von Black-Box- und universellen Agenten-Testumgebungen mit der NeMo-Plattform. Es hilft Teams, bestehende Agenten-Workflows in NeMo zu integrieren, sodass sie die Plattformfunktionen für die Optimierung, Bewertung und kontinuierliche Verbesserung nutzen können, ohne ihren Agenten-Stack komplett neu erstellen zu müssen.

NVIDIA NIM, Teil von NVIDIA AI Enterprise, ist eine benutzerfreundliche Runtime, die entwickelt wurde, um die Bereitstellung generativer KI in Unternehmen zu beschleunigen. Dieser vielseitige Microservice unterstützt ein breites Spektrum an KI-Modellen – von Modellen der Open-Source-Community über NVIDIA-AI-Foundation-Modelle bis hin zu maßgeschneiderten eigenen KI-Modellen. Er basiert auf den robusten Grundlagen der Inferenz-Engines und wurde entwickelt, um unproblematische KI-Inferenz im großen Maßstab zu ermöglichen und sicherzustellen, dass KI-Anwendungen in der Cloud, im Rechenzentrum und am Arbeitsplatz eingesetzt werden können.

Retrieval-Augmented Generation ist eine Technik, mit der LLMs Antworten aus den aktuellsten Informationen generieren können, indem sie diese mit der Wissensdatenbank des Unternehmens verbinden. NeMo arbeitet mit verschiedenen Tools von Drittanbietern und der Community, darunter Milvus, Llama Index und Langchain, um relevante Informationsschnipsel aus der Vektordatenbank zu extrahieren und sie an das LLM weiterzuleiten, um Antworten in natürlicher Sprache zu erzeugen. Informieren Sie sich auf der Seite KI-Chatbot mit RAG-Workflow über die Realisierung von KI-Chatbots, die für den Produktivbetrieb geeignet sind und die Fragen zu Ihren Unternehmensdaten präzise beantworten können.

NVIDIA Blueprints sind umfassende Referenz-Workflows, die mit offenen NVIDIA Nemotron-Modellen und -Bibliotheken erstellt wurden. Jeder Blueprint umfasst Referenzcode, Bereitstellungstools, Leitfäden zur Anpassung und eine Referenzarchitektur, die die Bereitstellung von KI-Lösungen wie KI-Agenten und digitalen Zwillingen vom Prototyp bis zur Produktion beschleunigt.

NVIDIA AI Enterprise kombiniert Microservices, Frameworks und Bibliotheken für die KI-Entwicklung mit fortschrittlicher GPU-Orchestrierung und Infrastrukturmanagement in einer voll unterstützten, produktionsfertigen, kommerziellen Software-Suite. Stellen Sie führende Open-Source-Tools und KI-Modelle sicher bereit, steigern Sie die Produktivität und verkürzen Sie die Amortisationszeit, und führen Sie KI-Workloads in großem Maßstab mit optimierter Ressourcenauslastung aus.