Erste Schritte mit NVIDIA NeMo
Verwalten Sie den Lebenszyklus von KI-Agenten mit Tools und Technologien für die Entwicklung, Überwachung und Optimierung von KI-Agenten in der Produktion.
Der Weg von KI-Modellen zu agentischen KI-Anwendungen
Erleben Sie die unternehmensgerechte End-to-End-Plattform für die Verwaltung von KI-Agenten während ihres gesamten Lebenszyklus.
Tools für die Verwaltung des Lebenszyklus von KI-Agenten
Die NVIDIA NeMo Software-Suite für die Verwaltung des Lebenszyklus von KI-Agenten umfasst NeMo Data Designer, NeMo Curator, NeMo Customizer und NeMo Evaluator für die Entwicklung, NeMo Retriever, NeMo Guardrails und NVIDIA NIM™ für die Bereitstellung sowie NeMo Agent Toolkit für die kontinuierliche Optimierung.
FAQs
NVIDIA NeMo ist eine modulare, unternehmensgerechte Software-Suite für die Verwaltung des Lebenszyklus von KI-Agenten – Entwicklung, Bereitstellung und Optimierung agentischer Systeme – von der Datenkuration, Modellanpassung und -bewertung bis hin zur Bereitstellung, Orchestrierung und kontinuierlichen Optimierung. Es lässt sich nahtlos in bestehende KI-Ökosysteme und -Plattformen integrieren, um eine Grundlage für die Entwicklung von KI-Agenten zu schaffen und den Weg zur Produktion agentischer Systeme in jeder Cloud, lokalen oder hybriden Umgebung zu beschleunigen. Es unterstützt die schnelle Skalierung und die mühelose Erstellung von Daten-Flywheels, die KI-Agenten mit den neuesten Informationen kontinuierlich verbessern.
NeMo ist Open-Source-verfügbar und wird als Teil von NVIDIA AI Enterprise unterstützt. Details zu Preisen und Lizenzierungen finden Sie hier.
NeMo kann verwendet werden, um große Sprachmodelle (LLMs), visuelle Sprachmodelle (VLMs), automatische Spracherkennung (ASR) und Text-zu-Sprache (TTS)-Modelle anzupassen.
NVIDIA AI Enterprise umfasst NVIDIA Business-Standard-Support. Weitere verfügbare Support- und Serviceleistungen, wie z. B. NVIDIA Business-Critical Support, ein technischer Kundenbetreuer, Schulungen und Fachdienstleistungen, finden Sie im NVIDIA Enterprise Support and Service Guide.
Das NVIDIA NeMo-Framework ist ein generatives Open-Source-KI-Framework, das für Forscher und Entwickler entwickelt wurde, die nach detaillierter Kontrolle und Flexibilität auf Code-Ebene suchen, um generative KI-Modelle in großem Maßstab effizient zu entwickeln. Es unterstützt das Pre-Training, das Nachtrainieren und das bestärkende Lernen multimodaler generativer KI-Modelle.
NVIDIA NeMo Microservices ist ein unternehmensgerechtes API-First-Modulangebot, das sich auf das NeMo-Framework erstreckt und speziell entwickelt wurde, um Entwicklern die einfache und schnelle Anpassung und Bereitstellung von KI-Agenten in großem Maßstab zu ermöglichen. Es vereinfacht die Feinabstimmung von Modellen, die Bewertung, die Schutzmaßnahmen und die Generierung synthetischer Daten. Sie integrieren sich nahtlos in bestehende KI-Plattformen, sodass Unternehmen die Entwicklung maßgeschneiderter KI-Agenten beschleunigen und durch Daten-Flywheel-Workflows kontinuierlich optimieren können.
NeMo Data Designer ist ein speziell entwickelter Microservice für KI-Entwickler, der eine programmatische Möglichkeit zur Generierung synthetischer Daten durch konfigurierbare Schemas und KI-gestützte Generierungsmodelle bietet. Er lässt sich nahtlos in Ihren KI-Entwicklungs-Workflow integrieren.
NeMo Curator ist eine Open-Source-Bibliothek, die die Genauigkeit generativer KI-Modelle verbessert, indem sie hochwertige multimodale Datensätze kuratiert. Er besteht aus einer Reihe von Python-Modulen in Form von APIs, die Dask, cuDF, cuGraph und Pytorch nutzen, um Datenaufbereitungsaufgaben wie das Herunterladen von Daten, die Textextraktion, die Bereinigung, das Filtern, die exakte/unscharfe Deduplizierung und die Textklassifizierung auf Tausende von Rechenkernen zu skalieren.
NeMo Customizer ist ein leistungsstarker, skalierbarer Microservice, der die Anpassung und den Abgleich von LLMs für fachspezifische Anwendungsfälle mit fortschrittlichen Feinabstimmungs- und bestärkenden Lerntechniken vereinfacht.
NeMo Auditor prüft LLMs, indem es Audit-Jobs ausführt, die das Modell mit einer Vielzahl von Prompts untersuchen, um Schwachstellen zu identifizieren. Sie können die Ergebnisse verwenden, um bei der Bewertung der Sicherheit von Modellen und Systemen zu unterstützen.
NeMo Evaluator ist ein Microservice, der für die schnelle und zuverlässige Bewertung von maßgeschneiderten LLMs und RAG-Pipelines entwickelt wurde. Er umfasst verschiedene Benchmarks mit vordefinierten Metriken, einschließlich menschlicher Bewertungen und Methoden mit LLMs als Beurteilungshilfe. Mehrere Bewertungsjobs können über API-Aufrufe gleichzeitig auf Kubernetes über bevorzugte Cloud-Plattformen oder Rechenzentren verteilt werden, was effiziente aggregierte Ergebnisse ermöglicht.
NeMo Guardrails ist ein Microservice, der für Angemessenheit und Sicherheit in intelligenten Anwendungen mit großen Sprachmodellen sorgt. Er schützt Unternehmen, die LLM-Systeme überwachen.
Mit NeMo Guardrails können Entwickler drei Arten von Abgrenzungen einrichten:
- Aktuelle Guardrails verhindern, dass Apps in unerwünschte Bereiche abwandern. Beispielsweise verhindern sie, dass Kundenservice-Assistenten Fragen zum Wetter beantworten.
- Sicherheits-Guardrails gewährleisten, dass Apps mit genauen und angemessenen Informationen reagieren. Sie können unerwünschte Formulierungen herausfiltern und sicherstellen, dass nur auf glaubwürdige Quellen verwiesen wird.
- Sicherheits-Guardrails sorgen dafür, dass Anwendungen nur mit externen Anwendungen von Dritten verbunden werden, die als sicher gelten.
NeMo RL ist eine Open-Source-Bibliothek, Teil des NeMo Framework-Toolkits, die fortschrittliche Algorithmen für bestärkendes Lernen und skalierbares Nachtrainieren zur Optimierung und Ausrichtung von KI-Agenten im Unternehmensmaßstab bietet.
NeMo Retriever ist eine Sammlung branchenführender Nemotron RAG-Modelle, die 50 % höhere Genauigkeit, eine 15-mal schnellere multimodale PDF-Extraktion und eine 35-mal höhere Datenspeichereffizienz bieten, sodass Unternehmen RAG-Pipelines entwickeln können, die Geschäftserkenntnisse in Echtzeit liefern. NeMo Retriever gewährleistet den Datenschutz und stellt eine nahtlose Verbindung mit proprietären Daten her, wo immer sie sich befinden, was einen sicheren Abruf auf Unternehmensniveau ermöglicht.
Retrieval-Augmented Generation ist eine Technik, mit der LLMs Antworten aus den aktuellsten Informationen generieren können, indem sie diese mit der Wissensdatenbank des Unternehmens verbinden. NeMo arbeitet mit verschiedenen Tools von Drittanbietern und der Community, darunter Milvus, Llama Index und Langchain, um relevante Informationsschnipsel aus der Vektordatenbank zu extrahieren und sie an das LLM weiterzuleiten, um Antworten in natürlicher Sprache zu erzeugen. Informieren Sie sich auf der Seite KI-Chatbot mit RAG-Workflow über die Realisierung von KI-Chatbots, die für den Produktivbetrieb geeignet sind und die Fragen zu Ihren Unternehmensdaten präzise beantworten können.
NVIDIA bietet KI-Workflows – Cloud-native, gebündelte Referenzbeispiele, die zeigen, wie NVIDIA KI-Frameworks genutzt werden können, um KI-Lösungen zu entwickeln. Mit vorab trainierten Modellen, Trainings- und Inferenzpipelines, Jupyter Notebooks und Helm-Charts beschleunigen KI-Workflows die Bereitstellung von KI-Lösungen.
Nutzen Sie die folgenden End-to-End-Workflows, um schnell Ihre eigenen generativen KI-Lösungen zu entwickeln:
NVIDIA NIM, Teil von NVIDIA AI Enterprise, ist eine benutzerfreundliche Runtime, die entwickelt wurde, um die Bereitstellung generativer KI in Unternehmen zu beschleunigen. Dieser vielseitige Microservice unterstützt ein breites Spektrum an KI-Modellen – von Modellen der Open-Source-Community über NVIDIA-AI-Foundation-Modelle bis hin zu maßgeschneiderten eigenen KI-Modellen. Er basiert auf den robusten Grundlagen der Inferenz-Engines und wurde entwickelt, um unproblematische KI-Inferenz im großen Maßstab zu ermöglichen und sicherzustellen, dass KI-Anwendungen in der Cloud, im Rechenzentrum und am Arbeitsplatz eingesetzt werden können.
Retrieval-Augmented Generation ist eine Technik, mit der LLMs Antworten aus den aktuellsten Informationen generieren können, indem sie diese mit der Wissensdatenbank des Unternehmens verbinden. NeMo arbeitet mit verschiedenen Tools von Drittanbietern und der Community, darunter Milvus, Llama Index und Langchain, um relevante Informationsschnipsel aus der Vektordatenbank zu extrahieren und sie an das LLM weiterzuleiten, um Antworten in natürlicher Sprache zu erzeugen. Informieren Sie sich auf der Seite KI-Chatbot mit RAG-Workflow über die Realisierung von KI-Chatbots, die für den Produktivbetrieb geeignet sind und die Fragen zu Ihren Unternehmensdaten präzise beantworten können.
NVIDIA Blueprints sind umfassende Referenz-Workflows, die mit Bibliotheken, SDKs und Microservices von NVIDIA AI und Omniverse™ entwickelt wurden. Jeder Blueprint umfasst Referenzcode, Bereitstellungstools, Leitfäden zur Anpassung und eine Referenzarchitektur, die die Bereitstellung von KI-Lösungen wie KI-Agenten und digitalen Zwillingen vom Prototyp bis zur Produktion beschleunigt.
NVIDIA AI Enterprise ist eine End-to-End-Cloud-native Softwareplattform, die Datenwissenschafts-Pipelines beschleunigt und die Entwicklung und Bereitstellung von produktionsgerechten KI-Anwendungen, einschließlich generativer KI, Computer-Vision, Sprach-KI und mehr, optimiert. Sie umfasst erstklassige Entwicklungstools, Frameworks, vortrainierte Modelle, Microservices für KI-Anwender und zuverlässige Verwaltungsmöglichkeiten für IT-Experten zur Sicherstellung von Leistung, API-Stabilität und Sicherheit.