Finden Sie die passenden Tools für umfangreiche Sprachmodelle von der Entwicklung bis hin zur Produktion
Für Einzelpersonen, die für die Entwicklung auf den Open-Source-Code von NeMo zugreifen möchten.
Für Einzelpersonen, die auf kostenlose NeMo-Container zugreifen möchten.
Für Unternehmen, die NeMo für die Produktionsentwicklung und -bereitstellung erwerben möchten.
Data Curator für Extrahierung, Formatierung/Bereinigung, Filterung, Deduplizierung und Mischung von Trainingsdaten
Tools und Methoden für die Bereitstellung mit mehreren Grafikprozessoren und mehreren Knoten trainieren, einschließlich Parallelität, Präzision und Flash-Aufmerksamkeit
Tools für die automatische Konfiguration zum Zuweisen der optimalen Hyperparameter für Training und Inferenz
Anpassungstools und -methoden, einschließlich Feinabstimmung, p-Tuning, Prompt Tuning, SFT und RLHF
Triton Inference Server für hochleistungsfähige Inferenz für Cloud- und Edge-Geräte sowie lokale und integrierte Geräte
Kompatibilität mit MLOps-Tools von Drittanbietern, einschließlich TensorBoard und Weights & Biases
Unterstützung für alle wichtigen LLM-Architekturen für Training und Inferenz, z. B. GPT, BERT, T5
Kompatibilität mit vortrainierten Modellen von NVIDIA und führenden Communitys, z. B. Falcon, Llama 2, MPT 7B
Vorgefertigter Docker-Container mit Versionsabhängigkeiten
KI-Workflows und Referenzarchitekturen für gängige KI-Anwendungsfälle
Funktionen für Workload- und Infrastrukturverwaltung
NVIDIA NeMo™ ist ein durchgängiges, Cloud-natives Framework, mit dem Sie generative KI-Modelle überall erstellen, anpassen und bereitstellen können. Es umfasst Frameworks für Training und Inferenz, ein Leitplanken-Toolkit, Tools zur Datenpflege und vortrainierte Modelle. Dies bietet Unternehmen eine einfache, kostengünstige und schnelle Möglichkeit, generative KI einzuführen. Entwickler können über folgende Optionen auf den Open-Source-Code von NeMo zugreifen: GitHub, als verpackter Container im NVIDIA NGC-Katalogoder über ein NVIDIA AI Enterprise- Abonnement.
NeMo ist in NVIDIA AI Enterprise enthalten. Ausführliche Informationen zu Preisen und Lizenzen finden Sie hier.
Kunden erhalten Business-Standard-Support von NVIDIA über ein NVIDIA AI Enterprise- Abonnement, das NeMo umfasst. Business-Standard-Support bietet Service Level Agreements, Zugang zu NVIDIA-Experten und langfristigen Support für lokale und Cloud-Bereitstellungen.
NVIDIA AI Enterprise umfasst Business-Standard-Support. Weitere Informationen über zusätzliche Optionen für Support und Dienstleistungen, wie geschäftskritischer Support, Technical Account Manager, Schulungen und professionelle Services, finden Sie im Leitfaden für NVIDIA Enterprise-Support und -Dienste.
NeMo ist als Paket kostenlos im NGC-Katalog verfügbar und bietet Entwicklern eine schnelle und einfache Möglichkeit, mit der Erstellung oder Anpassung von LLMs zu beginnen. Dies ist die schnellste und einfachste Möglichkeit für KI-Forscher und -Entwickler, die NeMo-Container für Training und Inferenz einzusetzen. Entwickler können auch über GitHub auf den Open-Source-Code von NeMo zugreifen.
Für Entwickler, die LLMs für die kommerzielle Nutzung erstellen, bietet NVIDIA AI Enterprise eine produktionstaugliche, sichere und durchgängige Softwareplattform – diese umfasst das NeMo-Framework, generative KI-Referenzanwendungen und Enterprise-Support für eine effizientere Einführung. Dazu gehören:
NeMo Data Curator ist als Teil des NeMo-Frameworks verfügbar und ein skalierbares Tool für die Datenpflege, mit dem Entwickler mehrsprachige Datensätze mit Billionen Token für das Vortraining von LLMs sortieren können. Er besteht aus einer Reihe von Python-Modulen, die das Message-Passing Interface (MPI), Dask und Redis Cluster nutzen, um Aufgaben der Datenpflege wie Datendownload, Textextraktion, Bereinigung, Filterung und Exact/Fuzzy-Deduplizierung auf Tausende Rechenkerne zu skalieren.
NeMo Guardrails ist ein Open-Source-Toolkit für die einfache Entwicklung sicherer und vertrauenswürdiger LLM-Gesprächssysteme. Entwickler können damit LLM-gestützte Anwendungen dahingehend anpassen, dass sie sicher sind und innerhalb des Fachwissens und der Markenwerte eines Unternehmens bleiben. Guardrails ist nicht auf das NeMo-Framework beschränkt und wurde für den Einsatz in allen LLMs, einschließlich OpenAI ChatGPT, entwickelt.
Mit NeMo Guardrails können Entwickler drei Arten von Grenzen festlegen:
Bleiben Sie mit Neuigkeiten zu generativer KI von NVIDIA immer auf dem Laufenden.
Erhalten Sie Entwickler-Updates, Ankündigungen und mehr von NVIDIA direkt in Ihren Posteingang.
Ich möchte aktuelle Neuigkeiten, Ankündigungen und weitere Informationen von NVIDIA zu Business-Lösungen für Unternehmen und Entwicklertechnologie & Tools erhalten.
NVIDIA-Datenschutzrichtlinie