NVIDIA H100 Tensor-Core-GPU
Außergewöhnliche Leistung, Skalierbarkeit und Sicherheit für jedes Rechenzentrum.
Ein Größenordnungssprung für beschleunigtes Computing
Die NVIDIA H100 Tensor-Core-GPU bietet außergewöhnliche Leistung, Skalierbarkeit und Sicherheit für jeden Workload. H100 nutzt bahnbrechende Innovationen, die auf der NVIDIA Hopper™ Architektur basieren, um branchenführende Gesprächs-KI zu liefern und große Sprachmodelle (LLMs) um das 30-Fache zu beschleunigen. H100 umfasst außerdem eine spezielle Transformer Engine, um Sprachmodelle mit Billionen von Parametern zu berechnen.
Sichere Beschleunigung von Workloads von Enterprise bis Exascale
Bis zu 4-mal besseres KI-Training mit GPT-3
Die voraussichtliche Leistung kann Änderungen unterliegen. GPT-3 175B Training A100 Cluster: HDR-IB-Netzwerk, H100-Cluster: NDR-IB-Netzwerk | Training für Mixture of Experts (MoE) Transformer Switch-XXL-Variante mit 395B-Parametern auf 1T-Token-Datensatz, A100-Cluster: HDR-IB-Netzwerk, H100-Cluster: NDR-IB-Netzwerk mit NVLINK Switch System, wo angegeben.
Transformations-KI-Training
H100 verfügt über Tensor-Recheneinheiten der vierten Generation und eine Transformer Engine mit FP8-Präzision, die bis zu 4-mal schnelleres Training im Vergleich zur vorherigen Generation für GPT-3 (175B) Modelle bietet. Die Kombination aus NVLink der vierten Generation, das 900 Gigabyte pro Sekunde (GB/s) der GPU-zu-GPU-Verbindung bietet, und dem NDR Quantum-2 InfiniBand-Netzwerk, das die Kommunikation durch jeden Grafikprozessor über Knoten hinweg beschleunigt, PCIe Gen5 und NVIDIA Magnum IO™ Software bietet effiziente Skalierbarkeit von Systemen für kleine Unternehmen bis hin zu riesigen, einheitlichen GPU-Clustern.
Die Bereitstellung von H100-Grafikprozessoren im Rechenzentrumsmaßstab bietet hervorragende Leistung sowie die nächste Generation von Exascale High-Performance-Computing (HPC) und Billionen-Parameter-KI für alle Forscher.
Echtzeit-Deep-Learning-Inferenz
KI löst eine Vielzahl von geschäftlichen Herausforderungen mit einer ebenso breiten Palette an neuronalen Netzen. Ein hervorragender KI-Inferenzbeschleuniger muss nicht nur höchste Leistung, sondern auch die Vielseitigkeit bieten, um diese Netzwerke zu beschleunigen.
H100 erweitert die marktführende Position von NVIDIA im Bereich Inferenz durch mehrere Verbesserungen, die die Inferenz um das bis zu 30-Fache beschleunigen und die niedrigste Latenz bieten. Tensor-Recheneinheiten der vierten Generation beschleunigen alle Präzisionen, einschließlich FP64, TF32, FP32, FP16, INT8 und jetzt FP8, um die Speichernutzung zu reduzieren und die Leistung zu steigern, während gleichzeitig die Genauigkeit für LLMs erhalten bleibt.
Bis zu 30-mal höhere KI-Inferenzleistung bei den größten Modellen
Megatron Chatbot-Inferenz (530 Milliarden Parameter)
Die voraussichtliche Leistung kann Änderungen unterliegen. Inferenz auf dem Megatron 530B-Parametermodell basierenden Chatbot für die Eingabesequenzlänge = 128, Ausgabesequenzlänge = 20 | A100-Cluster: HDR-IB-Netzwerk | H100-Cluster: NVLink-Switch-System, NDR IB
Bis zu 7-mal höhere Leistung für HPC-Anwendungen
Die voraussichtliche Leistung kann Änderungen unterliegen. Durchsatz 3D FFT (4K^3) | A100-Cluster: HDR-IB-Netzwerk | H100-Cluster: NVLink-Switch-System, NDR-IB | Genomsequenzierung (Smith-Waterman) | 1 A100 | 1 H100
Exascale High-Performance Computing
Die NVIDIA-Rechenzentrumsplattform bietet konsistente Leistungssteigerungen, die über das Mooresche Gesetz hinausgehen. Die neuen bahnbrechenden KI-Funktionen von H100 verstärken die Leistungsfähigkeit von HPC und KI weiter, um für Wissenschaftler und Forscher, die an der Lösung der wichtigsten Herausforderungen der Welt arbeiten, die Zeit bis zum Entdecken zu verkürzen.
H100 verdreifacht die Gleitkommaoperationen pro Sekunde (FLOPS) der Tensor-Recheneinheiten mit doppelter Genauigkeit und liefert 60 TeraFLOPS FP64-Computing für HPC. KI-gestützte HPC-Anwendungen können auch die TF32-Präzision von H100 nutzen, um einen PetaFLOPS Durchsatz für Matrixmultiplikationsoperationen mit einfacher Genauigkeit zu erreichen, ohne Codeänderungen.
H100 verfügt außerdem über neue DPX-Anweisungen, die 7-mal höhere Leistung als A100 und 40-fache Beschleunigung gegenüber CPUs bei dynamischen Programmieralgorithmen wie Smith-Waterman für die DNA-Sequenzausrichtung und Proteinausrichtung für die Proteinstrukturvorhersage liefern.
Vergleich der DPX-Anweisungen NVIDIA HGX™ H100 4-GPU vs. Dual-Socket 32-Core IceLake.
Beschleunigte Analysen
Datenanalysen nehmen bei der Entwicklung von KI-Anwendungen häufig den Großteil der Zeit in Anspruch. Da große Datensätze auf mehrere Server verteilt sind, werden Scale-Out-Lösungen mit reinen CPU-Standardservern durch fehlende skalierbare Rechenleistung ausgebremst.
Beschleunigte Server mit H100 liefern die Rechenleistung – zusammen mit 3 Terabyte pro Sekunde (TB/s) Speicherbandbreite pro Grafikprozessor und Skalierbarkeit mit NVLink und NVSwitch™ –, um Datenanalysen mit hoher Leistung und Skalierung zur Unterstützung riesiger Datensätze zu bewältigen. In Kombination mit NVIDIA Quantum-2 InfiniBand, Magnum IO-Software, Grafikprozessor-beschleunigtem Spark 3.0 und NVIDIA RAPIDS™ ist die Rechenzentrumsplattform von NVIDIA besonders dazu in der Lage, diese enormen Workloads mit höherer Leistung und Effizienz zu beschleunigen.
Unternehmensfähige Auslastung
IT-Manager versuchen, die Auslastung (sowohl Spitzen- als auch Durchschnittsauslastung) der Rechenressourcen im Rechenzentrum zu maximieren. Sie setzen häufig eine dynamische Neukonfiguration der Rechenleistung ein, um Ressourcen der richtigen Größe für die verwendeten Workloads zu erhalten.
Dank H100 mit MIG können Infrastrukturmanager ihre GPU-beschleunigte Infrastruktur standardisieren und gleichzeitig die Flexibilität sichern, GPU-Ressourcen mit größerer Granularität bereitzustellen, um Entwicklern sicher die richtige Menge an beschleunigter Rechenleistung zur Verfügung zu stellen und die Nutzung aller ihrer GPU-Ressourcen zu optimieren.
Integriertes vertrauliches Computing
Traditionelle vertrauliche Computing-Lösungen sind CPU-basiert, was für rechenintensive Workloads wie KI in großem Maßstab zu begrenzt ist. NVIDIA Confidential Computing ist eine integrierte Sicherheitsfunktion der NVIDIA Hopper-Architektur, die NVIDIA H100 zum weltweit ersten Beschleuniger mit diesen Funktionen macht. Mit NVIDIA Blackwell gibt es die Möglichkeit, die Leistung exponentiell zu steigern und gleichzeitig die Vertraulichkeit und Integrität der verwendeten Daten und Anwendungen zu schützen, und so Datenerkenntnisse wie nie zuvor zu gewinnen. Kunden können jetzt eine hardwarebasierte Trusted Execution Environment (TEE) nutzen, die den gesamten Workload auf höchst leistungsfähige Weise sichert und isoliert.
Außergewöhnliche Leistung für umfangreiche KI und HPC
De Hopper Tensor-Core-Grafikprozessor wird die NVIDIA Grace Hopper CPU und GPU-Architektur unterstützen, die speziell für beschleunigtes Computing im Terabyte-Bereich entwickelt wurde und eine 10-mal höhere Leistung bei KI und HPC bei großen Modellen bietet. Die NVIDIA Grace-CPU nutzt die Flexibilität der Arm® Architektur, um eine CPU- und Serverarchitektur zu erstellen, die von Grund auf für beschleunigtes Computing entwickelt wurde. Die Hopper GPU wird mit der Grace CPU sowie der ultraschnellen Chip-zu-Chip-Verbindung von NVIDIA kombiniert und bietet eine Bandbreite von 900 GB/s – 7-mal schneller als PCIe der 5. Generation. Dieses innovative Design bietet eine bis zu 30-mal höhere Gesamt-Systemspeicherbandbreite im Vergleich zu den schnellsten gegenwärtig verfügbaren Servern und eine bis zu 10-mal höhere Leistung für Anwendungen mit einem Datenvolumen von mehreren Terabytes.
Leistungsschub für Inferenz großer Sprachmodelle mit H100 NVL
Für LLMs mit bis zu 70 Milliarden Parametern (Llama 2 70B) nutzt die PCIe-basierte NVIDIA H100 NVL mit NVLink-Brücke die Transformer Engine, NVLink und 188 GB HBM3-Speicher, um optimale Leistung und einfache Skalierung in jedem Rechenzentrum zu bieten – und bringt LLMs damit in den Mainstream. Server, die mit H100 NVL-GPUs ausgestattet sind, steigern die Llama-2-70B-Leistung um das bis zu 5-Fache gegenüber NVIDIA A100-Systemen bei gleichzeitiger geringer Latenz in Rechenzentrumsumgebungen mit begrenztem Stromverbrauch.
Enterprise-Ready: KI-Software optimiert Entwicklung und Bereitstellung
NVIDIA H100 NVL wird mit einem NVIDIA AI Enterprise Fünf-Jahres-Abonnement geliefert und vereinfacht den Aufbau einer KI-fähigen Plattform für Unternehmen. H100 beschleunigt die Entwicklung und Bereitstellung von KI für produktionsfähige generative KI-Lösungen, einschließlich Computer Vision, Sprach-KI, Retrieval Augmented Generation (RAG) und mehr. NVIDIA AI Enterprise umfasst NVIDIA NIM™, eine Reihe einfach zu bedienender Microservices, die entwickelt wurden, um die Bereitstellung generativer KI in Unternehmen zu beschleunigen. Zusammen bieten Bereitstellungen Sicherheit, Verwaltbarkeit, Stabilität und Support auf Unternehmensebene. Dies führt zu leistungsoptimierten KI-Lösungen, die schnelleren Geschäftswert und umsetzbare Erkenntnisse liefern.
Technische Daten
| H100 SXM | H100 NVL | |
|---|---|---|
| FP64 | 34 TeraFLOPS | 30 teraFLOPS |
| FP64-Tensor-Core | 67 TeraFLOPS | 60 TeraFLOPs |
| FP32 | 67 TeraFLOPS | 60 TeraFLOPs |
| TF32 Tensor Core* | 989 TeraFLOPS | 835 TeraFLOPs |
| BFLOAT16 Tensor Core* | 1.979 TeraFLOPS | 1.671 TeraFLOPS |
| FP16 Tensor Core* | 1.979 TeraFLOPS | 1.671 TeraFLOPS |
| FP8 Tensor Core* | 3.958 TeraFLOPS | 3.341 TeraFLOPS |
| INT8 Tensor Core* | 3.958 TOPS | 3,341 TOPS |
| GPU-Speicher | 80 GB | 94 GB |
| GPU-Speicherbandbreite | 3,35 Tb/s | 3,9 TB/s |
| Decoder | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| Max. Thermal Design Power (TDP) | Bis zu 700 W (konfigurierbar) | 350–400 W (konfigurierbar) |
| Mehr-Instanzen-Grafikprozessoren | Bis zu 7 MIGs mit je 10 GB | Bis zu 7 MIGs mit je 12 GB |
| Formfaktor | SXM | PCIe mit zwei Steckplätzen und Luftkühlung |
| Schnittstelle | NVIDIA NVLink™: 900 GB/s PCIe Gen5: 128 GB/s |
NVIDIA NVLINK: 600 GB/s PCIe Gen5: 128 GB/s |
| Serveroptionen | NVIDIA HGX™ H100-Partner und NVIDIA- Certified Systems™ mit 4 oder 8 GPUs, NVIDIA DGX H100 mit 8 GPUs |
Partner und NVIDIA-zertifizierte Systeme mit 1–8 GPUs |
| NVIDIA AI Enterprise | Add-on | Inbegriffen |
* Mit Sparsity
Tiefer Einblick in die NVIDIA Hopper-Architektur