This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

NVIDIA H100 Tensor-Core-GPU

Nie dagewesene Leistung, Skalierbarkeit und Sicherheit für jedes Rechenzentrum.

Weitere Infos

Ein Größenordnungssprung für beschleunigtes Computing.

Mit dem NVIDIA H100 Tensor-Core-Grafikprozessor profitieren Sie von beispielloser Leistung, Skalierbarkeit und Sicherheit für jeden Workload. Mit NVIDIA^® NVLink^® Switch System können bis zu 256 H100 verbunden werden, um Exascale-Workloads zu beschleunigen, sowie eine dedizierte Transformer Engine, um Billionen-Parameter-Sprachmodelle zu lösen. Die kombinierten technologischen Innovationen von H100 können große Sprachmodelle um das 30-Fache gegenüber der Vorgängergeneration beschleunigen, um branchenführende Gesprächs-KI bereitzustellen.

NVIDIA H100 PCIe-Datenblatt lesen

Bereit für Enterprise AI?

Die Einführung von KI durch Unternehmen ist heute im Mainstream angekommen, und diese Unternehmen benötigen eine durchgängige, KI-fähige Infrastruktur, mit der sie in dieser neuen Ära Erfolg haben können.

H100 für Mainstream-Server umfasst ein Fünf-Jahres-Abonnement, einschließlich Unternehmenssupport, für die NVIDIA AI Enterprise-Softwaresuite, wodurch die KI-Einführung mit höchster Leistung vereinfacht wird. Dadurch wird sichergestellt, dass Unternehmen Zugriff auf die KI-Frameworks und -Tools haben, die sie benötigen, um H100-beschleunigte KI-Workflows wie KI-Chatbots, Empfehlungs-Engines, Vision-KI und mehr zu erstellen.

Aktivieren Sie NVIDIA AI Enterprise

Sichere Beschleunigung von Workloads von Enterprise bis Exascale.

Bis zu 9-mal schnelleres KI-Training bei den größten Modellen

Mixture of Experts (395 Milliarden Parameter)

Die projizierte Leistung kann Änderungen unterliegen. Training für Mixture of Experts (MoE) Transformer Switch-XXL-Variante mit 395B-Parametern auf 1T-Token-Datensatz | A100-Cluster: HDR-IB-Netzwerk | H100-Cluster: NVLINK Switch System, NDR IB

Transformations-KI-Training.

H100 verfügt über Tensor-Recheneinheiten der vierten Generation und die Transformer Engine mit FP8-Präzision, die bis zu 9-mal schnelleres Training im Vergleich zur vorherigen Generation für MoE-Modelle (Mixture of Experts) bietet. Die Kombination aus NVlink der vierten Generation, die eine GPU-zu-GPU-Verbindung von 900 Gigabyte pro Sekunde (GB/s) besitzt, NVLINK Switch System, das die Kommunikation durch jeden Grafikprozessor über Knoten hinweg beschleunigt, PCIe der 5. Generation und NVIDIA Magnum IO™-Software bietet effiziente Skalierbarkeit von kleinen Unternehmen bis hin zu riesigen, einheitlichen GPU-Clustern.

Die Bereitstellung von H100-Grafikprozessoren im Rechenzentrumsmaßstab bietet hervorragende Leistung sowie die nächste Generation von Exascale High-Performance-Computing (HPC) und Billionen-Parameter-KI für alle Forscher.

Erleben Sie NVIDIA-KI und NVIDIA H100 auf NVIDIA LaunchPad

Echtzeit-Deep-Learning-Inferenz.

KI löst eine Vielzahl von geschäftlichen Herausforderungen mit einer ebenso breiten Palette an neuronalen Netzen. Ein hervorragender KI-Inferenzbeschleuniger muss nicht nur höchste Leistung, sondern auch die Vielseitigkeit bieten, um diese Netzwerke zu beschleunigen.

H100 erweitert die marktführende Position von NVIDIA bei Inferenz durch mehrere Fortschritte, die die Inferenz um das bis zu 30-Fache beschleunigen und die niedrigste Latenz bieten. Tensor-Recheneinheiten der vierten Generation beschleunigen alle Präzisionen, einschließlich FP64, TF32, FP32, FP16 sowie INT8, und die Transformer Engine verwendet FP8 und FP16 zusammen, um die Speicherauslastung zu reduzieren, die Leistung zu steigern und gleichzeitig die Genauigkeit für große Sprachmodelle aufrechtzuerhalten.

Bis zu 30-mal höhere KI-Inferenzleistung bei den größten Modellen.

Megatron Chatbot-Inferenz (530 Milliarden Parameter)

Projected performance subject to change. Inference on Megatron 530B parameter model chatbot for input sequence length=128, output sequence length=20 | A100-Cluster: HDR-IB-Netzwerk | H100-Cluster: NDR-IB-Netzwerk für 16 H100-Konfigurationen | 32 A100 vs. 16 H100 für 1 und 1,5 Sek. | 16 A100 vs. 8 H100 für 2 Sek.

Bis zu 7-mal höhere Leistung für HPC-Anwendungen.

Exascale High-Performance Computing.

Die NVIDIA-Rechenzentrumsplattform bietet konsistent Leistungssteigerungen, die über das Mooresche Gesetz hinausgehen. Die neuen bahnbrechenden KI-Funktionen von H100 verstärken die Leistungsfähigkeit von HPC und KI weiter, um für Wissenschaftler und Forscher, die an der Lösung der wichtigsten Herausforderungen der Welt arbeiten, die Zeit bis zum Entdecken zu verkürzen.

H100 verdreifacht die Gleitkommaoperationen pro Sekunde (FLOPS) der Tensor Cores mit doppelter Genauigkeit und liefert 60 TeraFLOPS FP64-Computing für HPC. KI-gestützte HPC-Anwendungen können die TF32-Präzision von H100 nutzen, um einen PetaFLOP Durchsatz für Matrixmultiplikationsoperationen mit einfacher Genauigkeit zu erreichen, ohne Codeänderungen.

H100 verfügt außerdem über DPX-Anweisungen, die bei dynamischen Programmieralgorithmen wie Smith-Waterman für die DNA-Sequenzausrichtung 7-mal mehr Leistung als NVIDIA A100 Tensor Core-GPUs und eine 40-fache Beschleunigung gegenüber herkömmlichen Servern mit Dual-Socket-CPUs allein bieten.

Beschleunigte Datenanalysen.

Datenanalysen nehmen bei der Entwicklung von KI-Anwendungen häufig den Großteil der Zeit in Anspruch. Da große Datensätze auf mehrere Server verteilt sind, werden Scale-Out-Lösungen mit reinen CPU-Standardservern durch fehlende skalierbare Rechenleistung ausgebremst.

Beschleunigte Server mit H100 liefern die Rechenleistung – zusammen mit 3 Terabyte pro Sekunde (TB/s) Speicherbandbreite pro Grafikprozessor und Skalierbarkeit mit NVLink und NVSwitch –, um Datenanalysen mit hoher Leistung und Skalierung zur Unterstützung riesiger Datensätze zu bewältigen. In Kombination mit NVIDIA Quantum-2 Infiniband, der Magnum-IO-Software, dem grafikprozessorbeschleunigten Spark 3.0 und NVIDIA RAPIDS^™ ist die NVIDIA-Rechenzentrum-Plattform dazu in der Lage, diese riesigen Workloads mit einem unvergleichlichen Maß an Leistung und Effizienz zu beschleunigen.

Mehr-Instanzen-Grafikprozessor von NVIDIA

Unternehmensfähige Auslastung.

IT-Manager versuchen, die Auslastung (sowohl Spitzen- als auch Durchschnittsauslastung) der Rechenressourcen im Rechenzentrum zu maximieren. Sie setzen häufig eine dynamische Neukonfiguration der Rechenleistung ein, um Ressourcen der richtigen Größe für die verwendeten Workloads zu erhalten.

Die zweite Generation von Multi-Instance GPU (MIG) in H100 maximiert die Auslastung jeder GPU, indem sie sicher in bis zu sieben separate Instanzen partitioniert wird. Mit vertraulicher Computing-Unterstützung ermöglicht H100 eine sichere End-to-End-Nutzung mit mehreren Mandanten, ideal für Cloud-Service-Provider-Umgebungen (CSP).

Dank H100 mit MIG können Infrastrukturmanager ihre GPU-beschleunigte Infrastruktur standardisieren und gleichzeitig die Flexibilität sichern, GPU-Ressourcen mit größerer Granularität bereitzustellen, um Entwicklern sicher die richtige Menge an beschleunigter Rechenleistung zur Verfügung zu stellen und die Nutzung aller ihrer GPU-Ressourcen zu optimieren.

Mehr Informationen zu MIG

Integriertes vertrauliches Computing.

Moderne vertrauliche Computing-Lösungen sind CPU-basiert, was für rechenintensive Workloads wie KI und HPC zu begrenzt ist. NVIDIA Confidential Computing ist eine integrierte Sicherheitsfunktion der NVIDIA Hopper-Architektur™, die H100 zum weltweit ersten Beschleuniger mit vertraulichen Computing-Funktionen macht. Nutzer können die Vertraulichkeit und Integrität Ihrer Daten und Anwendungen schützen und gleichzeitig von der unübertroffenen Beschleunigung der H100-Grafikprozessoren für KI-Workloads profitieren. Es entsteht eine hardwarebasierte vertrauenswürdige Ausführungsumgebung (TEE), die den gesamten Workload schützt und isoliert. Dieser wird auf einer einzigen H100-GPU, mehreren H100-GPUs innerhalb eines Knotens oder einzelnen MIG-Instanzen ausgeführt. GPU-beschleunigte Anwendungen können im TEE unverändert ausgeführt werden und müssen nicht partitioniert werden. Nutzer können die Leistungsfähigkeit von NVIDIA-Software für KI und HPC mit der Sicherheit einer Hardware-Root-of-Trust-Anwendung kombinieren, die von NVIDIA Confidential Computing angeboten wird.

Erfahren Sie mehr über Confidential Computing von NVIDIA

The convergence of GPU and SmartNIC.

NVIDIA H100 CNX combines the power of H100 with the advanced networking capabilities of the NVIDIA ConnectX^®-7 smart network interface card (SmartNIC) in a single, unique platform. This convergence delivers unparalleled performance for GPU-powered input/output (IO)-intensive workloads, such as distributed AI training in the enterprise data center and 5G processing at the edge.

Learn More About NVIDIA H100 CNX

Unerreichte Leistung für KI und HPC im großen Maßstab.

Der Hopper Tensor-Core-Grafikprozessor wird die NVIDIA Grace Hopper CPU und GPU-Architektur unterstützen, die speziell für beschleunigtes Computing im Terabyte-Bereich entwickelt wurde und eine 10-mal höhere Leistung bei KI und HPC bei großen Modellen bietet. Die NVIDIA Grace-CPU nutzt die Flexibilität der Arm^® -Architektur, um eine CPU- und Serverarchitektur zu erstellen, die von Grund auf für beschleunigtes Computing entwickelt wurde. Die Hopper GPU wird mit der Grace CPU sowie der ultraschnellen Chip-zu-Chip-Verbindung von NVIDIA kombiniert und bietet eine Bandbreite von 900 GB/s, 7-mal schneller als PCIe der 5. Generation. Dieses innovative Design bietet eine bis zu 30-mal höhere Gesamt-Systemspeicherbandbreite im Vergleich zu den schnellsten gegenwärtig verfügbaren Servern und eine bis zu 10-mal höhere Leistung für Anwendungen mit einem Datenvolumen von mehreren Terabytes.

Weitere Informationen zu NVIDIA Grace

Siehe technische Daten.

Formfaktor	H100 SXM	H100 PCIe
FP64	34 TeraFLOPS	26 TeraFLOPS
FP64-Tensor-Core	67 TeraFLOPS	51 TeraFLOPS
FP32	67 TeraFLOPS	51 TeraFLOPS
TF32-Tensor-Core	989 TeraFLOPS*	756 TeraFLOPS*
BFLOAT16-Tensor-Core	1.979 TeraFLOPS*	1.513 TeraFLOPS*
FP16-Tensor-Core	1.979 TeraFLOPS*	1.513 TeraFLOPS*
FP8-Tensor-Core	3.958 TeraFLOPS*	3.026 TeraFLOPS*
INT8-Tensor-Core	3.958 TOPS*	3.026 TOPS*
GPU-Speicher	80 GB	80 GB
GPU-Speicherbandbreite	3,35 Tb/s	2 TB/s
Decoder	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG
Max. Thermal Design Power (TDP)	Bis zu 700 W (konfigurierbar)	300 bis 350 W (konfigurierbar)
Mehr-Instanzen-Grafikprozessoren	Bis zu 7 MIGs mit je 10 GB
Formfaktor	SXM	PCIe Zwei Steckplätze mit Luftkühlung
Konnektivität	NVLink: 900 GB/s PCIe Gen5: 128 GB/s	NVLINK: 600 GB/s PCIe Gen5: 128 GB/s
Serveroptionen	NVIDIA HGX^™ H100-Partner und NVIDIA-Certified Systems^™ mit 4 oder 8 GPUs, NVIDIA DGX^™ H100 mit 8 GPUs	Partner und NVIDIA-Certified Systems mit 1–8 GPUs
NVIDIA AI Enterprise	Add-on	Inbegriffen

* Mit geringer Dichte dargestellt. Die Spezifikationen sind ohne geringe Dichte um die Hälfte niedriger.

Vorläufige Spezifikationen. Änderungen vorbehalten.

Tiefer Einblick in die NVIDIA Hopper-Architektur

Whitepaper lesen