DIE NVIDIA EGX-PLATFORM FÜR EDGE-COMPUTING

Unternehmen arbeiten jetzt in der Peripherie. In den Fabrikhallen. In den Geschäften. Auf den Straßen der Stadt. In Notaufnahmen. In der Peripherie werden Daten von Milliarden IoT-Sensoren gesendet, die von Edge-Servern verarbeitet werden. Dadurch können Entscheidungen, wo sie gebraucht werden, in Echtzeit getroffen werden. Intelligenter Einzelhandel, intelligente Gesundheitsversorgung und Fertigung, intelligenter Transport und intelligente Städte – all dies ist mit der NVIDIA EGX-Plattform möglich, die die Leistung der beschleunigten KI in der Peripherie nutzbar macht.

EINSATZ VON ECHTZEIT-KI IN DER PERIPHERIE

Die NVIDIA EGX-Plattform bietet die Leistung von beschleunigtem KI-Computing mit einer einfach zu implementierenden Cloud-nativen Software-Stack, einer Reihe validierter Server und Geräte sowie einem riesigen Netz aus Partnern, die EGX über ihre Produkte und Dienstleistungen anbieten.

Führt KI-Container aus

Die NGC-Registry verfügt über ein umfangreiches Angebot an GPU-beschleunigter Software für EGX, einschließlich Helm Charts für die Bereitstellung auf Kubernetes. NGC-Container decken die wichtigsten KI- und Datenwissenschaftssoftwares ab, die von NVIDIA abgestimmt, getestet und optimiert wurden. Außerdem erhält der Nutzer über die Registry Zugriff auf domänenspezifische, vorab trainierte Modelle und für Kubernetes vorbereitete Helm Charts von Drittanbietern. Damit lassen sich leistungsstarke Software und maßgeschneiderte Lösungen leichter bereitstellen.

Cloud Native, Edge-First

NVIDIA EGX ist ein Cloud-natives und skalierbares Edge-First-Software-Stack, mit der Sie GPU-Server schnell und einfach bereitstellen können. Eine der wichtigsten Komponenten von EGX ist der NVIDIA GPU Operator, der die Implementierung aller erforderlichen Komponenten für die Bereitstellung von GPU-fähigen Kubernetes-Clustern standardisiert und automatisiert.

EGX-fähige Server

Die EGX-Hardware-Produkte beginnen beim kleinen NVIDIA® Jetson Nano™, der schon bei einer geringen Watt-Leistung eine halbe Billion Operationen pro Sekunde (TOPS) für die Verarbeitung von Aufgaben, z. B. in der Bilderkennung, bereitstellen kann. Die Produkte reichen bis zu einem vollständigen Rack mit NVIDIA T4 Servern, die mehr als 10.000 TOPS liefern, um Hunderten von Benutzern Echtzeit-Spracherkennung und andere komplexe KI-Erlebnisse zu ermöglichen.

Leistungsstärkste, sichere Peripherie-KI

Die NVIDIA EGX A100 verbindet die hohe Leistung der NVIDIA Ampere-Architektur mit den verbesserten Funktionen für Sicherheit und Latenzreduzierung der ConnectX-6 DX SmartNIC von NVIDIA Mellanox®, um eine sicherere Echtzeit-KI-Verarbeitung in der Peripherie zu ermöglichen.

AI Scalability from Edge to Data Center

KI-Skalierbarkeit von der Peripherie bis hin zum Datenzentrum

Die NVIDIA EGX-Plattform umfasst eine skalierbare Palette an NGC-fähigen Edge-Servern – vom Jetson Nano, der Verkehrskameras in einer Smart City verarbeitet, über einen einzelnen Edge-Server mit NVIDIA-Grafikprozessoren, die im Hinterzimmer eines Einzelhandelsgeschäftes installiert sind, bis hin zu einer gesamten Server Flotte, die ein Mikrorechenzentrum für Telekommunikationsbetrieb umfasst. Unabhängig vom Formfaktor ist das NVIDIA EGX-Stack für alle Bereiche kompatibel und ermöglicht es Unternehmen, Edge-Vorgänge schnell und effizient zu skalieren – von Kameras und Geräten bis hin zu einem großen Rechenzentrum.

IoT Revolution With AI and 5G

Mit KI und 5G die IoT-Revolution beschleunigen

5G läutet ein neues Zeitalter der drahtlosen Kommunikation ein. Es bietet eine 10-mal geringere Latenz und eine 1000-mal höhere Bandbreite. Außerdem führt es das Netzwerk-Slicing ein, mit dem Telekommunikationsunternehmen den Kunden dynamisch individuelle Dienste anbieten können. Mit dem Umstieg auf 5G möchten Telekommunikationsunternehmen eine Reihe von Software-definierten Anwendungen in der Peripherie des Unternehmens betreiben – von KI über erweiterte Realität bis hin zu virtueller Realität und Gaming. Mit NVIDIA EGX und dem neuen NVIDIA Aerial SDK sind GPU-beschleunigte und Software definierte virtuelle Funkzugangsnetze (vRANs) schneller da, als Sie denken.

NVIDIA EGX Stack

IT-Einfachheit für die Edge-Bereitstellung

Mit dem NVIDIA EGX-Stack verschwinden herkömmliche IT-Probleme bei der Installation von Software auf Remote-Systemen. Mithilfe von Helm Charts, Containern, kontinuierlicher Integration und kontinuierlicher Bereitstellung (CI/CD) können Unternehmen nun mühelos in wenigen Minuten aktualisierte KI-Container bereitstellen.

Der Kubernetes-basierte NVIDIA GPU Operator wird keine einzigartigen Betriebssystem (OS)-Bilder mehr zwischen GPU und GPU-Knoten benötigt. Stattdessen bündelt der GPU Operator alles, was Sie für die Unterstützung eines Tesla-Grafikprozessors benötigen – den Treiber, die Container-Laufzeit, das Geräte-Plug-in und die Überwachung mit der Bereitstellung durch ein Helm Chart. Nun umfasst ein einzelnes Gold Master-Bild sowohl die CPU- als auch die GPU-Knoten.

Hybrid Cloud Management

Kompatibel mit Kubernetes-Verwaltungsplattformen

Es ist besonders wichtig, einen produktionstauglichen Kubernetes-Cluster auf Unternehmensniveau bereitstellen, skalieren und verwalten zu können. Die EGX-Stack-Architektur wird von führenden Hybrid-Cloud-Plattformpartnern unterstützt: Canonical, Cisco Container Platform (CCP), Microsoft Azure, Nutanix, Red Hat und VMware. Durch ihre Unterstützung für den GPU Operator wird sichergestellt, dass diese Cluster für GPU-Workloads konfiguriert sind und dass Sie optimal und konsistent ausgeführt werden.

BRANCHENÜBERGREIFENDES EDGE-COMPUTING

Die NVIDIA EGX-Plattform stellt eine einzelne, gemeinsame Grundlage für branchenführende Edge-KI-Anwendungen und -Frameworks bereit.

At Seagate, we have deployed an intelligent edge GPU-based vision solution in our manufacturing plants to inspect the quality of our hard disk read-and-write heads. The NVIDIA EGX platform dramatically accelerates inference at the edge, allowing us to see subtle defects that human operators haven’t been able to see in the past. We expect to realize up to a 10 percent improvement in manufacturing throughput and up to 300 percent ROI from improved efficiency and better quality.

— Bruce King, Senior Principal Data Scientist, Seagate Technology

AI is fundamental to achieving precision health and must be pervasively available from the cloud to the edge and directly on medical devices. NVIDIA’s EGX enables GE Healthcare to deliver rapid [magnetic resonance (MR)] acquisition times, improves image quality, and reduces variability by embedding NVIDIA T4 GPUs directly into our medical devices—all to further our goal of improving patient outcomes. Real-time, critical-care use cases demand AI at the edge. This is why we created our Edison intelligence offering and partnered with NVIDIA to bring AI into our medical devices and Edison edge appliances—and why we are working with ACR AI-LAB to democratize AI.

— Jason Polzin, PhD, General Manager of MR Applications at GE Healthcare

Red Hat is committed to providing a consistent experience for any workload, footprint, and location, from the hybrid cloud to the edge. By combining Red Hat OpenShift and NVIDIA EGX-enabled platforms, customers can better optimize their distributed operations with a consistent, high-performance, container-centric environment.

— Chris Wright, Chief Technology Officer, Red Hat

Avitas is working to revolutionize asset integrity management through our innovative digital inspection and prediction platform. Our unique approach combines advanced analytics with autonomous inspection techniques helping our customers to provide safer, cleaner and more efficient energy solutions. NVIDIA is an important partner in helping to scale our edge capabilities with the EGX Platform.

— Jason Roe, CEO – Avitas Systems, a Baker Hughes Venture

Mellanox SmartNICs and switches provide the ideal [input/output (I/O)] connectivity for data access that scale from the edge to hyperscale data centers. The combination of high-performance, low-latency, and accelerated networking provides a new infrastructure tier of computing that is critical to efficiently access and supply the data needed to fuel the next generation of advanced AI solutions on edge platforms such as NVIDIA EGX.

— Michael Kagan, Chief Technology Officer, Mellanox Technologies

Bei Seagate haben wir in unseren Produktionsstätten eine intelligente Edge-GPU-basierte Vision-Lösung eingesetzt, um die Qualität unserer Festplatten-Schreib-/Leseköpfe zu überprüfen. Die NVIDIA EGX-Plattform beschleunigt die Inferenz in der Peripherie drastisch und ermöglicht es uns, kleinste Fehler zu erkennen, die menschliche Bediener in der Vergangenheit nicht sehen konnten. Wir erwarten eine Verbesserung des Produktionsdurchsatzes um bis zu 10 Prozent und einen ROI von bis zu 300 Prozent durch verbesserte Effizienz und Qualität.

— Bruce King, Senior Principal Data Scientist, Seagate Technology

KI ist von grundlegender Bedeutung für die Erreichung einer präzisen Patientenversorgung und muss von der Cloud bis hin zur Peripherie und direkt auf Medizinprodukten durchgängig verfügbar sein. EGX von NVIDIA ermöglicht es GE Healthcare, schnelle MR-Aufnahmezeiten zu erreichen, die Bildqualität zu verbessern und die Variabilität zu reduzieren. Dies erreichen wir durch die direkte Integration von NVIDIA T4-GPUs in unsere Medizinprodukte. Mit alldem zielen wir darauf ab, die Resultate für unsere Patienten zu verbessern. Echtzeit-Anwendungsfälle in der Intensivmedizin erfordern KI in der Peripherie. Aus diesem Grund haben wir unser Edison-Intelligence-Angebot entwickelt und sind mit NVIDIA eine Partnerschaft eingegangen, um KI in unsere Medizinprodukte und Edison-Edge-Appliances zu integrieren. Aus diesem Grund arbeiten wir auch mit ACR AI-LAB zusammen, um die KI-Nutzung zu demokratisieren.

— Jason Polzin, PhD, General Manager of MR Applications bei GE Healthcare

Red Hat ist bestrebt, ein einheitliches Erlebnis für alle Workloads, Footprints und Standorte zu bieten, von der Hybrid-Cloud bis zur Peripherie. Durch die Kombination von Red Hat OpenShift und NVIDIA EGX-fähigen Plattformen können Kunden ihre verteilten Abläufe mit einer konsistenten, leistungsstarken und containerzentrierten Umgebung besser optimieren.

— Chris Wright, Chief Technology Officer, Red Hat

Die PC-Produktionslinien von Foxconn sind durch die Inspektionsgeschwindigkeit begrenzt, da die manuelle Inspektion jedes Teils derzeit vier Sekunden dauert. Unser Ziel ist es, den Durchsatz der PC-Produktionslinie mit der NVIDIA EGX-Plattform für intelligente Echtzeit-Entscheidungen in der Peripherie um über 40 Prozent zu steigern. Unser Modell erkennt und klassifiziert 16 Fehlertypen und -orte und nutzt schnelle neuronale Netzwerke, die auf NVIDIA-GPUs laufen. Es erreicht 98 Prozent Genauigkeit bei einer dem Menschen überlegenen Durchsatzrate.

— Mark Chien, General Manager, Foxconn D Group

Smart NICs und Switches von Mellanox bieten die ideale I/O-Konnektivität für den Datenzugriff – von der Peripherie bis hin zu Hyperscale-Rechenzentren. Die Kombination aus leistungsstarkem, latenzarmem und beschleunigtem Networking bietet eine neue Infrastrukturschicht des Computings, die entscheidend für den effizienten Zugriff und die Bereitstellung der Daten ist, die für die nächste Generation fortschrittlicher KI-Lösungen auf Edge-Plattformen wie NVIDIA EGX erforderlich sind.

— Michael Kagan, Chief Technology Officer, Mellanox Technologies

Software-Stack der Unternehmensklasse für EGX

Software-Stack der Unternehmensklasse für EGX

NVIDIA EGX Stack ist ein optimierter Software-Stack, der NVIDIA-Treiber, ein CUDA® Kubernetes-Plugin, eine CUDA Docker-Containerlaufzeit, CUDA-X™-Bibliotheken und containerisierte KI-Frameworks und -Anwendungen enthält, einschließlich NVIDIA TensorRT™, TensorRT Inference Server und DeepStream. Das NVIDIA EGX Stack ist für NGC-fähige Edge-Server optimiert. Außerdem sind Helm Charts für die Installation in der NVIDIA NGC verfügbar.

EGX Partners

  • HERSTELLER VON EDGE-SERVERN
  • HYBRID-CLOUD-PLATTFORMPARTNER
  • Jetson Micro Edge-Serverpartner
Acer
Advantech
ASRock Rack
Asus
Atos
Cisco
Dell EMC
Fujitsu
Gigabyte
Hewlett Packard Enterprise
Inspur
Ineventec
Lenovo
Mitac
Quanta Cloud Technology
Supermicro
Tyan
wiwynn
Canonical
Cisco
Microsoft Azure
Nutanix
Red Hat
VMware
Aaeon
Adlink
Advantech
AIMobile
Auvidea
AverMedia
CTI
Diamond Systems
Leopard Imaging
MiiVii
RealTimes

NVIDIA EGX IN AKTION

Melden Sie sich an, um mehr über die Edge-Computing-Plattform NVIDIA EGX zu erfahren.