Beschleunigen Sie Innovationen in der Cloud

Perplexity hat mit NVIDIA A100 Tensor Core-GPUs auf AWS und NVIDIA TensorRT™-LLM pplx-api entwickelt und erzielt bis zu 3,1-mal geringere Latenz und 4,3-mal geringere Latenz für den ersten Token im Vergleich zu anderen Plattformen. Das Startup senkte die Inferenzkosten um das Vierfache – Einsparungen von 600.000 US-Dollar pro Jahr – bei gleichzeitiger Skalierung auf Hunderte von GPUs, wobei NVIDIA H100-GPUs 50 % geringere Latenz und 200 % höheren Durchsatz als A100s bieten.

Noetik nutzt im Rahmen des NVIDIA Inception-Programms die NVIDIA Hopper™ Tensor Core-GPUs auf AWS SageMaker HyperPod, um multimodale Foundation-Modelle für die präzise Immuntherapie gegen Krebs zu trainieren. Dies ermöglicht die Verarbeitung von 1 Petabyte an menschlichen Tumordaten – das entspricht dem Profil von über 200 Millionen Zellen – um die Entdeckung neuer Therapien zu beschleunigen und auf einzelne Patienten zugeschnittene Behandlungen zu ermöglichen.

Fireworks.ai hat eine extrem schnelle, kostenoptimierte generative KI-Inferenzlösung mit Amazon EC2 P5-Instanzen auf der Basis von NVIDIA H100 Tensor Core-GPUs entwickelt. Die Plattform bietet einen viermal höheren Durchsatz pro Instanz als Open-Source-Lösungen, senkt die Latenz um bis zu 50 % und kann die Gesamtkosten für Kunden um das Vierfache senken. Entwickler haben den Vorteil, Foundation-Modelle wie Llama 2, Stable Diffusion XL und StarCoder zu nutzen, zu optimieren und anzupassen und gleichzeitig die HIPAA- und SOC2 Typ-II-Compliance-Standards zu erfüllen.

A-Alpha Bio konnte die Medikamentenentwicklung durch den Einsatz von NVIDIA BioNeMo™ auf AWS beschleunigen, eine 12-mal schnellere Inferenz erreichen und 108 Millionen Vorhersagen zur Proteinbindung verarbeiten – 10-mal mehr als ursprünglich geplant. Mithilfe von Amazon EC2 P5-Instanzen, die von NVIDIA H100 Tensor Core-GPUs unterstützt werden, konnte das Biotech-Startup experimentelle Zyklen um 1–2 Iterationen verkürzen und so Kosten senken und gleichzeitig überlegene monoklonale Antikörperkandidaten für Therapeutika entdecken.

Synthesia transformierte die KI-Videoproduktion durch den Einsatz von NVIDIA-GPU-gestützten Amazon EC2-Instanzen und erzielte so eine 30-fache Verbesserung des Durchsatzes beim Training von ML-Modellen. Mithilfe von Amazon EC2 P5-Instanzen mit NVIDIA H100 Tensor Core-GPUs und P4-Instanzen mit NVIDIA A100-GPUs konnte das KI-Startup die Trainingszeit für Sprachmodelle von mehreren Tagen auf wenige Stunden reduzieren und so gleichzeitig eine Zunahme der Benutzerzahlen um 456 % verzeichnen.

Innophore beschleunigt die Arzneimittelforschung durch den Einsatz von NVIDIA BioNeMo zur Analyse von Proteinstrukturen mit der Catalophore-Technologie. Mit der Plattform war die Kartierung der Proteinstrukturen des gesamten menschlichen Organismus in zwei Wochen abgeschlossen – eine Aufgabe, die vorher über ein Jahr dauerte. Dies verbessert die Genauigkeit bei der Vorhersage von Off-Target-Wirkungen von Arzneimitteln um 30 % innerhalb der am höchsten bewerteten Treffer.