Combine el poder de la plataforma de IA de NVIDIA con la flexibilidad y la escalabilidad de GKE para administrar y escalar de manera eficiente el entrenamiento y la inferencia de IA Generativa y otras cargas de trabajo de computación intensiva. El aprovisionamiento a pedido, la escalabilidad automatizada, la compatibilidad con GPU de instancias múltiples (MIG) de NVIDIA y las capacidades de compartir tiempo de GPU garantizan una utilización óptima de los recursos. Esto minimiza los costos operativos a la vez que ofrece la potencia computacional necesaria para cargas de trabajo de IA exigentes.

Combina la potencia de la computación acelerada por NVIDIA con Vertex AI de Google Cloud, una plataforma MLOps unificada y totalmente administrada para crear, implementar y escalar modelos de IA en producción. Aprovecha las últimas GPU de NVIDIA y el software de IA de NVIDIA, como Triton™ Inference Server, en el entrenamiento, la predicción, los pipelines y las notas de Vertex AI para acelerar el desarrollo y la implementación de IA generativa sin las complejidades de gestionar infraestructura.

Aprovecha NVIDIA RAPIDS™ Accelerator para Spark para acelerar las cargas de trabajo de Apache Spark y Dask en Dataproc, el servicio de procesamiento de datos totalmente administrado de Google Cloud, sin cambios de código. Esto permite operaciones más rápidas de procesamiento, extracción, transformación y carga (ETL) de datos, así como pipelines de machine learning, a la vez que reduce sustancialmente los costos de infraestructura. Con el RAPIDS Accelerator para Spark, los usuarios también pueden acelerar las cargas de trabajo por lotes dentro de Dataproc Serverless sin aprovisionar clústeres.

Acelera la inferencia del machine learning con la IA de NVIDIA en Google Cloud Dataflow, un servicio gestionado para ejecutar una amplia variedad de patrones de procesamiento de datos, incluidos los análisis de streaming y por lotes. Los usuarios pueden optimizar el rendimiento de inferencia de los modelos de IA mediante el uso de la integración de NVIDIA TensorRT con Apache Beam SDK y acelerar escenarios de inferencia complejos dentro en un pipeline de procesamiento de datos mediante el uso de las GPU de NVIDIA compatibles con Dataflow.

Acelera el camino para implementar la IA generativa con NVIDIA NIM en Google Cloud Run, una plataforma de cómputo sin servidor totalmente administrada para implementar contenedores en la infraestructura de Google Cloud. Mediante la compatibilidad de las GPU de NVIDIA en Cloud Run, los usuarios pueden aprovechar NIM para optimizar el desempeño y acelerar la implementación de modelos de IA generativa en producción en un entorno sin servidores que abstrae la gestión de la infraestructura.

Acceda fácilmente a la capacidad de GPU de NVIDIA en Google Cloud para cargas de trabajo de corta duración, como entrenamiento de IA, optimizaciones y experimentación con Dynamic Workload Scheduler. Con la programación flexible y el abastecimiento atómico, los usuarios obtienen acceso a los recursos de computación que necesitan dentro de servicios como GKE, Vertex AI y Batch, a la vez que mejoran la utilización de recursos y optimizan los costos asociados con la ejecución de cargas de trabajo de IA.

Con la llegada de la plataforma NVIDIA Blackwell a Google Distributed Cloud, las empresas ahora pueden implementar de forma segura IA avanzada basada en agentes (incluidos los modelos de Google Gemini) directamente en sus propios data centers in situ. Esta integración permite a las organizaciones aprovechar el desempeño y la escalabilidad de la IA para cargas de trabajo confidenciales y reguladas, a la vez que garantiza la privacidad, la soberanía y el cumplimiento de los datos. Al combinar las fortalezas de Google Distributed Cloud y NVIDIA Blackwell, las empresas pueden acelerar la innovación con IA de última generación y, al mismo tiempo, mantener un control total sobre sus datos y operaciones.

Google nube desarrolló una receta para la inferencia desagregada con NVIDIA Dynamo, una plataforma de alto desempeño y baja latencia para modelos de IA de vanguardia. Esta receta facilita la implementación de NVIDIA Dynamo en la hipercomputadora de IA de Google Cloud, lo que incluye Google Kubernetes Engine (GKE), el motor de inferencia vLLM y las instancias aceleradas por GPU A3 Ultra con tecnología de las GPU NVIDIA H200.

La familia de modelos abiertos NVIDIA Nemotron, como Nemotron 3 Nano, estará disponible en Google Vertex IA Model Garden como microservicios NVIDIA NIM. Esta integración proporcionará a los desarrolladores y a las empresas acceso a los modelos líderes de peso abierto de NVIDIA. Con una implementación administrada por Vertex AI, las organizaciones pueden desarrollar e implementar rápidamente agentes de IA personalizados con tecnología Nemotron, al tiempo que mantienen el control sobre el desempeño, el costo y el cumplimiento.

NVIDIA Run:ai Model Streamer viene con compatibilidad nativa con Google nube Storage, lo que potencia las cargas de trabajo de inferencia de vLLM en Google Kubernetes Engine (GKE). Esta colaboración acelera casi cinco veces la carga de los LLM desde el almacenamiento “frío” a la memoria para lograr una inferencia de IA más rápida, lo que incluye un ejemplo que usa un modelo Meta Llama 3.3-70B de 141 GB.

Cluster Director es un servicio de Google Cloud diseñado para optimizar la implementación y administración de clústeres de IA y HPC a gran escala, acelerado por NVIDIA. Esto incluye la compatibilidad completa para sistemas de IA a gran escala, como las VM A4X y A4X Max de Google Cloud con los sistemas NVIDIA GB200 y GB300 NVL72. Google Cloud anunció la compatibilidad con la vista previa de Cluster Director para Slurm en GKE, utilizando la oferta Slinky de SchedMD, una empresa adquirida recientemente por NVIDIA.