Con capacidades de aceleración de IA, gráficos y medios de próxima generación, la L40S ofrece un rendimiento de inferencia hasta 5 veces superior al de la generación anterior NVIDIA A40. Con un rendimiento innovador y 48 gigabytes (GB) de capacidad de memoria, la L40S es la plataforma ideal para acelerar las cargas de trabajo de IA generativa multimodales.
NVIDIA L40S
Rendimiento gráfico y de IA sin precedentes para el centro de datos.
La GPU universal más potente
Experimenta un rendimiento innovador de varias cargas de trabajo con la GPU NVIDIA L40S. La GPU L40S, que combina una potente computación de IA con los mejores gráficos y aceleración multimedia de su clase, se ha creado para impulsar la próxima generación de cargas de trabajo del centro de datos, desde la IA generativa y la formación e inferencia de modelos de lenguaje de gran tamaño (LLM) hasta gráficos 3D, renderizado y vídeo.
Aspectos destacados
Rendimiento universal
Rendimiento de Tensor
1466 TFLOPS¹
Rendimiento del núcleo RT
212 TFLOPS
Rendimiento de precisión simple
91,6 TFLOPS
1 Las velocidades máximas se basan en la frecuencia acelerada de la GPU.
Características
Con tecnología de la arquitectura NVIDIA Ada Lovelace
Workloads
Aceleración de varias cargas de trabajo
IA generativa
Desarrolla nuevos servicios, información y contenido original.
Entrenamiento de LLM e inferencia
Acelera las cargas de trabajo de entrenamiento e inferencia de IA.
Renderizado y gráficos 3D
Impulsa flujos de trabajo creativos de alta fidelidad con gráficos NVIDIA RTX™.
NVIDIA Omniverse
Crea y opera aplicaciones del metaverso.
NVIDIA OVX L40S
Infraestructura de centro de datos escalable para IA y gráficos de alto rendimiento.
Rendimiento
Rendimiento avanzado
IA generativa de imágenes
Stable Diffusion (images per minute)
Rendimiento medido; NVIDIA L40S
Stable Diffusion v2.1, TRT 8.6.1, BS:1, FP16 | Stable Diffusion XL 1.0, TRT 8.6.1, BS:1, FP16
Inferencia del modelo lingüístico de gran tamaño
1st Token Latency (ms)
Rendimiento medido; NVIDIA L40S
Llama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1;: FP8.
Especificaciones
GPU NVIDIA L40S
| FP32 | 91,6 teraFLOPS |
| Tensor Core de TF32 | 366 teraFLOPS |
| FP16 | 733 teraFLOPS |
| FP8 | 1466 teraFLOPS* |
| Rendimiento del núcleo RT | 212 teraFLOPS |
| Consumo máximo | 350 W |
|
* Con dispersión |
|