НОВЫЙ УРОВЕНЬ ВОВЛЕЧЕННОСТИ ПОЛЬЗОВАТЕЛЕЙ

Повышайте производительность и отзывчивость в задачах инференса.

Искусственный интеллект вынужден справляться с постоянно растущим объемом данных и при этом обеспечивать высокий уровень отзывчивости. Решите эту проблему с помощью NVIDIA® Tesla®, самой быстрой и энергоэффективной в мире платформой для инференса в дата-центре. Решения Tesla поддерживают все задачи глубокого обучения и являются оптимальным решением для проведения инференса, объединяя в себе максимальную производительность, энергоэффективность и широкие возможности для искусственного интеллекта. TensorRT раскрывает потенциал производительности GPU Tesla в различных приложениях, таких как системы для потоковой передачи видео, голосовые и рекомендательные системы, а также позволяет работать с SDK NVIDIA DeepStream.

INFERENCE SUCCESS STORIES

iFLYTEK

iFLYTEK’s Voice Cloud Platform uses NVIDIA Tesla P4 and P40 GPUs for training and inference, to increase speech recognition accuracy.

VALOSSA

NVIDIA Inception Program startup Valossa is using NVIDIA GPUs to accelerate deep learning and divine viewer behavior from video data.

JD.COM

JD uses NVIDIA AI inference platform to achieve 40X increase in video detection efficiency.

NVIDIA DATA CENTER INFERENCE PLATFORMS

РЕШЕНИЯ NVIDIA ДЛЯ ИНФЕРЕНСА В ДАТА-ЦЕНТРЕ

TESLA V100
Универсальный ускоритель для дата-центров

Tesla V100 обеспечивает в задачах инференса 125 терафлопс производительности на GPU. Один сервер, оснащенный восемью ускорителями Tesla V100, может обеспечить быстродействие на уровне одного петафлопса.

TESLA P4
Высочайшая энергоэффективность в горизонтально-масштабируемых серверах

Tesla P4 предназначен для ускорения горизонтально-масштабируемых серверов и обеспечивает в 60 раз более высокую энергоэффективность по сравнению с CPU.

TESLA P40
Высокая производительность инференса

Tesla P40 обеспечивает высочайшую производительность в задачах инференса и восьмиразрядных операциях (INT8) и имеет 24 ГБ встроенной памяти."

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ ВЫЧИСЛЕНИЙ В ДАТА-ЦЕНТРАХ NVIDIA

NVIDIA TensorRT

NVIDIA TensorRT™ – это высокопроизводительный ускоритель инференса нейронных сетей, который ускоряет приложения для машинного перевода и распознавания речи, а также рекомендательные системы до 100 раз по сравнению с CPU. Возможности TensorRT позволяют разработчикам оптимизировать модели нейронных сетей, калибровать их для более высокой точности с минимальными погрешностями и разворачивать модели для формирования рабочей среды на предприятиях и в гипермасштабируемых дата-центрах.

SDK DeepStream

NVIDIA DeepStream для Tesla – это SDK для построения масштабируемых приложений на основе глубокого обучения для анализа видео, предназначенных для «умных» городов и гипермасштабируемых дата-центров. Набор инструментов совмещает в себе NVIDIA TensorRT для инференса, SDK Video Codec для транскодирования, а также API для предварительной обработки и выбора данных, позволяя в полной мере использовать мощность GPU Tesla. Например, на GPU Tesla P4 вы можете одновременно декодировать и анализировать до 30 видеопотоков в разрешении HD в реальном времени.

Kubernetes в GPU NVIDIA

Движок Kubernetes в GPU NVIDIA позволяет предприятиям легко увеличивать применение тренировки и инференса для мультиоблачных GPU-кластеров. С помощью движка Kubernetes можно мгновенно развернуть GPU-ускоренные приложения для глубокого обучения и НРС на мультиоблачных GPU-кластерах.

ВОЗМОЖНОСТИ И ПРЕИМУЩЕСТВА

В 50 раз более высокая производительность для растущих рабочих нагрузок

Графические ускорители Tesla V100 значительно повышают производительность алгоритмов глубокого обучения в дата-центрах и позволяют извлекать знания из современного цунами информации. Сервер, оснащенный одним графическим ускорителем Tesla V100, может заменить до 50 серверов на базе CPU в задачах инференса. Таким образом вы получаете большую производительность наряду со снижением общих затрат.

Непревзойденная энергоэффективность для горизонтально-масштабируемых серверов

Tesla P4 повышает производительность горизонтально масштабируемых серверов высокой плотности благодаря своему малому форм-фактору и уровню энергопотребления в 50-75 Вт. Он обеспечивает в 52 раза более высокую энергоэффективность по сравнению с CPU в задачах инференса. Это позволяет масштабировать решения в существующей инфраструктуре и удовлетворять экспоненциально растущий спрос на приложения с искусственным интеллектом.

Специализированный движок декодирования для новых видеосервисов на основе искусственного интеллекта

Tesla P4 может обрабатывать в реальном времени до 39 видеопотоков в разрешении HD. Он оснащен специализированным аппаратно ускоренным движком декодирования, который работает параллельно с ядрами NVIDIA CUDA® выполняющими операции инференса. Благодаря интеграции алгоритмов глубокого обучения в конвейер обработки видео, вы можете предложить своим пользователям интеллектуальные сервисы нового поколения, предназначенные для поиска видео и других задач.

Ускорение развертывания с NVIDIA TensorRT и DeepStream SDK

Скачать технический обзор платформы NVIDIA для глубокого обучения NVIDIA TensorRT - это высокопроизводительный движок инференса, предназначенный для развертывания приложений глубокого обучения. С помощью TensorRT натренированные нейронные сети - обычно в форме 32-битных или 16-битных операций - могут быть оптимизированы до операций INT8 пониженной точности на Tesla P4 или половинной точности на Tesla V100. SDK NVIDIA DeepStream использует мощь графических процессоров Tesla для одновременного декодирования и анализа видеопотоков.

СПЕЦИФИКАЦИИ ПРОИЗВОДИТЕЛЬНОСТИ

Tesla V100 – универсальный ускоритель для дата-центров Tesla P4 для ультраэнергоэффективных горизонтально-масштабируемых серверов Tesla P40 для производительных серверов для задач инференса
Производительность операций одинарной точности (FP32) 14 Терафлопс (PCIe)
15,7 терафлопс (SXM2)
5,5 терафлопс 12 терафлопс
Производительность операций половинной точности (FP16) 112 терафлопс (PCIe)
125 терафлопс (SXM2)
Производительность целочисленных операций (INT8) 22 TOPS* 47 TOPS*
Объем памяти 16 ГБ HBM2 8 ГБ 24 ГБ
Пропускная способность памяти 900 ГБ/c 192 ГБ/с 346 Гбит/с
Системный интерфейс/Форм-фактор Полноразмерный форм-фактор PCI Express, два слота SXM2 / NVLink Низкопрофильный форм-фактор PCI Express Полноразмерный форм-фактор PCI Express, два слота
Энергопотребление 250 Вт (PCIe)
300 Вт (SXM2)
50 -75 Вт 250 Вт
Аппаратно ускоренный движок видеообработки 1 движок для декодирования, 2 движка для кодирования 1 движок для декодирования, 2 движка для кодирования

*Тера-операций в секунду с тактовой частотой в режиме Boost

СВЕЖИЕ ИСТОРИИ УСПЕХА

iFLYTEK

Платформа iFLYTEK Voice Cloud использует GPU NVIDIA Tesla P4 и P40 для тренировки алгоритмов и инференса, чтобы повысить точность распознавания речи. 

VALOSSA

Стартап Valossa, участвующий в программе NVIDIA Inception, использует GPU NVIDIA для ускорения алгоритмов глубокого обучения и прогнозирования поведения человека по видеоданным.

JD.COM

JD использует платформу NVIDIA для инференса, чтобы в 40 раз повысить эффективность видеоанализа.

ОПТИМИЗИРУЙТЕ ВЫПОЛНЕНИЕ ЗАДАЧ ИНФЕРЕНСА ПРЯМО СЕГОДНЯ.

Tesla P40 и P4 уже доступны в продаже.