Платформа для глубокого обучения
и инференса

ПО и графические ускорители для инференса в облаке, дата-центрах, в беспилотных автомобилях и на других конечных устройствах

Ускорение искусственного интеллекта. Снижение затрат.

В настоящее время наблюдается взрывной рост спроса на сервисы с искусственным интеллектом, например, по распознаванию изображений и речи, обработке естественных языков, визуальному поиску и персонализированным рекомендациям. В то же самое время наборы данных увеличиваются в объеме, нейронные сети становятся все более сложными, и требования к времени задержки также растут, чтобы соответствовать ожиданиям пользователей.

Платформа NVIDIA для инференса искусственного интеллекта обеспечивает производительность, энергоэффективность и отзывчивость, которые так важны для продуктов и сервисов с искусственным интеллектом нового поколения в облаке, дата-центре, на борту автомобилей и в других конечных устройствах.

Раскройте полный потенциал GPU NVIDIA при помощи NVIDIA TensorRT

TensorRT – это ключ к обеспечению оптимальной производительности инференса. Используя NVIDIA TensorRT, можно быстро оптимизировать, проверять и развертывать натренированные нейронные сети для проведения инференса. TensorRT обеспечивает повышение производительности инференса до 40 раз в реальном времени при задержках по сравнению с системами на базе CPU.

Комплексная масштабируемая платформа глубокого обучения с единой архитектурой

Благодаря единой архитектуре нейронные сети, созданные при помощи любого фреймворка глубокого обучения, можно натренировать и оптимизировать с помощью NVIDIA TensorRT, а затем развернуть на конечных устройствах для проведения инференса в реальном времени. NVIDIA предлагает комплексную масштабируемую платформу глубокого обучения, в которую входят системы NVIDIA®DGX™NVIDIA Tesla®, NVIDIA Jetson и NVIDIA DRIVE PX.

deep-learning-ai-inference-maximize-gpu-utilization-625-u

МАКСИМИЗИРУЙТЕ УТИЛИЗАЦИЮ GPU ДЛЯ ИНФЕРЕНСА В ДАТА-ЦЕНТРЕ

С легкостью внедряйте искусственный интеллект в решения с помощью сервера для инференса на базе технологий NVIDIA. Это микросервис, который максимизирует ускорение GPU и размещает все популярные типы моделей искусственного интеллекта. Осуществляйте инференс быстрее с помощью специализированного сервера, который использует непревзойденную производительность GPU NVIDIA с тензорными ядрами и легко интегрируется в модели развертывания для разработки. Сервер также обеспечивает масштабирование «по запросу» с такими инструментами автоматического масштабирования, как Kubernetes на GPU NVIDIA.

Серьезная экономия затрат

Чтобы поддерживать максимальную продуктивность работы серверов, менеджеры дата-центров вынуждены идти на компромисс между производительностью и энергоэффективностью. Один сервер на базе NVIDIA Tesla P4 может заменить в приложениях для инференса одиннадцать традиционных CPU-серверов, что обеспечивает экономию энергии и снижение затрат до 80 %.

Серьезная экономия затрат

Чтобы поддерживать максимальную продуктивность работы серверов, менеджеры дата-центров вынуждены идти на компромисс между производительностью и энергоэффективностью. Один сервер на базе NVIDIA Tesla P4 может заменить в приложениях для инференса одиннадцать традиционных CPU-серверов, что обеспечивает экономию энергии и снижение затрат до 80 %.

Решения для инференса

Узнайте, как добиться ускорения искусственного интеллекта

Смотрите вебинар “Ускорение искусственного интеллекта с помощью GPU NVIDIA и NVIDIA TensorRT”