Платформа для глубокого обучения
и инференса

ПО и графические ускорители для инференса в облаке, дата-центрах, в беспилотных автомобилях и на других конечных устройствах

NVIDIA устанавливает рекорд в новом бенчмарке для инференса ИИ, утверждая свое лидерство в этой области

Ускорение искусственного интеллекта. Снижение затрат.

В настоящее время наблюдается взрывной рост спроса на сервисы с искусственным интеллектом, например, по распознаванию изображений и речи, обработке естественных языков, визуальному поиску и персонализированным рекомендациям. В то же самое время наборы данных увеличиваются в объеме, нейронные сети становятся все более сложными, и требования к времени задержки также растут, чтобы соответствовать ожиданиям пользователей.

Платформа NVIDIA для инференса обеспечивает производительность, энергоэффективность и отзывчивость в облаке, дата-центре, в сети и в автономных устройствах, что так важно для продуктов и сервисов с ИИ нового поколения.

Раскройте полный потенциал GPU NVIDIA при помощи NVIDIA TensorRT

Высокопроизводительная платформа для инференса TensorRT позволяет использовать весь потенциал GPU с тензорными ядрами NVIDIA. Платформа повышает производительность до 40 раз и одновременно снижает задержки по сравнению с системами на CPU. При помощи TensorRT вы можете начать работу с любым фреймворком, быстро оптимизировать, проверять и развертывать натренированные нейронные сети.

Комплексная масштабируемая платформа глубокого обучения с единой архитектурой

Благодаря единой архитектуре нейронные сети на базе любого фреймворка глубокого обучения можно натренировать и оптимизировать с помощью NVIDIA TensorRT, а затем развернуть на конечных устройствах для проведения инференса в реальном времени. NVIDIA предлагает комплексную масштабируемую платформу глубокого обучения, в которую входят системы NVIDIA DGX, NVIDIA Tesla®, NVIDIA Jetson и NVIDIA DRIVE

deep-learning-ai-inference-maximize-gpu-utilization-625-u

МАКСИМИЗИРУЙТЕ УТИЛИЗАЦИЮ GPU ДЛЯ ИНФЕРЕНСА В ДАТА-ЦЕНТРЕ

С легкостью внедряйте искусственный интеллект в решения с помощью сервера для инференса на базе технологий NVIDIA. Это микросервис, который максимизирует ускорение GPU и размещает все популярные типы моделей искусственного интеллекта. Осуществляйте инференс быстрее с помощью специализированного сервера, который использует непревзойденную производительность GPU NVIDIA с тензорными ядрами и легко интегрируется в модели развертывания для разработки. Сервер также обеспечивает масштабирование «по запросу» с такими инструментами автоматического масштабирования, как Kubernetes на GPU NVIDIA.

Серьезная экономия затрат

Чтобы поддерживать максимальную продуктивность работы серверов, менеджеры дата-центров вынуждены идти на компромисс между производительностью и энергоэффективностью. Один сервер на базе NVIDIA Tesla Т4 может заменить в приложениях для инференса несколько традиционных CPU-серверов, что позволяет снизить энергопотребление и эксплуатационные расходы.

Серьезная экономия затрат

Чтобы поддерживать максимальную продуктивность работы серверов, менеджеры дата-центров вынуждены идти на компромисс между производительностью и энергоэффективностью. Один сервер на базе NVIDIA Tesla Т4 может заменить в приложениях для инференса несколько традиционных CPU-серверов, что позволяет снизить энергопотребление и эксплуатационные расходы.

Решения для инференса

Узнайте, как добиться ускорения искусственного интеллекта

Смотрите вебинар “Ускорение искусственного интеллекта с помощью GPU NVIDIA и NVIDIA TensorRT”