Платформа для глубокого обучения
и инференса

ПО и графические ускорители для инференса в облаке, дата-центрах, в беспилотных автомобилях и на других конечных устройствах

NVIDIA устанавливает рекорд в новом бенчмарке для инференса ИИ, утверждая свое лидерство в этой области

УЗНАЙТЕ БОЛЬШЕ

Ускорение искусственного интеллекта. Снижение затрат.

В настоящее время наблюдается взрывной рост спроса на сервисы с искусственным интеллектом, например, по распознаванию изображений и речи, обработке естественных языков, визуальному поиску и персонализированным рекомендациям. В то же самое время наборы данных увеличиваются в объеме, нейронные сети становятся все более сложными, и требования к времени задержки также растут, чтобы соответствовать ожиданиям пользователей.

Платформа NVIDIA для инференса обеспечивает производительность, энергоэффективность и отзывчивость в облаке, дата-центре, в сети и в автономных устройствах, что так важно для продуктов и сервисов с ИИ нового поколения.

Зарегистрируйтесь, чтобы скачать техническое описание платформы для инференса

Упрощение развертывания с сервером для инференса NVIDIA Triton

Смотрите видео "Инференс в дата-центре"

Раскройте полный потенциал GPU NVIDIA при помощи NVIDIA TensorRT

Высокопроизводительная платформа для инференса TensorRT позволяет использовать весь потенциал GPU с тензорными ядрами NVIDIA. Платформа повышает производительность до 40 раз и одновременно снижает задержки по сравнению с системами на CPU. При помощи TensorRT вы можете начать работу с любым фреймворком, быстро оптимизировать, проверять и развертывать натренированные нейронные сети.

Упрощение развертывания с сервером для инференса NVIDIA Triton

Сервер для инференса NVIDIA Triton (прежнее название TensorRT) — это открытое программное обеспечение, которое упрощает развертывание моделей глубокого обучения в рабочей среде. Сервер для инференса Triton позволяет командам развертывать подготовленные модели ИИ из любого фреймворка (TensorFlow, PyTorch, TensorRT Plan, Caffe, MXNet или Custom) локального хранилища, платформы Google Cloud или AWS S3 на любой инфраструктуре на базе GPU или CPU. Сервер одновременно запускает несколько моделей на одном GPU, чтобы повысить утилизацию, и интегрируется с Kubernetes для оркестрации, управления параметрами и автоматического масштабирования.

ПОДРОБНЕЕ

Масштабируемая платформа с единой архитектурой для инференса глубокого обучения

Благодаря единой архитектуре нейронные сети на базе любого фреймворка глубокого обучения можно натренировать и оптимизировать с помощью NVIDIA TensorRT, а затем развернуть на конечных устройствах для инференса в реальном времени. NVIDIA предлагает комплексную масштабируемую платформу глубокого обучения, в которую входят системы NVIDIA DGX^™, GPU NVIDIA с тензорными ядрами, NVIDIA Jetson^™ и NVIDIA DRIVE^™, чью эффективность подтверждают и результаты бенчмарков MLPerf.

deep-learning-ai-inference-maximize-gpu-utilization-625-u

МАКСИМИЗИРУЙТЕ УТИЛИЗАЦИЮ GPU ДЛЯ ИНФЕРЕНСА В ДАТА-ЦЕНТРЕ

С легкостью внедряйте искусственный интеллект в решения с помощью сервера для инференса на базе технологий NVIDIA. Это микросервис, который максимизирует ускорение GPU и размещает все популярные типы моделей искусственного интеллекта. Осуществляйте инференс быстрее с помощью специализированного сервера, который использует непревзойденную производительность GPU NVIDIA с тензорными ядрами и легко интегрируется в модели развертывания для разработки. Сервер также обеспечивает масштабирование «по запросу» с такими инструментами автоматического масштабирования, как Kubernetes на GPU NVIDIA.

Серьезная экономия затрат

Чтобы поддерживать максимальную продуктивность работы серверов, менеджеры дата-центров вынуждены идти на компромисс между производительностью и энергоэффективностью. Один сервер на базе NVIDIA Tesla Т4 может заменить в приложениях для инференса несколько традиционных CPU-серверов, что позволяет снизить энергопотребление и эксплуатационные расходы.

Решения для инференса

ДАТА-ЦЕНТР

БЕСПИЛОТНЫЕ АВТОМОБИЛИ

ИНТЕЛЛЕКТУАЛЬНЫЙ ВИДЕОАНАЛИЗ

ВСТРАИВАЕМЫЕ УСТРОЙСТВА

Узнайте, как добиться ускорения искусственного интеллекта

Смотрите вебинар “Ускорение искусственного интеллекта с помощью GPU NVIDIA и NVIDIA TensorRT”

Смотреть

Платформа для глубокого обучения и инференса