Платформа для глубокого обучения и инференса ПО и графические ускорители для инференса в облаке, дата-центрах, в беспилотных автомобилях и на других конечных устройствах
Раскройте полный потенциал GPU NVIDIA при помощи NVIDIA TensorRT Высокопроизводительная платформа для инференса NVIDIA® TensorRT™ позволяет использовать весь потенциал GPU с тензорными ядрами NVIDIA. Платформа повышает производительность до 40 раз и одновременно снижает задержки по сравнению с системами на CPU. При помощи TensorRT вы можете начать работу с любым фреймворком, быстро оптимизировать, проверять и развертывать натренированные нейронные сети. TensorRT доступна в каталоге NVIDIA NGC.
Упрощение развертывания с сервером для инференса NVIDIA Triton Сервер для инференса NVIDIA Triton (прежнее название TensorRT) — это открытое программное обеспечение, которое упрощает развертывание моделей глубокого обучения в рабочей среде. Сервер для инференса Triton позволяет командам развертывать подготовленные модели ИИ из любого фреймворка (TensorFlow, PyTorch, TensorRT Plan, Caffe, MXNet или Custom) локального хранилища, платформы Google Cloud или AWS S3 на любой инфраструктуре на базе GPU или CPU. Сервер одновременно запускает несколько моделей на одном GPU, чтобы повысить утилизацию, и интегрируется с Kubernetes для оркестрации, управления параметрами и автоматического масштабирования. Подробнее
Масштабируемая платформа с единой архитектурой для инференса глубокого обучения Благодаря единой архитектуре нейронные сети на базе любого фреймворка глубокого обучения можно натренировать и оптимизировать с помощью NVIDIA TensorRT, а затем развернуть на конечных устройствах для инференса в реальном времени. NVIDIA предлагает комплексную масштабируемую платформу глубокого обучения, в которую входят системы NVIDIA DGX™, GPU NVIDIA с тензорными ядрами, NVIDIA Jetson™ и NVIDIA DRIVE™, чью эффективность подтверждают и результаты бенчмарков MLPerf.
Серьезная экономия затрат Чтобы поддерживать максимальную продуктивность работы серверов, менеджеры дата-центров вынуждены идти на компромисс между производительностью и энергоэффективностью. Один сервер на базе NVIDIA Tesla Т4 может заменить в приложениях для инференса несколько традиционных CPU-серверов, что позволяет снизить энергопотребление и эксплуатационные расходы.