Графический ускоритель NVIDIA Tesla T4 с тензорными ядрами

Обеспечивая мощностью гипермасштабируемую платформу TensorRT для инференса.

Теперь доступно ускорение инференса нового поколения

Мы на пути к будущему, когда каждое взаимодействие с клиентом, каждый продукт и предлагаемая услуга будут изменены и улучшены с помощью искусственного интеллекта. Для осуществления этих перспектив необходима вычислительная платформа, которая может ускорять полный спектр задач современного искусственного интеллекта, позволяя компаниям переосмыслить работу с новыми клиентами. У компаний появится возможность определить, как соответствовать потребностям клиента и превосходить их, а также экономично масштабировать продукты и услуги на базе искусственного интеллекта.

GPU NVIDIA® Tesla® T4 – самый эффективный в мире ускоритель инференса. Работая на тензорных ядрах NVIDIA Turing, NVIDIA Tesla T4 обеспечивает революционную производительность инференса в операциях с разной точностью для ускорения различных приложений на базе современного искусственного интеллекта. T4 имеет компактный энергоэффективный форм-фактор PCIe с уровнем энергопотребления 70 Вт. Ускоритель оптимизирован для горизонтально-масштабируемых серверов и предназначен для проведения современного инференса в реальном времени.

Невероятная производительность инференса

Tesla T4 представляет революционную технологию Turing с тензорными ядрами для инференса искусственного интеллекта в операциях с разной точностью. T4 до 40 раз мощнее CPU и обеспечивает невероятную производительность любых операций от FP32 до FP16 и INT8, а также операций INT4 с точностью.

Невероятная производительность инференса

СОВРЕМЕННЫЙ ИНФЕРЕНС В РЕАЛЬНОМ ВРЕМЕНИ

Отзывчивость - основной критерий привлекательности для пользователя таких услуг, как коммуникативные сервисы с искусственным интеллектом, рекомендательные системы и визуальный поиск. Так как модели глубокого обучения становятся все более сложными, быстрый и правильный ответ требует существенно более высокой вычислительной мощности. Tesla T4 обеспечивает повышение производительности до 40 раз с минимальными задержками, позволяя обрабатывать больше запросов в реальном времени.

ПРОИЗВОДИТЕЛЬНОСТЬ ИНФЕРЕНСА T4

Система распознавания изображений Resnet50

Система распознавания речи DeepSpeech2

Система машинного перевода GNMT

Производительность транскодирования видео

Так как объем онлайн-видео увеличивается в геометрической прогрессии, продолжает расти потребность в решениях для эффективного поиска и извлечения знаний из видеоматериалов. Tesla T4 обеспечивает революционную производительность для видеоприложений на базе искусственного интеллекта благодаря специализированным аппаратным движкам для транскодирования, которые заключают в себе двухкратную производительность декодирования GPU предыдущего поколения. T4 может декодировать до 38 видеопотоков в разрешении full-HD, позволяя легко интегрировать масштабируемые алгоритмы глубокого обучения в процессы работы с видео, чтобы обеспечивать мощностью инновационные интеллектуальные видеосервисы.

Спецификации NVIDIA Tesla T4

 

Производительность

Тензорные ядра Turing
320

Ядра NVIDIA CUDA®
2560

Производительность операций с одинарной точноcтью (FP32)
8,1 Терафлопс

Операции со смешанной точностью (FP16/FP32)
65 Терафлопс

Операции INT8
130 тера-операций в секунду (TOPS)

Операции INT4
260 тера-операций в секунду (TOPS)

 
 

Внутреннее соединение

Gen3
x16 PCIe

 
 

Объем видеопамяти


16 ГБ GDDR6

Пропускная способность памяти
320+ Гбит/с или выше

 
 

Энергопотребление

70 Вт

 

Платформа NVIDIA для инференса искусственного интеллекта

Узнайте больше о самой инновационной в мире платформе для инференса.