ИИ в реальном времени на периферийных устройствах

Общение с клиентами в реальном времени. Быстрая адаптация данных, поступающих с миллионов датчиков с разных локаций: от полов завода до рядов магазина. Мгновенная диагностика заболеваний и обеспечение необходимой врачебной помощи. Интеллектуальная розничная торговля, здравоохранение, производство, логистика и умные города – все это становится реальностью благодаря современным возможностям ИИ и платформе NVIDIA EGX, которая обеспечивает ускоренные вычисления на периферийных устройствах.

Высокая производительность и масштабируемость

На одном краю EGX компактный модуль NVIDIA® Jetson Nano, способный выполнять полтриллиона операций в секунду (TOPS) при энергопотреблении всего несколько Ватт в таких задачах, как распознавание изображений. Платформа масштабируется до полноценной стойки серверов NVIDIA T4, обеспечивающих свыше 10 000 TOPS для сотен пользователей в операциях распознавания речи в реальном времени и других ресурсоемких задачах ИИ.

IoT на базе гибридных и мультиоблачных систем

ИИ-вычисления NVIDIA доступны в основных облачных системах и архитектурно совместимы с NVIDIA EGX.  ИИ-приложения, разработанные в облаке, могут работать на NVIDIA EGX и наоборот. NVIDIA Edge Stack подключается к основным облачным IoT-сервисам, и клиенты могут удаленно управлять своим сервисом из AWS IoT Greengrass и Microsoft Azure IoT Edge. 

Корпоративные решения и безопасность

ПО NVIDIA Edge Stack оптимизировано под Red Hat OpenShift, ведущую платформу управления кластером контейнеров Kubernetes корпоративного уровня.  Сетевые карты Mellanox Smart позволяют разгрузить программно-определяемые сети и ускорить их работу, обеспечивая высокий уровень изоляции и безопасности без снижения производительности процессора.

В Seagate мы используем решение для интеллектуального зрения на базе GPU для контроля качества головок записи и чтения наших жестких дисков. Платформа NVIDIA EGX значительно ускоряет инференс на периферийных устройствах, позволяя увидеть дефекты, незаметные человеческому глазу. Мы ожидаем роста производительности до 10% и до 300% окупаемости инвестиций за счет повышения эффективности и качества.

— Брюс Кинг (Bruce King), главный специалист по данным, Seagate Technology

ИИ является основополагающим фактором на пути к индивидуализированной медицине и должен быть доступен повсеместно: от облачных платформ до периферии, а также непосредственно на медицинских устройствах. С помощью NVIDIA EGX компания GE Healthcare может ускорить анализ снимков МРТ, повысить качество изображения и снизить вариативность благодаря встроенным ускорителям NVIDIA T4 в медицинских устройствах. Все это позволяет добиться нашей цели — улучшения результатов лечения. ИИ в периферийных устройствах необходим в случаях оказания экстренной помощи. Поэтому мы создали интеллектуальную платформу Edison и объединились с NVIDIA, чтобы обеспечить возможности ИИ в наши медицинских устройствах и устройствах на базе Edison. Именно для демократизации ИИ мы сотрудничаем с ACR AI-LAB.

— Джейсон Ползин (Jason Polzin), кандидат наук, главный менеджер приложений для МРТ в GE Healthcare.

Red Hat призвана обеспечить полноценные возможности для любых нагрузок и локаций: от гибридной облачной системы до периферийных устройств. Объединив платформы Red Hat OpenShift и NVIDIA EGX, пользователи смогут лучше оптимизировать свои распределенные операции в высокопроизводительном, ориентированном на контейнеры окружении.

— Крис Райт (Chris Wright), технический директор Red Hat

Производство ПК в Foxconn ограничено скоростью контроля: на данный момент требуется четыре секунды для ручной проверки каждого компонента. Наша цель — увеличить производительность конвейера до 40% с помощью платформы NVIDIA EGX, позволяющей ИИ принимать решения на периферийных устройствах. Наша модель распознает и классицифирует 16 типов и расположений дефектов одновременно, используя быстрые нейронные сети, работающие на GPU NVIDIA, и достигая точности 98% при сверхчеловеческой производительности.

— Марк Чин (Mark Chien), генеральный менеджер Foxconn D Group

Сетевые карты и переключатели Mellanox Smart обеспечивают идеальный интерфейс для доступа к данным, которые масштабируются до больших дата-центров. Сочетание высокой производительности, низких задержек и ускоренных сетевых соединений поднимает инфраструктурные вычисления на иной уровень, необходимый для эффективного доступа к данным и работы передовых ИИ-решений нового поколения на периферийных платформах, таких, как NVIDIA EGX.

— Майкл Каган (Michael Kagan), технический директор Mellanox Technologies

Программный стек корпоративного уровня для периферийных устройств

nvidia-egx-platform-software-stack-1cN-D

NVIDIA Edge Stack – это оптимизированный стек ПО, который включает в себя драйверы NVIDIA, плагин CUDA® Kubernetes, среду исполнения для контейнеров CUDA Docker, библиотеки CUDA-X и контейнеризированные фреймворки и приложения ИИ, в том числе NVIDIA TensorRT, Inference Server и DeepStream. NVIDIA Edge Stack оптимизирован для сертифицированных серверов и доступен для загрузки из репозитория NVIDIA NGC.

ПАРТНЕРЫ ПО ПРОДАЖАМ EGX

  • Серверы
  • Микросерверы

NVIDIA EGX

Узнайте больше о платформе периферийных вычислений NVIDIA EGX.