ТЕХНИЧЕСКИЙ ОБЗОР

Основные рекомендации по развертыванию ИИ на периферийных устройствах

Оцените, насколько периферийные вычисления подходят для вашей инфраструктуры.

GPU-ускоренные библиотеки, DataFrame и API:

  • RAPIDS на основе NVIDIA CUDA — это набор открытых библиотек ПО и API, которые предоставляют параллелизм GPU и высокую пропускную способность памяти с помощью DataFrame и операций над графами и обеспечивают ускорение в 50 раз и выше в задачах обработки данных. В Spark 3.0 SQL Spark и DataFrame используют новые API в RAPIDS для эффективной обработки колоночных данных и планов выполнения запросов.
  • В Spark 3.0 был изменен оптимизатор запросов Catalyst, чтобы идентифицировать операторов в плане выполнения запросов, которые можно ускорить с помощью API RAPIDS и поставить в очередь для запуска на GPU в кластере Spark.
  • Новая реализация распределения в Spark создана на основе GPU-ускоренных библиотек коммуникации, включая удаленный прямой доступ к памяти (RDMA), и значительно оптимизирует передачу данных между процессами Spark. RDMA позволяет графическим процессорам на разных узлах взаимодействовать напрямую с помощью соединения до 100 Гбит/с, как при работе на одном большом сервере.


Планирование выполнения задач на GPU в Spark

  • В Spark 3.0 добавлена интеграция с диспетчерами кластеров (YARN, Kubernetes и Standalone), чтобы запрашивать ресурсы GPU и подключаемые модули для запуска операций на GPU. Это упрощает запрос и использование GPU для разработчиков приложений в Spark и обеспечивает более тесную интеграцию с фреймворками ИИ и глубокого обучения, такими как Horovod и TensorFlow, а также оптимизирует утилизацию GPU.

 

Периферийные вычисления — это технология, которая приближает вычислительные ресурсы к тому месту, где собираются данные. На данный момент является одной из самых быстроразвивающихся тенденций в сфере корпоративных вычислений. Прежде чем инвестировать в периферийные вычисления, необходимо оценить, является ли данная технология подходящим решением для вашей компании.

В настоящем техническом обзоре вы узнаете:

  • Как оценить, подходят ли периферийные вычисления для вашего бизнеса
  • Что следует учитывать перед развертыванием инфраструктуры для периферийных вычислений
  • Как развернуть Edge AI
  • Необходимые ресурсы для начала работы
spark-e-book-thumb-2

СКАЧАТЬ

  1. Section
Send me the latest enterprise news, announcements, and more from NVIDIA. I can unsubscribe at any time.
ПРОДУКТЫ
ТЕХНОЛОГИИ
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ
МАТЕРИАЛЫ