엣지에서의 실시간 AI

고객과 실시간으로 소통 공장 현장부터 매장까지 아우르는 수십억 개의 센서에서 유입되는 데이터 흐름에 빠르게 적응할 수 있습니다. 즉각적으로 질환을 진단하고 생명을 살리는 환자 관리를 제공합니다. (스마트 유통, 의료 서비스, 제조, 운송도시) 등 엣지단계에 가속화된 AI 컴퓨팅의 성능을 제공하는 오늘ㅍ날의 강력한 AI와 NVIDIA EGX 플랫폼을 통해 이 모든 것이 가능합니다.

고성능 및 확장성

EGX는 몇 와트만으로 0.5TOPS(Trillion Operations Per Second)에 해당하는 속도로 이미지 인식 등의 작업을 처리할 수 있는 초소형  NVIDIA® Jetson Nano, 로 시작됩니다. 또한 10,000TOPS 이상을 제공해 수백 명의 유저에게 실시간 음성 인식 및 기타 복잡한 AI 경험을 제공하는  NVIDIA T4 서버, 의 전체 랙까지 제공합니다.

하이브리드 클라우드 및 멀티클라우드 IoT

NVIDIA EGX는 주요 클라우드에서 제공되는 NVIDIA AI 컴퓨팅과 아키텍처적으로 유사합니다. 클라우드에서 개발된 AI 애플리케이션은 NVIDIA EGX에서 실행될 수 있으며 그 반대의 경우도 마찬가지입니다. NVIDIA Edge Stack은 주요 클라우드 IoT 서비스와 연결되며 고객은 AWS IoT Greengrass 및 Microsoft Azure IoT Edge에서 서비스를 원격으로 관리할 수 있습니다.

엔터프라이즈급 및 보안

NVIDIA Edge Stack은 최고의 엔터프라이즈급 컨테이너 오케스트레이션 플랫폼인 Red Hat OpenShift에서 최적화되었습니다. Mellanox Smart NIC는 CPU 성능에 영향을 미치지 않고 높은 수준의 격리와 보안을 지원할 수 있도록 소프트웨어 정의 네트워킹을 오프로드 및 가속화할 수 있습니다.

Seagate에서는 하드 디스크 읽기 및 쓰기 헤드의 품질을 점검하기 위해 제조 시설에 지능형 엣지 GPU 기반 비전 솔루션을 배포했습니다. NVIDIA EGX 플랫폼은 엣지에서의 추론을 대폭 가속화하여 과거에 사람이 식별할 수 없었던 미묘한 결함을 감지할 수 있도록 지원합니다. 제조 처리량의 10% 개선과 더불어 향상된 효율성 및 개선된 품질로 최대 300%의 ROI를 달성할 것으로 기대하고 있습니다.

—Bruce King, Seagate Technology 수석 책임 데이터 과학자

AI는 정밀한 건강 정보를 확보하는 데 필수적인 기능이며 클라우드에서 에지에 이르는 전반적 범위는 물론, 의료 기기에 직접적으로 제공되어야 합니다. NVIDIA의 EGX는 GE Healthcare에서 궁극적인 목표인 환자 치료 결과 향상이라는 목표를 달성할 수 있도록 신속한 MR 입수 시간을 제공하고 이미지 품질을 개선하고 NVIDIA T4 GPU를 의료 기기에 직접 탑재해 가변성을 줄일 수 있도록 지원하고 있습니다. 실시간 중환자 관리 사용 사례에서는 엣지의 AI가 필요합니다. 이것이 바로 저희가 Edison 인텔리전스를 제작하고 NVIDIA와 파트너십을 맺어 의료 기기 및 Edison 엣지 어플라이언스에 AI를 탑재한 이유이며, ACR AI-LAB과 협력해 AI를 보편화하고 있는 이유이기도 합니다.

— Jason Polzin 박사, GE Healthcare MR 애플리케이션 총괄 관리자

Red Hat은 하이브리드 클라우드부터 에지에 이르는 모든 워크로드, 설치 공간 및 위치에 대해 일관된 경험을 제공하기 위해 노력하고 있습니다. Red Hat OpenShift와 NVIDIA EGX 지원 플랫폼을 결합함으로써 고객은 고성능의 일관된 컨테이너 중심 환경으로 분산 작업의 최적화 수준을 향상할 수 있습니다.

— Chris Wright, Red Hat 최고 기술 책임자

Foxconn PC 생산 라인은 현재 각 부품을 수동 점검하는 데 4초가 소요되는 점검 속도로 인해 작업이 제한되고 있습니다. 저희의 목표는 엣지에서 실시간 지능형 의사 결정 기능을 제공하는 NVIDIA EGX 플랫폼을 이용해 PC 생산 라인의 처리량을 40% 이상 향상하는 것입니다. 당사의 모델은 NVIDIA GPU에서 실행되는 신속한 신경망을 이용해 16가지의 결함 유형과 위치를 동시에 감지 및 분류하여 초인간적 처리 속도에서 98%의 정확도를 달성합니다.

— Mark Chien, Foxconn D Group 총괄 관리자

Mellanox Smart NIC 및 스위치는 엣지에서 하이퍼스케일 데이터센터로 확장되는 데이터 액세스에 이상적인 I/O 연결을 제공합니다. 대기 시간이 짧은 이 고성능의 가속화 네트워킹 조합은 NVIDIA EGX와 같은 엣지 플랫폼의 차세대 고급 AI 솔루션을 가동하는 데 필요한 데이터에 효율적으로 액세스하고 이를 공급하는 데 대단히 중요한 새로운 컴퓨팅 인프라 계층을 제공합니다.

— Michael Kagan, Mellanox Technologies 최고 기술 책임자

엣지용 엔터프라이즈급 소프트웨어 스택

nvidia-egx-platform-software-stack-1cN-D

NVIDIA Edge Stack은 NVIDIA 드라이버, CUDA® Kubernetes 플러그인, CUDA Docker 컨테이너 런타임, CUDA-X 라이브러리, 컨테이너화된 AI 프레임워크 및 NVIDIA TensorRT, TensorRT Inference Server 및 DeepStream을 포함하는 애플리케이션으로 구성된 최적화된 소프트웨어 스택입니다.

EGX 파트너

  • Edge 서버
  • Edge 마이크로서버

실제로 활용되는 NVIDIA EGX

NVIDIA EGX 엣지 컴퓨팅 플랫폼에 대해 자세히 알아보십시오.