AI 인프라 솔루션
AI 그리드
지리적으로 분산된 AI 인프라 전반의 워크로드를 오케스트레이션하여 AI 네이티브 애플리케이션을 확장하세요.
개요
생성형, 에이전트 및 피지컬 AI를 위한 분산형 인프라
현대적인 AI 애플리케이션은 실시간, 초개인화 및 데이터 집약적인 특성을 갖추고 있으며, 전 세계 수백만 명의 사용자, 에이전트 및 기기를 지원합니다. 통신 사업자는 기존 인프라를 AI 그리드로 전환하여 인텔리전스가 사용되는 곳에 AI를 더 가까이 배치함으로써 이러한 수요를 충족할 수 있는 독보적인 위치에 있습니다.
AI 그리드는 각 워크로드가 최상의 성능을 낼 수 있는 곳에서 실행되도록 오케스트레이션된 분산형 상호 연결 AI 인프라 플랫폼입니다. AI 팩토리를 지역 허브 및 에지 사이트와 연결하여, 데이터와 모델 및 에이전트가 통합 시스템으로 작동하는 분산 사이트 전반에서 안전하게 이동하도록 지원합니다.
NVIDIA는 AI 그리드를 구동하는 가속 컴퓨팅, 네트워킹 및 소프트웨어 스택을 제공하여 사업자가 분산 AI 용량을 신속하게 확보하고 새로운 AI 네이티브 경험을 구현할 수 있도록 지원합니다.
이점
모든 AI 워크로드를 최적의 위치에서 실행
예측 가능한 지연 시간
사용자, 에이전트 및 기기와 가장 가까운 인프라에서 추론을 실행하여 AI 네이티브 서비스의 응답성을 유지하세요. 이는 사업자가 실시간 음성, 비전 및 제어 경험에 대한 엄격한 서비스 수준 협약(SLA)을 준수하도록 지원합니다.
더 나은 토큰 경제학
서비스 품질 저하 없이 데이터 전송량을 줄이고 송출 비용을 절감할 수 있도록, 가장 비용 효율적인 컴퓨팅 및 네트워킹 노드에서 토큰 집약적인 워크로드를 실행하세요.
높은 활용도 및 탄력성
여러 분산된 사이트를 하나의 AI 연산 용량 풀처럼 운영하여 GPU 활용률을 높이고 유휴 자원을 절감하세요. 사이트에 장애가 발생하면 서비스 연속성을 유지하기 위해 워크로드가 전체 그리드에 자동으로 재분산됩니다.
대규모 동시 처리
여러 분산 사이트에서 AI 네이티브 서비스를 운영하여 사용자, 애플리케이션, 에이전트의 대규모 동시 접속 급증을 처리하면서도 일관된 사용자 경험 품질과 비용을 유지합니다.
제품군
AI 그리드를 위한 구성 요소
NVIDIA는 분산 사이트에 풀스택 AI 인프라를 갖출 수 있도록 이를 연결된 오케스트레이션된 AI 그리드로 전환하는 통합 플랫폼을 제공합니다.
사용 사례
실제 분산 인텔리전스
NVIDIA 기반 AI 그리드가 실시간이면서 비용 효율적인 대규모 인텔리전스 접근을 요구하는 새로운 유형의 AI 네이티브 애플리케이션을 어떻게 지원하는지 살펴보세요.
-
피지컬 AI
-
실시간 AI
-
초개인화
-
AI 네이티브 네트워크 기능
피지컬 AI
피지컬 AI는 로봇, 차량, 카메라 및 IoT 시스템이 물리적 세계에서 인식하고 추론하며 행동할 수 있도록 지원합니다. AI 그리드는 NVIDIA Metropolis가 실시간 분석을 위해 카메라 가까이에서 도시 규모의 비전 AI를 실행할 수 있도록 하며, 임베디드 컴퓨팅이 부족할 경우 자율 로봇은 더 무거운 계획 및 추론 작업을 인근 현장으로 오프로드합니다.
실시간 AI
대화형 AI 어시스턴트와 같은 대화형 AI 서비스는 자연스럽고 반응성이 뛰어난 경험을 제공하기 위해 엔드 투 엔드 간 지연 시간과 지터를 엄격하게 제어하는 데 의존합니다. AI 그리드는 이러한 워크로드를 데이터와 물리적으로 가까운 노드에서 실행하여 지ㄴ 시간 여유를 유지하고, 수요 급증이나 부분적인 장애가 발생하는 경우에도 각 요청을 사용 가능한 최적의 리소스로 라우팅합니다.
초개인화
개인화된 AI 어시스턴트, 미디어 및 스포츠 경험, 엔터프라이즈 애플리케이션은 수천 또는 수백만 개의 동시 세션에 대해 실시간으로 응답을 조정해야 합니다. AI 그리드에서 운영자는 지역 노드에 사용자 또는 테넌트 컨텍스트를 캐시하고, 사용자에 더 가까운 위치에서 개인화 로직과 생성을 실행할 수 있으며, 이를 통해 테일 지연 시간을 개선하는 동시에 항상 활성화된 개인화의 경제성을 지속 가능하게 유지할 수 있습니다.
AI 네이티브 네트워크 기능
RAN, 트래픽 스티어링, 사용자 평면 최적화와 같은 네트워크 워크로드는 흐름을 분석하고 실시간 의사결정을 내리기 위해 AI에 점점 더 의존하고 있습니다. AI 그리드는 애플리케이션과 동일한 분산 인프라에서 이러한 AI 네이티브 네트워크 기능을 실행하여 활용도를 높이고, 네트워크 전반에서 더 스마트한 라우팅, 정책 적용, 그리고 경험 품질을 구현합니다.
다음 단계