생성형 AI 모델을 구축, 맞춤화 및 배포합니다.
NVIDIA AI 플랫폼의 일부인 NVIDIA NeMo™ 프레임워크는 수십억 개의 파라미터로 생성형 AI 모델을 구축, 커스터마이징 및 배포할 수 있는 엔드투엔드 클라우드 네이티브 엔터프라이즈 프레임워크입니다.
NeMo 프레임워크는 3D 병렬 처리 기술로 트레이닝을 위한 가속화된 워크플로우를 제공합니다. 여러 가지 커스터마이징 기법을 선택할 수 있으며, 멀티 GPU 및 멀티 노드 구성을 통해 언어 및 이미지 애플리케이션을 위한 대규모 모델 추론에 최적화되어 있으며, NeMo를 사용하면 기업이 쉽고 비용 효율적이며 빠르게 제너레이티브 AI 모델을 개발할 수 있습니다.
NeMo 프레임워크는 텍스트 투 텍스트, 텍스트 투 이미지 그리고 이미지 투 이미지 기반 모델 개발을 지원합니다.
NeMo Guardrails는 신뢰할 수 있고 안전하며 보안이 뛰어난 LLM 대화형 시스템을 손쉽게 개발할 수 있는 툴킷입니다. 기본적으로 LangChain을 지원하여 LLM 기반 대화형 애플리케이션에 안전, 보안 및 주제별 가드레일 계층을 추가합니다.
최첨단 훈련 기법을 사용하여 처리량을 극대화하고 수십억 또는 수조 개의 파라미터가 포함된 기본 모델에 대한 훈련 시간을 최소화할 수 있습니다.
언어 및 이미지 생성형 AI 모델을 학습하고 추론을 위해 융합 및 배포할 수 있도록 모든 종속성이 사전 패키지화되고 검증된 영수증과 함께 설치되어 있는 클라우드 네이티브 프레임워크입니다.
데이터 처리부터 학습, 생성형 AI 모델 추론에 이르기까지 파이프라인 전반에 걸쳐 완전한 유연성을 제공하는 오픈 소스 접근 방식입니다.
모든 GPU 인프라에서 모든 규모의 파운데이션 모델을 훈련하고 배포할 수 있습니다. 모든 NVIDIA DGX™ 시스템, NVIDIA DGX Cloud™, Microsoft Azure, Oracle Cloud 인프라 및 Amazon Web Services에서 지원됩니다.
엔터프라이즈 초개인화를 위한 기반 모델을 사용자 정의하는 도구를 제공합니다.
엔터프라이즈용으로 구축된 테스트를 거쳐 검증된 강력한 컨테이너입니다.
NeMo 프레임워크는 높은 수준의 훈련 효율성을 제공하여 다음과 같은 3D 병렬 처리 기술을 사용하여 대규모 기본 모델을 훈련할 수 있습니다:
또한 선택적 활성화 재계산은 역전파 동안 텐서 병렬 장치에서 재계산 및 메모리 사용을 최적화합니다.
NeMo 프레임워크는 다음과 같은 도구를 제공하여 엔터프라이즈 AI를 실용적으로 만듭니다.
NVIDIA Triton Inference Server™를 사용하여 추론을 위한 생성 AI 모델을 배포합니다. FasterTransformer의 강력한 최적화를 통해 단일 GPU, 다중 GPU 및 다중 노드 구성에서 최첨단 정확도, 대기 시간 및 처리량 추론 성능을 달성할 수 있습니다.
자체 데이터 세트를 가져와서 데이터를 소화 가능한 형식으로 토큰화하세요. NeMo에는 언어 데이터 세트, 파일 및 다국어 C4(mC4)에서 데이터 필터링, 중복 제거, 블렌딩 및 포맷팅을 위한 포괄적인 전처리 기능이 포함되어 있습니다. 이를 통해 연구자와 엔지니어는 수개월의 개발 및 계산 시간을 절약하여 애플리케이션 구축에 집중할 수 있습니다.
NeMo 프레임워크는 전체 파이프라인에 걸쳐 사전 패키지된 스크립트, 참조 예제 및 문서를 통해 첫날부터 생성형 AI를 가능하게 합니다.
또한 자동 구성 툴을 통해 기초 모델을 쉽게 구축할 수 있는데, 이 툴은 최적의 하이퍼파라미터 구성을 자동으로 검색하여 주어진 멀티 GPU 구성, 훈련 또는 배포 제약 조건에 맞게 훈련과 추론을 최적화합니다..
기업의 초개인화 및 지능형 대규모 언어 모델의 대규모 배포를 위한 클라우드 서비스입니다.
고해상도의 사실적인 이미지, 동영상, 3D 콘텐츠를 생성하기 위해 맞춤형 생성 AI 모델을 사용하는 엔터프라이즈용 가속 클라우드 서비스입니다.
AI Sweden은 지역 언어에 대한 1,000억 개의 매개변수 모델을 북유럽 생태계에서 쉽게 액세스할 수 있게 함으로써 LLM 산업 애플리케이션을 가속화했습니다. AI Sweden은 스웨덴의 역사적 기록을 디지털화하고 이 비정형 데이터에서 엔터프라이즈 애플리케이션에서 상용화할 수 있는 언어 모델을 구축하고 있습니다.
Image Courtesy of Korea Telecom
한국의 선도적인 모바일 사업자가 스마트 스피커와 고객 콜센터를 구동하기 위해 NVIDIA DGX SuperPOD 플랫폼과 NeMo 프레임워크로 훈련된 수십억 개의 파라미터 LLM을 구축합니다.
NeMo 프레임워크 및 NVIDIA Triton 추론 서버를 사용하여 13억 개의 매개변수 GPT-3 모델을 다운로드, 최적화 및 배포하는 방법을 알아보세요.
멀티 노드 환경에서 데이터를 전처리하고, 최적의 하이퍼파라미터를 자동으로 선택하여 여러 GPT-3 및 T5 구성에 대한 학습 시간을 최소화하고, 대규모로 모델을 학습하고, 사용하기 쉬운 스크립트 세트를 사용하여 멀티 노드 프로덕션 환경에서 모델을 배포하는 방법을 알아보세요.
GPT-3 모델에 대해 사전 조정된 하이퍼파라미터 구성을 사용하여 엔터프라이즈의 LLM 여정을 시작하세요. NeMo 프레임워크로 대규모 NLP 모델을 훈련하는 방법을 알아보세요.