NVIDIA NeMo를 시작하는 방법

NVIDIA NeMo는 데이터 큐레이션, 모델 맞춤화 및 평가부터 배포, 오케스트레이션, 지속적인 최적화에 이르기까지 에이전트 시스템을 구축, 배포, 최적화하는 데 사용되는 AI 에이전트 수명주기를 관리하기 위한 모듈형 엔터프라이즈급 소프트웨어 제품군입니다. 기존 AI 에코시스템 및 플랫폼과 원활하게 통합되어 AI 에이전트를 구축하기 위한 기반을 마련함으로써 클라우드, 온프레미스, 하이브리드 환경 등 모든 환경에서 에이전트 시스템의 프로덕션 경로를 가속화합니다. 최신 정보를 반영해 AI 에이전트를 지속적으로 개선하는하는 데이터 플라이휠을 손쉽게 구축하고 빠르게 확장할 수 있도록 지원합니다.

NeMo는 오픈소스로, NVIDIA AI Enterprise의 일부로 지원됩니다. 가격 및 라이선스 세부 정보는 여기에서 확인할 수 있습니다.

NeMo는 거대 언어 모델(LLM), 비전 언어 모델(VLM), 자동 음성 인식(ASR), 텍스트 음성 변환(TTS) 모델을 맞춤화하는 데 사용할 수 있습니다.

NVIDIA AI Enterprise에는 NVIDIA 비즈니스 표준 지원이 포함됩니다. NVIDIA의 비즈니스 핵심 지원, 기술 계정 관리자, 교육, 전문 서비스 등 추가 지원 및 서비스에 대한 자세한 내용은 NVIDIA Enterprise 지원 및 서비스 가이드를 참조하세요.

NVIDIA NeMo 프레임워크는 대규모 생성형 AI 모델을 효율적으로 구축하려는 연구자와 개발자를 위해 설계된 오픈소스 생성형 AI 프레임워크로, 세밀한 제어와 코드 수준의 유연성을 제공합니다. 멀티모달 생성형 AI 모델의 사전 학습, 사후 학습, 강화 학습을 지원합니다.

NVIDIA NeMo 마이크로서비스는 NeMo 프레임워크를 기반으로 하는 엔터프라이즈급 API 우선 모듈형 제품으로, 개발자가 AI 에이전트를 쉽고 빠르게 맞춤화하고 대규모로 배포할 수 있도록 특별히 설계되었습니다. 모델 미세 조정, 평가, 가드레일, 합성 데이터 생성 등을 간소화합니다. 기존 AI 플랫폼에 원활하게 통합되어 기업이 맞춤형 AI 에이전트 개발을 가속화하고 데이터 플라이휠 워크플로우를 통해 지속적으로 최적화할 수 있도록 지원합니다.

NeMo Data Designer는 AI 개발자를 위해 특별히 설계된 마이크로서비스로, 구성 가능한 스키마와 AI 기반 생성 모델을 통해 합성 데이터를 생성하는 프로그래밍 방식으로 제공합니다. AI 개발 워크플로우에 원활하게 통합되도록 설계되었습니다.

NeMo Curator는 고품질 멀티모달 데이터세트를 선별하여 생성형 AI 모델의 정확도를 향상시키는 오픈소스 라이브러리입니다. 이 라이브러리는 Dask, cuDF, cuGraph, Pytorch를 사용하여 데이터 다운로드, 텍스트 추출, 정제, 필터링, 정확한 중복/퍼지 중복 제거, 텍스트 분류와 같은 데이터 큐레이션 작업을 수천 개의 컴퓨팅 코어로 확장할 수 있도록 API로 표현된 일련의 Python 모듈로 구성되어 있습니다

NeMo Customizer는 고급 파인튜닝과 강화학습 기법을 활용해 LLM을 도메인 특화 용도에 맞게 손쉽게 커스터마이즈하고 정렬할 수 있도록 설계된 고성능, 확장형 마이크로서비스입니다.

NeMo Auditor는 다양한 프롬프트로 모델을 점검하는 감사 작업을 수행해 LLM의 취약점을 식별하는 도구입니다. 결과를 사용하여 모델과 시스템 안전성을 평가할 수 있습니다.

NeMo Evaluator는 맞춤형 LLM과 RAG 파이프라인을 빠르고 신뢰성 있게 평가하도록 설계된 마이크로서비스입니다. 인간 평가와 LLM-as-a-judge 기법을 포함한 사전 정의된 지표를 사용하여 다양한 벤치마크를 포괄합니다. API 호출을 통해 쿠버네티스에서 선호하는 클라우드 플랫폼 또는 데이터센터 전반에 여러 평가 작업을 동시에 배포하여 효율적으로 결과를 집계할 수 있습니다.

NeMo RL은 NeMo 프레임워크 툴킷의 일부인 오픈소스 라이브러리로, 고급 강화 학습 알고리즘과 확장성 있는 사후 학습을 제공하여 AI 에이전트를 엔터프라이즈급 규모로 최적화하고 정렬합니다.

NeMo Retriever는 50% 향상된 정확도, 15배 빠른 멀티모달 PDF 추출 속도, 35배 향상된 스토리지 효율성을 제공하는 업계 최고의 Nemotron RAG 모델 모음으로, 기업이 실시간 비즈니스 인사이트를 제공하는 RAG 파이프라인을 구축할 수 있도록 지원합니다. NeMo Retriever는 데이터 프라이버시를 보장하고, 독점 데이터가 어디에 있든 원활하게 연결되어 안전한 엔터프라이즈급 검색을 지원합니다.

오픈 소스인 NVIDIA NeMo 에이전트 툴킷은 프로덕션 AI 에이전트 시스템을 위한 프레임워크에 관계없이 프로파일링, 평가, 최적화를 제공합니다. 또한 교차 에이전트 조정, 도구 사용 효율성, 컴퓨팅 비용에 대한 세부적인 지표를 포착하여 NVIDIA 가속 컴퓨팅을 통해 데이터 기반 최적화를 가능하게 합니다. 또한 느린 워크플로우를 병렬화하고, 비용이 큰 연산을 캐싱하며, 모델 업데이트 중에 시스템 정확도를 유지하는 데 사용할 수 있습니다. OpenTelemetry 및 주요 에이전트 프레임워크와 호환되는 이 툴킷은 클라우드 비용을 절감하는 동시에 단일 에이전트에서 엔터프라이즈급 디지털 인력으로 확장할 수 있는 인사이트를 제공합니다.

NVIDIA AI Enterprise의 일부인 NVIDIA NIM은 기업 전반에서 생성형 AI의 배포를 가속화하도록 설계된 사용하기 쉬운 런타임입니다. 이 다목적 마이크로서비스는 오픈 소스 커뮤니티 모델부터 NVIDIA AI Foundation 모델, 맞춤형 AI 모델에 이르기까지 광범위한 AI 모델을 지원합니다. 강력한 추론 엔진의 기반 위에 구축된 NVIDIA NIM은 원활한 대규모 AI 추론을 촉진하도록 설계되어 클라우드, 데이터센터, 워크스테이션 전반에 AI 애플리케이션을 배포할 수 있습니다.

검색 증강 생성(RAG)은 LLM을 회사의 지식 기반에 연결하여 최신 정보를 기반으로 응답을 생성할 수 있게 해주는 기법입니다. NeMo는 Milvus, Llama Index, LangChain을 포함한 다양한 타사 및 커뮤니티 도구와 함께 작동하여, 벡터 데이터베이스에서 관련 정보 조각을 추출하고 자연어 응답을 생성하도록 이를 LLM에 제공합니다. 기업 데이터에 대한 질문에 정확하게 답변할 수 있는 프로덕션 품질의 AI 챗봇을 구축하려면 RAG 워크플로우를 사용하는 AI 챗봇 페이지를 살펴보세요.

NVIDIA Blueprint는 NVIDIA AI 및 Omniverse 라이브러리, SDK, 마이크로서비스로 구축된 포괄적인 레퍼런스 워크플로우입니다. 각 Blueprint에는 레퍼런스 코드, 배포 도구, 맞춤화 가이드, 참조 아키텍처가 포함되어 있어, 프로토타입에서 프로덕션에 이르기까지 AI 에이전트 및 디지털 트윈과 같은 AI 솔루션의 배포를 가속화합니다.

NVIDIA AI Enterprise는 데이터 사이언스 파이프라인을 가속화하고 생성형 AI, 컴퓨터 비전, 음성 AI 등을 포함한 프로덕션급 AI 애플리케이션의 개발과 배포를 간소화하는 엔드투엔드 클라우드 네이티브 소프트웨어 플랫폼입니다. 여기에는 AI 실무자를 위한 최고 수준의 개발 도구, 프레임워크, 사전 훈련된 모델, 마이크로서비스뿐 아니라 AI 전문가를 위한 안정적인 관리 기능이 포함되어 성능, API 안정성 및 보안을 보장합니다.