NVIDIA AI

NVIDIA NIM을 통한 생성형 AI의 즉각적인 배포

NVIDIA에서 최적화 및 가속화한 API를 통해 커뮤니티에서 구축한 최신 AI 모델을 살펴보고, NVIDIA NIM™ 추론 마이크로서비스로 어디에나 배포해 보세요.

업계를 선도하는 오픈 모델 경험


통합

API 호출만으로 사용 가능한 가속 AI

익숙한 API로 빠르게 시작하고 실행하세요.

자주 사용되는 라이브러리와의 원활한 호환성

단 3줄의 코드로 기존 도구 및 애플리케이션에서 NVIDIA API를 사용하세요.

선호하는 도구 사용하기

LangChain, LlamaIndex 등 선호하는 거대 언어 모델(LLM) 프로그래밍 프레임워크를 사용하여 작업하고 애플리케이션에 최신 AI 모델을 손쉽게 통합해 보세요.

NIM Agent Blueprints

효과적인 생성형 AI 애플리케이션을 구축하는 데 필요한 모든 것. 각 Blueprint에는 NVIDIA NIM 및 파트너 마이크로서비스, 샘플 코드, 맞춤화 지침과 배포를 위한 Helm 차트가 포함되어 있습니다.


어디에서나 실행

NVIDIA NIM으로 AI 배포 가속화

NVIDIA AI Enterprise의 일부인 NVIDIA NIM은 모든 클라우드 또는 데이터센터에서 기반 모델의 배포를 가속화하고 데이터를 안전하게 유지하는 데 도움이 되는 사용이 간편한 마이크로 서비스 세트입니다.

Accelerate Your AI Deployment With NVIDIA NIM

NIM 배포

단일 명령으로 모델에 맞는 NIM을 배포하세요. 또한 파인 튜닝된 모델로 NIM을 쉽게 실행할 수 있습니다.

추론 실행

NVIDIA 가속 인프라를 기반으로 최적의 런타임 엔진을 사용하여 NIM을 가동하고 실행하세요.

구축

개발자는 단 몇 줄의 코드로 자체 호스팅 NIM 엔드포인트를 통합할 수 있습니다.

Deploy
Run
Build
docker run nvcr.io/nim/publisher_name/model_name
curl -X 'POST' \ 'http://0.0.0.0:8000/v1/completions' \ -H 'accept: application/json' \ -H 'Content-Type: application/json' \ -d '{ "model" : "model_name", "prompt" : "Once upon a time", "max_tokens" : 64 }'
import openai client = openai.OpenAI( base_url = "YOUR_LOCAL_ENDPOINT_URL", api_key="YOUR_LOCAL_API_KEY" ) chat_completion = client.chat.completions.create( model="model_name", messages=[{"role" : "user" , "content" : "Write me a love song" }], temperature=0.7 )

로컬에서 시작하거나 쿠버네티스로 확장

단일 장치에서 데이터 센터 규모에 이르기까지 모든 NVIDIA 가속 인프라에 컨테이너화된 AI 마이크로서비스를 원활하게 배포합니다.

신뢰성을 갖춘 안전한 배포

지속적인 보안 업데이트를 비롯한 프로덕션급 런타임으로 실행하고, 엔터프라이즈급 지원을 기반으로 한 안정적인 API를 통해 비즈니스 애플리케이션을 실행할 수 있습니다.

비용 절감 및 탄소 발자국

NVIDIA 가속 인프라에서 지연 시간을 줄이고 처리량을 증가시키기 위해 지속적으로 최적화되는 AI 런타임을 바탕으로 프로덕션 환경에서의 모델 실행 운영 비용을 절감합니다.

처리량

NVIDIA NIM은 토큰 생성을 극대화하고, 피크 타임 동안의 동시 사용자를 지원하며, 응답성을 향상시키기 위해 최적화된 처리량과 지연 시간을 제공합니다.

Configuration: Llama 3-70b-instruct, input token length: 7,000, output token length: 1,000. Concurrent client requests: 100, on 4 x H100 SXM NVLink. NIM OFF: FP16, TTFT: ~120s, ITL: ~180ms; NIM ON: FP8, TTFT: ~4.5s, ITL: ~70ms.

사용자 맞춤화

도메인 특화 요구 사항을 위한 NIM 마이크로서비스의 맞춤화

NVIDIA NeMo를 통한 파인 튜닝

NVIDIA NeMo™ 는 어디서든 맞춤형 생성형 AI를 개발할 수 있는 엔드투엔드 플랫폼입니다. 여기에는 훈련, 맞춤화 및 검색 증강 생성(RAG), 가드레일링, 데이터 큐레이션, 모델 사전 훈련을 위한 도구가 포함되어 있어, 기업이 쉽고 빠르고 비용 효율적으로 생성형 AI를 도입할 수 있습니다.

NVIDIA NIM 실제 활용 사례 확인하기

시작하기

무료로 프로토이핑 시작하기

NVIDIA 관리형 서버리스 API를 통해 간편하게 시작해 보세요.

  • 완전히 가속화된 AI 인프라 엑세스하세요.
  • 귀하의 데이터가 모델 학습에 사용되지 않도록 하세요.
  • 1,000 추론 크레딧으로 무료로 시작할 수 있습니다.

다운로드 및 배포

NVIDIA NIM을 실행하여 원하는 클라우드 또는 데이터 센터에서 최적화된 AI 모델을 확장할 수 있습니다.

  • 데이터가 귀하의 보안 구역(Secure Enclave)을 벗어나지 않도록 하세요.
  • 코드 변경 없이 클라우드 엔드포인트에서 자체 호스팅 API로 원활하게 전환합니다.
  • 프로덕션용으로 NVIDIA AI Enterprise 라이센스를 이용하거나 NVIDIA 개발자 프로그램을 통해 무료로 시작할 수 있습니다.

NVIDIA AI Foundry를 통한 맞춤형 생성형 AI 모델 구축하기

파운데이션 모델, 엔터프라이즈 소프트웨어, 가속 컴퓨팅 및 AI 전문 지식을 활용하여 엔터프라이즈 애플리케이션을 위한 맞춤형 모델을 구축, 파인 튜닝 및 배포할 수 있습니다.

사용 사례

혁신의 시작

NVIDIA API가 업계 사용 사례를 지원하는 방법을 알아보고 선별된 예시를 통해 AI 개발을 시작하세요.

디지털 인간

게임 캐릭터에 생명을 불어넣거나 인터랙티브 버츄얼 아바타를 만들어 고객 서비스를 강화하고 애플리케이션이 사용자와 더 긴밀하게 연결되도록 지원합니다.

콘텐츠 생성

도메인 전문 지식과 엔터프라이즈의 독점 IP를 바탕으로 관련성이 높고 정확한 맞춤형 콘텐츠를 생성합니다.

생체 분자 생성

생체 분자 생성 모델과 GPU의 연산 능력은 화학 공간을 효율적으로 탐색하여 특정 약물 표적이나 특성에 맞는 다양한 저분자 세트를 빠르게 생성합니다.

에코시스템

더욱 광범위하고 빠른 엔터프라이즈 AI 발전

선도적인 파트너와 함께 NVIDIA 에코시스템의 모델, 툴킷, 벡터 데이터베이스,
프레임워크 및 인프라를 통해 AI 애플리케이션을 개발하세요.

리소스

발굴, 스킬 향상, 업스케일링

NVIDIA LaunchPad

핸즈 온 랩으로 AI 시작

핸즈 온 랩의 안내를 통해 개발 프레임워크를 비롯하여 검색 증강 생성(RAG)을 기반으로 한 챗봇, 경로 최적화 등의 종합적인 AI 솔루션을 경험해 보십시오.

NVIDIA 개발자 프로그램

AI 애플리케이션 가속화

NVIDIA 개발자 프로그램을 통해 NIM에 무료로 액세스하여 애플리케이션 개발, 연구 및 테스트를 수행하고 기술 학습 리소스를 이용할 수 있습니다.

AI Workbench

작게 시작하세요. 규모에 따라 확장하세요

NVIDIA AI Workbench는 개발자에게 로컬 또는 원격 GPU 기반 컨테이너에서 API 지원 모델을 실행할 수 있는 유연성을 제공하여 실험에서 프로토타입 제작, 개념 증명까지 다양한 인터랙티브 프로젝트 워크플로우를 수행할 수 있습니다.

뉴스

뉴스 속의 NVIDIA NIM

최신 NVIDIA 보도 자료를 확인하여 NIM 및 생성형 AI가 산업, 파트너, 고객 등에 어떤 영향을 미치는지 알아보세요.

설명서

기술 설명서를 읽어 보고 NVIDIA API를 통해 프로토타이핑을 시작하는 방법과 엔터프라이즈 AI 애플리케이션을 구축하는 방법, 그리고 NVIDIA NIM을 통해 자체 인프라를 확장하는 방법을 알아보세요.