NVIDIA Personal AI Router (PAIR)
NVIDIA PAIR를 통해 NVIDIA DGX Spark™, NVIDIA RTX Spark™부터 RTX 탑재 Windows 및 Linux 시스템, macOS 컴퓨터에 이르기까지 모든 로컬 기기에서 AI 앱과 에이전트를 실행할 수 있습니다. 프롬프트, 파일 및 에이전트 컨텍스트를 비공개로 유지하면서 하드웨어 성능을 최대한 활용하세요.
NVIDIA PAIR 작동 방식 확인하기
기능
NVIDIA PAIR는 무엇을 할 수 있나요?
개인 AI 클러스터 집 전원 켜기
이미 네트워크에 있는 RTX, DGX 및 Mac 시스템을 몇 분 만에 함께 가동하세요. NVIDIA PAIR은 호환 로컬 머신을 검색하여 특수 케이블, 랙 또는 복잡한 클러스터 설정 없이 하나의 개인 AI 추론 클러스터로 작동하도록 지원합니다.
에이전트 워크로드 라우팅 생각할 더 많은 공간
작업이 쌓일 때 로컬 AI 워크플로우를 계속 진행하세요. NVIDIA PAIR는 사용 가능한 로컬 노드 전반에 AI 추론 요청을 라우팅하여, 노드의 운영 체제에 관계없이 바쁜 AI 워크플로우가 유휴 컴퓨팅 자원을 활용할 수 있도록 지원합니다.
Ollama, llama.cpp 및 LM Studio 지원 알고 있는 도구 사용
Windows, Linux 및 macOS에서 익숙한 로컬 추론 백엔드와 함께 NVIDIA PAIR를 실행하세요. 출시 시점에 NVIDIA PAIR는 Ollama, llama.cpp, LM Studio를 지원하여, 앱에 일관된 단일 엔드포인트를 제공하는 동시에 사용 가능한 로컬 컴퓨팅으로 요청을 지능적으로 프록시합니다.
비공개 로컬 추론 데이터를 로컬에 보관하세요
네트워크에 유지되는 데이터로 집에서 AI 워크플로우를 실행하세요. NVIDIA PAIR는 비공개 로컬 추론을 위해 구축되어 프롬프트, 파일 및 에이전트 컨텍스트를 클라우드로 전송하지 않고도 사용할 수 있도록 지원합니다.
NVIDIA PAIR 시작하기
NVIDIA PAIR는 특수 케이블이나 랙 없이도 작동합니다. 설정하기도 쉽습니다.
NVIDIA PAIR 다운로드
정보
플랫폼
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
언어
영어
검증된 구성
GPU
모든 GeForce RTX GPU(20 시리즈 및 이후 모델), DGX Spark/GB10, Mac M1 또는 이후 모델
RAM
4 GB RAM 또는 그 이상
디스크 공간
권장: 500MB(모델 제외)
인터넷
작동 시 인터넷 불필요 / 모델 다운로드 시 필요
기여해 주신 모든 분께 감사드립니다.
아이디어를 공유하고, 제안 및 수정 사항을 제출하며, 문제를 조사하고, PAIR를 테스트해 주신 다음 커뮤니티 멤버 여러분께 특별한 감사드립니다.
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
NVIDIA PAIR 릴리스 하이라이트
이번 릴리스는 LLama.cpp 및 RTX Spark 지원을 PAIR에 추가하고, GitHub에서 공개 개발 및 기여 워크플로우를 구축하는 데 중점을 둡니다.
새로운 기능
- llama.cpp 지원. PAIR에서 직접 llama.cpp를 설치 및 관리하고, Hugging 호환되는 GGUF 모델을 다운로드하며, 페어링된 기기 전반에 걸쳐 추론 요청을 라우팅하세요.
- 엔진 출시 옵션입니다. 로컬 및 페어링된 기기에서 PAIR로 관리되는 엔진에 맞춰 출시 인수와 환경 변수를 사용자 지정하세요. 엔진에서 지원하는 컨텍스트 크기 등의 설정을 조정하세요.
- RTX Spark를 지원합니다. PAIR의 Windows on ARM 빌드는 RTX Spark N1X 하드웨어에서 llama.cpp와 CUDA로 검증되었습니다.
커뮤니티 기여
- Ollama 및 LM Studio를 통해 Anthropic Messages API 라우팅이 추가되어, Claude Code 등 호환 클라이언트가 PAIR의 모델 인식 라우팅 및 페일오버를 사용할 수 있습니다. @Ratherrayees에게 감사드립니다! (#27)
- 상태 확인을 위해 HTTP 연결을 재사용하여 엔진 모니터링 효율을 개선했습니다. @Psych0h3ad에게 감사드립니다! (#37)
- 새로운 피어 승인이 성공적으로 저장된 후에만 알림을 전송하여 불필요한 클러스터 신뢰 갱신 문제를 수정했습니다. @RecursiveIntell에게 감사드립니다! (#62)
- 노드 간 워크로드 동기화 수정: 브로드캐스트는 이벤트 순서를 유지하며, 실패한 브로커 알림은 재시도 대상으로 남습니다. @mkalkere에게 감사드립니다! (#80)
- 알림 실패 후 스케줄러 우선순위 업데이트가 전달 완료로 표시되는 문제를 수정하여, 재시도가 가능해지고 상태가 정확하게 유지됩니다. @sylvesterkaczmarek에게 감사드립니다! (#122)
- 로컬 PAIR 설정에서 서비스 통합 및 프록시 페일오버 테스트를 격리하여 테스트가 개발자 구성을 읽거나 덮어쓰지 않도록 합니다. @somtri에게 감사드립니다! (#95)
- 필요한 서비스 버전 키를 사용하도록 릴리스 인텐트 예시를 수정했습니다. @somtri에게 감사드립니다! (#120)
- develop 브랜치를 기준으로 브랜치 생성 및 리베이스하도록 기여자 지침을 업데이트했습니다. @somtri에게 감사드립니다! (#126)
- 멀티 GPU 시스템에서 노드 카드가 첫 번째 GPU만 표시되는 문제를 수정했습니다. 이제 모든 GPU가 표시됩니다. @CryptoJones에게 감사드립니다! (#34)
호환성 참고 사항
- PAIR의 로컬 엔드포인트는 이제 모든 브라우저 오리진을 허용하는 대신 각 엔진의 CORS 정책을 따릅니다. 브라우저 기반 클라이언트는 추가 엔진 구성이 필요할 수 있습니다. Ollama의 경우 엔진 실행 옵션에서 OLLAMA_ORIGINS를 사용하여 허용된 오리진을 구성하세요.
- PAIR의 공식 이름이 “Personal AI Router”에서 PAIR로 변경되었습니다. macOS 시스템에서 이전 버전을 제거해야 하지만, 모델을 유지하려면 애플리케이션 폴더로 드래그 앤 드롭해야 합니다.
- 이전 버전의 PAIR로 설치된 LM Studio 버전은 새로운 버전의 PAIR를 제거할 때 제거되지 않습니다. LM Studio를 제거하려면 ~/.lmstudio 디렉토리에서 수동으로 제거해야 합니다.
PAIR 지원 리소스
PAIR에 대한 자주 묻는 질문
NVIDIA 개인 AI 라우터(PAIR)는 NVIDIA RTX™ GPU 및 DGX Spark 시스템을 탑재한 호환 macOS, Windows 및 Linux 시스템을 개인용 홈 AI 클러스터로 연결하는 소프트웨어입니다. PAIR는 사용자의 홈 네트워크에서 프롬프트, 파일 및 에이전트 컨텍스트를 유지하면서 로컬 AI 추론 워크로드를 사용 가능한 기기 전반에 분산합니다.
개인 홈 AI 클러스터는 동일한 로컬 네트워크의 여러 호환 기기를 연결하여 로컬 AI 추론을 위한 가용 컴퓨팅 리소스를 공유할 수 있습니다. PAIR를 통해 Mac, NVIDIA RTX 시스템 및 DGX Spark 시스템은 로컬 AI 애플리케이션 및 에이전트를 위한 더 많은 용량을 제공할 수 있습니다. 디바이스는 병렬 작업을 처리하는 별도의 시스템으로 유지되며, PAIR는 이를 하나의 가상 GPU로 결합하지 않습니다.
PAIR를 다운로드하여 지원되는 시스템에 설치하고, 동일한 로컬 네트워크에서 디바이스를 쌍으로 구성한 다음 클러스터에 추가합니다. 연결되면 지원되는 애플리케이션 및 에이전트는 PAIR 로컬 엔드포인트를 통해 추론 요청을 전송할 수 있습니다.
NVIDIA PAIR는 호환되는 macOS, Windows 또는 Linux 시스템과 지원되는 하드웨어가 필요합니다. 요구 사양에는 특정 운영 체제 버전, NVIDIA RTX GPU, GPU 메모리, 시스템 메모리, 프로세서, 스토리지 및 로컬 네트워크 연결이 포함될 수 있습니다. 현재 세부 정보는 NVIDIA PAIR 랜딩 페이지의 시스템 요구 사양 섹션을 참조하십시오.
PAIR는 로컬에서 비공개 추론을 수행하도록 설계되었습니다. 프롬프트, 파일 및 에이전트 컨텍스트는 클라우드 추론 서비스로 전송되지 않고 사용자의 로컬 네트워크에 유지됩니다.
