NVIDIA Personal AI Router (PAIR)
NVIDIA PAIR gør det muligt for dine AI-apps og agenter at køre på tværs af alle dine lokale enheder, fra NVIDIA DGX Spark™ og NVIDIA RTX Spark™ til Windows- og Linux-systemer med RTX og macOS-computere. Få mest muligt ud af din hardware, samtidig med at prompter, filer og agentkontekst holdes private.
Se, hvordan NVIDIA PAIR fungerer
Funktioner
Hvad kan NVIDIA PAIR gøre?
Personlig AI-klynge Giv huset mere kraft
Saml RTX-, DGX- og Mac-systemer, der allerede er på dit netværk, på få minutter. NVIDIA PAIR finder kompatible lokale maskiner og hjælper dem med at fungere som ét samlet personligt AI-inferenscluster uden behov for særlige kabler, serverrack eller kompleks clusteropsætning.
Routing af agentarbejdsbelastning Mere plads til at tænke
Hold lokale AI-arbejdsgange i bevægelse, når opgaver hober sig op. NVIDIA PAIR fordeler AI-inferensanmodninger på de tilgængelige lokale noder, hvilket hjælper travle AI-arbejdsgange med at udnytte ledig regnekapacitet, uanset nodens operativsystem.
Understøttelse af Ollama, llama.cpp og LM Studio Brug de værktøjer, du kender
Kør NVIDIA PAIR sammen med velkendte lokale inferens-backends på Windows, Linux og macOS. Ved lancering understøtter NVIDIA PAIR Ollama, llama.cpp og LM Studio, hvilket giver apps et ensartet, enkelt endpunkt, samtidig med at anmodninger på intelligent vis videresendes til tilgængelig lokal regnekraft.
Privat lokal inferens Hold det tæt på hjemmet
Kør AI-arbejdsgange hjemme med data, der forbliver på dit netværk. NVIDIA PAIR er bygget til privat lokal inferens, hvilket hjælper dig med at bruge prompter, filer og agentkontekst uden at sende dem til skyen.
Sådan kommer du i gang med NVIDIA PAIR
NVIDIA PAIR fungerer uden særlige kabler eller racks. Og det er nemt at installere.
Download NVIDIA PAIR
Oplysninger
Platform
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
sprog
Engelsk
Validerede konfigurationer
Grafikkort
Alle GeForce RTX™ GPUer (20-serien og nyere), DGX Spark/GB10, RTX Spark, Mac M1 eller nyere
RAM
4 GB RAM eller mere
Diskplads
Anbefalet: 500 MB, ikke inklusive modeller
Internet
Der kræves intet internet til drift
Nødvendig til modeldownload
Tak til vores bidragydere
En særlig tak til følgende medlemmer af fællesskabet for at dele ideer, indsende forslag og rettelser, undersøge problemer og teste PAIR:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
Højdepunkter fra NVIDIA PAIR-udgivelsen
Denne udgivelse fokuserer på at bringe understøttelse af llama.cpp og RTX Spark til PAIR, samtidig med at vores arbejdsgang for offentlig udvikling og bidrag etableres på GitHub.
Hvad er nyt
- understøttelse af llama.cpp. Installer og administrer llama.cpp direkte fra PAIR, download kompatible GGUF-modeller fra Hugging Face, og diriger inferensanmodninger på tværs af parrede enheder.
- Muligheder for at lancere Engine. Tilpas opstartsargumenter og miljøvariabler til PAIR-administrerede motorer på lokale og parrede enheder. Justeringsindstillinger såsom kontekststørrelse blev understøttet af motoren.
- RTX Spark-understøttelse. PAIR’s Windows on ARM-build er blevet valideret med llama.cpp og CUDA på RTX Spark N1X-hardware.
Fællesskabsbidrag
- Der er tilføjet Anthropic Messages API-routing via Ollama og LM Studio, hvilket gør det muligt for kompatible klienter som Claude Code at bruge PAIRs model-bevidste routing og failover. Tak @Ratherrayees! (#27)
- Forbedret effektivitet i motorovervågning ved at genbruge HTTP-forbindelser til tilstandskontroller. Tak @Psych0h3ad! (#37)
- Rettede unødvendige opdateringer af cluster trust ved kun at sende meddelelser, efter at nye peer-godkendelser er blevet gemt. Tak @RecursiveIntell! (#62)
- Rettede synkronisering af arbejdsbelastning mellem noder: Broadcasts bevarer begivenhedsrækkefølgen, og mislykkede broker-meddelelser er fortsat berettigede til at blive prøvet igen. Tak @mkalkere! (#80)
- Rettede en fejl, hvor planlægningsprioritetsopdateringer blev markeret som leveret efter en mislykket meddelelse, hvilket muliggør nye forsøg og sikrer en nøjagtig status. Tak @sylvesterkaczmarek! (#122)
- Isolerede serviceintegration og proxy-failover-tests fra lokale PAIR-indstillinger, hvilket forhindrer tests i at læse eller overskrive udviklerkonfigurationer. Tak @somtri! (#95)
- Korrigerede eksempler på release-intent til at bruge den nødvendige nøgle for tjenesteversioner. Tak @somtri! (#120)
- Opdaterede instruktioner til bidragydere om at branche og rebase mod develop. Tak @somtri! (#126)
- Rettet fejl i nodekort, der kun viste den første GPU på systemer med flere GPUer; de viser nu alle GPUer. Tak @CryptoJones! (#34)
Kompatibilitetsoplysninger
- PAIRs lokale slutpunkter følger nu hver motors CORS-politik i stedet for at tillade alle browser-origins. Browserbaserede klienter kan have brug for yderligere konfiguration af motoren. For Ollama skal du konfigurere tilladte origins ved hjælp af OLLAMA_ORIGINS i indstillinger for lancering.
- PAIRs officielle navn er ændret fra "Personal AI Router" til PAIR. På macOS-systemer skal brugere afinstallere deres gamle versioner, men de bør trække og slippe dem til mappen Programmer for ikke at miste modeller.
- Versioner af LM Studio, der er installeret af ældre versioner af PAIR, vil ikke blive afinstalleret, når du afinstallerer en nyere version af PAIR. Brugere skal manuelt afinstallere LM Studio, hvis de ønsker at fjerne det fra ~/.lmstudio-mappen.
PAIR-understøttelsesressourcer
Ofte stillede spørgsmål om PAIR
NVIDIA Personal AI Router (PAIR) er software, der forbinder kompatible macOS-, Windows- og Linux-systemer med NVIDIA RTX™ GPU'er og DGX Spark-systemer i en personlig AI-klynge i hjemmet. PAIR fordeler lokale AI-inferens-arbejdsbelastninger på tværs af tilgængelige enheder, samtidig med at prompter, filer og agentkontekst forbliver på brugerens hjemmenetværk.
En personlig AI-klynge i hjemmet forbinder flere kompatible enheder på det samme lokale netværk, så de kan dele de tilgængelige computerressourcer til lokal AI-inferens. PAIR gør det muligt for Mac-computere, NVIDIA RTX-systemer og DGX Spark-systemer at yde mere kapacitet til lokale AI-programmer og agenter. Enhederne er fortsat separate systemer, der håndterer parallelle opgaver; PAIR kombinerer dem ikke til én virtuel GPU.
Download PAIR, installer det på understøttede systemer, par enhederne på det samme lokale netværk, og tilføj dem til klyngen. Når der er oprettet forbindelse, kan understøttede programmer og agenter sende anmodninger om inferens via det lokale PAIR-slutpunkt.
NVIDIA PAIR kræver kompatible macOS-, Windows- eller Linux-systemer og understøttet hardware. Krav kan omfatte specifikke operativsystemversioner, NVIDIA RTX GPU'er, GPU-hukommelse, systemhukommelse, processorer, lager og lokal netværksforbindelse. Se afsnittet Systemkrav på NVIDIA PAIR-landingssiden for at få aktuelle oplysninger.
PAIR er designet til privat lokal inferens. Prompter, filer og agentkontekst forbliver på brugerens lokale netværk i stedet for at blive sendt til en inferenstjeneste i skyen.
