NVIDIA Personal AI Router (PAIR)
Met NVIDIA PAIR kun je AI-apps en -agents draaien op al je lokale apparaten, van NVIDIA DGX Spark™ en NVIDIA RTX Spark™ tot Windows- en Linux-systemen met NVIDIA RTX en macOS-computers. Haal het meeste uit je hardware en houd prompts, bestanden en agent-context privé.
Bekijk hoe NVIDIA PAIR werkt
Kenmerken
Wat kan NVIDIA PAIR doen?
Persoonlijke AI-cluster Het systeem inschakelen
Breng de RTX-, DGX- en Mac-systemen die al op je netwerk aanwezig zijn binnen enkele minuten samen. NVIDIA PAIR ontdekt compatibele lokale machines en helpt ze om als één persoonlijk AI-inferentiecluster te werken zonder dat speciale kabels, racks of een complexe cluster-installatie nodig zijn.
Workload-routering voor agents Meer ruimte om na te denken
Houd lokale AI-workflows draaiende wanneer taken zich opstapelen. NVIDIA PAIR stuurt AI-inferentieverzoeken naar beschikbare lokale knooppunten, waardoor drukke AI-workflows gebruik kunnen maken van inactieve rekenkracht, ongeacht het besturingssysteem van het knooppunt.
Ondersteuning voor Ollama, llama.cpp en LM Studio Gebruik de tools die je kent
Voer NVIDIA PAIR uit naast bekende lokale inferentie-backends op Windows, Linux en macOS. Bij het lanceren ondersteunt NVIDIA PAIR Ollama, llama.cpp en LM Studio, waardoor apps een consistent, enkelvoudig eindpunt krijgen terwijl verzoeken op intelligente wijze worden doorgestuurd naar beschikbare lokale rekenkracht.
Lokale privé-inferentie Houd het dicht bij huis
Voer AI-workflows thuis uit met gegevens die op je netwerk blijven. NVIDIA PAIR is gebouwd voor lokale privé-inferentie, waardoor je prompts, bestanden en agent-context kunt gebruiken zonder ze naar de cloud te verzenden.
Aan de slag met NVIDIA PAIR
NVIDIA PAIR werkt zonder speciale kabels of racks. En het is gemakkelijk in te stellen.
Download NVIDIA PAIR
Informatie
Platform
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
Taal
Engels
Gevalideerde configuraties
GPU
Alle GeForce RTX™ GPU's (20-serie en nieuwer), DGX Spark/GB10, RTX Spark, Mac M1 of nieuwer
RAM
4 GB RAM of hoger
Schijfruimte
Aanbevolen: 500 MB, exclusief modellen
Internet
Geen internet vereist voor werking
Vereist voor het downloaden van het model
Bedankt aan onze bijdragers
Een speciale dank aan de volgende community-leden voor het delen van ideeën, het indienen van voorstellen en oplossingen, het onderzoeken van problemen en het testen van PAIR:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
NVIDIA PAIR Hoogtepunten van de release
Deze release richt zich op het bieden van ondersteuning voor llama.cpp en RTX Spark aan PAIR, terwijl onze workflow voor openbare ontwikkeling en bijdrage wordt vastgelegd op GitHub.
Nieuw
- llama.cpp-ondersteuning. Installeer en beheer llama.cpp rechtstreeks vanuit PAIR, download compatibele GGUF-modellen van Hugging Face en stuur route-inferentieverzoeken door naar gekoppelde apparaten.
- Opties voor het lanceren van engines. Pas lanceerargumenten en omgevingsvariabelen aan voor door PAIR beheerde engines op lokale en gekoppelde apparaten. Pas instellingen zoals contextgrootte aan die door de engine werden ondersteund.
- Ondersteuning voor RTX Spark. De Windows op ARM-build van PAIR is gevalideerd met llama.cpp en CUDA op RTX Spark N1X-hardware.
Community-bijdragen
- Anthropic Messages API-routing toegevoegd via Ollama en LM Studio, waardoor compatibele clients zoals Claude Code de model-bewuste routing en failover van PAIR kunnen gebruiken. Bedankt @Ratherrayees! (#27)
- Verbeterde efficiëntie van de monitoring van de engine door HTTP-verbindingen te hergebruiken voor gezondheidscontroles. Bedankt @Psych0h3ad! (#37)
- Onnodige vernieuwingen van clustervertrouwen verholpen door meldingen alleen te verzenden nadat nieuwe peer-endorsements met succes zijn opgeslagen. Bedankt @RecursiveIntell! (#62)
- Workload-synchronisatie tussen knooppunten verholpen: broadcasts behouden de volgorde van evenementen en mislukte broker-meldingen blijven in aanmerking komen voor herhaling. Bedankt @mkalkere! (#80)
- Probleem verholpen waarbij prioriteitswijzigingen in de scheduler als verzonden werden gemarkeerd terwijl de melding was mislukt. Opnieuw proberen werkt nu, en de status blijft correct. Bedankt @sylvesterkaczmarek! (#122)
- Service-integratietests en proxy-failovertests draaien nu los van de lokale PAIR-instellingen, zodat tests de configuratie van ontwikkelaars niet meer kunnen lezen of overschrijven. Bedankt @somtri! (#95)
- De voorbeelden voor release-intents zijn aangepast en gebruiken nu de juiste, verplichte services-versiesleutel. Bedankt @somtri! (#120)
- In de instructies voor bijdragers staat nu dat nieuwe branches vanaf develop worden aangemaakt en wijzigingen worden op develop gerebased. Bedankt @somtri! (#126)
- Probleem opgelost waarbij node-kaarten alleen de eerste GPU op multi-GPU-systemen toonden; ze geven nu elke GPU weer. Bedankt @CryptoJones! (#34)
Opmerking over compatibiliteit
- De lokale eindpunten van PAIR volgen nu het CORS-beleid van elke engine in plaats van elke browser-origin toe te staan. Browser-gebaseerde clients hebben mogelijk extra engine-configuratie nodig. Configureer voor Ollama toegestane origins met OLLAMA_ORIGINS in Engine lanceringsopties.
- De officiële naam van PAIR is veranderd van 'Personal AI Router' naar PAIR. Op macOS-systemen moeten gebruikers hun oude versies verwijderen, maar ze moeten het naar de map met toepassingen slepen en neerzetten om modellen niet te verliezen.
- Versies van LM Studio die zijn geïnstalleerd door oudere versies van PAIR, worden niet verwijderd wanneer je een nieuwere versie van PAIR verwijdert. Gebruikers moeten LM Studio handmatig verwijderen vanuit de map ~/.lmstudio als ze dat willen doen.
Ondersteuningsbronnen voor PAIR
Veelgestelde vragen over PAIR
NVIDIA Personal AI Router (PAIR) is software die compatibele macOS-, Windows- en Linux-systemen verbindt met NVIDIA RTX™ GPU's en DGX Spark-systemen in een persoonlijke AI-cluster voor thuis. PAIR verdeelt lokale AI-inferentie-workloads over beschikbare apparaten, terwijl de prompts, bestanden en agent-context op het thuisnetwerk van de gebruiker behouden blijven.
Een persoonlijke AI-cluster voor thuis verbindt meerdere compatibele apparaten op hetzelfde lokale netwerk, waardoor ze beschikbare computerbronnen kunnen delen voor lokale AI-inferentie. PAIR stelt Macs, NVIDIA RTX-systemen en DGX Spark-systemen in staat om meer capaciteit te bieden voor lokale AI-toepassingen en agents. De apparaten blijven afzonderlijke systemen die parallelle taken afhandelen. PAIR combineert ze niet in één virtuele GPU.
Download PAIR, installeer het op ondersteunde systemen, koppel de apparaten op hetzelfde lokale netwerk en voeg ze toe aan de cluster. Zodra ze zijn verbonden, kunnen ondersteunde toepassingen en agents inferentieverzoeken verzenden via het lokale PAIR-eindpunt.
NVIDIA PAIR vereist compatibele macOS-, Windows- of Linux-systemen en ondersteunde hardware. De vereisten kunnen specifieke besturingssysteemversies, NVIDIA RTX GPU's, GPU-geheugen, systeemgeheugen, processors, opslag en lokale netwerkconnectiviteit omvatten. Bekijk de sectie Systeemvereisten op de NVIDIA PAIR-bestemmingspagina voor de actuele details.
PAIR is ontworpen voor lokale privé-inferentie. Prompts, bestanden en agent-context blijven op het lokale netwerk van de gebruiker in plaats van naar een cloud-inferentieservice te worden verzonden.
