Router AI personal NVIDIA (PAIR)
NVIDIA PAIR permite aplicațiilor și agenților tăi AI să ruleze pe toate dispozitivele tale locale, de la NVIDIA DGX Spark™ și NVIDIA RTX Spark™ la sistemele cu Windows și Linux cu RTX și computerele macOS. Profită la maximum resursele hardware, păstrând confidențialitatea prompturilor, a fișierelor și a contextului agenților.
Află cum funcționează NVIDIA PAIR
Caracteristici
Ce poate face NVIDIA PAIR?
Cluster AI personal Dă putere casei
Reunește sistemele RTX, DGX și Mac deja existente în rețeaua ta în câteva minute. NVIDIA PAIR descoperă computerele locale compatibile și le ajută să funcționeze ca un singur cluster de inferență AI personal, fără a fi necesare cabluri speciale, rack-uri sau configurare complexă a clusterului.
Rutarea sarcinii de lucru pentru agent Mai mult timp de gândire
Menține fluxurile de lucru AI locale în mișcare atunci când sarcinile se acumulează. NVIDIA PAIR rutează solicitările de inferență AI către nodurile locale disponibile, ajutând fluxurile de lucru AI ocupate să utilizeze resursele de calcul inactive, indiferent de sistemul de operare al nodului.
Suport pentru Ollama, llama.cpp și LM Studio Folosește instrumentele pe care le cunoști
Rulează NVIDIA PAIR alături de backend-urile de inferență locală familiare pe Windows, Linux și macOS. La lansare, NVIDIA PAIR acceptă Ollama, llama.cpp și LM Studio, oferind aplicațiilor un punct de acces unic și consecvent, în timp ce direcționează inteligent solicitările către resursele de calcul locale disponibile.
Inferență locală privată Ține lucrurile aproape de casă
Rulează fluxurile de lucru AI acasă cu datele care rămân în rețeaua ta. NVIDIA PAIR este construită pentru inferență locală privată, ajutându-te să utilizezi prompturile, fișierele și contextul agentului, fără a le trimite în cloud.
Cum să începi cu NVIDIA PAIR
NVIDIA PAIR funcționează fără cabluri sau rackuri speciale. Iar configurarea este ușoară.
2
Adaugă dispozitivele tale în cluster.
3
Rulează aplicațiile și agenții tăi AI.
Descarcă NVIDIA PAIR
Informații
Platformă
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
Limbă
Engleză
Configurații validate
Placă grafică
Toate GPU-urile GeForce RTX™ (seria 20 și mai noi), DGX Spark/GB10, RTX Spark, Mac M1 sau mai noi
RAM
4 GB de RAM sau mai mult
Spațiu pe disc
Recomandat: 500 MB, fără a include modelele
Internet
Nu este necesară o conexiune la internet pentru funcționare
Este necesară pentru descărcarea modelului
Le mulțumim celor care au contribuit
Mulțumiri speciale următorilor membri ai comunității pentru ideile împărtășite, propunerile și corecțiile trimise, investigarea problemelor și testarea PAIR:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
Principalele noutăți ale versiunilor NVIDIA PAIR
Această versiune se concentrează pe adăugarea suportului pentru llama.cpp și RTX Spark în PAIR, precum și pe stabilirea unui proces public de dezvoltare și contribuție pe GitHub.
Ce este nou
- suport pentru llama.cpp. Instalează și gestionează llama.cpp direct din PAIR, descarcă modele GGUF compatibile de pe Hugging Face și direcționează cererile de inferență către dispozitivele asociate.
- Opțiuni de lansare a motorului. Personalizează argumentele de pornire și variabilele de mediu pentru motoarele gestionate de PAIR pe dispozitivele locale și asociate. Setările de ajustare, precum dimensiunea contextului, erau acceptate de motor.
- Suport pentru RTX Spark. Versiunea PAIR pentru Windows on ARM a fost validată cu llama.cpp și CUDA pe sisteme RTX Spark N1X.
Contribuții ale comunității
- Am adăugat rutarea cererilor Anthropic Messages API prin Ollama și LM Studio, permițând aplicațiilor client compatibile, precum Claude Code, să folosească rutarea în funcție de model și comutarea automată în caz de eroare oferite de PAIR. Mulțumim, @Ratherrayees! (#27)
- Am îmbunătățit eficiența monitorizării motoarelor prin reutilizarea conexiunilor HTTP pentru verificarea stării de funcționare. Mulțumim, @Psych0h3ad! (#37)
- Am eliminat actualizările inutile ale relațiilor de încredere din cluster, trimițând notificări doar după salvarea cu succes a noilor confirmări de încredere pentru nodurile partenere. Mulțumim, @RecursiveIntell! (#62)
- Am remediat sincronizarea sarcinilor de lucru între noduri: mesajele difuzate păstrează ordinea evenimentelor, iar notificările către broker care au eșuat pot fi reîncercate. Mulțumim, @mkalkere! (#80)
- Am remediat o problemă din cauza căreia actualizările priorităților planificatorului erau marcate ca livrate după eșecul unei notificări, permițând reîncercarea și menținând corectitudinea stării afișate. Mulțumim, @sylvesterkaczmarek! (#122)
- Am izolat testele de integrare a serviciilor și de comutare a proxy-ului în caz de eroare de setările locale PAIR, pentru a împiedica testele să citească sau să suprascrie configurația dezvoltatorului. Mulțumim, @somtri! (#95)
- Am corectat exemplele release-intent pentru a folosi cheia obligatorie pentru versiunea serviciilor. Mulțumim, @somtri! (#120)
- Am actualizat instrucțiunile pentru contribuitori, astfel încât ramurile să fie create din develop, iar operațiile de rebase să fie efectuate pe această ramură. Mulțumim, @somtri! (#126)
- Am remediat o problemă din cauza căreia cardurile nodurilor afișau doar primul GPU pe sistemele cu mai multe GPU; acum sunt afișate toate. Mulțumim, @CryptoJones! (#34)
Notă de compatibilitate
- Punctele de acces locale PAIR respectă acum politica CORS a fiecărui motor, în loc să permită accesul din orice origine web. Aplicațiile client care rulează în browser pot necesita configurări suplimentare ale motorului. Pentru Ollama, configurează originile permise folosind OLLAMA_ORIGINS în Opțiuni de pornire a motoarelor.
- Denumirea oficială a PAIR s-a schimbat din „Personal AI Router” în PAIR. Pe sistemele macOS, utilizatorii trebuie să dezinstaleze versiunile vechi, dar să instaleze aplicația prin glisare și fixare în folderul Aplicații, pentru a păstra modelele.
- Versiunile LM Studio instalate de versiuni mai vechi ale PAIR nu vor fi dezinstalate la dezinstalarea unei versiuni mai noi a PAIR. Utilizatorii care doresc să dezinstaleze și LM Studio trebuie să facă acest lucru manual din directorul ~/.lmstudio.
Resurse de suport PAIR
Întrebări frecvente despre PAIR
Routerul AI personal NVIDIA (PAIR) este software-ul care conectează sistemele macOS, Windows și Linux compatibile cu GPU-urile NVIDIA RTX™ și sistemele DGX Spark într-un cluster AI personal de acasă. PAIR distribuie sarcinile de lucru de inferență AI locale pe dispozitivele disponibile, păstrând în același timp prompturile, fișierele și contextul agentului în rețeaua de acasă a utilizatorului.
Un cluster AI personal conectează mai multe dispozitive compatibile din aceeași rețea locală, permițându-le să partajeze resursele de calcul disponibile pentru inferență AI locală. PAIR permite computerelor Mac, sistemelor NVIDIA RTX și sistemelor DGX Spark să ofere mai multă capacitate pentru aplicațiile și agenții AI locali. Dispozitivele rămân sisteme separate care se ocupă de sarcini în paralel; PAIR nu le combină într-un singur GPU virtual.
Descarcă PAIR, instalează-l pe sistemele acceptate, asociază dispozitivele din aceeași rețea locală și adaugă-le în cluster. Odată realizată conexiunea, aplicațiile și agenții compatibili pot trimite cereri de inferență prin endpoint-ul local PAIR.
NVIDIA PAIR necesită sisteme compatibile cu macOS, Windows sau Linux și hardware compatibil. Cerințele pot include versiuni specifice ale sistemului de operare, GPU-urile NVIDIA RTX, memoria GPU, memoria sistemului, procesoarele, stocarea și conectivitatea la rețeaua locală. Vezi secțiunea Cerințe de sistem de pe pagina de destinație NVIDIA PAIR pentru detalii actuale.
PAIR este conceput pentru inferență locală privată. Prompturile, fișierele și contextul agentului rămân în rețeaua locală a utilizatorului, în loc să fie trimise unui serviciu de inferențe în cloud.
