Routerul AI personal NVIDIA (PAIR) este software-ul care conectează sistemele macOS, Windows și Linux compatibile cu GPU-urile NVIDIA RTX™ și sistemele DGX Spark într-un cluster AI personal de acasă. PAIR distribuie sarcinile de lucru de inferență AI locale pe dispozitivele disponibile, păstrând în același timp prompturile, fișierele și contextul agentului în rețeaua de acasă a utilizatorului.
Un cluster AI personal conectează mai multe dispozitive compatibile din aceeași rețea locală, permițându-le să partajeze resursele de calcul disponibile pentru inferență AI locală. PAIR permite computerelor Mac, sistemelor NVIDIA RTX și sistemelor DGX Spark să ofere mai multă capacitate pentru aplicațiile și agenții AI locali. Dispozitivele rămân sisteme separate care se ocupă de sarcini în paralel; PAIR nu le combină într-un singur GPU virtual.
Un nod este un sistem compatibil care a fost asociat cu NVIDIA PAIR și este pus la dispoziția clusterului AI local. Nodurile pot include Mac-uri acceptate, PC-uri sau stații de lucru NVIDIA RTX și sistemele DGX Spark.
Da. NVIDIA PAIR poate asocia sistemele macOS acceptate cu PC-uri NVIDIA RTX, stații de lucru și sisteme DGX Spark compatibile din aceeași rețea locală. Acest lucru permite utilizatorilor Mac să redirecționeze sarcinile locale de inferență AI către resursele de calcul NVIDIA disponibile.
Da. PAIR descoperă sistemele compatibile NVIDIA RTX și DGX Spark în aceeași rețea locală și le ajută să funcționeze ca un singur cluster personal de inferențe AI. Sarcinile de lucru pot utiliza resursele de calcul disponibile pe mai multe dispozitive, în loc să se bazeze pe un singur computer.
Da. NVIDIA PAIR oferă suport pentru sisteme compatibile cu macOS, Windows și Linux. Hardware-ul, versiunile sistemului de operare și configurațiile dispozitivului acceptate pot varia, așa că verificați cerințele de sistem actuale înainte de instalare.
NVIDIA PAIR necesită sisteme compatibile cu macOS, Windows sau Linux și hardware compatibil. Cerințele pot include versiuni specifice ale sistemului de operare, GPU-urile NVIDIA RTX, memoria GPU, memoria sistemului, procesoarele, stocarea și conectivitatea la rețeaua locală. Vezi secțiunea Cerințe de sistem de pe pagina de destinație NVIDIA PAIR pentru detalii actuale.
Da. Un Mac compatibil poate fi adăugat ca nod alături de PC-urile NVIDIA RTX, stațiile de lucru și sistemele DGX Spark. PAIR coordonează dispozitivele asociate pentru fluxurile de lucru AI locale, păstrând în același timp prompturile, fișierele și contextul agentului în rețeaua locală.
PAIR direcționează solicitările de inferență către dispozitivele disponibile din clusterul local. Când un dispozitiv este ocupat sau își atinge capacitatea disponibilă, PAIR poate direcționa solicitările către alte noduri compatibile, ajutând la reducerea blocajelor în timpul fluxurilor de lucru solicitante de AI și agenți.
Da. PAIR suportă aplicațiile AI locale, agenții și fluxurile de lucru multi-agent care generează cereri de inferență multiple sau secvențiale. Prin rutarea solicitărilor între sistemele asociate, PAIR ajută la punerea la dispoziție a mai multă putere de calcul local pentru sarcinile solicitante.
Da. PAIR suportă Ollama și LM Studio ca backend-uri de inferență locală. Aplicațiile pot utiliza un endpoint local, în timp ce PAIR transmite prin proxy solicitările de inferență către puterea de calcul disponibilă în clusterul AI personal.
Nu sunt necesare modificări majore ale aplicației sau ale agentului. PAIR oferă un singur endpoint local și acționează ca proxy pentru solicitările acceptate de Ollama și LM Studio, reducând necesitatea de a configura aplicațiile pentru fiecare dispozitiv în parte.
PAIR este conceput pentru inferență locală privată. Prompturile, fișierele și contextul agentului rămân în rețeaua locală a utilizatorului, în loc să fie trimise unui serviciu de inferențe în cloud.
Nu. PAIR utilizează dispozitive compatibile deja conectate la rețeaua locală. Nu necesită cabluri speciale, rack-uri de servere sau hardware tradițional de cluster pentru centre de date.
Descarcă PAIR, instalează-l pe sistemele acceptate, asociază dispozitivele din aceeași rețea locală și adaugă-le în cluster. Odată realizată conexiunea, aplicațiile și agenții compatibili pot trimite cereri de inferență prin endpoint-ul local PAIR.
Descarcă NVIDIA PAIR de pe site-ul oficial NVIDIA PAIR. Site-ul oferă, de asemenea, cerințele actuale de sistem, îndrumări de instalare și întrebări frecvente suplimentare.
PAIR oferă un strat de rutare de inferență local reutilizabil, cu asocierea dispozitivelor, descoperirea nodurilor, accesul la punctele finale, proxy backend și rutarea sarcinilor de lucru. Un script personalizat necesită, de obicei, ca dezvoltatorii să gestioneze disponibilitatea dispozitivelor, endpoint-urile, porturile și configurația aplicației pentru fiecare flux de lucru.