NVIDIA Personal AI Router (PAIR)
NVIDIA PAIR umožňuje, aby vaše AI aplikace a agenti běželi na všech vašich lokálních zařízeních, od NVIDIA DGX Spark™ a NVIDIA RTX Spark™ po systémy Windows a Linux s NVIDIA RTX a počítače s macOS. Získejte ze svého hardwaru maximum, zatímco vaše dotazy, soubory a kontext agenta zůstanou v soukromí.
Podívejte se, jak funguje NVIDIA PAIR
Funkce
Co umí NVIDIA PAIR?
Osobní AI cluster Využij sílu domácí sítě
Během několika minut propojte systémy RTX, DGX a Mac, které jsou ve vaší síti. NVIDIA PAIR rozpoznává kompatibilní lokální počítače a pomáhá jim pracovat jako jeden osobní inferenční cluster pro umělou inteligenci, aniž by bylo nutné používat speciální kabely, racky nebo složité nastavení clusteru.
Routování pracovní zátěže agentů Více prostoru na přemýšlení
Udržuj lokální AI pracovní postupy v chodu, když se úlohy nahromadí. NVIDIA PAIR routuje požadavky na inferenci AI mezi více dostupných lokálních uzlů a pomáhá tak náročným úlohám umělé inteligence využívat volný výpočetní výkon bez ohledu na operační systém konkrétního uzlu.
Podpora Ollama, llama.cpp a LM Studio Používej nástroje, které znáš
Spouštěj NVIDIA PAIR spolu se známými lokálními inferenčními backendy na Windows, Linuxu a macOS. Při uvádění podporuje NVIDIA PAIR platformy Ollama, llama.cpp a LM Studio, čímž aplikacím poskytuje konzistentní, jediný koncový bod a zároveň inteligentně přesměrovává požadavky na dostupný lokální výpočetní systém.
Soukromá lokální inference Měj všechno na dosah ruky
Provozuj pracovní postupy AI doma a zajisti, že data zůstanou ve tvé síti. NVIDIA PAIR je navržený pro soukromou lokální inferenci, takže můžeš využívat prompty, soubory a kontext agentů, aniž by je bylo nutné odesílat do cloudu.
Jak začít s NVIDIA PAIR
NVIDIA PAIR funguje bez speciálních kabelů nebo racků. A instalace je snadná.
Stáhnout NVIDIA PAIR
Informace
Platforma
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
Jazyk
Angličtina
Ověřené konfigurace
Grafická karta
Všechny grafické karty GeForce RTX™ (řady 20 a novější), DGX Spark/GB10, RTX Spark, Mac M1 nebo novější
RAM
4 GB RAM nebo více
Místo na disku
Doporučeno: 500 MB, bez modelů
Internet
Pro fungování není nutné připojení k internetu
Vyžaduje se pro stažení modelu
Děkujeme našim přispěvatelům
Zvláštní poděkování patří následujícím členům komunity za sdílení nápadů, předkládání návrhů a oprav, vyšetřování problémů a testování PAIR:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
Novinky ve vydání NVIDIA PAIR
Toto vydání se zaměřuje na to, aby PAIR získala podporu llama.cpp a RTX Spark a zároveň zavádí náš veřejný pracovní postup pro vývoj a přispívání na GitHub.
Novinky
- Podpora llama.cpp. Nainstalujte a spravujte llama.cpp přímo z PAIR, stáhněte si kompatibilní modely GGUF z Hugging Face a směrujte požadavky na inferenci napříč spárovanými zařízeními.
- Možnosti spuštění enginu. Přizpůsob spouštěcí argumenty a proměnné prostředí pro enginy spravované PAIR na lokálních a spárovaných zařízeních. Nastavení ladění, jako je velikost kontextu, byla enginem podporována.
- Podpora RTX Spark. Sestavení Windows on ARM v PAIR bylo ověřeno pomocí llama.cpp a CUDA na hardwaru RTX Spark N1X.
Příspěvky komunity
- Přidali jsme routování Anthropic Messages API přes Ollama a LM Studio, což umožňuje kompatibilním klientům, jako je Claude Code, používat routování s ohledem na model a převzetí služeb při selhání v rámci PAIR. Díky @Ratherrayees! (#27)
- Vylepšená efektivita monitorování enginu díky opětovnému použití připojení HTTP pro kontroly stavu. Díky @Psych0h3ad! (#37)
- Opravili jsme zbytečné aktualizace důvěry clusteru odesíláním oznámení až po úspěšném uložení nových ověření od uzlů. Díky @RecursiveIntell! (#62)
- Opravili jsme synchronizaci pracovní zátěže mezi uzly: vysílání zachovává pořadí událostí a oznámení o selhání brokera zůstávají způsobilá k opakování. Díky @mkalkere! (#80)
- Opravili jsme označování aktualizací priorit plánovače jako doručených po neúspěšném oznámení, což umožňuje opakované pokusy a udržuje přesný stav. Díky @sylvesterkaczmarek! (#122)
- Izolovali jsme testy integrace služeb a selhání proxy serveru od lokálního nastavení PAIR, čímž jsme zabránili testům ve čtení nebo přepisování konfigurace vývojáře. Díky @somtri! (#95)
- Opravili jsme příklady release intent tak, aby byl použit klíč verze požadovaných služeb. Díky @somtri! (#120)
- Aktualizovali jsme pokyny pro přispěvatele ohledně vytváření větví a rebase proti větvi develop. Díky @somtri! (#126)
- Opravili jsme problém, kdy karty uzlů zobrazovaly pouze první grafickou kartu na systémech s více grafickými kartami; nyní zobrazují každou grafickou kartu. Díky @CryptoJones! (#34)
Poznámka ke kompatibilitě
- Lokální koncové body PAIR se nyní řídí zásadami CORS každého enginu místo toho, aby povolovaly zdroj každého prohlížeče. Klienti založení na prohlížeči mohou vyžadovat dodatečnou konfiguraci enginu. Pro Ollama nakonfigurujte povolené zdroje původu pomocí OLLAMA_ORIGINS v možnostech pro spuštění enginu.
- Oficiální název PAIR se změnil z „Personal AI Router“ na PAIR. Na systémech macOS budou uživatelé muset odinstalovat své staré verze, ale měli by je přetáhnout do složky aplikací, aby nedošlo ke ztrátě modelů.
- Verze LM Studio nainstalované staršími verzemi PAIR nebudou odinstalovány při odinstalování novější verze PAIR. Uživatelé budou muset LM Studio odinstalovat ručně, pokud tak budou chtít udělat, tak z adresáře ~/.lmstudio.
Zdroje podpory pro PAIR
Časté dotazy o PAIR
NVIDIA Personal AI Router (PAIR) je software, který propojuje kompatibilní systémy macOS, Windows a Linux s grafickými kartami NVIDIA RTX a systémy DGX Spark do osobního domácího AI clusteru. PAIR distribuuje lokální pracovní zatížení umělé inteligence mezi dostupná zařízení a zároveň zajišťuje, že prompty, soubory a kontext pro agenta zůstávají v domácí síti uživatele.
Osobní domácí AI cluster propojuje několik kompatibilních zařízení v rámci jedné lokální sítě a umožňuje jim sdílet dostupné výpočetní zdroje pro lokální AI inferenci. PAIR umožňuje počítačům Mac, NVIDIA RTX a DGX Spark poskytovat větší kapacitu pro lokální AI aplikace a agenty. Zařízení v rámci clusteru fungují jako samostatné systémy, které zpracovávají paralelní úkoly; PAIR je nespojuje do jedné virtuální grafické karty.
Stáhni si PAIR, nainstaluj jej na podporované systémy, spáruj zařízení ve stejné lokální síti a přidej je do clusteru. Po připojení mohou podporované aplikace a agenti odesílat požadavky na inferenci prostřednictvím lokálního koncového bodu PAIR.
NVIDIA PAIR vyžaduje kompatibilní systémy macOS, Windows nebo Linux a podporovaný hardware. Požadavky mohou zahrnovat specifické verze operačního systému, grafické karty NVIDIA RTX, paměť GPU, systémovou paměť, procesory, úložiště a připojení k lokální síti. Aktuální podrobnosti najdeš v části Systémové požadavky na vstupní stránce NVIDIA PAIR.
PAIR je určen pro soukromou lokální inferenci. Prompty, soubory a kontext agenta zůstávají v lokální síti uživatele a neodesílají se do cloudové inferenční služby.
