Router NVIDIA Personal AI (PAIR)
NVIDIA PAIR pozwala Twoim aplikacjom i agentom AI działać na wszystkich urządzeniach lokalnych, od NVIDIA DGX Spark™ i NVIDIA RTX Spark™ po systemy Windows i Linux z RTX oraz komputery z systemem macOS. Wykorzystaj swój sprzęt przy zachowaniu prywatności promptów, plików i kontekstu agenta.
Dowiedz się, jak działa NVIDIA PAIR
Funkcje
Co może zrobić NVIDIA PAIR?
Osobisty klaster AI Zwiększ możliwości domu
W ciągu kilku minut możesz połączyć systemy RTX, DGX i Mac już w swojej sieci. NVIDIA PAIR wykrywa kompatybilne maszyny lokalne i pomaga im pracować jako jeden osobisty klaster wnioskowania AI bez konieczności korzystania ze specjalnych kabli, stojaków ani złożonej konfiguracji klastra.
Agent Workload Routing Więcej miejsca do myślenia
Nie przerywaj lokalnych przepływów pracy AI, gdy zadań przybywa. NVIDIA PAIR kieruje żądania wnioskowania AI między dostępnymi węzłami lokalnymi, pomagając zapracowanym przepływom pracy AI wykorzystywać bezczynne moce obliczeniowe, niezależnie od systemu operacyjnego węzła.
Obsługa Ollama, llama.cpp i LM Studio Użyj znanych narzędzi
Uruchamiaj NVIDIA PAIR wraz ze znanymi lokalnymi backendami wnioskowania w systemach Windows, Linux i macOS. W momencie pojawienia się NVIDIA PAIR obsługuje Ollama, llama.cpp i LM Studio, zapewniając aplikacjom spójny, jeden punkt końcowy przy jednoczesnym inteligentnym przekazywaniu żądań do dostępnych lokalnych zasobów obliczeniowych.
Prywatne lokalne wnioskowanie Niech pozostanie w domu
Uruchamiaj przepływy pracy AI w domu na danych, które pozostają w sieci. NVIDIA PAIR jest stworzony do prywatnego wnioskowania lokalnego, co pomaga korzystać z promptów, plików i kontekstu agenta bez wysyłania ich do chmury.
Jak zacząć pracę z NVIDIA PAIR
NVIDIA PAIR działa bez specjalnych kabli ani stojaków. Konfiguracja jest prosta.
Pobierz NVIDIA PAIR
Informacje
Platforma
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
Język
Angielski
Zatwierdzone konfiguracje
GPU
Wszystkie układy GPU GeForce RTX™ (z serii 20 i nowsze), DGX Spark/GB10, RTX Spark, Mac M1 lub nowsze
RAM
4 GB pamięci RAM lub więcej
Miejsce na dysku
Zalecane: 500 MB, bez modeli
Łącze internetowe
Nie wymaga Internetu do działania
Wymagane do pobrania modelu
Dziękujemy naszym współtwórcom
Specjalne podziękowania dla następujących członków społeczności za dzielenie się pomysłami, przesyłanie propozycji i poprawek, badanie problemów i testowanie PAIR:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
Najważniejsze informacje o NVIDIA PAIR
Ta wersja koncentruje się na zapewnieniu wsparcia silnika llama.cpp i chipa RTX Spark w PAIR, przy jednoczesnym ustanowieniu naszego publicznego procesu tworzenia i wnoszenia wkładu na GitHub.
Co nowego
- Obsługa llama.cpp. Zainstaluj silnik llama.cpp i zarządzaj nim bezpośrednio z PAIR, pobierz kompatybilne modele GGUF z Hugging Face i kieruj żądania wnioskowania na sparowane urządzenia.
- Opcje uruchamiania silnika. Dostosuj argumenty uruchaminaia i zmienne środowiskowe silników zarządzanych przez PAIR na urządzeniach lokalnych i sparowanych. Dostosuj ustawienia obsługiwane przez silnik, takie jak rozmiar kontekstu.
- Obsługa RTX Spark. Windows PAIR na ARM został zweryfikowany za pomocą llama.cpp i CUDA na sprzęcie RTX Spark N1X.
Wkład społeczności
- Dodano API do routingu wiadomości Anthropic za pośrednictwem Ollama i LM Studio, umożliwiając kompatybilnym klientom, takim jak Claude Code, korzystanie z routingu PAIR ze świadomością modelu i optymalizacją awaryjną. Dzięki @Ratherrayees! (#27)
- Poprawiono wydajność monitorowania silnika dzięki ponownemu wykorzystaniu połączeń HTTP do kontroli stanu. Dzięki @Psych0h3ad! (#37)
- Naprawiono niepotrzebne odświeżanie zaufania klastra poprzez wysyłanie powiadomień dopiero po pomyślnym zapisaniu nowych operacji poparcia węzłów. Dzięki @RecursiveIntell! (#62)
- Naprawiono synchronizację obciążenia między węzłami: transmisje zachowują kolejność zdarzeń, a nieudane powiadomienia brokera nadal kwalifikują się do ponowienia. Dzięki @mkalkere! (#80)
- Naprawiono problem, w którym aktualizacje priorytetów harmonogramu były oznaczane jako dostarczone po nieudanym powiadomieniu, co umożliwia ponowne próby i zachowanie dokładności statusu. Dzięki @sylvesterkaczmarek! (#122)
- Odizolowano testy integracji usług i proxy failover od lokalnych ustawień PAIR, co zapobiega odczytywaniu lub nadpisywaniu konfiguracji deweloperskiej przez testy. Dzięki @somtri! (#95)
- Poprawiono przykłady release-intent, aby używały wymaganego klucza wersji usług. Dzięki @somtri! (#120)
- Zaktualizowano instrukcje dla współtwórców dotyczące tworzenia gałęzi i zmiany podstawy (rebase) na gałęzi develop. Dzięki @somtri! (#126)
- Naprawiono karty węzła wyświetlające tylko pierwszy procesor GPU w systemach z wieloma układami GPU; teraz wyświetlają każdy procesor GPU. Dzięki @CryptoJones! (#34)
Nota dotycząca kompatybilności
- Lokalne punkty końcowe PAIR podlegają teraz polityce CORS każdego silnika, zamiast zezwalać na każde źródło przeglądarki. Klienci korzystający z przeglądarki mogą wymagać dodatkowej konfiguracji silnika. W przypadku Ollama skonfiguruj dozwolone źródła za pomocą OLLAMA_ORIGINS w opcjach, w których silnik ma się pojawiać.
- Oficjalna nazwa PAIR zmieniła się z „Personal AI Router” na PAIR. W systemach macOS użytkownicy będą musieli odinstalować stare wersje, ale powinni przeciągnąć i upuścić do folderu aplikacji, aby nie utracić modeli.
- Wersje LM Studio zainstalowane przez starsze wersje PAIR nie zostaną odinstalowane podczas odinstalowywania nowszej wersji PAIR. Użytkownicy będą musieli ręcznie odinstalować LM Studio z katalogu ~/.lmstudio, jeśli chcą to zrobić.
Zasoby obsługi PAIR
Często zadawane pytania dotyczące PAIR
NVIDIA Personal AI Router (PAIR) to oprogramowanie, które łączy kompatybilne systemy macOS, Windows i Linux z układami GPU NVIDIA RTX™ i systemami DGX Spark w osobisty domowy klaster AI. PAIR rozprowadza lokalne obciążenia wnioskowaniem AI na dostępne urządzenia, zachowując prompty, pliki i kontekst agenta w sieci domowej użytkownika.
Osobisty domowy klaster AI łączy wiele kompatybilnych urządzeń w tej samej sieci lokalnej, co umożliwia współdzielenie dostępnych zasobów obliczeniowych na potrzeby lokalnego wnioskowania AI. PAIR umożliwia komputerom Mac, systemom NVIDIA RTX i systemom DGX Spark zapewnienie większej mocy obliczeniowej lokalnym aplikacjom i agentom AI. Urządzenia pozostają oddzielnymi systemami, które obsługują zadania równolegle; PAIR nie łączy ich w jeden wirtualny GPU.
Pobierz PAIR, zainstaluj go na obsługiwanych systemach, sparuj urządzenia w tej samej sieci lokalnej i dodaj je do klastra. Po połączeniu obsługiwane aplikacje i agenty mogą wysyłać żądania wnioskowania za pośrednictwem lokalnego punktu końcowego PAIR.
NVIDIA PAIR wymaga kompatybilnych systemów macOS, Windows lub Linux oraz obsługiwanego sprzętu. Wymagania mogą obejmować określone wersje systemów operacyjnych, układy GPU NVIDIA RTX, pamięć GPU, pamięć systemową, procesory, pamięć masową i łączność z siecią lokalną. Aktualne SZCZEGÓŁY znajdziesz w sekcji Wymagania systemowe na stronie docelowej NVIDIA PAIR.
PAIR jest przeznaczony do prywatnego wnioskowania lokalnego. Prompty, pliki i kontekst agenta pozostają w sieci lokalnej użytkownika, zamiast być wysyłane do usługi wnioskowania w chmurze.
