Personal AI Router (PAIR) to oprogramowanie, które łączy kompatybilne systemy macOS, Windows i Linux z układami GPU NVIDIA RTX i systemami DGX Spark, tworząc osobisty domowy klaster AI. PAIR rozdziela lokalne zadania wnioskowania AI między dostępne urządzenia, zachowując prompty, pliki i kontekst agenta w sieci domowej użytkownika.
Osobisty domowy klaster AI łączy wiele kompatybilnych urządzeń w tej samej sieci lokalnej, umożliwiając im współdzielenie dostępnych zasobów obliczeniowych do lokalnego wnioskowania AI. PAIR umożliwia komputerom Mac, systemom NVIDIA RTX i systemom DGX Spark zapewnienie większych zasobów dla lokalnych aplikacji i agentów AI. Urządzenia pozostają osobnymi systemami, które obsługują zadania równolegle; PAIR nie łączy ich w jeden wirtualny GPU.
Węzeł to kompatybilny system, który został sparowany z NVIDIA PAIR i udostępniony dla lokalnego klastra AI. Węzły mogą obejmować obsługiwane komputery Mac, komputery lub stacje robocze NVIDIA RTX oraz systemy DGX Spark.
Tak. NVIDIA PAIR może łączyć obsługiwane systemy macOS z kompatybilnymi komputerami PC NVIDIA RTX, stacjami roboczymi i systemami DGX Spark w tej samej sieci lokalnej. Umożliwia to użytkownikom komputerów Mac kierowanie lokalnych obciążeń wnioskowania AI do dostępnych zasobów obliczeniowych NVIDIA.
Tak. PAIR wykrywa kompatybilne systemy NVIDIA RTX i DGX Spark w tej samej sieci lokalnej i pomaga im działać jako jeden osobisty klaster wnioskowania AI. Obciążenia mogą wykorzystywać dostępne obliczenia na wielu urządzeniach, zamiast polegać na jednej maszynie.
Tak. NVIDIA PAIR obsługuje kompatybilne systemy macOS, Windows i Linux. Obsługiwany sprzęt, wersje systemów operacyjnych i konfiguracje urządzeń mogą się różnić, dlatego przed instalacją prosimy o zapoznanie się z bieżącymi wymaganiami systemowymi.
NVIDIA PAIR wymaga kompatybilnych systemów macOS, Windows lub Linux oraz obsługiwanego sprzętu. Wymagania mogą obejmować określone wersje systemów operacyjnych, układy graficzne NVIDIA RTX, pamięć GPU, pamięć systemową, procesory, pamięć masową i łączność z siecią lokalną. Aktualne SZCZEGÓŁY znajdziesz w sekcji Wymagania systemowe na stronie docelowej NVIDIA PAIR.
Tak. Obsługiwany komputer Mac można dodać jako węzeł obok komputerów NVIDIA RTX, stacji roboczych i systemów DGX Spark. PAIR koordynuje sparowane urządzenia na potrzeby lokalnych przepływów pracy AI, zachowując prompty, pliki i kontekst agenta w sieci lokalnej.
PAIR kieruje żądania wnioskowania do dostępnych urządzeń w lokalnym klasterze. Gdy jedno urządzenie jest zajęte lub osiągnie dostępną pojemność, PAIR może kierować żądania do innych kompatybilnych węzłów, pomagając zmniejszyć wąskie gardła podczas wymagających przepływów pracy AI i agenta.
Tak. PAIR obsługuje lokalne aplikacje AI, agentów i przepływy pracy dla wielu agentów, które generują wiele żądań wnioskowania lub żądania sekwencyjne. Kierując żądania między sparowanymi systemami, PAIR pomaga udostępnić więcej lokalnych obliczeń do wymagających zadań.
Tak. PAIR obsługuje Ollama i LM Studio jako lokalne systemy wnioskowania. Aplikacje mogą korzystać z lokalnego punktu końcowego, podczas gdy PAIR przekazuje żądania wnioskowania do dostępnych zasobów obliczeniowych w osobistym klastrze AI.
Nie są wymagane żadne poważne zmiany aplikacji ani agenta. PAIR zapewnia jeden lokalny punkt końcowy i obsługuje przez proxy żądania Ollama oraz LM Studio, co zmniejsza potrzebę konfigurowania aplikacji dla każdego indywidualnego urządzenia.
PAIR jest przeznaczony do prywatnego wnioskowania lokalnego. Prompty, pliki i kontekst agenta pozostają w sieci lokalnej użytkownika, zamiast być wysyłane do usługi wnioskowania w chmurze.
Nie. PAIR korzysta z kompatybilnych urządzeń już podłączonych do sieci lokalnej. Nie wymaga specjalnych kabli, stojaków serwerowych ani tradycyjnego sprzętu klastra centrum danych.
Pobierz PAIR, zainstaluj go na obsługiwanych systemach, sparuj urządzenia w tej samej sieci lokalnej i dodaj je do klastra. Po połączeniu obsługiwane aplikacje i agenci mogą wysyłać żądania wnioskowania za pośrednictwem lokalnego punktu końcowego PAIR.
Pobierz NVIDIA PAIR z oficjalnej witryny NVIDIA PAIR. W witrynie internetowej znajdują się również aktualne wymagania systemowe, wskazówki dotyczące instalacji i dodatkowe często zadawane pytania.
PAIR zapewnia lokalną warstwę routingu wnioskowania wielokrotnego użytku z parowaniem urządzeń, wykrywaniem węzłów, dostępem do punktów końcowych, obsługą proxy backendu oraz routingiem obciążenia. Skrypt niestandardowy wymaga zazwyczaj od deweloperów zarządzania dostępnością urządzeń, punktami końcowymi, portami i konfiguracją aplikacji dla każdego przepływu pracy.