NVIDIA Personal AI Router (PAIR) 這款軟體可連接相容的 macOS、Windows 和 Linux 系統,以及 NVIDIA RTX™ GPU 與 DGX Spark 系統,打造個人家用 AI 叢集。PAIR 將地端 AI 推論工作負載分散於可用裝置,並將提示、檔案與代理情境保留在使用者家用網路。
個人家用 AI 叢集可連接同一個區域網路上的多部相容裝置,讓它們分享可用的運算資源進行地端 AI 推論。PAIR 讓 Mac、NVIDIA RTX 系統與 DGX Spark 系統為地端 AI 應用程式與代理提供更多承載能力。這些裝置仍是個別系統,負責處理並行作業;PAIR 不會將它們合併至單一虛擬 GPU。
節點是與 NVIDIA PAIR 配對的相容系統,可供地端 AI 叢集使用。節點可包括支援的 Mac、NVIDIA RTX PC 或工作站,以及 DGX Spark 系統。
可以!NVIDIA PAIR 可在同一個區域網路,將支援的 macOS 系統與相容的 NVIDIA RTX PC、工作站及 DGX Spark 系統配對。這樣一來,Mac 使用者便能將地端 AI 推論工作負載,路由至可用的 NVIDIA 運算資源。
可以!PAIR 在同一個區域網路探索相容的 NVIDIA RTX 與 DGX Spark 系統,並協助系統以單一個人 AI 推論叢集的方式運作。工作負載可使用多部裝置的可用算力,而非仰賴單一機器。
可以!NVIDIA PAIR 支援相容的 macOS、Windows 與 Linux 系統。支援的硬體、作業系統版本與裝置配置可能有所不同,因此,安裝前請檢查目前的系統需求。
NVIDIA PAIR 需要相容的 macOS、Windows 或 Linux 系統以及支援的硬體。需求可能包括特定作業系統版本、NVIDIA RTX GPU、GPU 記憶體、系統記憶體、處理器、儲存空間,以及區域網路連線。如需最新細節,請參閱 NVIDIA PAIR 登陸頁面上的系統需求。
可以!您可將支援的 Mac 新增為節點,搭配 NVIDIA RTX PC、工作站與 DGX Spark 系統使用。PAIR 會為地端 AI 工作流程協調配對的裝置,將提示、檔案與代理情境保留在區域網路。
PAIR 會將推論請求路由至地端叢集內的可用裝置。一部裝置忙碌或達到可用承載能力時,PAIR 可將請求引導至其他相容節點,協助減少繁重 AI 與代理工作流程的瓶頸。
可以!PAIR 支援地端 AI 應用程式、代理與多代理工作流程,協助產生多個或連續推論請求。PAIR 在配對系統之間路由請求,協助將更多地端運算能力用於需求繁重的作業。
可以!PAIR 支援 Ollama 與 LM Studio 當成地端推論後端使用。應用程式可使用地端端點,而 PAIR 則會將推論請求轉交給個人 AI 叢集內的可用算力。
應用程式或代理無須大幅變更。PAIR 提供單一地端端點,並轉交支援的 Ollama 與 LM Studio 請求,減少為每台個別裝置設定應用程式之苦。
PAIR 專為私密地端推論而設計。提示、檔案與代理情境會保留在使用者區域網路,而非傳送至雲端推論服務。
不用。PAIR 使用已連線至區域網路的相容裝置。它不需要特殊連接線、伺服器機架或傳統資料中心叢集硬體。
下載 PAIR 後安裝在支援的系統、將相同區域網路上的裝置配對,然後將它們新增至叢集。連結後,支援的應用程式與代理可透過 PAIR 地端端點傳送推論請求。
從官方 NVIDIA PAIR 網站下載 NVIDIA PAIR。該網站還提供目前的系統需求、安裝指南及其他常見問答。
PAIR 提供可重複使用的地端推論路由層,支援裝置配對、節點探索、端點存取、後端代理及工作負載路由。自訂指令碼通常需要開發者管理每項工作流程的裝置可用性、端點、連接埠及應用程式設定。