NVIDIA Personal AI Router (PAIR) adalah perangkat lunak yang menghubungkan sistem macOS, Windows, dan Linux yang kompatibel, yang dilengkapi GPU NVIDIA RTX™, serta sistem DGX Spark, menjadi klaster AI rumahan pribadi. PAIR mendistribusikan beban kerja inferensi AI lokal ke perangkat yang tersedia sembari menjaga prompt, file, dan konteks agen tetap berada di jaringan rumah pengguna.
Klaster AI rumahan pribadi menghubungkan beberapa perangkat yang kompatibel pada jaringan lokal yang sama, sehingga memungkinkan perangkat-perangkat tersebut berbagi sumber daya komputasi yang tersedia untuk inferensi AI lokal. PAIR memungkinkan Mac, sistem NVIDIA RTX, dan sistem DGX Spark menyediakan lebih banyak kapasitas untuk aplikasi dan agen AI lokal. Perangkat tetap menjadi sistem terpisah yang menangani tugas paralel; PAIR tidak menggabungkannya menjadi satu GPU virtual.
Node adalah sistem yang kompatibel yang telah dikaitkan dengan NVIDIA PAIR dan tersedia untuk klaster AI lokal. Node dapat mencakup Mac yang didukung, PC atau workstation NVIDIA RTX, dan sistem DGX Spark.
Ya. NVIDIA PAIR dapat mengaitkan sistem macOS yang didukung dengan PC NVIDIA RTX, workstation, dan sistem DGX Spark yang kompatibel di jaringan lokal yang sama. Ini memungkinkan pengguna Mac merutekan beban kerja inferensi AI lokal ke sumber daya komputasi NVIDIA yang tersedia.
Ya. PAIR menemukan sistem NVIDIA RTX dan DGX Spark yang kompatibel di jaringan lokal yang sama dan membantu sistem tersebut beroperasi sebagai satu klaster inferensi AI pribadi. Beban kerja dapat menggunakan sumber daya komputasi yang tersedia di beberapa perangkat daripada mengandalkan satu mesin.
Ya. NVIDIA PAIR mendukung sistem macOS, Windows, dan Linux yang kompatibel. Perangkat keras yang didukung, versi sistem operasi, dan konfigurasi perangkat dapat bervariasi, jadi periksa persyaratan sistem saat ini sebelum instalasi.
NVIDIA PAIR memerlukan sistem macOS, Windows, atau Linux yang kompatibel dan perangkat keras yang didukung. Persyaratan dapat mencakup versi sistem operasi tertentu, GPU NVIDIA RTX, memori GPU, memori sistem, prosesor, penyimpanan, dan konektivitas jaringan lokal. Lihat bagian Persyaratan Sistem di halaman arahan NVIDIA PAIR untuk detail saat ini.
Ya. Mac yang didukung dapat ditambahkan sebagai node bersama dengan PC NVIDIA RTX, workstation, dan sistem DGX Spark. PAIR mengoordinasikan perangkat yang telah dikaitkan untuk alur kerja AI lokal sembari menjaga prompt, file, dan konteks agen tetap berada di jaringan lokal.
PAIR merutekan permintaan inferensi ke perangkat yang tersedia di dalam klaster lokal. Ketika satu perangkat sibuk atau mencapai batas kapasitasnya, PAIR dapat mengarahkan permintaan ke node lain yang kompatibel, membantu mengurangi hambatan selama alur kerja AI dan agen yang intensif.
Ya. PAIR mendukung aplikasi AI lokal, agen, dan alur kerja multi-agen yang menghasilkan permintaan inferensi ganda atau berurutan. Dengan merutekan permintaan ke seluruh sistem yang terhubung, PAIR membantu menyediakan lebih banyak sumber daya komputasi lokal untuk tugas yang berat.
Ya. PAIR mendukung Ollama dan LM Studio sebagai backend inferensi lokal. Aplikasi dapat menggunakan titik akhir lokal sementara PAIR meneruskan permintaan inferensi ke sumber daya komputasi yang tersedia di dalam klaster AI pribadi.
Tidak diperlukan perubahan besar pada aplikasi atau agen. PAIR menyediakan satu titik akhir lokal dan meneruskan permintaan yang didukung oleh Ollama dan LM Studio, sehingga mengurangi kebutuhan untuk mengonfigurasi aplikasi untuk setiap perangkat secara terpisah.
PAIR dirancang untuk inferensi lokal pribadi. Prompt, file, dan konteks agen tetap berada di jaringan lokal pengguna alih-alih dikirim ke layanan inferensi cloud.
Tidak. PAIR menggunakan perangkat yang kompatibel yang sudah terhubung ke jaringan lokal. NVIDIA PAIR tidak memerlukan kabel khusus, rak server, atau perangkat keras klaster pusat data tradisional.
Unduh PAIR, instal pada sistem yang didukung, kaitkan perangkat di jaringan lokal yang sama, dan tambahkan ke klaster. Setelah terhubung, aplikasi dan agen yang didukung dapat mengirim permintaan inferensi melalui titik akhir lokal PAIR.
Unduh NVIDIA PAIR dari situs web resmi NVIDIA PAIR. Situs web tersebut juga menyediakan persyaratan sistem saat ini, panduan instalasi, dan Tanya Jawab tambahan.
PAIR menyediakan lapisan perutean inferensi lokal yang dapat digunakan kembali dengan pengaitan perangkat, penemuan node, akses titik akhir, proksi backend, dan perutean beban kerja. Skrip khusus biasanya mengharuskan pengembang untuk mengelola ketersediaan perangkat, titik akhir, port, dan konfigurasi aplikasi untuk setiap alur kerja.