NVIDIA Personal AI Router (PAIR)
NVIDIA PAIR memungkinkan aplikasi dan agen AI Anda berjalan di semua perangkat lokal Anda, mulai dari NVIDIA DGX Spark™ dan NVIDIA RTX Spark™ hingga sistem Windows dan Linux dengan RTX, serta komputer macOS. Manfaatkan perangkat keras Anda secara maksimal sambil menjaga prompt, file, dan konteks agen tetap pribadi.
Lihat Cara Kerja NVIDIA PAIR
Fitur
Apa yang Dapat Dilakukan NVIDIA PAIR?
Klaster AI Pribadi Berdayakan Perangkat di Rumah
Gabungkan sistem RTX, DGX, dan Mac yang sudah ada di jaringan Anda dalam hitungan menit. NVIDIA PAIR menemukan mesin lokal yang kompatibel dan membantu mesin tersebut berfungsi sebagai satu klaster inferensi AI pribadi tanpa perlu kabel khusus, rak, atau penyiapan klaster yang kompleks.
personal AI routeran Beban Kerja Agen Lebih Banyak Kapasitas untuk Kecerdasan
Jaga alur kerja AI lokal tetap berjalan saat beban tugas meningkat. NVIDIA PAIR merutekan permintaan inferensi AI ke node lokal yang tersedia, membantu alur kerja AI dengan beban tinggi memanfaatkan kapasitas komputasi yang menganggur, terlepas dari sistem operasi node tersebut.
Dukungan Ollama, llama.cpp, dan LM Studio Gunakan Alat yang Anda Ketahui
Jalankan NVIDIA PAIR bersama backend inferensi lokal yang sudah dikenal di Windows, Linux, dan macOS. Saat peluncuran, NVIDIA PAIR mendukung Ollama, llama.cpp, dan LM Studio, yang menghadirkan satu titik akhir konsisten untuk aplikasi sekaligus secara cerdas meneruskan permintaan ke sumber daya komputasi lokal yang tersedia.
Inferensi Lokal Pribadi Jaga Data Tetap di Rumah
Jalankan alur kerja AI di rumah dengan data yang tetap berada di jaringan Anda. NVIDIA PAIR dibuat untuk inferensi lokal pribadi, membantu Anda menggunakan prompt, file, dan konteks agen tanpa mengirimnya ke cloud.
Cara Mulai Menggunakan NVIDIA PAIR
NVIDIA PAIR berfungsi tanpa kabel atau rak khusus. Selain itu, pengaturannya pun mudah.
Unduh NVIDIA PAIR
Informasi
Platform
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
Bahasa
Inggris
Konfigurasi Tervalidasi
GPU
Semua GPU GeForce RTX™ (Seri 20 dan yang lebih baru), DGX Spark/GB10, RTX Spark, Mac M1 atau yang lebih baru
RAM
RAM 4 GB atau lebih tinggi
Ruang Disk
Direkomendasikan: 500 MB, tidak termasuk model
Internet
Tidak diperlukan internet untuk pengoperasian.
Diperlukan untuk pengunduhan model.
Terima Kasih kepada Kontributor Kami
Terima kasih khusus kepada anggota komunitas berikut yang telah berbagi ide, mengirimkan proposal dan perbaikan, menyelidiki masalah, dan menguji PAIR:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
Sorotan Rilis NVIDIA PAIR
Rilis ini berfokus pada menghadirkan dukungan llama.cpp dan RTX Spark ke PAIR, sekaligus membangun alur kerja pengembangan dan kontribusi publik kami di GitHub.
Yang Baru
- Dukungan llama.cpp. Instal dan kelola llama.cpp langsung dari PAIR, unduh model GGUF yang kompatibel dari Hugging Face, dan rutekan permintaan inferensi di seluruh perangkat yang terhubung.
- Opsi Peluncuran Mesin. Sesuaikan argumen peluncuran dan variabel lingkungan untuk mesin yang dikelola oleh PAIR di perangkat lokal dan perangkat yang terhubung. Pengaturan tuning seperti ukuran konteks didukung oleh mesin.
- Dukungan RTX Spark. Build Windows on ARM PAIR telah divalidasi dengan llama.cpp dan CUDA pada perangkat keras RTX Spark N1X.
Kontribusi Komunitas
- Menambahkan perutean API Messages Anthropic melalui Ollama dan LM Studio, sehingga memungkinkan klien yang kompatibel seperti Claude Code untuk menggunakan perutean dan failover yang mengenali model di PAIR. Terima kasih @Ratherrayees! (#27)
- Peningkatan efisiensi pemantauan mesin dengan menggunakan kembali koneksi HTTP untuk pemeriksaan kesehatan. Terima kasih @Psych0h3ad! (#37)
- Memperbaiki penyegaran kepercayaan klaster yang tidak perlu dengan mengirimkan pemberitahuan hanya setelah dukungan peer baru berhasil disimpan. Terima kasih @RecursiveIntell! (#62)
- Memperbaiki sinkronisasi beban kerja antar node: siaran mempertahankan urutan peristiwa, dan pemberitahuan broker yang gagal tetap memenuhi syarat untuk mencoba ulang. Terima kasih @mkalkere! (#80)
- Memperbaiki masalah pembaruan prioritas penjadwal yang ditandai sebagai terkirim setelah pemberitahuan gagal, sehingga memungkinkan percobaan ulang dan menjaga status tetap akurat. Terima kasih @sylvesterkaczmarek! (#122)
- Mengisolasi pengujian integrasi layanan dan failover proksi dari pengaturan PAIR lokal, mencegah pengujian membaca atau menimpa konfigurasi pengembang. Terima kasih @somtri! (#95)
- Memperbaiki contoh maksud rilis agar menggunakan kunci versi layanan yang diperlukan. Terima kasih @somtri! (#120)
- Memperbarui petunjuk kontributor untuk melakukan branch dan rebase terhadap develop. Terima kasih @somtri! (#126)
- Memperbaiki kartu node yang hanya menampilkan GPU pertama pada sistem multi-GPU; kartu node kini menampilkan setiap GPU. Terima kasih @CryptoJones! (#34)
Catatan Kompatibilitas
- Titik akhir lokal PAIR kini mengikuti kebijakan CORS setiap mesin, alih-alih mengizinkan setiap asal browser. Klien berbasis browser mungkin memerlukan konfigurasi mesin tambahan. Untuk Ollama, konfigurasikan asal yang diizinkan menggunakan OLLAMA_ORIGINS di Opsi Peluncuran Mesin.
- Nama resmi PAIR telah berubah dari “Personal AI Router” menjadi PAIR. Pada sistem macOS, pengguna perlu menghapus instalasi versi lama mereka, namun sebaiknya lakukan seret dan lepas ke folder aplikasi agar tidak kehilangan model.
- Versi LM Studio yang diinstal oleh versi PAIR yang lebih lama tidak akan dihapus saat menghapus instalasi versi PAIR yang lebih baru. Pengguna perlu menghapus instalasi LM Studio secara manual dari direktori ~/.lmstudio jika ingin melakukannya.
Sumber Daya Dukungan PAIR
Tanya Jawab Tentang PAIR
NVIDIA Personal AI Router (PAIR) adalah perangkat lunak yang menghubungkan sistem macOS, Windows, dan Linux yang kompatibel, yang dilengkapi GPU NVIDIA RTX™, serta sistem DGX Spark, menjadi klaster AI rumahan pribadi. PAIR mendistribusikan beban kerja inferensi AI lokal ke perangkat yang tersedia sembari menjaga prompt, file, dan konteks agen tetap berada di jaringan rumah pengguna.
Klaster AI rumahan pribadi menghubungkan beberapa perangkat yang kompatibel pada jaringan lokal yang sama, sehingga memungkinkan perangkat-perangkat tersebut berbagi sumber daya komputasi yang tersedia untuk inferensi AI lokal. PAIR memungkinkan Mac, sistem NVIDIA RTX, dan sistem DGX Spark menyediakan lebih banyak kapasitas untuk aplikasi dan agen AI lokal. Perangkat tetap menjadi sistem terpisah yang menangani tugas paralel; PAIR tidak menggabungkannya menjadi satu GPU virtual.
Unduh PAIR, instal pada sistem yang didukung, kaitkan perangkat di jaringan lokal yang sama, dan tambahkan ke klaster. Setelah terhubung, aplikasi dan agen yang didukung dapat mengirim permintaan inferensi melalui titik akhir lokal PAIR.
NVIDIA PAIR memerlukan sistem macOS, Windows, atau Linux yang kompatibel dan perangkat keras yang didukung. Persyaratan dapat mencakup versi sistem operasi tertentu, GPU NVIDIA RTX, memori GPU, memori sistem, prosesor, penyimpanan, dan konektivitas jaringan lokal. Lihat bagian Persyaratan Sistem di halaman arahan NVIDIA PAIR untuk detail saat ini.
PAIR dirancang untuk inferensi lokal pribadi. Prompt, file, dan konteks agen tetap berada di jaringan lokal pengguna alih-alih dikirim ke layanan inferensi cloud.
