Bộ định tuyến AI cá nhân NVIDIA (PAIR)
NVIDIA PAIR cho phép các ứng dụng và tác nhân AI của bạn chạy trên tất cả các thiết bị cục bộ của bạn, từ NVIDIA DGX Spark™ và NVIDIA RTX Spark™ đến các hệ thống Windows và Linux với RTX và máy tính macOS. Tận dụng tối đa phần cứng của bạn trong khi vẫn giữ riêng các lời nhắc, tệp và ngữ cảnh của tác nhân.
Xem cách NVIDIA PAIR hoạt động
Các tính năng
NVIDIA PAIR có thể làm gì?
Cụm AI cá nhân Cấp nguồn cho ngôi nhà
Tập hợp các hệ thống RTX, DGX và Mac đã có trên mạng của bạn chỉ trong vài phút. NVIDIA PAIR khám phá các máy cục bộ tương thích và giúp chúng hoạt động như một cụm suy luận AI cá nhân duy nhất, không cần cáp đặc biệt, tủ rack hoặc thiết lập cụm phức tạp.
Định tuyến khối lượng công việc của tác nhân Thêm không gian để suy nghĩ
Duy trì các quy trình làm việc AI cục bộ khi các nhiệm vụ chồng chất. NVIDIA PAIR định tuyến các yêu cầu suy luận AI đến các node cục bộ khả dụng, giúp các quy trình AI đang bận tận dụng tài nguyên tính toán nhàn rỗi bất kể hệ điều hành của node.
Hỗ trợ Ollama, llama.cpp và LM Studio Sử dụng các công cụ bạn biết
Chạy NVIDIA PAIR cùng với các backend suy luận cục bộ quen thuộc trên Windows, Linux và macOS. Khi khởi chạy, NVIDIA PAIR hỗ trợ Ollama, llama.cpp và LM Studio, mang lại cho các ứng dụng một điểm cuối nhất quán, đồng thời ủy nhiệm một cách thông minh các yêu cầu đến tài nguyên tính toán cục bộ có sẵn.
Suy luận cục bộ riêng tư Giữ mọi thứ gần gũi tại nhà
Chạy quy trình làm việc AI tại nhà với dữ liệu vẫn trên mạng của bạn. NVIDIA PAIR được xây dựng để suy luận cục bộ riêng tư, giúp bạn sử dụng câu lệnh, tệp và ngữ cảnh của tác nhân mà không cần gửi chúng lên đám mây.
Cách bắt đầu với NVIDIA PAIR
NVIDIA PAIR hoạt động mà không cần cáp hoặc tủ rack đặc biệt. Và việc thiết lập cũng rất dễ dàng.
Tải xuống NVIDIA PAIR
Thông tin
Nền tảng
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
Ngôn ngữ
Tiếng Anh
Cấu hình được xác thực
GPU
Tất cả GeForce RTX™ GPUs (20 Series trở lên), DGX Spark/GB10, RTX Spark, Mac M1 trở lên
RAM
4 GB RAM trở lên
Dung lượng ổ đĩa
Khuyến nghị: 500 MB, không bao gồm các mô hình
Internet
Không cần internet cho hoạt động.
Cần thiết khi tải xuống mô hình.
Cảm ơn các nhà đóng góp của chúng tôi
Đặc biệt cảm ơn các thành viên cộng đồng sau đã chia sẻ ý tưởng, gửi đề xuất và khắc phục, điều tra các vấn đề và thử nghiệm PAIR:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
Điểm nổi bật phát hành NVIDIA PAIR
Bản phát hành này tập trung vào việc hỗ trợ llama.cpp và RTX Spark cho PAIR, đồng thời thiết lập quy trình phát triển và đóng góp công khai của chúng tôi trên GitHub.
Có gì mới
- Hỗ trợ llama.cpp. Cài đặt và quản lý llama.cpp trực tiếp từ PAIR, tải xuống các mô hình GGUF tương thích từ Hugging Face và định tuyến các yêu cầu suy luận trên các thiết bị được kết nối.
- Tùy chọn khởi chạy công cụ. Tùy chỉnh các đối số khởi chạy và các biến môi trường cho các công cụ được PAIR quản lý trên các thiết bị cục bộ và được kết hợp. Các cài đặt tinh chỉnh như kích thước ngữ cảnh được hỗ trợ bởi công cụ.
- Hỗ trợ RTX Spark. Windows trên ARM build của PAIR đã được xác thực với llama.cpp và CUDA trên phần cứng RTX Spark N1X.
Đóng góp từ cộng đồng
- Đã thêm định tuyến API Anthropic Messages thông qua Ollama và LM Studio, cho phép các khách hàng tương thích như Claude Code sử dụng định tuyến và failover có thể nhận diện mô hình của PAIR. Cảm ơn @Ratherrayees! (#27)
- Cải thiện hiệu suất giám sát công cụ bằng cách tái sử dụng các kết nối HTTP để kiểm tra sức khỏe. Cảm ơn @Psych0h3ad! (#37)
- Đã khắc phục việc làm mới cụm tin cậy không cần thiết bằng cách chỉ gửi thông báo sau khi các bản xác nhận mới được lưu thành công. Cảm ơn @RecursiveIntell! (#62)
- Đã khắc phục đồng bộ hóa khối lượng công việc giữa các node: phát sóng giữ nguyên trật tự sự kiện và các thông báo của broker không thành công vẫn đủ điều kiện để thử lại. Cảm ơn @mkalkere! (#80)
- Đã sửa lỗi các bản cập nhật ưu tiên bị đánh dấu là đã gửi sau khi thông báo thất bại, cho phép thử lại và giữ trạng thái chính xác. Cảm ơn @sylvesterkaczmarek! (#122)
- Đã cách ly các bài kiểm tra tích hợp dịch vụ và failover proxy khỏi cài đặt PAIR cục bộ, ngăn các bài kiểm tra đọc hoặc ghi đè cấu hình của nhà phát triển. Cảm ơn @somtri! (#95)
- Các ví dụ về ý định phát hành đã được sửa để sử dụng khóa phiên bản dịch vụ cần thiết. Cảm ơn @somtri! (#120)
- Đã cập nhật hướng dẫn người đóng góp để phân nhánh và rebase dựa trên nhánh develop. Cảm ơn @somtri! (#126)
- Đã sửa lỗi card nút chỉ hiển thị GPU đầu tiên trên các hệ thống đa GPU; giờ đây, chúng hiển thị tất cả các GPU. Cảm ơn @CryptoJones! (#34)
Lưu ý khả năng tương thích
- Các điểm cuối cục bộ của PAIR hiện tuân theo chính sách CORS của từng công cụ thay vì cho phép mọi nguồn gốc trình duyệt. Các máy khách dựa trên trình duyệt có thể cần cấu hình bổ sung cho công cụ. Đối với Ollama, hãy định cấu hình các nguồn gốc được phép bằng OLLAMA_ORIGINS trong các Tùy chọn Khởi chạy Công cụ.
- Tên chính thức của PAIR đã thay đổi từ “Bộ định tuyến AI cá nhân” thành PAIR. Trên các hệ thống macOS, người dùng sẽ cần gỡ cài đặt các phiên bản cũ nhưng nên kéo thả vào thư mục ứng dụng để không làm mất các mô hình.
- Các phiên bản LM Studio được cài đặt bởi các phiên bản PAIR cũ hơn sẽ không bị gỡ cài đặt khi gỡ cài đặt phiên bản PAIR mới hơn. Người dùng sẽ cần gỡ cài đặt LM Studio theo cách thủ công nếu họ muốn xóa từ thư mục ~/.lmstudio.
Tài nguyên hỗ trợ PAIR
Câu hỏi thường gặp về PAIR
Bộ định tuyến AI cá nhân NVIDIA (PAIR) là phần mềm kết nối các hệ thống macOS, Windows và Linux tương thích với các hệ thống GPU NVIDIA RTX™ và DGX Spark vào một cụm AI cá nhân tại nhà. PAIR phân bổ khối lượng công việc suy luận AI cục bộ trên các thiết bị khả dụng, đồng thời giữ câu lệnh, tệp và ngữ cảnh của tác nhân trong mạng gia đình của người dùng.
Cụm AI cá nhân tại nhà kết nối nhiều thiết bị tương thích trong cùng một mạng cục bộ, cho phép các thiết bị này chia sẻ tài nguyên tính toán sẵn có để thực hiện suy luận AI cục bộ. PAIR cho phép máy Mac, các hệ thống NVIDIA RTX và hệ thống DGX Spark cung cấp thêm năng lực tính toán cho các ứng dụng và tác nhân AI cục bộ. Các thiết bị vẫn là các hệ thống riêng biệt và xử lý các tác vụ song song; PAIR không kết hợp chúng vào một GPU ảo.
Tải xuống PAIR, cài đặt trên các hệ thống được hỗ trợ, kết nối các thiết bị trên cùng một mạng cục bộ và thêm chúng vào cụm. Sau khi kết nối, các ứng dụng và tác nhân được hỗ trợ có thể gửi yêu cầu suy luận thông qua endpoint cục bộ của PAIR.
NVIDIA PAIR yêu cầu các hệ thống macOS, Windows hoặc Linux tương thích và phần cứng được hỗ trợ. Yêu cầu có thể bao gồm các phiên bản hệ điều hành cụ thể, GPU NVIDIA RTX, bộ nhớ GPU, bộ nhớ hệ thống, bộ xử lý, bộ lưu trữ và kết nối mạng cục bộ. Xem mục Yêu cầu hệ thống trên trang giới thiệu NVIDIA PAIR để biết thông tin chi tiết mới nhất.
PAIR được thiết kế để suy luận cục bộ riêng tư. Các câu lệnh, tệp và ngữ cảnh tác nhân vẫn nằm trên mạng cục bộ của người dùng thay vì được gửi đến dịch vụ suy luận trên đám mây.
