Bộ định tuyến AI cá nhân NVIDIA (PAIR)
NVIDIA PAIR beta kết nối các quy trình làm việc của ứng dụng và tác nhân AI với một điểm cuối cục bộ duy nhất để định tuyến suy luận trên NVIDIA DGX Spark™, các hệ thống Windows với RTX™ và các thiết bị macOS. Điều này giúp bạn tối đa hóa tính toán cục bộ trong khi vẫn giữ riêng các lời nhắc, tệp và ngữ cảnh của tác nhân.
Các tính năng
NVIDIA PAIR có thể làm gì?
Cụm AI cá nhân Cấp nguồn cho ngôi nhà
Tập hợp các hệ thống RTX, DGX™ và Mac đã có trên mạng của bạn chỉ trong vài phút. NVIDIA PAIR khám phá các máy cục bộ tương thích và giúp chúng hoạt động như một cụm suy luận AI cá nhân duy nhất, không cần cáp đặc biệt, tủ rack hoặc thiết lập cụm phức tạp.
Định tuyến khối lượng công việc của tác nhân Thêm không gian để suy nghĩ
Duy trì các quy trình làm việc AI cục bộ khi các nhiệm vụ chồng chất. NVIDIA PAIR định tuyến các yêu cầu suy luận AI đến các node cục bộ khả dụng, giúp các quy trình AI đang bận tận dụng tài nguyên tính toán nhàn rỗi bất kể hệ điều hành của node.
Hỗ trợ Ollama và LM Studio Sử dụng các công cụ bạn biết
Chạy NVIDIA PAIR cùng với các backend suy luận cục bộ quen thuộc trên Windows, Linux và macOS. Khi khởi chạy, NVIDIA PAIR hỗ trợ Ollama và LM Studio, mang lại cho các ứng dụng một điểm cuối nhất quán, đồng thời ủy nhiệm một cách thông minh các yêu cầu đến tài nguyên tính toán cục bộ có sẵn.
Suy luận cục bộ riêng tư Giữ mọi thứ gần gũi tại nhà
Chạy quy trình làm việc AI tại nhà với dữ liệu vẫn trên mạng của bạn. NVIDIA PAIR được xây dựng để suy luận cục bộ riêng tư, giúp bạn sử dụng câu lệnh, tệp và ngữ cảnh của tác nhân mà không cần gửi chúng lên đám mây.
Cách bắt đầu với NVIDIA PAIR
NVIDIA PAIR hoạt động mà không cần cáp hoặc tủ rack đặc biệt. Và việc thiết lập cũng rất dễ dàng.
Tải xuống NVIDIA PAIR
THÔNG TIN
Nền tảng
Windows 11, DGX OS, Ubuntu 14.04, macOS Tahoe
Ngôn ngữ
Tiếng Anh
Cấu hình đã được xác thực
GPU
Tất cả GPU GeForce RTX (20 Series trở lên), DGX Spark/GB10, Mac M4 trở lên
RAM
8 GB RAM trở lên
Dung lượng ổ đĩa
Khuyến nghị: 20 GB trở lên
Internet
Không cần thiết cho hoạt động
Cần thiết khi tải xuống mô hình
Câu hỏi thường gặp về PAIR
Bộ định tuyến AI cá nhân NVIDIA (PAIR) là phần mềm kết nối các hệ thống macOS, Windows và Linux tương thích với các hệ thống GPU NVIDIA RTX™ và DGX Spark vào một cụm AI cá nhân tại nhà. PAIR phân bổ khối lượng công việc suy luận AI cục bộ trên các thiết bị khả dụng, đồng thời giữ câu lệnh, tệp và ngữ cảnh của tác nhân trong mạng gia đình của người dùng.
Cụm AI cá nhân tại nhà kết nối nhiều thiết bị tương thích trong cùng một mạng cục bộ, cho phép các thiết bị này chia sẻ tài nguyên tính toán sẵn có để thực hiện suy luận AI cục bộ. PAIR cho phép máy Mac, các hệ thống NVIDIA RTX và hệ thống DGX Spark cung cấp thêm năng lực tính toán cho các ứng dụng và tác nhân AI cục bộ. Các thiết bị vẫn là các hệ thống riêng biệt và xử lý các tác vụ song song; PAIR không kết hợp chúng vào một GPU ảo.
Tải xuống PAIR, cài đặt trên các hệ thống được hỗ trợ, kết nối các thiết bị trên cùng một mạng cục bộ và thêm chúng vào cụm. Sau khi kết nối, các ứng dụng và tác nhân được hỗ trợ có thể gửi yêu cầu suy luận thông qua endpoint cục bộ của PAIR.
NVIDIA PAIR yêu cầu các hệ thống macOS, Windows hoặc Linux tương thích và phần cứng được hỗ trợ. Yêu cầu có thể bao gồm các phiên bản hệ điều hành cụ thể, GPU NVIDIA RTX, bộ nhớ GPU, bộ nhớ hệ thống, bộ xử lý, bộ lưu trữ và kết nối mạng cục bộ. Xem mục Yêu cầu hệ thống trên trang giới thiệu NVIDIA PAIR để biết thông tin chi tiết mới nhất.
PAIR được thiết kế để suy luận cục bộ riêng tư. Các câu lệnh, tệp và ngữ cảnh tác nhân vẫn nằm trên mạng cục bộ của người dùng thay vì được gửi đến dịch vụ suy luận trên đám mây.
Tài nguyên hỗ trợ PAIR
