NVIDIA Personal AI Router (PAIR)
NVIDIA PAIR ช่วยให้แอปและเอเจนต์ AI ของคุณทำงานบนอุปกรณ์ในเครื่องทั้งหมดของคุณ ตั้งแต่ NVIDIA DGX Spark™ และ NVIDIA RTX Spark™ ไปจนถึงระบบ Windows และ Linux ที่มี NVIDIA RTX รวมถึงคอมพิวเตอร์ macOSใช้งานฮาร์ดแวร์ของคุณให้เกิดประโยชน์สูงสุด พร้อมรักษาความเป็นส่วนตัวของพรอมป์ต์ ไฟล์ และบริบทของเอเจนต์
ดูวิธีการทำงานของ NVIDIA PAIR
คุณสมบัติ
NVIDIA PAIR ทำอะไรได้บ้าง
คลัสเตอร์ AI ส่วนบุคคล เพิ่มพลังให้ระบบในบ้าน
ผสานรวมระบบ RTX, DGX และ Mac ที่อยู่บนเครือข่ายของคุณอยู่แล้วได้ภายในไม่กี่นาที NVIDIA PAIR จะค้นพบเครื่องภายในพื้นที่ที่ใช้งานร่วมกันได้และช่วยให้เครื่องเหล่านี้ทำงานในฐานะคลัสเตอร์การประมวลผล AI ส่วนบุคคลหนึ่งเดียวโดยไม่ต้องใช้สายเคเบิลพิเศษ แร็ค หรือการตั้งค่าคลัสเตอร์ที่ซับซ้อนใด ๆ
การกำหนดเส้นทางเวิร์กโหลดเอเจนต์ มีพื้นที่ให้คิดมากขึ้น
ช่วยให้เวิร์กโฟลว์ AI ภายในเครื่องทำงานได้อย่างต่อเนื่องเมื่อมีงานสะสมNVIDIA PAIR กำหนดเส้นทางคำขอการประมลผลด้วย AI ข้ามโหนดที่พร้อมใช้งานภายในเครื่อง ช่วยให้เวิร์กโฟลว์ AI ที่กำลังทำงานหนักสามารถเข้าถึงทรัพยากรการประมวลผลที่ว่างอยู่ได้ ไม่ว่าระบบปฏิบัติการของโหนดนั้นจะเป็นแบบใดก็ตาม
การรองรับ Ollama, llama.cpp และ LM Studio ใช้เครื่องมือที่คุณรู้จัก
รัน NVIDIA PAIR ควบคู่ไปกับแบ็กเอนด์การประมวลผลภายในเครื่องที่คุ้นเคยบน Windows, Linux และ macOS เมื่อเปิดตัว NVIDIA PAIR รองรับ Ollama, llama.cpp และ LM Studio โดยให้แอปพลิเคชันต่าง ๆ ใช้จุดเชื่อมต่อเดียวกันอย่างสม่ำเสมอ พร้อมทำหน้าที่เป็นพร็อกซีเพื่อส่งต่อคำขอไปยังทรัพยากรประมวลผลภายในเครื่องที่พร้อมใช้งานอย่างชาญฉลาด
การอนุมานภายในเครื่องแบบส่วนตัว เก็บไว้ให้ใกล้บ้าน
รันเวิร์กโฟลว์ AI ที่บ้านด้วยข้อมูลที่อยู่ในเครือข่ายของคุณ NVIDIA PAIR สร้างขึ้นสำหรับการอนุมานในเครื่องแบบส่วนตัว ช่วยให้คุณใช้พรอมต์ ไฟล์ และบริบทของเอเจนต์ได้โดยไม่ต้องส่งข้อมูลเหล่านี้ไปยังคลาวด์
วิธีเริ่มต้นใช้งาน NVIDIA PAIR
NVIDIA PAIR ทำงานได้โดยไม่ต้องใช้สายเคเบิลหรือแร็คพิเศษ และทำการตั้งค่าได้อย่างง่ายดาย
ดาวน์โหลด NVIDIA PAIR
ข้อมูล
แพลตฟอร์ม
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
ภาษา
ไทย
การกำหนดค่าที่ตรวจสอบแล้ว
GPU
GPU GeForce RTX™ ทั้งหมด (20 Series และใหม่กว่า), DGX Spark/GB10, RTX Spark, Mac M1 หรือใหม่กว่า
RAM
RAM 4 GB หรือสูงกว่า
พื้นที่ดิสก์
แนะนำ: 500 MB ไม่รวมโมเดล
อินเทอร์เน็ต
ไม่ต้องใช้อินเทอร์เน็ตเพื่อใช้งาน
แต่ต้องใช้สำหรับการดาวน์โหลดโมเดล
ขอขอบคุณผู้มีส่วนร่วมของเราทุกคน
ขอขอบคุณเป็นพิเศษต่อสมาชิกในชุมชนต่อไปนี้ที่แบ่งปันแนวคิด การส่งข้อเสนอและการแก้ไข การตรวจสอบปัญหา และการทดสอบ PAIR:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
ไฮไลต์การเปิดตัว NVIDIA PAIR
รุ่นนี้เน้นไปที่การเพิ่มการรองรับ llama.cpp และ RTX Spark ให้กับ PAIR พร้อมทั้งวางระบบการพัฒนาและการมีส่วนร่วมผ่าน GitHub แบบสาธารณะ
มีอะไรใหม่
- การรองรับ llama.cpp ติดตั้งและจัดการ llama.cpp จาก PAIR โดยตรง ดาวน์โหลดโมเดล GGUF ที่เข้ากันได้จาก Hugging Face และกำหนดเส้นทางคำขอประมวลผลอนุมานระหว่างอุปกรณ์ที่จับคู่ไว้
- ตัวเลือกการเปิดตัวเอนจินปรับแต่งอาร์กิวเมนต์การเปิดตัวและตัวแปรสภาพแวดล้อมสำหรับเอนจินที่จัดการโดย PAIR บนอุปกรณ์ภายในเครื่องและอุปกรณ์ที่จับคู่เอนจินรองรับการปรับแต่งการตั้งค่าต่าง ๆ เช่น ขนาดบริบท
- การรองรับ RTX Spark บิลด์ PAIR สำหรับ Windows on ARM ผ่านการทดสอบยืนยันการทำงานร่วมกับ llama.cpp และ CUDA บนฮาร์ดแวร์ RTX Spark N1X แล้ว
การมีส่วนร่วมของชุมชน
- เพิ่มการกำหนดเส้นทาง Anthropic Messages API ผ่าน Ollama และ LM Studio ซึ่งช่วยให้ไคลเอนต์ที่รองรับการใช้งาน เช่น Claude Code สามารถใช้การกำหนดเส้นทางและการทำ Failover ที่คำนึงถึงโมเดลของ PAIR ได้ขอบคุณ @Ratherrayees!(#27)
- ปรับปรุงประสิทธิภาพการตรวจสอบเอนจินให้ดียิ่งขึ้นโดยการใช้การเชื่อมต่อ HTTP ซ้ำสำหรับการตรวจสอบสถานะขอบคุณ @Psych0h3ad! (#37)
- แก้ไขปัญหาการรีเฟรชความเชื่อถือของคลัสเตอร์ที่ไม่จำเป็น โดยการส่งการแจ้งเตือนหลังจากที่บันทึกการรับรองจากเพียร์รายใหม่สำเร็จแล้วเท่านั้นขอบคุณ @RecursiveIntell!(#62)
- แก้ไขการซิงโครไนซ์ภาระงานระหว่างโหนด: การบรอดแคสต์จะยังคงรักษาลำดับของเหตุการณ์ และการแจ้งเตือนผ่านโบรกเกอร์ที่ไม่สำเร็จยังสามารถลองส่งใหม่ได้อีกครั้งขอบคุณ @mkalkere!(#80)
- แก้ไขการอัปเดตลำดับความสำคัญของตัวจัดตารางเวลาที่ถูกระบุว่าส่งแล้วทั้งที่การแจ้งเตือนล้มเหลว เพื่อให้สามารถลองส่งใหม่ได้และรักษาสถานะให้ถูกต้องขอบคุณ @sylvesterkaczmarek! (#122)
- แยกการทดสอบการเชื่อมต่อบริการและการสลับไปใช้พร็อกซีสำรองออกจากการตั้งค่า PAIR ในเครื่อง เพื่อป้องกันไม่ให้การทดสอบอ่านหรือเขียนทับการตั้งค่าของนักพัฒนาขอบคุณ @somtri!(#95)
- แก้ไขตัวอย่างเจตนาในการเผยแพร่ให้ใช้คีย์เวอร์ชัน services ตามที่กำหนดขอบคุณ @somtri!(#120)
- ปรับปรุงคำแนะนำสำหรับผู้มีส่วนร่วมในการพัฒนาให้สร้างสาขาและรีเบสโดยอ้างอิงจาก developขอบคุณ @somtri!(#126)
- แก้ไขการ์ดโหนดที่แสดงเฉพาะ GPU ตัวแรกในระบบที่มี GPU หลายตัว โดยขณะนี้จะแสดง GPU ทุกตัวแล้วขอบคุณ @CryptoJones!(#34)
หมายเหตุความเข้ากันได้
- เอนด์พอยต์ในเครื่องของ PAIR จะปฏิบัติตามนโยบาย CORS ของแต่ละเอนจิน แทนการอนุญาตให้ทุกต้นทางของเบราว์เซอร์เข้าถึงได้ไคลเอ็นต์ที่ใช้งานเบราว์เซอร์อาจต้องมีการกำหนดค่ากลไกเพิ่มเติมสำหรับ Ollama ให้กำหนดค่า origins ที่อนุญาตให้ใช้ OLLAMA_ORIGINS ในตัวเลือกการเปิดตัวเอนจิน
- ชื่ออย่างเป็นทางการของ PAIR ได้เปลี่ยนจาก “Personal AI Router” เป็น PAIR สำหรับ macOS ผู้ใช้ต้องลบแอปเวอร์ชันเก่าออกก่อน จากนั้นลากแอปเวอร์ชันใหม่ไปวางในโฟลเดอร์แอปพลิเคชันเพื่อไม่ให้โมเดลที่มีอยู่สูญหาย
- LM Studio เวอร์ชันที่ติดตั้งโดย PAIR เวอร์ชันเก่ากว่า จะไม่ถูกถอนการติดตั้งเมื่อถอนการติดตั้ง PAIR เวอร์ชันใหม่ผู้ใช้จะต้องถอนการติดตั้ง LM Studio ด้วยตนเองจากไดเรกทอรี ~/.lmstudio หากต้องการดำเนินการดังกล่าว
ทรัพยากรสนับสนุน PAIR
คำถามที่พบบ่อยเกี่ยวกับ PAIR
NVIDIA Personal AI Router (PAIR) เป็นซอฟต์แวร์ที่เชื่อมต่อระบบ macOS, Windows และ Linux ที่ใช้งานร่วมกันได้ซึ่งมี GPU NVIDIA RTX™ และระบบ DGX Spark เข้าด้วยกันเป็นคลัสเตอร์ AI ส่วนบุคคลภายในบ้านPAIR กระจายเวิร์กโหลดการประมวลผลด้วย AI ภายในเครื่องไปยังอุปกรณ์ที่พร้อมใช้งาน ในขณะที่ยังคงรักษาพรอมต์ ไฟล์ และบริบทของเอเจนต์ไว้บนเครือข่ายภายในบ้านของผู้ใช้
คลัสเตอร์ AI ส่วนบุคคลภายในบ้านจะเชื่อมต่ออุปกรณ์ที่เข้ากันได้หลายเครื่องไว้บนเครือข่ายท้องถิ่นเดียวกัน ช่วยให้อุปกรณ์เหล่านี้สามารถแบ่งปันทรัพยากรการประมวลผลที่มีอยู่สำหรับการอนุมานของ AI ภายในเครื่องได้PAIR ช่วยให้ Mac, ระบบ NVIDIA RTX และระบบ DGX Spark สามารถมอบประสิทธิภาพที่เพิ่มมากขึ้นสำหรับแอปพลิเคชัน AI และเอเจนต์ภายในเครื่อง อุปกรณ์เหล่านี้ยังคงเป็นระบบแยกต่างหากที่จัดการงานแบบคู่ขนาน โดยที่ PAIR จะไม่รวมอุปกรณ์เหล่านี้เข้าเป็น GPU เสมือนตัวเดียว
ดาวน์โหลด PAIR, ติดตั้งบนระบบที่รองรับ, จับคู่อุปกรณ์บนเครือข่ายท้องถิ่นเดียวกันเข้าด้วยกัน และเพิ่มอุปกรณ์เหล่านั้นลงในคลัสเตอร์ เมื่อเชื่อมต่อแล้ว แอปพลิเคชันและเอเจนต์ที่รองรับจะสามารถส่งคำขอการประมวลผลผ่านเอนด์พอยต์ในเครื่องของ PAIR ได้
NVIDIA PAIR ต้องใช้ระบบ macOS, Windows หรือ Linux ที่ใช้งานร่วมกันได้ และฮาร์ดแวร์ที่รองรับ ข้อกำหนดอาจรวมถึงเวอร์ชันระบบปฏิบัติการเฉพาะ, GPU NVIDIA RTX, หน่วยความจำ GPU, หน่วยความจำระบบ, โปรเซสเซอร์, พื้นที่จัดเก็บข้อมูล, และการเชื่อมต่อเครือข่ายท้องถิ่น ดูส่วนข้อกำหนดของระบบบนหน้าแลนดิ้งเพจของ NVIDIA PAIR สำหรับรายละเอียดปัจจุบัน
PAIR ได้รับการออกแบบมาสำหรับการอนุมานในเครื่องแบบส่วนตัว พรอมต์ ไฟล์ และบริบทของเอเจนต์จะยังคงอยู่ในเครือข่ายท้องถิ่นของผู้ใช้ แทนที่จะถูกส่งไปยังบริการการอนุมานคลาวด์
