NVIDIA Personal AI Router (PAIR)
NVIDIA PAIR mahdollistaa tekoälysovellusten ja -agenttien toiminnan kaikilla paikallisilla laitteillasi – NVIDIA DGX Sparkista™ ja NVIDIA RTX Sparkista™ aina Windows- ja Linux-järjestelmiin, joissa on NVIDIA RTX, sekä macOS-tietokoneisiin. Ota kaikki irti laitteistostasi ja pidä kehotteet, tiedostot ja agenttikonteksti yksityisinä.
Katso, miten NVIDIA PAIR toimii
Ominaisuudet
Mitä NVIDIA PAIR voi tehdä?
Henkilökohtainen tekoälyklusteri Tehosta taloasi
Yhdistä verkossasi jo olevat RTX-, DGX- ja Mac-järjestelmät muutamassa minuutissa. NVIDIA PAIR tunnistaa yhteensopivat paikalliset koneet ja auttaa niitä toimimaan yhtenä henkilökohtaisena tekoälyinferenssiklusterina, joka ei vaadi erityisiä kaapeleita, telineitä tai monimutkaisia klusterikokoonpanoja.
Agenttien työkuormituksen reititys Enemmän tilaa ajattelulle
Pidä paikalliset tekoälytyönkulut käynnissä, kun tehtävät kasaantuvat. NVIDIA PAIR reitittää tekoälypäättelypyynnöt käytettävissä olevien paikallisten solmujen välillä, mikä auttaa kiireisiä tekoälytyönkulkuja hyödyntämään käyttämätöntä laskentatehoa solmun käyttöjärjestelmästä riippumatta.
Ollama-, llama.cpp- ja LM Studio -tuki Käytä tuntemiasi työkaluja
Suorita NVIDIA PAIR tuttujen paikallisten inferenssitaustajärjestelmien rinnalla Windowsissa, Linuxissa ja macOS:ssa. Julkistettaessa NVIDIA PAIR tukee Ollamaa, llama.cpp:tä ja LM Studiota, joten sovellukset voivat käyttää yhtenäistä päätepistettä ja välittää pyynnöt älykkäästi käytettävissä olevaan paikalliseen laskentaan.
Yksityinen paikallinen päättely Pidä lähellä kotia
Suorita tekoälytyönkulkuja kotona datalla, joka pysyy verkossasi. NVIDIA PAIR on suunniteltu yksityistä paikallista päättelyä varten, joten voit käyttää kehotuksia, tiedostoja ja agenttikontekstia lähettämättä niitä pilvipalveluun.
Näin aloitat NVIDIA PAIR:n käytön
NVIDIA PAIR toimii ilman erityisiä kaapeleita tai räkkejä. Sen asentaminen onnistuu helposti.
Lataa NVIDIA PAIR
Tiedot
Alusta
Windows 11, DGX OS, Ubuntu 24.04, macOS Tahoe
Kieli
Englanti
Validoidut kokoonpanot
GPU
Kaikki GeForce RTX™ -grafiikkasuorittimet (20-sarja ja uudemmat), DGX Spark/GB10, RTX Spark, Mac M1 tai uudempi
RAM-muisti
4 Gt RAM tai enemmän
Levytila
Suositus: 500 Mt, malleja lukuunottamatta
Internet
Käyttöön ei tarvita Internet-yhteyttä.
Vaaditaan mallin lataamiseen.
Kiitos avustajillemme
Erityiskiitos seuraaville yhteisön jäsenille ideoiden jakamisesta, ehdotusten ja korjausten lähettämisestä, ongelmien tutkimisesta ja PAIR:n testaamisesta:
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
NVIDIA PAIR -julkaisun kohokohdat
Tämä julkaisu keskittyy tuomaan llama.cpp- ja RTX Spark -tukea PAIR:ään ja ottamaan käyttöön julkisen kehityksen ja osallistumisen työnkulun GitHubissa.
Uudet ominaisuudet
- llama.cpp-tuki. Asenna ja hallitse llama.cpp suoraan PAIR:stä, lataa yhteensopivat GGUF-mallit Hugging Face -sovelluksesta ja reititä inferenssipyynnöt paritettujen laitteiden välillä.
- Moottorin julkistamisasetukset. Mukauta julkistamisargumentteja ja ympäristömuuttujia PAIR-hallituille moottoreille paikallisilla ja paritetuilla laitteilla. Moottori tuki viritysasetuksia, kuten kontekstin kokoa.
- RTX Spark -tuki. PAIR:n Windows on ARM -koonti on vahvistettu käyttämällä llama.cpp:tä ja CUDA:ta RTX Spark N1X -laitteistolla.
Yhteisön panokset
- Lisätty Anthropic Messages API -reititys Ollaman ja LM Studion kautta, joten yhteensopivat asiakasohjelmat, kuten Claude Code, voivat käyttää PAIR:n mallitietoista reititystä ja failoveria. Kiitos @Ratherrayees! (#27)
- Parannettiin moottorin valvonnan tehokkuutta käyttämällä HTTP-yhteyksiä uudelleen tilatarkistuksia varten. Kiitos @Psych0h3ad! (#37)
- Korjattu tarpeettomat klusterin luottamuspäivitykset lähettämällä ilmoitukset vain, kun uudet vertaishyväksynnät on tallennettu onnistuneesti. Kiitos @RecursiveIntell! (#62)
- Korjattu työkuormituksen synkronointi solmujen välillä: lähetykset säilyttävät tapahtumajärjestyksen ja epäonnistuneet välittäjäilmoitukset ovat edelleen uudelleenyrityskelpoisia. Kiitos @mkalkere! (#80)
- Korjattu ajoittimen prioriteettipäivitysten merkitseminen toimitetuiksi epäonnistuneen ilmoituksen jälkeen, mikä mahdollistaa uudelleenyritykset ja tilan pysymisen tarkkana. Kiitos @sylvesterkaczmarek! (#122)
- Eristetyt palveluintegraatiot ja proxy failover -testit paikallisista PAIR-asetuksista, mikä estää testejä lukemasta tai korvaamasta kehittäjän määrityksiä. Kiitos @somtri! (#95)
- Korjattu release-intent-esimerkkejä käyttämään vaadittua palveluiden versioavainta. Kiitos @somtri! (#120)
- Päivitetty avustajien ohjeet haaroitusta ja 'develop'-haaraan rebasingia varten. Kiitos @somtri! (#126)
- Korjattu solmukortit, jotka näyttävät vain ensimmäisen grafiikkasuorittimen usean grafiikkasuorittimen järjestelmissä; ne näyttävät nyt kaikki grafiikkasuorittimet. Kiitos @CryptoJones! (#34)
Yhteensopivuushuomautus
- PAIR:n paikalliset päätepisteet noudattavat nyt kunkin moottorin CORS-käytäntöä sen sijaan, että sallisivat kaikki selainalkuperät. Selainpohjaiset asiakasohjelmat voivat vaatia moottorin lisämäärityksiä. Määritä Ollaman sallitut alkuperät käyttämällä OLLAMA_ORIGINS-asetusta Engine Julkistaa Options -kohdassa.
- PAIR:n virallinen nimi on muuttunut "Personal AI Router" -nimestä PAIR:ksi. macOS-järjestelmissä käyttäjien on poistettava vanhat versiot, mutta sovellus on vedettävä ja pudotettava sovelluskansioon, jotta mallit eivät katoa.
- PAIR:n vanhemmilla versioilla asennettuja LM Studio -versioita ei poisteta, kun PAIR:n uudempaa versiota poistetaan. Käyttäjien on poistettava LM Studio manuaalisesti, jos he haluavat tehdä sen ~/.lmstudio-hakemistosta.
PAIR-tukiresurssit
Usein kysytyt kysymykset PAIR:stä
NVIDIA Personal AI Router (PAIR) on ohjelmisto, joka yhdistää yhteensopivat macOS-, Windows- ja Linux-järjestelmät sekä NVIDIA RTX™ -grafiikkasuorittimet ja DGX Spark -järjestelmät henkilökohtaiseksi kodin tekoälyklusteriksi. PAIR jakaa paikalliset tekoälyinferenssin työkuormat saatavilla oleville laitteille ja pitää kehotukset, tiedostot ja agenttikontekstin käyttäjän kotiverkossa.
Henkilökohtainen kodin tekoälyklusteri yhdistää useita yhteensopivia laitteita samaan paikallisverkkoon, joten ne voivat jakaa saatavilla olevia laskentaresursseja paikalliseen tekoälyinferenssiin. PAIR mahdollistaa sen, että Macit, NVIDIA RTX -järjestelmät ja DGX Spark -järjestelmät tarjoavat enemmän kapasiteettia paikallisille tekoälysovelluksille ja -agenteille. Laitteet ovat edelleen erillisiä järjestelmiä, jotka käsittelevät rinnakkaisia tehtäviä. PAIR ei yhdistä niitä yhdeksi virtuaaliseksi grafiikkasuorittimeksi.
Lataa PAIR, asenna se tuettuihin järjestelmiin, pari samassa paikallisverkossa olevat laitteet ja lisää ne klusteriin. Yhteyden muodostamisen jälkeen tuetut sovellukset ja agentit voivat lähettää inferenssipyyntöjä PAIR-paikallisen päätepisteen kautta.
NVIDIA PAIR edellyttää yhteensopivia macOS-, Windows- tai Linux-järjestelmiä ja tuettuja laitteistoja. Vaatimuksiin voivat kuulua tietyt käyttöjärjestelmäversiot, NVIDIA RTX -grafiikkasuorittimet, grafiikkasuorittimen muisti, järjestelmämuisti, suorittimet, tallennustila sekä paikallisverkkoyhteydet. Ajankohtaiset tiedot ovat NVIDIA PAIR -aloitussivun Järjestelmävaatimukset-osiossa.
PAIR on suunniteltu yksityiseen paikalliseen inferenssiin. Kehotteet, tiedostot ja agenttikonteksti pysyvät käyttäjän paikallisverkossa sen sijaan, että ne lähetettäisiin pilvipohjaiseen inferenssipalveluun.
