NVIDIA パーソナル AI ルーター (PAIR)

このリリースでは、PAIR への llama.cpp および RTX Spark のサポート導入に重点を置き、GitHub における公開開発と貢献のワークフローを確立しました。

新機能

• llama.cpp のサポート。PAIR から直接 llama.cpp をインストールして管理し、Hugging Face から互換性のある GGUF モデルをダウンロードして、ペアリングされたデバイス間で推論リクエストをルーティングできます。
• エンジンの起動オプション。ローカルのデバイスやペアリングされたデバイスで、PAIR が管理するエンジンの起動引数と環境変数をカスタマイズできます。コンテキスト サイズなどのチューニング設定は、エンジンでサポートされています。
• RTX Spark のサポート。PAIR の Windows on ARM ビルドは、RTX Spark N1X ハードウェア上の llama.cpp および CUDA での動作が検証済みです。

コミュニティの貢献

• Ollama と LM Studio を介して Anthropic Messages API のルーティングを追加し、Claude Code などの互換性のあるクライアントが、PAIR のモデル認識型ルーティングとフェイルオーバーを使用できるようになります。@Ratherrayees さん、ありがとうございます。(#27)
• ヘルスチェックに HTTP 接続を再利用することで、エンジンの監視効率を向上しました。@Psych0h3ad さん、ありがとうございます。(#37)
• 新しいピアの承認が保存された後にのみ通知を送信するようにすることで、不要なクラスターの信頼関係の更新が起こる問題を修正しました。@RecursiveIntell さん、ありがとうございます。(#62)
• ノード間のワークロード同期を修正しました。ブロードキャストはイベントの順序を保持し、失敗したブローカー通知は引き続き再試行の対象となります。@mkalkere さん、ありがとうございます。(#80)
• 通知の失敗後に、スケジューラーの優先度の更新が「配信済み」とマークされる問題を修正しました。これにより、再試行が可能になるとともに、ステータスを正確に維持できます。@sylvesterkaczmarek さん、ありがとうございます。(#122)
• ローカルの PAIR 設定からサービス統合とプロキシ フェイルオーバー テストを分離し、テストで開発者設定を読み取ったり上書きしたりするのを防ぎました。@somtri さんに感謝します。(#95)
• リリース インテントの例を修正し、必要なサービスのバージョン キーを使用するようにしました。@somtri さんに感謝します。(#120)
• 貢献者向けの指示を更新し、開発に対するブランチおよびリベースを行うようにしました。@somtri さんに感謝します。(#126)
• マルチ GPU システムで、ノードカードに最初の GPU のみが表示される問題を修正し、すべての GPU が表示されるようになりました。@CryptoJones さん、ありがとうございます。(#34)

互換性に関する注意

• PAIR のローカル エンドポイントは、すべてのブラウザのオリジンを許可するのではなく、各エンジンの CORS ポリシーに従うようになりました。ブラウザ ベースのクライアントでは、追加のエンジンの設定が必要になる場合があります。Ollama の場合は、エンジンの起動オプションで OLLAMA_ORIGINS を使用して、許可されたオリジンを構成します。
• PAIR の正式名称が「Personal AI Router」から PAIR に変更されました。macOS システムでは、古いバージョンをアンインストールする必要があります。ただし、モデルを失わないようにするには、[Applications] フォルダー内にドラッグ アンド ドロップする必要があります。
• 旧バージョンの PAIR でインストールされたバージョンの LM Studio は、新しいバージョンの PAIR をアンインストールする際にアンインストールされません。LM Studio を手動でアンインストールするには、~/.lmstudio ディレクトリから手動で削除する必要があります。