TensorRT 8 が、ヘルスケア、オートモーティブ、金融業界の大手エンタープライズに 世界最速の AI 推論性能をもたらす
2021 年 7 月 20 日、カリフォルニア州サンタクララ — NVIDIA は本日、TensorRT™ 8 を発表しました。TensorRT 8 は、NVIDIA の第 8 世代となる AI ソフトウェアで、言語クエリの推論時間を半分に短縮することで、開発者が世界で最も高い性能を持つ検索エンジン、広告レコメンデーションおよびチャットボットを作り出し、それをクラウドからエッジに渡り提供することを可能にします。
TensorRT 8 の最適化により、世界で最も普及している Transformer ベースのモデルの 1 つである、BERT-Large で実行された言語アプリケーションが、1.2 ミリ秒というこれまでにはない速度で処理できるようになります。過去には、企業はモデルサイズの縮小を余儀なくされ、その結果、正確性が大幅に低下していました。TensorRT 8 により、企業はモデルサイズを 2 倍または 3 倍に拡大して、正確さを劇的に向上させることが可能になります。
NVIDIA のデベロッパー プログラム担当バイスプレジデントであるグレッグ エステス (Greg Estes) は、次のように述べています。「AI モデルは指数関数的に複雑化しており、AI を使用するリアルタイム アプリケーションへの需要が全世界で急増しています。そのため、エンタープライズでは、最先端の推論ソリューションの導入が不可欠になっています。TensorRT の最新版に導入された新しい機能により、企業は、これまでにない品質と応答性を持つ対話型 AI アプリケーションを顧客に提供できるようになります」
これまでの 5 年間で、ヘルスケアやオートモーティブ、金融および小売りといった多様な分野の 2 万 7,500 の企業に所属する、35 万人以上の開発者が、TensorRT を約 250 万回ダウンロードしています。TensorRT アプリケーションはハイパースケール データセンターや組み込み機器、自動車製品プラットフォームへの展開が可能です。
推論の最新イノベーション Transformer の最適化に加えて、以下の 2 つの主要な機能を通じて、TensorRT 8 はAI 推論でのブレイクスルーを実現しています。
スパース性は、効率性を高めるための、NVIDIA Ampere アーキテクチャ GPU の新しい性能向上手法です。これにより、開発者は演算処理を削減することで、ニューラル ネットワークを加速させることができます。
また、量子化認識トレーニングにより、開発者は、トレーニング済みモデルを使い、正確さを損なうことなく、INT8 精度で推論を実行できるようになります。これによって、演算とストレージのオーバーヘッドが大幅に削減され、Tensor コアで効率的な推論ができるようになります。
業界からの幅広い支持 業界のリーダー企業は、対話型 AI および他の多様な分野でのディープラーニング推論アプリケーションに TensorRT を活用しています。
Hugging Face は、さまざまな業界の、世界屈指の AI サービス プロバイダーから信頼を寄せられている、オープンソース AI のリーダー企業です。同社は、NVIDIA と密接に連携し、テキスト分析、ニューラルサーチおよび対話型アプリケーションを大規模に実行することができる、画期的な AI サービスを導入しようとしています。
Hugging Face の製品ディレクターであるジェフ ブーディエ (Jeff Boudier) 氏は、次のように話しています。「当社は NVIDIA との密接な連携を通じて、NVIDIA GPU で最先端のモデルを実行するための、最高の性能を提供しています。Hugging Face Accelerated Inference API はすでに、NVIDIA GPU の活用によって、Transformer モデルの処理速度を最大 100 倍に向上させています。TensorRT 8 により、Hugging Face では、BERT での推論レイテンシを 1 ミリ秒に短縮しており、今年の後半には、この性能をお客様に提供できることを楽しみにしています」
医療テクノロジ、診断およびデジタル ソリューションの世界的なイノベーターである GE Healthcare では、TensorRT を使って、疾病の早期発見には欠かせないツールである、超音波のコンピューター ビジョン アプリケーションを加速させています。これにより、臨床医は、インテリジェントなヘルスケア ソリューションを使って、最高品質のケアを提供できるようになります。
GE Healthcare の心臓血管超音波検査担当チーフエンジニアであるエリック ステーン (Erik Steen) 氏は、次のように話しています。「超音波検査では、臨床医は画像の選択と測定に貴重な時間を費やしています。Vivid Patient Care Elevated Release のための R&D プロジェクトでは、私たちは、Vivid E95 スキャナーでの心臓表示検出を自動化することで、より効率的な処理を行おうとしていました。心臓表示認識アルゴリズムは心臓壁運動の分析のための適切な画像を選択します。TensorRT は、そのリアルタイム推論機能により、表示検出アルゴリズムの性能を高め、R&D プロジェクトでの市場投入までの時間も短縮してくれました」
提供予定 TensorRT 8 は、現在入手可能となっており、NVIDIA Developer プログラムのメンバーは無料で入手いただけます。最新バージョンのプラグイン、パーサーおよびサンプルは、TensorRT GitHub リポジトリよりオープンソースとしてもご利用いただけます。
NVIDIA について 1999年における NVIDIA (NASDAQ表示: NVDA) による GPU の発明は、PC ゲーミング市場の成長に爆発的な拍車をかけ、現代のコンピューター グラフィックス、ハイパフォーマンス コンピューティング、そして人工知能 (AI) を再定義しました。NVIDIA のアクセラレーテッド コンピューティングと AI における先駆的な取り組みは、輸送、ヘルスケア、製造業などの数兆ドル規模の産業を再構築し、その他のさまざまな産業の拡大も加速させています。詳細は、こちらのリンクから： https://nvidianews.nvidia.com/
NVIDIA の製品およびサービスの利点、影響、性能、特徴および入手可能性、AI を利用するリアルタイム アプリケーションの世界的な需要が急速に増大していること、NVIDIA がサードパーティと連携すること、および業界のリーダーが TensorRT を活用していることなど、本プレスリリースにおける一定の記載は将来の見通しに関する記述であり、予測とは著しく異なる結果を生ずる可能性があるリスクと不確実性を伴っています。かかるリスクと不確実性は、世界的な経済環境、サードパーティに依存する製品の製造・組立・梱包・試験、技術開発および競合による影響、新しい製品やテクノロジの開発あるいは既存の製品やテクノロジの改良、NVIDIA製品やパートナー企業の製品の市場への浸透、デザイン・製造あるいはソフトウェアの欠陥、ユーザーの嗜好および需要の変化、業界標準やインターフェイスの変更、システム統合時にNVIDIA製品および技術の予期せぬパフォーマンスにより生じる損失などを含み、その他のリスクの詳細に関しては、Form 10-K での NVIDIA のアニュアル レポートならびに Form 10-Q での四半期レポートなど、米証券取引委員会 (SEC) に提出されている NVIDIA の報告書に適宜記載されます。SEC への提出書類は写しが NVIDIA の Web サイトに掲載されており、NVIDIA から無償で入手することができます。これらの将来予測的な記述は発表日時点の見解に基づくものであって将来的な業績を保証するものではなく、法律による定めがある 場合を除き、今後発生する事態や環境の変化に応じてこれらの記述を更新する義務を NVIDIA は一切負いません。
©2021 NVIDIA Corporation. All rights reserved. NVIDIA、NVIDIA ロゴ および TensorRT は米国およびその他の国々の NVIDIA Corporation (エヌビディア コーポレーション) の商標かつ/あるいは登録商標です。その他すべての商標および登録商標はそれぞれの所有者に帰属します。製品の特徴、価格、発売・販売および仕様は、予告なしに変更されることがあります。