NVIDIA DRIVE® ソフトウェア チームは常に革新を続け、冗長性と多様性を備えたディープ ニューラル ネットワークを開発し、安全で堅牢な自動運転システムによって産業を変革します。
プロセスの詳細を見るには、以下のタブを選択してください。
各自動運転アルゴリズムを探る短編ビデオ。
正確な環境認識は、特に目に見えない状況に対処する場合、自動運転車 (AV) の安全性にとって重要です。 DRIVE ラボのこのエピソードでは、高い効率性を維持しながら堅牢なセマンティック セグメンテーションを生成する SegFormer と呼ばれる Vision Transformer モデルについて説明します。このビデオでは、SegFormer の堅牢性と効率性を実現する背後にあるメカニズムをご紹介します。
潜在的な事故に近いシナリオで自動運転車 (AV) をテストすることは、安全性を評価するために重要ですが、現実の世界で行うのは難しく、安全ではありません。 DRIVE ラボのこのエピソードでは、AV のシミュレーションで潜在的な事故シナリオを自動的に生成する、NVIDIA 研究者が開発した STRIVE (Stress-Test Drive) と呼ばれる新しい方法について説明します。
高度なアルゴリズムを用いた駐車標識アシスト (PSA) システムは、自動運転車が複雑な駐車ルールを理解し、それに対応するために不可欠なものです。今回の DRIVE ラボのエピソードでは、NVIDIA DRIVE AV ソフトウェア スタックが、最先端の DNN とコンピューター ビジョン アルゴリズムを活用し、現実世界のシナリオで自動駐車を向上させているかを紹介します。この手法では、さまざまな駐車標識や道路交差点をリアルタイムで検出、追跡、分類できます。
速度制限の標識を理解することは簡単なように見えるかもしれませんが、車線によって異なる制限が適用される状況や、新しい国で運転するときなど、瞬く間に複雑になります。この DRIVE ラボ エピソードでは、AI ベースのライブ認識が、明示的および暗黙的な合図を使用して、AV が複雑な速度制限標識をより良く理解するのに役立つことをご紹介します。
AV 認識には、カメラやレーダーなど、多様性を持たせ冗長化したセンサーが必要です。しかしながら、従来の処理方法のみでのレーダー センサーの活用では、十分ではないかもしれません。この DRIVE ラボのビデオでは、AI が移動する物体と静止している物体を区別することで AV 認識を強化し、従来のレーダー信号処理の欠点に対処する方法を紹介します。
この DRIVE ラボ エピソードでは、DRIVE IX がどのようにして運転手の注意、行動、感情、ふるまい、姿勢、発話、ジェスチャー、ムードを認識するかをご覧に入れます。運転手の認識は本プラットフォームの重要な側面です。本 AV システムにより、ドライバーは用心を怠ることなく、道路に注意を向け続けることができます。また、さらに直観的でインテリジェントなコックピット機能を実行できます。
この DRIVE ラボ エピソードでは、ソフトウェア デファインド AI の手法を利用し、光源認識 DNN (ディープ ニューラル ネットワーク) のパフォーマンスと機能性を大幅に高める方法をご紹介します。わずか数週間で認識範囲を拡大したり、分類機能を追加したりできます。
自動運転車は、AI を活用し、複雑な状況下での交通パターンと安全な操作を予測します。この DRIVE ラボ エピソードでは、NVIDIA の PredictionNet ディープ ニューラル ネットワークが、いかにして他の道路利用者の進む方向を、リアルタイム認識と地図データを利用して予測するかをご紹介します。
自動運転車が交差点を自律的に扱うには、複雑な課題がいくつも出てきます。以前の DRIVE ラボ シリーズでは、WaitNet DNN を使用して、交差点、信号機、および交通標識を検出する方法についてご紹介しました。また、LightNet および SignNet DNN による信号機の状態や交通標識の分類についても触れました。自動運転車は、毎日の運転でさまざまな交差点構造に遭遇します。このエピソードでは、交差点構造を AI で認識する仕組みを、さらに詳しく紹介します。
アクティブ ラーニングを利用すると、AI が適切なトレーニング データを自動的に選択できるようになります。専用 DNN の集合体が、蓄積した画像フレームの中から、識別の難しいフレームにフラグを付けていきます。これらのフレームはその後、ラベル付けされ、トレーニング データセットに追加されます。このプロセスにより、夜間の歩行者検出など、困難な条件における DNN の認識能力を改善することができます。
従来の LiDAR データ処理手法には大きな課題がありました。さまざまな種類の物体、シーン、天候条件を検出したり分類したりする能力に問題があり、パフォーマンスや堅牢性も限られていました。NVIDIA のマルチビュー LidarNet ディープ ニューラル ネットワークでは、車両周囲を複数の視野 (ビュー) で捉えることで、これらの Lidar 処理の課題に対処します。
自己位置推定は自動運転車の重要な機能であり、マップ内における 3D (三次元) 位置のほか、3D での車両位置や方向、それらの不確実性も計算します。この DRIVE ラボでは、市販のセンサーや HD マップを使用して高い精度と堅牢性を実現できる NVIDIA の自己位置推定アルゴリズムをご紹介します。
NVIDIA は LaneNet DNN を高精度 MapNet DNN に進化させました。その仕組みをご紹介します。この進化により、検出クラスが増え、車線に加えて、路面標識や縦長のランドマーク (柱など) も検出できるようになりました。また、エンドツーエンドの検出で車載推測機能が高速化します。
車両の全周囲で物体を検出し、それに反応する機能により、快適で安全な運転体験が可能になります。この DRIVE ラボ ビデオでは、センサー フュージョン パイプラインの重要性について説明します。カメラとレーダーからの入力データを結合することで、周辺認識をより堅牢にしています。
非常に複雑な自動運転シナリオでは、自車の周囲の状況をより詳細に理解する必要があります。パノプティック セグメンテーション DNN のアプローチでは、ピクセルレベルの精度で画像コンテンツをセグメント化することにより、よりきめ細やかな結果を得ることができます。
ハイ ビーム ライトは、夜間の可視範囲を大幅に拡大できます。 ただし、それは同時に他のドライバーには危険な眩しさになる可能性があります。NVIDIA は、カメラベースのディープ ニューラル ネットワーク (DNN)、AutoHighBeamNet によってハイ ビーム ライト システムを自動制御し、夜間運転時の視認性と安全性を両立させました。
特徴のトラッキング機能は、連続するビデオ フレーム間のピクセルレベルの一致やピクセルレベルでの変化を推定し、オブジェクトの動き/速度の推定、カメラのセルフキャリブレーションや、走行軌跡推定などに重要な、時間的なジオメトリに関する情報を提供します。
NVIDIA の ParkNet ディープ ニューラル ネットワークは、さまざまな条件下で空きスペースを検出します。屋内/屋外の両方で、1 本線や 2 本線、 時には消えかかった線で区切られた駐車スペースを認識し、空きスペース、埋まっているスペース、部分的に隠れているスペースも見分けます。
DRIVE ラボ ビデオ シリーズ特別版では、カリフォルニア州サンタクララにある NVIDIA 本社周辺の公道を、NVIDIA DRIVE AV ソフトウェアが認識や自己位置推定、計画/制御という重要な構成要素を組み合わせて自律的に走行している様子をご紹介します。
NVIDIA DRIVE AV ソフトウェアは、DNN の組み合わせによって、交通標識と信号を分類します。SignNet DNN が標識の種類を識別し、LightNet DNN が信号の形状 (例: 丸か矢印） と状態 (例: 色)を分類する仕組みをご覧ください。
NVIDIA の Safety Force Field (SFF) 衝突回避ソフトウェアは、車両の主要な計画および制御システムの動作において独立した監督者として機能します。SFF は、プライマリ システムによって選択された制御をダブルチェックし、それらが安全でないと判断した場合、プライマリ システムの決定を拒否して修正します。
ディープ ニューラル ネットワーク (DNN) 処理は、レーン検出のための重要な AI ベースの技術として頭角を現しています。 LaneNet DNN は、ピクセルレベルの精度でレーン検出可能な範囲を広げ、レーン端検出の正確さや、レーン検出の堅牢性を向上させています。
1 台のカメラから得た画像データを使用して物体までの距離を計算することは、勾配のある地形では困難を伴うことがあります。 ディープ ニューラル ネットワークを利用して、自律走行車は 2 次元画像から距離を予測することができます。
6 つのカメラを使用して、どのように車両の周囲 360 度の物体を認識し、その動きをトラッキングしているかをご覧ください。
自動運転では、連続した画像などのセンサー データと計算手法を用いて、遅れることなく物体の動きを把握する必要があります。
ClearSightNet DNN は、カメラからの視界が明瞭かどうかを評価し、視界の遮蔽や視界の低下があった場合は、その原因を特定できるようにトレーニングされています。
WaitNet DNN が、地図を使わずに、交差点を検出する仕組みをご覧ください。
異なる3 つの DNN によって、進路や車線の中心線や、レーンの変更、分岐、合流について予測し、その確実さを評価をします。
AV フリートの最新情報、新たなブレイクスルー
DRIVE ディスパッチが Season 2 として帰ってきました。今回は、エンドツーエンド レーダー DNN ベースのクラスタリング、Real2Sim、ドライバーと乗員のモニタリングなどの進化をご紹介します。
NVIDIA DRIVE ディスパッチのこのエピソードでは、トラフィック モーション エスティメーション、道路標示検出、3D 合成データの可視化などの進歩をご紹介しています。
NVIDIA DRIVE ディスパッチのこのエピソードでは、走行可能な進路認識、カメラとレーダーによる自己位置特定、駐車スペースの検出などの進歩をご紹介しています。
今回の NVIDIA DRIVE ディスパッチでは、DNN トレーニングを改善するための合成データの進歩、未来の動きを予測するためのレーダーのみの認識、クラウドソースの HD マップのための MapStream 作成などをご紹介します。
DepthNet の最新の進化をご覧ください。標識の検出、マルチレーダーの自己運動推定、複数のカメラによる特徴追跡などをご紹介します。
駐車場所の検出、ランドマーク検出の 3D 位置測定、自動生成 MyRoute 地図による初の自動運転、道路平面検出を利用したサスペンション推測など、さまざまな進化をご覧ください。
スクーターの分類と回避、信号機の検出、2D 立方体の安定性、カメラ注釈を利用した 3D 空きスペース認識、LiDAR 認識パイプライン、ヘッドライト/テールライト/街灯認識における最新技術をご覧ください。
NVIDIA Automotive ニュースレターにご登録いただくと、DRIVE 関連の最新ビデオをメールで直接お届けします。