NVIDIA DRIVE ラボ

内側から見た自律走行車ソフトウェア

DRIVE ラボ ビデオ シリーズは、進路の認識から交差点の通過まで、さまざまな自動運転の課題にエンジニアリングの観点から迫ります。NVIDIA DRIVE AV ソフトウェア チームが安全で堅牢な自動運転システムをどのように構築しているのかについて、短い動画でご紹介します。

 

適切な移動のために: AI による自動運転車の未来予測

自動運転車は、AI を活用し、複雑な状況下での交通パターンと安全な操作を予測します。今回の DRIVE ラボでは、リアルタイムの認識と地図データを用いた、PredictionNet ディープ ニューラル ネットによる、自車以外の交通ユーザーの走路予測をご紹介します。

 

岐路に立つ: AI による交差点理解

自動運転車両が交差点を自律的に扱うには、複雑な課題がいくつも出てきます。以前の DRIVE ラボ シリーズでは、WaitNet DNN を使用して、交差点、信号機、および交通標識を検出する方法についてご紹介しました。また、LightNet と SignNet DNN による信号機の状態や交通標識の分類についても触れました。今回のエピソードではさらに、自動運転車両が日々のドライブで出会うと思われるさまざまな交差点構造の AI による認識をご説明します。

 

アクティブ ラーニングで夜間の歩行者検出を改善

アクティブ ラーニングを利用すると、AI が適切なトレーニング データを自動的に選択できるようになります。専用 DNN (ディープ ニューラル ネットワーク) の集合体がイメージ フレームのプールを通過して、識別の難しいフレームにフラグを付けていきます。これらのフレームはその後、ラベル付けされ、トレーニング データセットに追加されます。このプロセスにより、夜間の歩行者検出など、困難な条件における DNN の認識能力を改善することができます。

 

マルチビュー LidarNet による優れた見通しの実現

従来のLIDAR データの処理手法には、異なる種類の物体の検出や分類、状況や気象による影響、性能や信頼性における制限など、大きな課題があります。NVIDIA のマルチビュー LidarNet ディープ ニューラル ネットワークでは、車両周囲を複数の視野 (ビュー) で捉えることで、これらの LIDAR 処理の課題に対処します。

 

今どこにいるのか:自己位置推定による自動運転車の経路認識

自己位置推定は自動運転車の重要な機能であり、マップ内における 3D (三次元) 位置のほか、3D での車両位置や方向、それらの不確実性も計算します。この DRIVE Labs では、市販のセンサーや HD マップを使用し、高い精度と信頼性の実現を可能とした NVIDIA の自己位置推定アルゴリズムをご紹介します。

 

AI が路面標示を検出

LaneNet DNN から進化を遂げた高精度な MapNet DNN をご覧ください。検出クラスを追加し、道路上の車線の検出だけでなく、路面標示や垂直な目印 (例: 柱等) も検出できるようになりました。このエンドツーエンドの検出により、車内での高速な推論を実現します。

 

路上の AI: 自動運転車の死角をなくすサラウンド カメラ レーダー フュージョン

車両の周りに存在する障害物を検出してそれに対応することができなければ、快適かつ安全な運転体験を実現するのは不可能です。この DRIVE ラボでは、信頼のおける周辺認識機能を実現するために、センサー フュージョン パイプラインを用意して、カメラとレーダーからの 2 種類の認識信号を 1 つにまとめる重要性についてご紹介します。

 

ピクセルレベルでパーフェクトな認知: 自動運転システムによるバウンディング ボックス外の理解

非常に複雑な自動運転シナリオでは、自車の周囲の状況をより詳細に理解する必要があります。パノプティック セグメンテーション DNN のアプローチでは、ピクセルレベルの精度で画像コンテンツをセグメント化することにより、よりきめ細やかな結果を得ることができます。

 

眩しくて見えない? 対向車のために AI でハイ ビーム制御

ハイ ビーム ライトは、夜間の可視範囲を大幅に拡大できます。 ただし、それは同時に他のドライバーには危険な眩しさになる可能性があります。NVIDIA は、カメラベースのディープ ニューラル ネットワーク (DNN)、AutoHighBeamNet によってハイ ビーム ライト システムを自動制御し、夜間運転時の視認性と安全性を両立させました。

 

軌道に乗る: 堅牢な自動運転のための特徴トラッキング

特徴のトラッキング機能は、連続するビデオ フレーム間のピクセルレベルの一致やピクセルレベルでの変化を推定し、オブジェクトの動き/速度の推定、カメラのセルフキャリブレーションや、走行軌跡推定などに重要な、時間的なジオメトリに関する情報を提供します。

 

もう駐車場で迷わない、AI があなたの代わりにナビゲート

NVIDIA の ParkNet ディープ ニューラル ネットワークは、さまざまな条件下で空きスペースを検出します。屋内/屋外の両方で、1 本線や 2 本線、 時には消えかかった線で区切られた駐車スペースを認識し、空きスペース、埋まっているスペース、部分的に隠れているスペースも見分けます。

 

NVIDIA の自動運転車に試乗

DRIVE ラボ ビデオ シリーズ特別版では、カリフォルニア州サンタクララにある NVIDIA 本社周辺の公道を、NVIDIA DRIVE AV ソフトウェアが認識や自己位置推定、計画/制御という重要な構成要素を組み合わせて自律的に走行している様子をご紹介します。

 

AI による標識と信号の分類

NVIDIA DRIVE AV ソフトウェアは、DNN の組み合わせによって、交通標識と信号を分類します。SignNet DNN が標識の種類を識別し、LightNet DNN が信号の形状 (例: 丸か矢印) と状態 (例: 色)を分類する仕組みをご覧ください。

 

Safety Force Field で衝突を回避する

NVIDIA の Safety Force Field (SFF) 衝突回避ソフトウェアは、車両の主要な計画および制御システムの動作において独立した監督者として機能します。SFF は、プライマリ システムによって選択された制御をダブルチェックし、それらが安全でないと判断した場合、プライマリ システムの決定を拒否して修正します。

 

高精度なレーン検出

ディープ ニューラル ネットワーク (DNN) 処理は、レーン検出のための重要な AI ベースの技術として頭角を現しています。 LaneNet DNN は、ピクセルレベルの精度でレーン検出可能な範囲を広げ、レーン端検出の正確さや、レーン検出の堅牢性を向上させています。

 

新しい次元を把握する

1 台のカメラから得た画像データを使用して物体までの距離を計算することは、勾配のある地形では困難を伴うことがあります。 ディープ ニューラル ネットワークを利用して、自律走行車は 2 次元画像から距離を予測することができます。

 

カメラによる周囲の認識

6 つのカメラを使用して、どのように車両の周囲 360  度の物体を認識し、その動きをトラッキングしているかをご覧ください。

 

RNN を使用した未来の予測

自動運転では、連続した画像などのセンサー データと計算手法を用いて、遅れることなく物体の動きを把握する必要があります。

 

ClearSightNet ディープ ニューラル ネットワーク (DNN)

ClearSightNet DNN は、カメラからの視界が明瞭かどうかを評価し、視界の遮蔽や視界の低下があった場合は、その原因を特定できるようにトレーニングされています。

 

WaitNet ディープ ニューラルネット ワーク (DNN)

WaitNet DNN が、地図を使わずに、交差点を検出する仕組みをご覧ください。

 

進路認識アンサンブル

異なる3 つの DNN によって、進路や車線の中心線や、レーンの変更、分岐、合流について予測し、その確実さを評価をします。

NVIDIA の自動車ニュースレターにより、最新の DRIVE ラボがお客様に直接メールで配信されます。