NVIDIA DRIVE 實驗室

深入探索智慧機器軟體

DRIVE 實驗室的系列影片以工程視角帶你瞭解自動駕駛的各種挑戰,像是從感測路線到處理交叉路口所遇到的難題。這些短片說明了 NVIDIA DRIVE AV 應用軟體團隊如何打造安全強大的自駕系統。

 

永遠做出正確決定:人工智慧如何協助自駕車預測未來

自駕車透過人工智慧得以預測交通模式,並在複雜的環境中安全行駛。在這一集的 DRIVE 實驗室,我們會展示 PredictionNet 深度神經網路如何運用即時認知和地圖資料,預測其他用路人的未來路徑。

 

人工智慧如何協助自駕車感知交叉路口結構

自動處理交叉路口對自駕車而言是一連串複雜的挑戰。在先前的 DRIVE 實驗室系列影片中,我們展示過如何運用 WaitNet DNN 偵測交叉路口、交通燈號和交通號誌。以及我們如何使用 LightNet 和 SignNet DNN,來分類交通燈號的狀態和交通號誌類型。在這一集中,我們會進一步展示 NVIDIA 如何運用人工智慧來感知自駕車每天在行駛過程中可能經過的各種交叉路口結構。

 

主動學習如何改善夜間行人偵測

主動學習讓人工智慧能夠自動選擇正確的訓練資料。專用 DNN 組合會檢查影像畫面集區,並標示無法確認的畫面。接著,這些畫面會加上標記並新增到訓練資料集中。這個程序可改善艱困條件下的 DNN 感知能力,例如夜間行人偵測。

 

精準聚焦:多視角 LidarNet 如何為自駕車提供豐富視野

傳統的光學雷達資料處理方法出現了重大挑戰,例如偵測和分類不同類型的物體、場景和天氣情況的能力,以及效能和穩定性方面的限制。我們的多視角 LidarNet 深度神經網路可利用汽車周遭環境的多個視野或視角,來解決這些光學雷達處理方面的難題。

 

迷失方向?定位功能可協助自駕車找到正確的道路

定位是自駕車的關鍵功能,此功能可計算車輛在地圖中的三維 (3D) 定位,包括 3D 位置、3D 方向,以及這些位置和方向中任何無法確認的值。此 DRIVE Labs 將說明我們的定位演算法如何運用市場主流感測器和 HD 地圖,實現高精準度和穩定性。

 

AI 如何辨識道路上的標記?

觀看我們如何將 LaneNet DNN 進化為高精度 MapNet DNN。這次的進展包括檢測類別的增加,除了車道線的偵測之外,還包括道路標記和垂直地標(例如:桿子)。同時還利用了端到端的偵測,以在車內提供更快的推論。

 

AI 在路上:融合環繞攝影機及雷達資料可消除自駕車的盲點

能偵測車輛周圍物體並做出適當反應可提供舒適且安全的駕駛體驗。在此次 DRIVE 實驗室影片中,我們說明結合融合各式攝影機與雷達等感測器資料以實現強大的環繞感知的重要性。

 

像素級的完美感知能力:AI 如何協助自駕車跳脫框架看世界

對於極為複雜的行車場景,車輛的感知系統若能對四周環境有更深切的瞭解,必定能對自動駕駛的安全決策有莫大助益。可以透過全景分割(panoptic segmentation)這種精準度達到像素等級的技術,對影像內容進行切割,以取得細膩的結果。

 

光線影響開車視線?了解人工智慧如何避開車輛發出的強光

遠光燈能大幅增加標準頭燈於夜間的照明範圍,但是其發出的強光也可能會危害到其他駕駛。有鑑於此,我們訓練出基於攝影機的深度神經網路 (DNN) AutoHighBeamNet 來根據行車狀況自動控制車輛的車燈系統,藉此提升夜間行車的可見度和安全。

 

特徵追蹤功能實現強大的自動駕駛

特徵追蹤可估量影片幀之間像素級別與像素級別間的對應關係,為物件的移動與速率預估、攝影機自動校準和視覺測距等提供關鍵時刻與幾何訊息。

 

在找停車位嗎?人工智慧可以幫你這個忙

我們的 ParkNet 深度神經網路可以在各種條件下偵測哪裡有空位可以停車。觀看影片,看看它如何感知室內外的停車位,區分是一條格線、兩條格線或模糊不清的車位格線,還有區分已經有停車的、沒有停車的或是部分被擋住的車位。

 

歡迎搭乘 NVIDIA 自駕車

此特別版的 DRIVE Lab 影片將展示 NVIDIA DRIVE AV 軟體如何與感知、本地化、計畫/控制等必要模塊結合,在我們總部美國加州聖塔克拉拉的公路上自動駕駛。

 

使用人工智慧辨別交通標誌和號誌

NVIDIA DRIVE AV 使用多個深度神經網路來辨別交通標誌和號誌。觀看我們的深度神經網路 LightNet 如何辨別號誌的形狀和狀態,同時深度神經網路 SignNet 進行標誌類型的辨別。

 

利用 Safety Force Field 降低碰撞

我們的 Safety Force Field (SFF) 防碰撞軟體作為車輛的主要計劃與控制系統的獨立監督員。SFF 會一再檢查主系統的選擇,如果認為該選擇不安全,即會否決並修正主系統的判斷。

 

特徵追蹤功能實現強大的自動駕駛

特徵追蹤可估量影片幀之間像素級別與像素級別間的對應關係,為物件的移動與速率預估、攝影機自動校準和視覺測距等提供關鍵時刻與幾何訊息。

 

利用神經網路推估距離

使用單個攝影機的影像資料計算物體距離是非常具挑戰性的,尤其是遇到丘陵地形時。利用深度神經網路,協助自動駕駛車推估 2D 影像的 3D 距離。

 

環繞相機感測

瞭解我們如何透過六台相機的配置達到 360 度的環繞視角,並感測周圍車輛和追蹤物件的動態。

 

運用 RNN 預測未來

自駕車必須使用運算方法和影像序列等感應器資料,以即時瞭解物體移動的狀況。

 

ClearSightNet 深度神經網路

ClearSightNet DNN 經過訓練,可評估相機的清晰視覺能力,並能找出遮蔽、阻擋和可見度下降的原因。

 

WaitNet 深度神經網路

瞭解 WaitNet DNN 如何在不使用地圖的情況下偵測交叉路口。

 

感測路線集成

這三個 DNN 建立中心路徑和車道線預測的標準並加以評估,以及車道變更/分岔/合併的情況。

訂閱 NVIDIA 汽車的電子報,讓 DRIVE 實驗室最新消息直送你的信箱。