NVIDIA DRIVE 影片

NVIDIA DRIVE® 軟體團隊持續創新,開發多元的冗餘深度神經網路,藉以建立安全而強大的自駕系統,幫助產業轉型。

體驗全新 AV 創新技術

選擇下列標籤以深入瞭解應用過程。

  • NVIDIA DRIVE 實驗室
  • NVIDIA DRIVE Dispatch

深入探討特定自駕演算法的短片。

 

專屬自駕車安全的 AI 分割模型

精確的環境感知對於自動駕駛車輛(AV)的安全性至關重要,特別是在處理未知條件時。在這期的 DRIVE Labs 中,我們討論了一個名為 SegFormer 的 Vision Transformer 模型,該模型可在保持高效率的同時生成強大的語義分割結果。此影片介紹 SegFormer 內部機制,以實現其穩健度和高效率。

 

運用 AI 生成自駕車的潛在事故場景

在評估安全性時,以潛在的接近事故場景來測試自駕車(AV)至關重要,但在現實世界中進行此類測試十分困難且不安全。在這期的 DRIVE Labs 中,我們討論 NVIDIA 研究人員提出的一種名為 STRIVE(Stress-Test Drive)的新方法,可在模擬環境中自動生成自駕車的潛在事故場景。

 

利用 Parking Sign Assist (PSA) 升級自動停車功能

採用了進階演算法的 Parking Sign Assist (PSA) 系統能夠讓自駕車理解停車規則的複雜性,並做出相應的反應,而這一點非常重要。在這一集的 DRIVE 實驗室中,我們將展示 NVIDIA DRIVE AV 軟體堆疊如何運用最先進的深度神經網路 (DNN) 和電腦視覺演算法,改善真實世界情境中的自動停車功能。這些技術可以即時偵測、追蹤和分類各種停車交通號誌和道路交叉路口。

 

協助自駕車更瞭解限速號誌

瞭解限速號誌看似容易,但是考量到不同車道限制,或是在不同國家/地區行駛的情況,這可能就變得很複雜。這一集 DRIVE 實驗室介紹人工智慧即時感知技術如何運用顯性與隱性提示,協助自駕車更加瞭解限速號誌的複雜規則。

 

放心感知:人工智慧如何改善自駕車的雷達感知能力

攝影機和雷達等多樣化且冗餘的感測器是自駕車感知功能中不可缺少的要素。然而,僅採用傳統處理方式的雷達感應器可能還無法滿足要求。在這個 DRIVE Labs 影片中,我們將展示人工智慧如何解決傳統雷達訊號處理在分辨移動和靜止物體上的缺點,從而強化自駕車感知能力。

 

NVIDIA DRIVE IX 人工智慧演算法執行直覺式車艙內感知功能

在這一集的 DRIVE 實驗室,我們會展示 DRIVE IX 如何感知駕駛的注意力、活動、情緒、行為、姿勢、語音、手勢和心情。駕駛感知功能是平台中很重要的層面,可讓 AV 系統確保駕駛保持警覺並注意路況,也能讓人工智慧系統能夠執行更直覺也更智慧的座艙功能。

 

利用軟體定義的人工智慧將光源感知功能最佳化

在這一集的 DRIVE 實驗室,我們會展示如何運用軟體定義的人工智慧技術,在幾週內大幅改善光源感知深度神經網路 (DNN) 的效能和功能,包括擴大範圍、新增分類功能等。

 

絕無閃失:人工智慧如何協助自駕車預測未來

自駕車透過人工智慧得以預測交通模式,並在複雜的環境中安全行駛。在這一集的 DRIVE 實驗室,我們會展示 PredictionNet 深度神經網路如何運用即時認知和地圖資料,預測其他用路人的未來路徑。

 

人工智慧如何協助自駕車感知交叉路口結構

自動處理交叉路口對自駕車而言是一連串複雜的挑戰。在先前的 DRIVE 實驗室系列影片中,我們展示過如何運用 WaitNet DNN 偵測交叉路口、交通燈號和交通號誌。以及如何使用 LightNet 和 SignNet DNN,來分類交通燈號的狀態和交通號誌類型。在這一集中,我們會進一步展示 NVIDIA 如何運用人工智慧來感知自駕車每天在行駛過程中可能經過的各種交叉路口結構..

 

主動學習如何改善夜間行人偵測

主動學習讓人工智慧能夠自動選擇正確的訓練資料。專用 DNN 組合會檢查影像畫面集區,並標示無法確認的畫面。接著,這些畫面會加上標記並新增到訓練資料集中。這個程序可改善艱困環境下的 DNN 感知能力,例如夜間行人偵測。

 

精準聚焦:多視角 LidarNet 如何為自駕車提供豐富的視角

傳統的光學雷達資料處理方法出現了重大挑戰,例如偵測和分類不同類型的物體、場景和天氣情況的能力,以及效能和穩定性方面的限制。我們的多視角 LidarNet 深度神經網路可利用汽車周遭環境的多個視角或視野,來解決這些光學雷達處理方面的難題

 

在自駕車迷失方向時定位功能可協助自駕車找到正確的道路

定位是自駕車的關鍵功能,此功能可計算車輛在地圖中的三維 (3D) 定位,包括 3D 位置、3D 方向,以及這些位置和方向中任何無法確認的值。此 DRIVE Labs 將說明我們的定位演算法如何運用市場主流感測器和 HD 地圖,實現高精準度和穩定性。

 

人工智慧如何閱讀道路上的指示文字

觀看我們如何使 LaneNet DNN 進化為高精度 MapNet DNN。進化部分包括增加偵測類別,除了偵測車道線,也可偵測道路標記和垂直地標 (例如電線杆)。此外,MapNet DNN 也利用端對端偵測,加快車內推論速度。

 

道路上的人工智慧:整合雷達的環繞相機可消除自駕車的盲點

自駕車可偵測車輛外圍四面八方的物體並做出反應,因此能夠提供舒適安全的駕駛體驗。在這一集的 DRIVE 實驗室,我們將說明為什麼具備可結合相機和雷達輸入內容的感測器融合流程,對於建立強大的環境偵測功能來說如此重要。

 

像素級的完美感知能力:AI 如何協助自駕車跳脫框架看世界

對於極為複雜的行車場景,車輛的感知系統若能對四周環境有更深切的瞭解,必定能對自動駕駛的安全決策有莫大助益。可以透過全景分割(panoptic segmentation)這種精準度達到像素等級的技術,對影像內容進行切割,以取得細膩的結果。

 

光線影響開車視線?了解人工智慧如何避開車輛發出的強光

遠光燈能大幅增加標準頭燈於夜間的照明範圍,但是其發出的強光也可能會危害到其他駕駛。有鑑於此,我們訓練出基於攝影機的深度神經網路 (DNN) AutoHighBeamNet 來根據行車狀況自動控制車輛的車燈系統,藉此提升夜間行車的可見度和安全。

 

特徵追蹤功能實現強大的自動駕駛

特徵追蹤可估量影片幀之間像素級別與像素級別間的對應關係,為物件的移動與速率預估、攝影機自動校準和視覺測距等提供關鍵時刻與幾何訊息。

 

在找停車位嗎?人工智慧可以幫你這個忙

我們的 ParkNet 深度神經網路可以在各種條件下偵測哪裡有空位可以停車。觀看影片,看看它如何感知室內外的停車位,區分是一條格線、兩條格線或模糊不清的車位格線,還有區分已經有停車的、沒有停車的或是部分被擋住的車位。

 

歡迎搭乘 NVIDIA 自駕車

此特別版的 DRIVE Lab 影片將展示 NVIDIA DRIVE AV 軟體如何與感知、本地化、計畫/控制等必要模塊結合,在我們總部美國加州聖塔克拉拉的公路上自動駕駛。

 

使用人工智慧辨別交通標誌和號誌

NVIDIA DRIVE AV 使用多個深度神經網路來辨別交通標誌和號誌。觀看我們的深度神經網路 LightNet 如何辨別號誌的形狀和狀態,同時深度神經網路 SignNet 進行標誌類型的辨別。

 

利用 Safety Force Field 降低碰撞

我們的 Safety Force Field (SFF) 防碰撞軟體作為車輛的主要計劃與控制系統的獨立監督員。SFF 會一再檢查主系統的選擇,如果認為該選擇不安全,即會否決並修正主系統的判斷。

 

特徵追蹤功能實現強大的自動駕駛

特徵追蹤可估量影片幀之間像素級別與像素級別間的對應關係,為物件的移動與速率預估、攝影機自動校準和視覺測距等提供關鍵時刻與幾何訊息。

 

利用神經網路推估距離

使用單個攝影機的影像資料計算物體距離是非常具挑戰性的,尤其是遇到丘陵地形時。利用深度神經網路,協助自動駕駛車推估 2D 影像的 3D 距離。

 

環繞相機感測

瞭解我們如何透過六台相機的配置達到 360 度的環繞視角,並感測周圍車輛和追蹤物件的動態。

 

運用 RNN 預測未來

自駕車必須使用運算方法和影像序列等感應器資料,以即時瞭解物體移動的狀況。

 

ClearSightNet 深度神經網路

ClearSightNet DNN 經過訓練,可評估相機的清晰視覺能力,並能找出遮蔽、阻擋和可見度下降的原因。

 

WaitNet 深度神經網路

瞭解 WaitNet DNN 如何在不使用地圖的情況下偵測交叉路口。

 

感測路線集成

這三個 DNN 建立中心路徑和車道線預測的標準並加以評估,以及車道變更/分岔/合併的情況。

選擇下列標籤以深入瞭解應用過程。

 

NVIDIA DRIVE Dispatch - 第 2 季第 1 集

DRIVE Dispatch 第二季回歸。本集我們將展示基於端到端雷達 DNN 的叢集、Real2Sim、駕駛與乘客監控等進展。

 

NVIDIA DRIVE Dispatch - 第 1 季第 6 集

在本集 NVIDIA DRIVE Dispatch 中,瞭解交通動態預測、道路標記檢測、3D 合成資料視覺化等技術的進展。

 

NVIDIA DRIVE Dispatch - 第 1 季第 5 集

在本集 NVIDIA DRIVE Dispatch 中,瞭解駕駛路徑認知、攝影機和雷達定位、停車位偵測等技術的進展。

 

 

NVIDIA DRIVE Dispatch - 第 1 季第 4 集

在本集中,我們將展示使用生成資料來加強對 DNN 的訓練、運用雷達感測器來預判未來的動作、如何針對群眾協作的 HD 地圖建立 MapStream 及更多內容。

 

NVIDIA DRIVE Dispatch - 第 1 季第 3 集

瞭解 DepthNet、道路標記偵測、多雷達自我運動預測、跨相機特徵追蹤等技術的最新進展。

 

NVIDIA DRIVE Dispatch - 第 1 季第 2 集

探索停車位偵測、地標偵測的 3D 定位,還有我們第一款使用自動產生之 MyRoute 地圖和道路平面的自駕技術,以及懸吊系統預測的技術進展。

 

NVIDIA DRIVE Dispatch - 第 1 季第 2 集

探索停車位偵測、地標偵測的 3D 定位,還有我們第一款使用自動產生之 MyRoute 地圖和道路平面的自駕技術,以及懸吊系統預測的技術進展。

 

NVIDIA DRIVE Dispatch - 第 1 季第 1 集

瞭解分類和避開機車功能、交通燈號偵測、2D 長方體穩定度、相機註釋中的 3D 自由空間、光學雷達偵測流程,以及頭燈/車尾燈/路燈感知的技術進展

立即訂閱 NVIDIA 汽車電子報,以即時收到最新的 DRIVE 影片。