智慧城市 / 空間
Linker Vision 運用視覺 AI 將城市營運最佳化
Kaohsiung City Government
目標
Linker Vision 提供以資料為中心的電腦視覺解決方案，這些解決方案經過最佳化，可讓視覺 AI 應用從雲端到邊緣快速部署及高效擴展。 高雄是台灣的大城市之一，是 Linker Vision 的一大終端客戶。 他們運用 NVIDIA Metropolis 實施先進的智慧城市解決方案，以應對部門孤立所帶來的嚴峻城市挑戰。這些零散的政府基礎架構導致不易快速高效地分享重要資訊，妨礙了協調回應全市問題。 Linker Vision 運用 NVIDIA 的三電腦策略：使用 NVIDIA Omniverse™ 模擬數位孿生、微調 Cosmos 3 等 AI 模型、並使用 NVIDIA Metropolis Blueprint for Video Search and Summarization (VSS) 部署 AI 代理；協助城市提升情境感知能力，並做出主動的資料驅動決策。這也有助於打破組織壁壘，為真正的智慧城市奠定基礎。
運用視覺語言模型強化城市情境感知
在城市應用視覺 AI 時面臨的主要挑戰之一，是異常事件發生時的高度變化和不可預測性。 傳統電腦視覺系統經過訓練，可偵測汽車、建築物或人等標準物件。 然而，它往往難以解讀整體情況或瞭解交通事故、洪水或樹木倒塌等關鍵事件。
為了解決這項限制，Linker Vision 運用 VLM，並參照 NVIDIA VSS Blueprint 智慧城市參考範例，不僅限於簡單的物體偵測，還能解讀視覺元素之間的關係並生成場景的描述性敘述。Linker Vision 透過提示 NVIDIA Cosmos 描述發生的事件，讓系統對複雜情境提供智慧解釋，協助城市回應人員和決策者更即時瞭解事件情境。這種方法大幅提升了情境感知能力和回應成效，在動態且不可預測的城市環境中更是如此。
「透過生成式 AI 和 VLM 的創新，我們旨在展示視覺 AI 在智慧城市發展中的巨大潛力。 整合 NVIDIA 技術後，我們的解決方案正變得更有效率且有價值。 與 NVIDIA 的合作展現了智慧技術如何與城市願景結合，創造有意義且具影響力的改變。」
Linker Vision
技術長暨共同創辦人 Willy Kuo
影片分析如何推動更智慧、連結更緊密的城市基礎設施
城市面臨一項嚴峻的挑戰：部門孤島。過去，不同市政部門，例如水利局和交通局等都是使用不同的系統整合商和供應商開發的隔離系統來進行營運。因此難以協調對問題的及時回應。以水利局偵測到的洪水事件為例。雖然這些資料對交通局至關重要，因為洪水會嚴重干擾交通流量和公共安全，但缺乏統一的系統，表示無法自動或立即分享這些資訊。因此，部門往往孤立工作，錯失了可以減輕對市民和基礎設施影響的回應機會。
為了彌補這一差距，Linker Vision 開發及部署了一套整合的視覺 AI 驅動平台。該平台運用適用於影片搜尋與摘要的 NVIDIA AI Blueprint 打造影片分析 AI 代理，可在城市各地處理成千上萬的攝影機直播，深入解析交通事件。這些深入見解協助第一線救援人員快速做出回應並改善城市營運。例如，AI 代理偵測到主要道路的洪水，並提供位置、時間和建議行動的關鍵解析，自動提醒相關機構和受影響公民。AI 平台可作為即時資料的統一基礎，促進跨部門協作，並在整個城市提升情境感知能力和決策能力。
Linker Vision 的 NVIDIA 三部電腦策略實際運作
Linker Vision 以 NVIDIA 三電腦策略為核心打造視覺 AI 城市解決方案，支援流程的每個階段，包括模擬、訓練和執行階段。
首先，Linker Vision 將衛星和航空影像轉換為 OpenUSD 場景，並運用在 NVIDIA OVX™ 伺服器上執行的 NVIDIA Omniverse 建立城市的數位孿生。 他們運用 NVIDIA Cosmos 為基礎設施受損或洪水來襲等複雜情境生成各種合成影片資料，協助涵蓋在真實世界中難以捕捉的長尾特殊情境。
在訓練 AI 模型時，Linker Vision 使用 NeMo™ Curator 和 nv-grounding-dino 來管理、註解及標記實際資料。 這些真實和合成資料集用於微調 VLM，以提高準確度，深入瞭解複雜的城市活動。
Linker Vision 在部署方面採用 VSS Blueprint，將 NVIDIA Metropolis 視覺流程與生成式 AI 模型結合，包括在 NVIDIA DGX™ 伺服器上執行的 Cosmos VLM。因此，AI 代理能偵測、理解並回應真實世界的事件，為智慧城市營運提供有意義的及時見解。
最後，Linker Vision 將其視覺 AI 流程連接至 Omniverse 驅動的即時數位孿生環境。 透過整合視覺分析流程的輸出，打造出一個互動式指揮中心，讓城市官員自然監控並回應城市中的事件。
推動城市營運進展的 AI
Linker Vision 正積極推動 AI 生態系的發展，尤其是在智慧城市治理、AI 驅動的基礎架構和自主決策方面。 Linker Vision 正在高雄市整合 30,000 個不同的智慧城市攝影機串流，全部在城市規模的 3D 數位孿生平台上進行管理。 該系統經過訓練，瞭解十多個主要城市和企業領域，包括交通運輸、水管理、醫療照護和物流，以及 300 多種情境，例如交通事故、災難回應、公共安全和基礎設施管理。
Linker Vision 現正透過 AI-GRID 擴展此方法。AI-GRID 是其用於大規模物理 AI 部署的協調與執行層。近期在台北市與台灣交通部的擴展專案，運用 NVIDIA NemoClaw、NVIDIA VSS Blueprint 和 NVIDIA Cosmos，支援分散於城市與交通運輸環境中的自主影片推理代理。
Linker Vision 的進展顯示，視覺 AI 代理的開發涵蓋合成資料生成、模型微調，以及推論與部署，而非止於模型推論。對開發者而言，Linker Vision 的案例說明，正式環境中的視覺 AI 代理需要的不只是推論端點。團隊需要可重複執行的工作流程，才能讓影片 AI 系統適應真實世界的條件，並大規模部署代理功能。NVIDIA VSS 技能可補足 VSS Blueprint，協助將部署、搜尋、摘要、報告、警示、影片理解及串流管理等常見影片 AI 任務，轉換為可由代理重複執行的工作流程。
視覺 AI 解決方案可提升城市宜居性，並將事件回應時間縮短高達 80%。Linker Vision 的工作在近期的 GTC 演講「City-Scale AI With Digital Twins」中重點介紹，展示他們如何整合 NVIDIA AI 技術，實現城市規模 AI 的即時 AI 處理、大規模模型訓練，以及在智慧城市、工業自動化與 AI 生態系統中的跨領域 AI 應用。
發揮視覺語言模型 (VLM) 的強大功能，開始使用 NVIDIA AI Blueprints 開發。