Smart Cities/Räume
Linker Vision nutzt visuelle KI zur Optimierung von betrieblichen Abläufen in Städten
Ziel
Linker Vision bietet datenzentrierte Lösungen mit Computer Vision, die für die schnelle Bereitstellung und effiziente Skalierung von Vision-AI-Anwendungen optimiert sind, von der Cloud bis zum Edge. Kaoshiung, eine der größten Städte Taiwans, ist ein wichtiger Endkunde von Linker Vision. Mit NVIDIA Metropolis haben sie fortschrittliche Smart-City-Lösungen implementiert, um eine kritische Herausforderung im urbanen Bereich mit abteilungsbezogenen Silos zu bewältigen. Diese fragmentierten staatlichen Infrastrukturen erschweren den schnellen und effizienten Austausch wichtiger Informationen erheblich und behindern so koordinierte Reaktionen auf stadtweite Probleme. Linker Vision nutzt NVIDIAs Drei-Computer-Strategie – Simulation digitaler Zwillinge mit NVIDIA Omniverse™, Training von KI-Modellen mit NVIDIA NeMo™ Curator und Bereitstellung von KI-Agenten mit NVIDIA AI Blueprint für die Videosuche und -zusammenfassung (VSS) –, um Städten dabei zu helfen, ein besseres Situationsbewusstsein zu entwickeln und proaktive, datengestützte Entscheidungen zu treffen. Das trägt außerdem dazu bei, organisatorische Silos aufzubrechen und den Grundstein für eine wirklich intelligente Stadt zu legen.
Verbesserung des städtischen Situationsbewusstseins mit Visuellen Sprachmodellen
Eine der wichtigsten Herausforderungen bei der Anwendung von visueller KI in Städten ist die hohe Variabilität und Unvorhersehbarkeit abnormaler Ereignisse. Herkömmliche Computer-Vision-Systeme sind darauf trainiert, Standardobjekte wie Autos, Gebäude oder Menschen zu erkennen. Allerdings haben sie oft Schwierigkeiten, die Gesamtsituation zu interpretieren oder kritische Ereignisse wie einen Verkehrsunfall, eine Überschwemmung oder einen umgestürzten Baum zu verstehen.
Zur Überwindung dieser Einschränkungen nutzt Linker Vision VLMs, die auf generativer KI basieren, um über die einfache Objekterkennung hinauszugehen, indem sie die Beziehungen zwischen visuellen Elementen interpretieren und beschreibende Erzählungen der Szene generieren. Indem Linker Vision das VLM dazu auffordert, die aktuellen Vorgänge zu beschreiben, ermöglicht es dem System, komplexe Szenarien intelligent zu erklären und so den Einsatzkräften und Entscheidungsträgern in Städten dabei zu helfen, die Situation in Echtzeit besser zu verstehen. Dieser Ansatz verbessert das Situationserkennung und die Effektivität der Reaktion erheblich, insbesondere in dynamischen, unvorhersehbaren städtischen Umgebungssituationen.
„Mit den Neuerungen der generativen KI und dem VLM möchten wir das immense Potenzial der visuellen KI für die Entwicklung intelligenter Städte aufzeigen. Durch die Integration von NVIDIA-Technologien werden unsere Lösungen immer effizienter und hochwertiger. Die Zusammenarbeit mit NVIDIA verdeutlicht, wie intelligente Technologien mit städtischen Visionen in Einklang gebracht können, um sinnvolle und wirksame Veränderungen zu bewirken.“
Willy Kuo
CTO und Mitbegründer von Linker Vision
Wie Videoanalysen eine intelligentere, vernetzte städtische Infrastruktur fördern
Städte stehen vor einer großen Herausforderung: Abteilungsgrenzen. In der Vergangenheit arbeiteten verschiedene städtische Abteilungen – wie das Amt für Wasserwirtschaft und das Amt für Verkehr – mit isolierten Systemen, die von verschiedenen Systemintegratoren und Anbietern entwickelt wurden. Hierdurch wird die rechtzeitige Koordinierung von Reaktionen auf Probleme erheblich erschwert. Stellen Sie sich beispielsweise eine Überschwemmung vor, die vom Amt für Wasserwirtschaft erkannt wurde. Obwohl diese Daten für das Verkehrsamt sehr wichtig sind, da Überschwemmungen den Verkehrsfluss und die öffentliche Sicherheit erheblich beeinträchtigen können, konnten diese Informationen aufgrund des Fehlens eines einheitlichen Systems nicht automatisch oder zeitnah weitergegeben werden. Infolgedessen arbeiteten die Abteilungen häufig isoliert voneinander und verpassten die Möglichkeit, Maßnahmen zu ergreifen, die die Auswirkungen auf die Bürger und die Infrastruktur hätten mindern können.
Um diese Lücke zu schließen, entwickelte und stellte Linker Vision eine integrierte, KI-gestützte Plattform bereit. Hierzu wurde der NVIDIA AI Blueprint für Videosuche und -zusammenfassung (VSS) verwendet, um KI-Agenten für die Videoanalyse zu entwickeln, die Tausende von Live-Kamerastreams in der ganzen Stadt verarbeiten und tiefere Einblicke in Verkehrsvorfälle liefern können. Diese Erkenntnisse helfen Einsatzkräften, schnell zu reagieren und Abläufe in der Stadt zu verbessern. Ein Beispiel: KI-Agenten erkennen eine Überschwemmung auf einer Hauptverkehrsstraße und alarmieren automatisch die zuständigen Behörden und betroffenen Bürger mit wichtigen Informationen zum Ort sowie Zeitpunkt und schlagen entsprechende Maßnahmen vor. Die KI-Plattform dient als einheitliche Grundlage für Echtzeitdaten, die abteilungsübergreifende Zusammenarbeit ermöglicht und zu einem höheren Maß an Situationsbewusstsein und Entscheidungsfindung in der gesamten Stadt führt.
Die Drei-Computer-Strategie von NVIDIA in Aktion bei Linker Vision
Linker Vision strukturiert seine Lösung der visuellen KI (Vision AI) für Städte um die Drei-Computer-Strategie von NVIDIA, die jede Phase der Pipeline – Simulation, Training und Laufzeit – unterstützt.
Zunächst wandelt Linker Vision Satelliten- und Luftbilder in OpenUSD-Szenen um und erstellt einen digitalen Zwilling der Stadt mithilfe von NVIDIA Omniverse, das auf NVIDIA OVX™-Servern ausgeführt wird. Mit NVIDIA Cosmos™ werden vielfältige synthetische Videodaten für komplexe Szenarien wie Infrastrukturschäden oder Überschwemmungen generiert, um so Randfälle abzudecken, die in der realen Welt nur schwer zu erfassen sind.
Für das Training von KI-Modellen nutzt Linker Vision NeMo Curator und nv-grounding-dino für die Datenkuration, Annotation und Kennzeichnung von realen Daten. Diese echten und synthetischen Datensätze werden zur Feinabstimmung von VLMs verwendet, um die Genauigkeit zu erhöhen und bessere Einblicke in komplexe städtische Aktivitäten zu gewinnen.
Für die Bereitstellung nutzt Linker Vision den VSS-Blueprint, der NVIDIA Metropolis-Vision-Pipelines mit generativen KI-Modellen kombiniert, einschließlich VLMs auf Basis der NVIDIA VILA-Architektur auf NVIDIA DGX™ Servern. So können KI-Agenten reale Ereignisse erkennen, verstehen und darauf reagieren, indem sie aussagekräftige, zeitnahe Erkenntnisse für den Betrieb intelligenter Städte liefern.
Schließlich verbindet Linker Vision seine Pipeline für visuelle KI mit einer Echtzeit-Umgebung für digitale Zwillinge, die von Omniverse unterstützt wird. Durch die Integration von Ergebnissen aus der Pipeline für visuelle Analysen wird eine interaktive Kommandozentrale geschaffen, in der die Stadtbeamten Ereignisse in der ganzen Stadt intuitiv überwachen und darauf reagieren können.
KI-Weiterentwicklung für den städtischen Betrieb
Linker Vision trägt aktiv zur Entwicklung von KI-Ökosystemen bei, insbesondere in den Bereichen Smart-City-Steuerung, KI-gestützte Infrastruktur und autonome Entscheidungsfindung. In der Stadt Kaohsiung integriert Linker Vision 30.000 verschiedene Smart-City-Kamerastreams, die alle in einer stadtweiten digitalen 3D-Zwillingsplattform verwaltet werden. Das System ist darauf trainiert, mehr als zehn wichtige städtische und geschäftliche Bereiche zu verstehen, darunter Verkehr, Wasserwirtschaft, Gesundheitswesen und Logistik, sowie mehr als 300 Szenarien wie Verkehrsunfälle, Katastrophenhilfe, öffentliche Sicherheit und Infrastrukturmanagement.
Die Vision-AI-Lösungen verbessern die Lebensqualität in Städten und verkürzen die Reaktionszeiten bei Vorfällen um bis zu 80 %. Die Arbeit von Linker Vision, die kürzlich in einem Vortrag bei der GTC „City-Scale AI with Digital Twins“ vorgestellt wurde, zeigt, wie das Unternehmen KI-Technologien von NVIDIA für KI-Verarbeitung in Echtzeit, Training großer Modelle und bereichsübergreifende KI-Anwendungen in Smart Cities, industrieller Automatisierung und KI-Ökosystemen integriert.
Nutzen Sie die Leistung von VLMs und beginnen Sie mit der Entwicklung mit NVIDIA AI Blueprints.