Smart Cities/Räume
Linker Vision nutzt visuelle KI zur Optimierung von betrieblichen Abläufen in Städten
Kaohsiung City Government
Ziel
Linker Vision bietet datenzentrierte Computer-Vision-Lösungen, die für eine schnelle Bereitstellung und effiziente Skalierung von Vision-KI-Anwendungen – von der Cloud bis zu den Endgeräten – optimiert sind. Kaohsiung, eine der größten Städte Taiwans, ist ein wichtiger Endkunde von Linker Vision. Sie haben mithilfe von NVIDIA Metropolis fortschrittliche Smart-City-Lösungen implementiert, um eine wesentliche städtische Herausforderung mit Abteilungs-Silos anzugehen. Diese fragmentierten staatlichen Infrastrukturen erschweren den schnellen und effizienten Austausch wichtiger Informationen erheblich und behindern so koordinierte Reaktionen auf stadtweite Probleme. Linker Vision verwendet die Drei-Computer-Strategie von NVIDIA – die Simulation digitaler Zwillinge mit NVIDIA Omniverse™, die Feinabstimmung von KI-Modellen wie Cosmos Reasonund den Einsatz von KI-Agenten mit dem KI-Blueprint von NVIDIA für Video Search and Summarization (VSS)–, um Städten zu helfen, ein besseres Situationsbewusstsein zu entwickeln und proaktive, datengestützte Entscheidungen zu treffen. Dies trägt auch dazu bei, organisatorische Silos aufzubrechen und den Grundstein für eine wirkliche Smart City zu legen.
Verbesserung des städtischen Situationsbewusstseins mit Visuellen Sprachmodellen
Eine der wichtigsten Herausforderungen bei der Anwendung von visueller KI in Städten ist die hohe Variabilität und Unvorhersehbarkeit abnormaler Ereignisse. Herkömmliche Computer-Vision-Systeme sind darauf trainiert, Standardobjekte wie Autos, Gebäude oder Menschen zu erkennen. Allerdings haben sie oft Schwierigkeiten, die Gesamtsituation zu interpretieren oder kritische Ereignisse wie einen Verkehrsunfall, eine Überschwemmung oder einen umgestürzten Baum zu verstehen.
Um diese Einschränkung zu beheben, setzt Linker Vision VLMs ein. Diese sind abgestimmt auf den NVIDIA Blueprint für Smart City-KIund gehen über die einfache Objekterkennung hinaus, indem sie die Beziehungen zwischen visuellen Elementen interpretieren und beschreibende Erzählungen der Szene generieren. Durch die Aufforderung an das VLM Cosmos Reason von NVIDIA, das Geschehen zu beschreiben, ermöglicht Linker Vision dem System, intelligente Erklärungen für komplexe Szenarien zu liefern. So können Einsatzkräfte und Entscheidungsträger in Städten die Situation in Echtzeit besser verstehen. Dieser Ansatz verbessert das Situationsbewusstsein und die Wirksamkeit der Reaktion erheblich, insbesondere in dynamischen, unvorhersehbaren städtischen Umgebungen.
„Mit den Neuerungen der generativen KI und dem VLM möchten wir das immense Potenzial der visuellen KI für die Entwicklung intelligenter Städte aufzeigen. Durch die Integration von NVIDIA-Technologien werden unsere Lösungen immer effizienter und hochwertiger. Die Zusammenarbeit mit NVIDIA verdeutlicht, wie intelligente Technologien mit städtischen Visionen in Einklang gebracht können, um sinnvolle und wirksame Veränderungen zu bewirken.“
Willy Kuo
CTO und Mitbegründer von Linker Vision
Wie Videoanalysen eine intelligentere, vernetzte städtische Infrastruktur fördern
Städte stehen vor einer großen Herausforderung: Abteilungsgrenzen. In der Vergangenheit arbeiteten verschiedene städtische Abteilungen – wie das Amt für Wasserwirtschaft und das Amt für Verkehr – mit isolierten Systemen, die von verschiedenen Systemintegratoren und Anbietern entwickelt wurden. Hierdurch wird die rechtzeitige Koordinierung von Reaktionen auf Probleme erheblich erschwert. Stellen Sie sich beispielsweise eine Überschwemmung vor, die vom Amt für Wasserwirtschaft erkannt wurde. Obwohl diese Daten für das Verkehrsamt sehr wichtig sind, da Überschwemmungen den Verkehrsfluss und die öffentliche Sicherheit erheblich beeinträchtigen können, konnten diese Informationen aufgrund des Fehlens eines einheitlichen Systems nicht automatisch oder zeitnah weitergegeben werden. Infolgedessen arbeiteten die Abteilungen häufig isoliert voneinander und verpassten die Möglichkeit, Maßnahmen zu ergreifen, die die Auswirkungen auf die Bürger und die Infrastruktur hätten mindern können.
Um diese Lücke zu schließen, entwickelte und stellte Linker Vision eine integrierte, KI-gestützte Plattform bereit. Hierzu wurde der NVIDIA AI Blueprint für Videosuche und -zusammenfassung (VSS) verwendet, um KI-Agenten für die Videoanalyse zu entwickeln, die Tausende von Live-Kamerastreams in der ganzen Stadt verarbeiten und tiefere Einblicke in Verkehrsvorfälle liefern können. Diese Erkenntnisse helfen Einsatzkräften, schnell zu reagieren und Abläufe in der Stadt zu verbessern. Ein Beispiel: KI-Agenten erkennen eine Überschwemmung auf einer Hauptverkehrsstraße und alarmieren automatisch die zuständigen Behörden und betroffenen Bürger mit wichtigen Informationen zum Ort sowie Zeitpunkt und schlagen entsprechende Maßnahmen vor. Die KI-Plattform dient als einheitliche Grundlage für Echtzeitdaten, die abteilungsübergreifende Zusammenarbeit ermöglicht und zu einem höheren Maß an Situationsbewusstsein und Entscheidungsfindung in der gesamten Stadt führt.
Die Drei-Computer-Strategie von NVIDIA in Aktion bei Linker Vision
Linker Vision strukturiert seine Lösung der visuellen KI (Vision AI) für Städte um die Drei-Computer-Strategie von NVIDIA, die jede Phase der Pipeline – Simulation, Training und Laufzeit – unterstützt.
Zunächst wandelt Linker Vision Satelliten- und Luftbilder in OpenUSD-Szenen um und erstellt mithilfe von NVIDIA Omniverse , das auf NVIDIA OVX™-Servern läuft, einen digitalen Zwilling der Stadt. Mit NVIDIA Cosmos Transfer generieren sie vielfältige synthetische Videodaten für komplexe Szenarien wie Infrastrukturschäden oder Überschwemmungen und decken so auch seltene Ausnahmefälle ab, die in der realen Welt nur schwer zu erfassen sind.
Für das Training von KI-Modellen nutzt Linker Vision NeMo Curator und nv-grounding-dino für die Datenkuration, Annotation und Kennzeichnung von realen Daten. Diese echten und synthetischen Datensätze werden zur Feinabstimmung von VLMs verwendet, um die Genauigkeit zu erhöhen und bessere Einblicke in komplexe städtische Aktivitäten zu gewinnen.
Für die Bereitstellung nutzt Linker Vision den VSS-Blueprint, der NVIDIA Metropolis- Vision-Pipelines mit generativen KI-Modellen kombiniert, darunter Cosmos Reason VLMs auf NVIDIA DGX™-Servern. Dadurch können KI-Agenten Ereignisse in der realen Welt erkennen, verstehen und darauf reagieren, indem sie aussagekräftige, zeitnahe Erkenntnisse für den Smart City-Betrieb liefern.
Schließlich verbindet Linker Vision seine Pipeline für visuelle KI mit einer Echtzeit-Umgebung für digitale Zwillinge, die von Omniverse unterstützt wird. Durch die Integration von Ergebnissen aus der Pipeline für visuelle Analysen wird eine interaktive Kommandozentrale geschaffen, in der die Stadtbeamten Ereignisse in der ganzen Stadt intuitiv überwachen und darauf reagieren können.
KI-Weiterentwicklung für den städtischen Betrieb
Linker Vision trägt aktiv zur Entwicklung von KI-Ökosystemen bei, insbesondere in den Bereichen Smart-City-Steuerung, KI-gestützte Infrastruktur und autonome Entscheidungsfindung. In der Stadt Kaohsiung integriert Linker Vision 30.000 verschiedene Smart-City-Kamerastreams, die alle in einer stadtweiten digitalen 3D-Zwillingsplattform verwaltet werden. Das System ist darauf trainiert, mehr als zehn wichtige städtische und geschäftliche Bereiche zu verstehen, darunter Verkehr, Wasserwirtschaft, Gesundheitswesen und Logistik, sowie mehr als 300 Szenarien wie Verkehrsunfälle, Katastrophenhilfe, öffentliche Sicherheit und Infrastrukturmanagement.
Die Vision-KI-Lösungen verbessern die Lebensqualität in Städten und verkürzen die Reaktionszeiten bei Vorfällen um bis zu 80 %. Die Arbeit von Linker Vision, die kürzlich in einem GTC-Vortrag mit dem Titel „KI auf Stadtebene mit digitalen Zwillingenvorgestellt wurde, zeigt, wie das Unternehmen NVIDIA-KI-Technologien für die Echtzeit-KI-Verarbeitung für KI auf Stadtebene, groß angelegtes Modelltraining und domänenübergreifende KI-Anwendungen in Smart Cities, der industriellen Automatisierung und KI-Ökosystemen integriert.
Nutzen Sie die Leistung von VLMs und beginnen Sie mit der Entwicklung mit NVIDIA AI Blueprints.