스마트 시티/공간
Linker Vision, 비전 AI를 기반으로 도시 운영 최적화
Kaohsiung City Government
목표
Linker Vision은 클라우드에서 엣지까지 비전 AI 애플리케이션의 신속한 배포와 효율적 확장에 최적화된 데이터 중심형 컴퓨터 비전 솔루션을 제공합니다. 대만의 주요 대도시 중 하나인 가오슝시는 Linker Vision의 주요 고객입니다. 이들은 부서 간 사일로로 인한 중요한 도시 문제를 해결하기 위해 NVIDIA Metropolis를 활용한 고도화된 스마트시티 솔루션을 도입했습니다. 이처럼 분절된 행정 인프라 때문에 필수 정보를 빠르고 효율적으로 공유하기가 매우 어렵고, 그로 인해 도시 전반에 걸친 문제에 대해 유기적인 대응이 제대로 이뤄지지 않습니다. Linker Vision은 NVIDIA의 세 단계 컴퓨터 전략—NVIDIA Omniverse™를 활용한 디지털 트윈 시뮬레이션, NVIDIA NeMo™ Curator를 이용한 AI 모델 학습, NVIDIA AI Blueprint를 활용한 영상 검색 및 요약(VSS) 기능의 AI 에이전트 배포—을 통해 도시가 상황을 더 정확히 파악하고, 데이터 기반의 선제적 의사결정을 내릴 수 있도록 지원합니다. 이는 또한 조직 내 사일로를 해소하고 진정한 스마트 시티의 기반을 마련하는 데 도움을 줍니다.
비전 언어 모델을 통한 도시 상황 인식 개선
도시에서 비전 AI를 적용할 때의 핵심 과제 중 하나는 비정상적인 사건의 높은 변동성과 예측 불가능성입니다. 기존 컴퓨터 비전 시스템은 차량, 건물 또는 사람과 같은 표준 객체를 감지하도록 훈련되었습니다. 그러나 이러한 시스템은 전체적 상황을 해석하거나 교통 사고, 홍수, 쓰러진 나무 등의 주요 사건을 이해하는 데는 한계가 있었습니다.
이를 해결하기 위해 Linker Vision은 생성형 AI를 기반으로 구동되는 VLM을 활용하며, 시각 요소 간의 관계를 해석하고 장면에 대한 서술적 설명을 생성하는 등의 단순한 물체 감지 이상의 기능을 추가하였습니다. Linker Vision은 VLM에 현재 상황을 설명하도록 프롬프트를 요청함으로써, 시스템이 복잡한 시나리오에 대한 지능적인 설명을 제공하도록 하여 도시 대응 기관과 관리자가 실시간 상황을 더 잘 이해할 수 있도록 지원합니다. 이 접근 방식은 특히 역동적이고 예측 불가능한 도시 환경에서 상황 인식 능력과 대응 효율성을 크게 개선합니다.
“우리는 생성형 AI와 VLM의 혁신을 통해 스마트 시티 개발 분야에서 비전 AI의 막대한 잠재력을 입증하고자 합니다. NVIDIA 기술을 통합함으로 솔루션은 더욱 효율적이고 가치 있는 방향으로 진화하고 있습니다. NVIDIA와의 협업은 스마트 기술이 도시 비전과 어떻게 조화를 이루며 의미 있고 영향력 있는 변화를 창출하는지 수 있는지 보여줍니다."
Willy Kuo
Linker Vision CTO 및 공동 설립자
영상 분석이 더 스마트하고 유기적인 도시 인프라를 지원하는 방법
도시들이 안고 있는 중요한 과제 중 하나는 부서 간 사일로입니다. 그동안 수도국, 교통국 같은 각 지방 부처는 서로 다른 시스템 통합업체(SI)와 벤더가 개발한 개별 시스템 위에서 독립적으로 운영되어 왔습니다. 이로 인해 문제 발생 시 시기적절한 협력 대응을 이끌어 내는 것이 매우 어려웠습니다. 예를 들어, 수자원국이 감지한 홍수 사건을 생각해 보세요. 이 데이터는 교통 흐름과 시민 안전에 큰 영향을 미치는 침수 상황을 파악하는 데 교통국에 매우 중요하지만, 통합된 시스템이 없다 보니 이런 정보를 자동으로, 신속하게 공유할 수 없었습니다. 그 결과, 각 부서는 고립된 상태로 업무를 수행하는 경우가 많았고, 시민과 도시 인프라에 미치는 영향을 줄일 수 있는 대응 기회를 놓쳤습니다.
이러한 문제를 해소하기 위해 Linker Vision은 통합형 비전 AI 기반 플랫폼을 개발하고 배포했습니다. Linker Vision은 NVIDIA AI Blueprint의 영상 검색 및 요약(VSS)를 활용해 수천 개의 도시 전역 실시간 카메라 영상을 처리하고, 교통 사고에 대한 더 깊이 있는 인사이트를 제공하는 영상 분석 AI 에이전트를 구축했습니다. 해당 인사이트는 응급 구조대의 신속한 대처나 도시 운영의 효율성 개선에 도움을 줄 수 있습니다. 예를 들어, AI 에이전트는 주요 도로에서 홍수를 감지하고 위치, 시간 및 제안 조치 등의 핵심 인사이트 관련 기관 및 시민들에게 자동으로 알림을 제공합니다. AI 플랫폼은 실시간 데이터의 통합 기반 역할을 수행하여 부서 간 협업을 가능케 하고 도시 전체 차원의 상황 인식 수준 및 의사 결정 역량을 고도화합니다.
Linker Vision이 실현하는 NVIDIA의 세 가지 컴퓨팅 전략
Linker Vision은 NVIDIA의 세 단계 컴퓨터 전략을 중심으로 비전 AI 시티 솔루션을 구성하여 시뮬레이션, 학습, 런타임 등 파이프라인의 각 단계에 강력한 성능을 제공합니다.
첫째, Linker Vision은 위성 및 항공 이미지를 OpenUSD 장면으로 변환하고 NVIDIA OVX™ 서버에서 실행되는 NVIDIA Omniverse를 활용하여 도시의 디지털 트윈을 생성합니다. NVIDIA Cosmos™를 사용하여 인프라 손상이나 홍수와 같은 복잡한 시나리오 해결을 위한 다양한 합성 영상 데이터를 생성하며, 현실에서 포착하기 어려운 실현 가능성이 낮은 예외 사례를 처리합니다.
Linker Vision은 AI 모델 학습 시 NeMo Curator와 nv-grounding-dino를 사용하여 실제 데이터의 큐레이션, 주석 및 라벨링을 수행합니다. 이렇게 확보된 실제 및 합성 데이터세트는 VLM을 fine-tuning하여 정확도를 높이고 복잡한 도시 활동에 대한 더 나은 인사이트를 확보하는 데 사용됩니다.
Linker Vision은 배포 단계에서 NVIDIA DGX™ 서버 기반 NVIDIA VILA 아키텍처 VLM을 포함하는 생성형 AI 모델과 NVIDIA Metropolis 비전 파이프라인을 결합한 VSVSS Blueprint를 활용합니다. 이를 통해 AI 에이전트는 스마트 시티 운영에 유의미하고 시기적절한 정보를 바탕으로 사건을 감지하고, 이해하며, 대응할 수 있습니다.
최종적으로 Linker Vision은 비전 AI 파이프라인을 Omniverse 기반 실시간 디지털 트윈 환경으로 통합합니다. 비전 분석 결과를 통합하여 구축된 인터렉티브 지휘 센터에서 도시 관리자들은 도시 전체의 사건을 직관적으로 모니터링하고 대응할 수 있습니다.
AI를 기반으로 한 도시 운영 고도화
Linker Vision은 특히 스마트 시티 거버넌스, AI 기반 인프라, 자율 의사 결정 분야에서 AI 생태계 발전에 적극적으로 기여하고 있습니다. 대만 가오슝시에서는 Linker Vision이 3만 개에 달하는 다양한 스마트시티 카메라 영상을 통합해 도시 규모의 3D 디지털 트윈 플랫폼에서 통합 관리하고 있습니다. 이 시스템은 교통, 수자원 관리, 헬스케어, 물류 등 10개 이상의 주요 도시 및 기업 분야와 교통 사고, 재난 대응, 공공 안전, 인프라 관리와 같은 300개 이상의 시나리오를 이해할 수 있도록 훈련되었습니다.
비전 AI 솔루션은 도시의 생활 환경을 개선하고, 사건 대응 시간을 최대 80%까지 단축시켜 줍니다. 최근 GTC 세션 ‘디지털 트윈으로 구현하는 도시 규모 AI’에서 소개된 Linker Vision의 사례는 스마트시티, 산업 자동화, AI 생태계 전반에 걸쳐 실시간 AI 처리, 대규모 모델 학습, 교차 도메인 AI 활용을 위해 NVIDIA AI 기술을 어떻게 통합하고 있는지를 잘 보여줍니다.
VLM의 강력한 성능을 기반으로 한 NVIDIA AI Blueprint로 개발을 시작하세요.