【第一時間通報上百種城市情境】VLM辨識城市情境實例

高雄市政府推動城市級的主權AI，首波以工務局、環保局、交通局、水利局4個局處，跨局處蒐集整合超過2PB的影像資料，超過645萬小時的影像資料，這些資料經過整理後，400萬組影像標註，用於對VLM商用模型進行微調。

結合高雄當地影像資料，VLM模型經過微調，預計在明年第一季完成開發、測試，屆時VLM能夠辨識共108種情境及609組判斷指標，透過建置VLM PaaS平臺，未來局處可以在第一時間收到通報，掌握哪個地點及時間，發生交通塞車、垃圾髒亂、道路施工、淹水，讓高雄市政府從過去被動靠1999才展開處理，轉為收到AI通報後，市府單位主動應變處理。

目前首波參與的4個局處，希望透過VLM分析攝影機的即時影像畫面，協助市府第一時間應變。這108個城市治理情境，涵蓋交通、道路設施維護、災害、活動、水利管理、環境衛生等等。各局處收到VLM辨識影像通報的告警後，可進一步向VLM詢問現場情形，例如淹水深度多高、車禍是否有員警及救護車抵達，施工阻礙哪些車道等等。

明年高雄市政府計畫讓更多局處加入，新局處對於業務上希望掌握的情境，將成為接下來VLM學習辨識的新情境，擴大AI分析影像畫面通報發生情境的類別，也讓市政府可針對更多情境事件第一時間應變決策。

 事故情境1  淹水

高雄市過去曾發生大型災害，因此市府相當重視災害應變，並將其納入VLM自動辨識告警的情境之一，特別是極端氣候下，短時間的強降雨導致道路淹水，VLM根據畫面產出描述，並且提供進一步的判斷指標，例如淹水深度、天氣狀況、交通影響、現場是否有執法人員等等。（圖片來源／高雄市政府）

 事故情境2  車禍

在城市的日常治理中，交通是很重要的一部分，當發生交通事故，特別是上下班尖峰時刻就會影響路況，造成大塞車，引發用路民眾的抱怨。VLM根據影像畫面判斷發生交通事故，判別事故類型為車輛碰撞，並描述車禍所在的位置，位於有許多車輛及行人經過的路口，以及現場是否有警察、消防、救護人員抵達等等，相關單位接獲VLM通報後，派遣人員到場處理。（攝影／洪政偉）

 事故情境3  交通壅塞

交通壅塞是城市中常見的景象，傳統仰賴車流量分析，現在VLM可以根據某一路段的即時影像，通報發生交通壅塞的路段，背後為高架快速道路，匯流車流量產生壅塞，受車輛壅塞的車道包括匯流車道、內線、中線及外線車道。（攝影／洪政偉）

 事故情境4  道路施工

在城市的日常治理中，經常需要維護道路品質，但是道路施工也可能因阻礙車道而影響到其他車輛的通行。圖為VLM通報某一路段正在道路施工，現場的天氣狀況，施工所影響的車道為特定車道還是全部車道，現場的交流流量是否順暢，有無交通管制或是執法人員，是否有設置圍欄及施工標誌。（圖片來源／高雄市政府）

 事故情境5  電桿歪斜

城市內設施的維護相當重要，過去可能依靠人員巡查，或是民眾1999通報才能知道哪些發生災害或設備損毀、異常情形，圖中電桿發生歪斜，VLM判斷出電線桿出現異常，並提供電線桿歪斜的狀態，包括電線桿是否受損，電線桿是否斷裂，附近是否有樹木，是否影響交通，由VLM自動通報城市的管理單位及電線桿的業主派人處理。（圖片來源／高雄市政府）

 事故情境6  輕軌出軌

為了讓VLM能夠從影像畫面判斷各種情境事件發生，需要大量各種情境的實景影像來訓練模型，但是某些特殊情境相當罕見或從未發生，例如輕軌發生出軌，缺少影像可供模型訓練。高雄市利用Nvidia的Omniverse及Cosmos，合成輕軌出軌的影像，並產生一定數量的出軌合成影像，來訓練VLM識別輕軌出軌，才能讓VLM判別從未發生的特殊事件，通報相關單位應變處理。（圖片來源／高雄市政府）