【高雄市以在地主權AI帶動城市治理新方法】靠AI自動回報異常事件，輔助市府第一時間決策應變

「智慧城市的概念未來應是以AI為核心」，高雄市副市長羅達生點出高雄市推動智慧城市治理的轉型目標。

高雄市自2010年縣市合併後，市區面積一舉從原有的153平方公里，擴增近20倍，來到2,952平方公里，合併前的高雄市擁有11個區，加上高雄縣的鄉、鎮、市，合併後共有38個行政區，為國內面積最大的直轄市，加上高雄市人口約272萬，為國內第三大城市。

土地面積、人口增加，增加城市治理的複雜性，高雄市也和其他縣市一樣，開放民眾透過1999陳情反映各種市政問題。以2024年為例，民眾1999通報案件即超過12萬件，涵蓋道路不平、環境衛生、排水等等日常議題。

民眾透過1999陳情，市府依業務負責單位分類，將陳情內容轉送負責的單位，再展開派工處理，市府直到民眾陳情，才著手處理，在市政工作上較為被動。

近幾年高雄市積極化被動為主動，像是導入大數據、AI、IoT來解決各種市政問題，例如國際知名藝人在高雄舉辦大型演唱會，市府利用AI及大數據來規畫捷運班次的人流疏散決策，或是結合5G及AI來辨視輕軌軌道及月臺，改善輕軌軌道的行車安全等等。

但是這些智慧城市應用分散，因此高雄市希望整合各局處跨領域資料，以AI作為城市治理的基礎。

去年12月高雄市與Nvidia、中華電信、Linker Vision等業者合作推動智慧高雄燈塔計畫（後稱燈塔計畫），該計畫呼應Nvidia執行長黃仁勳倡議政府及企業發展主權AI（Sovereign AI）的概念，以打造高雄市主權AI的目標。

其中一項創新的智慧治理是以高雄市在地影像畫面資料，來發展熟悉高雄市城市治理情境的主權AI，並以此為各局處推動智慧應的平臺，跨域資料整合，加上影像智慧分析，將市政治理從事後的被動受理，向市府自主通報，甚至是事前預警與即時應變發展，向主動治理、精準服務發展。

今年5月Computex展，Nvidia執行長黃仁勳來臺在主題演說中，點名高雄已成為數位孿生的城市，並盛讚高雄市的數位治理應用，當系統偵測到汽車發生車禍、道路施工或是電線桿倒塌，第一時間向管理單位發出報告，這項城市數位治理的展示來自智慧高雄燈塔計畫。

聯手Nvidia發展城市級主權AI

然而地處臺灣南部的港都站，高雄市如何吸引眾多業者參與，並且站在AI科技巨頭肩膀上，以在地資料結合算力、模型發展城市級主權AI？

羅達生點出促成高雄市與Nvidia合作的兩個原因，首先是，Nvidia執行長黃仁勳倡議主權AI的想法，和市長陳其邁以AI促使城市治理轉型的理念不謀而合，基於過去市長曾在行政院任職，與Nvidia有過接觸，雙方對城市級主權AI逐漸形成共識。

另一個原因是，以往Nvidia推廣AI，多聚焦在製造業工廠等室內應用環境為主，缺乏戶外應用場域，因此透過和高雄市政府合作，Nvidia也希望擴大AI應用場域，促成高雄市與Nvidia合作，共同推動智慧高雄燈塔計畫，打造城市級的主權AI。

「Nvidia提供全一致性的技術及資源，結合高雄與廠商在地的治理經驗來共同推動」，羅達生說明該計畫中，Nvidia和高雄市政府、廠商所扮演的角色。

與在地產業一起轉型

高雄市為重工業城市，市府的轉型目標不僅推動城市治理的AI轉型，還希望帶動在地產業一同轉型，由於高雄聚集重工業，像是石化、鋼鐵、港區、能源等產業，這些產業和高雄市的城市發展習習相關，市府也邀請台電、中鋼、港務公司等國公營事業共同參與燈塔計畫。此外，因高雄市擁有4個醫學中心，市府也將醫療健康產業納入燈塔計畫。

「未來的城市發展和產業息息相關，我們希望通過PPP公私協力架構，讓城市和產業一起轉型到位」，羅達生說。

他以石化產業為例，外界相當重視石化產業的職安、消安問題，高雄市政府與產業合作，打造生成式AI、主權AI，如何讓城市和廠區的智慧治理共同融合發展。

以VLM打造城市的視覺神經網路

羅達生直言，智慧城市並不是一個新的概念，而是如同電信服務從3G、4G發展到現在的5G，智慧城市從以往流程智慧化、數據匯整、可視化，到辨識性AI或生成式AI。高雄燈塔計畫打造城市級主權AI的關鍵是以生成式AI協助智慧治理，「需要系統性涵括要處理哪些市政問題，再根據這些問題蒐集相關的資料，讓AI能理解發生什麼事件，通知相關單位」。

首波參與燈塔計畫為交通局、水利局、工務局、環保局4個局處，資訊處花費不少時間與先確認各局處想要處理的市政問題，首先確認生成式AI需要「認知」哪些情境，讓AI能從影像畫面認知這些情境的關鍵在於VLM（Vision Language Model）視覺語言模型。

「VLM等於將治理的視角，藉由各種影像來源，了解城市裡已發生哪些事件，不同於以往民眾透過1999、電話向市府反映，VLM讓市府透過影像第一時間發現事件、主動處理」，羅達生表示，市府期望透過VLM提升治理的效率，讓民眾有感。

以路坑為例，VLM不僅僅要能辨認路坑，還要能辨認路坑位於哪個車道、路坑的大小，路坑形成可能原因，像是媒氣管道、電纜等孔蓋，這些可能是相關單位想要知道的問題。另外，當發現交通壅塞，壅塞發生的地點，造成交通壅塞的可能原因，例如樹倒、車禍、施工等等。

羅達生坦言，高雄市目前的治理挑戰是各局處獨立(Silo)發展。以往市府接到民眾的通知，在資訊不明的情形下派人到場，到現場後才知道原因涉及其他單位，以交通壅塞為例，其發生的原因可能是樹倒或施工，交通局只處理交通壅塞問題，至於造成的原因需要再聯繫工務局等相關單位排除，這些程序往來之間，往往耗費相當多的時間。

「過往市府Silo式的治理架構，各單位僅處理與其相關的議題，未來市府希望透過VLM發展為非Silo式治理架構，當VLM發現事件後，判斷原因可能涉及哪些單位，同時通知相關單位處理」，他說。

為了打破傳統Silo治理架構的限制，高雄市政府要建立非Silo的治理架構，燈塔計畫即希望運用跨局處的共享影像資料，訓練共同使用的VLM，並予以平臺化，提供跨局處應用。

羅達生指出，例如交通局的路口監視器畫面或環保局的垃圾車影像資料，過去這些各局處業務使用的影像資料各自獨立使用，現在匯整影像資料訓練VLM，針對各局處業務上需要處理的事件，利用VLM從這些影像資料辨別出來，局處就不需重覆派遣人員去處理，「行政效率和人事成本都會有很大的改變」。

高雄市政府資訊處負責匯整各局處的影像資料，結合外部算力資源，以Nvidia的VLM模型為基礎進行微調（Fine tuning）。

使用本地資料微調正是高雄市推動主權AI發展的關鍵。因為「大廠做的都是全球通用模型，這些通用模型不了解在地需求，如同黃仁勳倡導主權AI，一定要用本地資料訓練，讓AI了解本地發生什麼事情」，羅達生說。

今年1月高雄市長陳其邁曾指出，城市級主權AI平臺，就是要強化技術自主性，發展具有地方特色與高雄價值的AI模型。

高雄市推動城市主權AI，就是要讓AI能識別臺灣在地特色的活動或事件，例如常見的廟會繞境活動，國內或甚至是高雄市獨有的交通設計，透過本地影像資料，讓VLM能準確辨識在地活動或號誌。

智慧高雄燈塔計畫投入1億元經費打造VLM平臺，經過一年的發展，預期在今年底將讓VLM能夠辨識108種情境，可達到一定準確性，讓VLM作為PaaS平臺，市府4個局處再各自發展SaaS層的治理應用。

108種辨識情境，舉例來說，像是交通壅塞、民通事故發生、公共場館的垃圾髒亂、輕軌出現異物、道路淹水、人孔蓋冒水、人行道地磚毀損，以及合作廠商的資產管理情境，例如電線桿歪斜倒塌、工地作業人員安全等等。

圖片來源／高雄市政府

推動VLM的關鍵是市府內部跨局處溝通協調合作，將局處業務上所蒐集的影像資料用於VLM訓練，VLM需要蒐集大量的影像資料，才能訓練好生成式AI，對VLM模型品質的好壞有相當的影響，因此必需說服各局處根深蒂固的本位主義觀念。

如同羅達生向局處說的，「打造VLM並不是要替代各局處現行的系統，只是將過去治理上的盲點，需等到民眾或其他單位通知才知道，利用VLM的城市主權AI來提升治理的效率」。

他認為VLM有發展的潛力，未來可整合實體AI，提供決策參考，但是VLM也有其侷限性，因此不會替代局處現行的各種專家系統，兩者是相輔相乘。

VLM透過即時影像畫面辨識事件的發生，向市府局處示警，再由局處決策如何應變。以交通壅塞為例，當VLM偵測到發生壅塞向交通局報告，交通局根據VLM的報告及其他的專家系統提供的資訊作決策判斷，決定派員到現場交通疏導，或是透過交通號誌控制解決壅塞問題。

未來高雄市完成VLM模型的訓練後，未來模型推論將會被逐步用於高雄市各局處的攝影機，這些攝影機散布在城市各地，AI第一時間判斷城市中所發生的事件，自動通報市府單位應變處理。

不過，打造VLM結合城市各地的影像畫面來輔助治理城市，是否可能辨識人臉，侵犯民眾的隱私？

「我們不會做特徵判斷，不論是車牌或是人」，羅達生直接了當地說。他表示，市府沒有訓練VLM辨識這些特徵，當AI辨別情境事件發生，AI發送的通報只會提供解讀後的結果給相關管理單位，並不會提供整個原始影像。

以數位孿生深化市政治理

高雄市與Nvidia合作發展主權AI，以本地的影像資料打造能辨識在地特色、價值的VLM視覺語言模型只是一個部分。在智慧高雄燈塔計畫裡，高雄市也與Nvidia合作，在Linker Vision的協助之下，以80平方公里的區域，運用Omniverse技術打造數位孿生環境。

羅達生指出，運用Omniverse打造一個和實體世界相互映射的數位孿生環境，如同AI技術發展從認知AI（Perception AI）、生成式AI、推理AI到實體AI（Physical AI），高雄市的AI城市治理，從生成式AI、推論AI到實體AI，先選擇一個區域打造和真實世界互相映象的實體AI，當中涉及如何感知、決策及控制，當虛擬世界中模擬水災或大型公安事故發生，將來真的發生事件時，就能依照推論結果，在實際環境下因應。

圖片來源／高雄市政府

羅達生認為，過去數位孿生應用在工廠，工廠內的設備、環境都比較單純，而以城市真實場域建立數位孿生則較為複雜，這個虛擬世界需要和真實世界相同，因此真實世界內的物理量表現，包括作用力、反作用力等等，還有人為法規制定的規則例如道路專用道，讓虛擬世界對應真實的物理環境，虛擬世界還必需具備軌跡推理，當模擬某個公安事件發生，能夠推理預測接下來的影響，以作為決策參考。

甚至，訓練VLM所需的大量影像資料，除了來自各局處業務蒐集的真實影像資料，對於罕見或從未發生的極端案例如輕軌出軌，市府利用虛擬世界進行模擬，再將模擬影像用於VLM訓練，讓VLM即使缺乏真實出軌影像畫面，仍能辨認輕軌出軌公安事件。

高雄市的城市AI治理願景，一方面蒐集來自真實世界或虛擬世界的影像資料，訓練VLM辨識真實城市場域下發生水災、火災或出軌等公安事件，第一時間向城市管理單位發出警示，提升應變效率；另一方面通過設定和真實世界對應的數位孿生環境，模擬事件發生時應如何應對、控制，當VLM偵測到真實環境發生事件時，相關單位得以迅速應對處理。

不只是市政府可通過數位孿生平臺，規畫大型活動、交通疏運分析、災害防治，參與燈塔計畫的中鋼、台電、港務等公司，也可用於廠區內的治理，像是設施監控、模擬預測、災害管理等等，達到市府和產業共同朝向AI化治理目標前進。

高雄市帶頭倡議發展城市主權AI，不只有高雄使用，國內其他城市也面臨相似的治理需求，因此其他城市也能推動主權AI，高雄的經驗可供其他城市借鏡，但是不同城市有其特殊的治理環境，例如在交通設計上，高雄市沒有專用道路的設計，但是臺北市有專用道路，其他城市可以他們自己的影像資料訓練VLM。

「我們希望未來做出高雄模式之後，未來能推展至國內其他城市」，羅達生說。