高雄市如何用主權生成式AI升級城市智慧治理，靠AI辨識火災、繞境等108種情境，要讓市府應變決策快一步

主權AI不只是國家級AI發展趨勢，對高雄市政府而言，更是其提升智慧城市治理的重要策略。高雄市去年12月宣布推動智慧高雄燈塔計畫，與中華電信、鴻海、Nvidia、Linker Vision，以及中鋼、中油、港務公司、台電等業者合作，高雄市要推動自己的城市級主權AI，高雄市政府資訊處長劉俊傑在近期分享高雄市如何運用AI加強城市治理。

近2年，高雄市政府在智慧城市發展上異軍突起。去年先是與鴻海、Nvidia合作，在高雄軟體園區建置先進算力中心，以支援AI產品及應用的開發；去年12月高雄市政府與Nvidia、中華電信等業者合作，啟動智慧高雄燈塔計畫。在今年5月國際電腦展，Nvidia創辦人黃仁勳直接點名高雄，稱讚其為數位孿生城市，讓高雄一時間站在AI城市治理鋒頭上。

「過去高雄市向臺北市、新北市、桃園市學習智慧城市的發展經驗，而與Nvidia的合作，是高雄市政府在智慧城市發展上一次彎道超車的機會」，劉俊傑不諱言地說。

他認為，主權AI有2個接地氣的概念，第1個是適地性，由於各地方語言用語習慣不同，以廟會繞境為例，這是其他國家沒有的活動，廟會繞境活動往往會產生噪音、影響當地交通路況，也是民眾1999陳情反映的問題，因此高雄主權燈塔計畫中特別辨識廟會繞境，利用街頭監視器辨識到蹺境活動，市府相關單位注意當地的噪音及交通路況問題。

第2個概念是資料主權，劉俊傑認為，如同企業基於內部敏感資料、營業祕密，每家企業需要發展自己的主權AI。「每個城市所面臨的問題不同，也需要發展自己知識產權的AI」，基於這樣的原因，不能只仰賴公有雲的AI，城市也需要建立在地、適合自己文化的主權AI。

那麼高雄市政府推動主權燈塔AI計畫有何特別之處？

劉俊傑指出，有別於ChatGPT、Gemini為個人使用，例如翻譯、摘要、查找資訊、行程規畫等等，高雄市的主權AI燈塔計畫則是城市治理層級，利用影像辨識城市中發生的事件，第一時間快速應變。

而從AI技術發展來看，過去以機器學習為基礎的AI辨識技術，不同模型只能做單一一件事，例如專門辨識車牌的模型，專門計算車流或是淹水的模型，因應各種需求訓練開發專用模型，而現在生成式AI能夠讓模型辨識多種情況，建立通用的模型。

與廠商以聯合開發模式推動

劉俊傑直言，燈塔計畫在當時為全球第一個城市級主權AI案例，甚至沒有國外標準可供市府採納來進行驗收，資訊處與法治局、主管採購的工務局研究，最後決定以聯合開發模式進行計畫，以類似捷運聯合開發，由市府與企業共同投資，權利及義務共享的模式推動，分為3個方面。

首先在算力資源方面，因為採用Nvidia GB200建置算力資源，GPU相當昂貴，遠非單一城市的財政能夠負擔，因此以聯合開發模式，由企業負擔擴展算力資源。

其次是運用雲端架構在PaaS層訓練主權AI大腦的能力，劉俊傑表示，就像我們找到一位愛因斯坦，他的大腦很聰明、學習很快速，但是大腦中一片空白，透過PaaS訓練AI大腦，利用Nvidia retrain後的商業模型，以高雄的在地情境進行微調（Fine tuning），訓練它辨識廟會繞境活動。

換言之，在PaaS層訓練大腦，再由SaaS層發展各局處需要的應用，解決環保、交通、治安等問題，各局處既有系統需要改版，以與PaaS層的大腦對接。

劉俊傑指出，在聯合開發模式之下，Linker提供Nvidia的算力、機房等基礎設施，還有Nvidia商業模型的授權，為滿足主權AI發展的需求，主機及資料位於高雄的中華電信七賢機房，而GPU則在臺南的中華電信機房，兩個地理區域的機房之間採用全光纖網路連接。

發展城市級VLM推論平臺，可辨別108種情境

他認為，AI在市政的運用並不是要取代人，而是輔助決策、提高效率，協助市府快速應對處理。為此，資訊處花費半年與交通局、環保局、工務局等7個局處討論，確認他們需要AI協助解決什麼問題，以及是否有足夠的資料訓練AI判斷，既有的系統及應變程序如何調整。

例如過去市府接到民眾1999來電陳情道路出現坑洞，工務局再派人到現場勘察，再決定如何處理填補坑洞，一年可能收到與工務相關的陳情案件多達上萬件，往往人力難以處理，未來透過AI從影像識別道路上的坑洞，自動識別坑洞大小，決定派工處理的優先順序。另一個例子則是前面提到的廟會繞境，是否有足夠的資料訓練AI辨別廟會繞境活動。

市府經過內部局處溝通，發展城市級的VLM推論平臺，可辨識108種情境，609個判斷指標，例如發生火災、淹水、廟會繞境活動、交通塞車都是一種情境，AI根據影像建立609個判斷指標，理論上，每種情境都能詢問AI多達609個問題(即指標)，但是如果詢問與該情境不相關的問題，等於花費更多運算資源讓AI去辨識指標，並不符合實際的需要。

劉俊傑指出，關鍵在於要訓練AI辨識什麼樣的情境，還有在這個情境之下，市府各單位想要進一步瞭解的問題是什麼，但是辨識出的情境及指標為自然語言，雖然自然語言容易被人類理解，但並不能直接用於系統，因此將辨識的結果還會以指標或分級來分類，透過API與既有系統連接，也更容易設計系統該如何應對。因此AI在辨識後，會提供辨識結果的自然語言描敘供人類理解，也會提供問答，使系統容易處理。

例如AI辨識一張街道上的影像，判斷是否發生淹水或交通堵塞，依辨識的結果轉給水利局、交通局，讓局處進一步再詢問AI相關問題。不只是市政府，燈塔計畫也邀請台電、中鋼、百貨公司等業者加入，例如詢問AI是否有電塔倒塌，進一步詢問倒塌的情形。

至於影像的來源，除了利用街道上的監視器，市府也會試辦從公車或垃圾車的行車紀錄器影像。「以前直到市民撥打1999陳情，市府才知道發生什麼狀況，未來只要車輛經過，市府就能馬上處理，讓市府化被動為主動」，未來還準備與計程車隊合作，將AI的眼睛擴大到街道上行駛的計程車。

AI結合數位孿生強化城市智慧治理

高雄市政府計畫利用Nvidia的Omniverse打造高雄市的數位孿生，目前先針對市區80平方公里的範圍來建置數位孿生（下圖，來源：高雄市政府），未來當發生事件時都會同步在數位孿生上呈現，市府各局處能夠檢視數位孿生外，事件也會傳到各局處的系統，快速應變處理。

劉俊傑表示，未來AI會自動向各局處報告高雄市發生什麼狀況，透過道路上的CMS或是透過市民卡App通播訊息，讓市民及早獲得訊息應變準備。現在透過VLM，只要取得即時的影像，就能及時知道發生的狀況，例如AI偵測特定的路段發生交通堵塞，透過自動報告機制，向交通局資訊中心發送訊息，並且推播訊息給市民。

未來不只是自動報告，高雄市政府也希望可發展至自動控制，當發生交通堵塞時，結合交通路口的IoT，自動調整路口的紅綠燈秒數，類似於Agentic AI的採取因應行動。

不過，在訓練AI辨識特殊的情境時，例如發生火災的情境，需要先蒐集到影像資料，但是這些極端案例的影像可能並不容易取得。

劉俊傑指出，為突破原始資料不足的限制，可以運用AI生成極端案例，如不同時間、氣候條件下發生的火災影像，甚至是生成過去沒有發生過的罕見極端案例，利用這些生成資料來訓練AI，教會它辨識情境後，再部署至實際運作環境。而AI未來透過高雄市數位孿生，也能模擬交通號誌控制或是水閘門的啟閉，模擬政策或自動控制的效益，再決定是否在實際世界施行。

訓練AI辨識情境及指標，不只應用在高雄市政府自己，同樣參與燈塔計畫的台電，也可運用空拍無人機巡檢電塔，將空拍的影像畫面送到燈塔計畫的AI大腦，由AI判斷電塔是否出現銹蝕的情形，以安排派工到現場檢修。

劉俊傑表示，除了政府、國營事業，市府也計畫未來將燈塔計畫擴大應用，目前已與醫療機構、企業、大學洽談合作。