上百個AI模型怎麼管？玉山銀揭露ML模型從部署到維運如何自動化

玉山銀行深度仰賴AI，內部使用了超過100個模型。為自動化管理模型，他們去年開始使用商用模型效能監控工具，來客製出自己的模型維運管理工具，透過視覺化儀表板來追蹤模型運作，還能自動發送模型異常通知，監控報表產生速度也從3天縮短到數分鐘，來加速模型維運管理。

數十年大數據經驗轉攻AI，負責打造5大領域模型

玉山銀行全力發展AI，還有賴於長年累積的大數據分析經驗。玉山銀行科技長張智星指出，玉山早在2006年就發展大數據分析業務，成立客戶風險與加值分析小組（CRV），來以客戶資料開發預測模型和客戶價值模型，找出商機洞察，並與資訊處合作打造分析資料庫。這個大數據分析模式，在玉山內部持續到了2014年。

2015年，玉山數位金融處成立，大數據業務模式轉向，改為與數金處和業務單位合作為主，分析的資料也更多元，將KYC數位足跡和爬文資料等納入分析範圍。這時，他們也開始聚焦非結構化資料的收集與分析，更展開一些AI專案來試水溫。

驗證AI成效後，2018年，玉山銀行成立智能金融處（簡稱智金處），專門打造各類AI應用程式，來給業務單位使用，要以AI解決商務問題。這時，他們的業務範圍更廣了，舉凡與業務相關的分析都包括在內，還要負責訓練模型、上架模型給業務單位使用。

那幾年，玉山定調5大AI發展領域，包括用來強化行員服務能力的賦能AI（如信貸檢核系統）、結合語音辨識和文字理解的風控AI（如信用卡防盜刷偵測模型、反洗錢偵測）、用來簡化工作流程的流程AI（如RPA加速紓困專案審核）、協助精準推薦商品的行銷AI，以及能與顧客即時互動的服務AI（如房屋估價系統），這些也是智金處的AI業務範圍。

為了加速AI開發和應用，智金處也自行打造了2款工具：AI研發雲和MLaaS平臺，分別來訓練模型和部署模型。至此，智金處有如玉山內部的AI供應商。

模型破百管理複雜，打造模型維運平臺讓效能監控更自動化

智金處4年發展，玉山內部AI專案不只有50、60個，所使用的AI模型還超過100個。但，光是部署一個AI模型的工作，就非常複雜。張智星解釋，用來部署AI的MLaaS平臺架構分為3部分，首先是數據加工層，將原始資料進行特徵工程、寫入特徵資料庫，接著是服務提供層，也就是AI推論層，當業務應用層系統（如信用卡處系統、財富管理、風險管理等）接收客戶資料，就會以API呼叫服務提供層的AI模型，讓模型抽取數據加工層的特徵後，來計算輸入資料，之後再透過API，將模型計算結果回傳給業務層系統。

張智星指出，最費功夫的是監控這些模型的表現，當模型偏移時盡快下架，得重新訓練後再部署上線，否則會對業務造成極大影響。舉例來說，信用卡盜刷偵測模型在2019年上線後備受好評，但去年疫情嚴峻期間，模型越來越不準，後來發現，不只是消費者習慣改變，從實體店家轉往電商消費，詐騙集團手法也因疫情改變。「這種變化讓模型難以即時因應，因此失準。」

但要監控模型，不僅得跨部門、投入大量人力和時間，模型失準後可能還得再花3至6個月重新訓練，這對擁有上百個模型的智金處來說，是個大問題。

因此，玉山決定打造一套模型維運平臺，來管理模型生命周期，更要建立一致、標準化的模型監控作業。為了加快開發，採用商用產品SAS Viya平臺模型效能管理應用程式，透過內建的模型量測評估指標，像是準確率、F1分數、靈敏性、特異性等多種指標，來追蹤模型是否偏移。

蒐集到模型效能數據後，玉山智金處再客製出視覺化儀表板，來追蹤上線模型的異常狀態（如廠商產品畫面示意圖），每個模型都有預先定義的閾值，當模型表現偏移，系統就會自動發送Email通知管理者。監控報表的產製時間也從原本的3天，縮短到數分鐘。

導入中央儲存庫追蹤各詮釋資料，記錄管理稽核軌跡

除了模型維運，智金處還肩負資料治理的任務。張智星表示，智金處得制定全行的資料治理計畫，不只要管理玉山成立30年來累積的資料，也得建立各種詮釋資料（Metadata）的管理制度，尤其是模型詮釋資料。

過去，他們採用Azure DevOps工具來管理程式碼，後來，為補足詮釋資料的管理，他們在去年開始採用Viya平臺上的中央儲存庫，來集中管理原本散落各處的詮釋資料。因此，只要是模型相關的詮釋資料，如開發者、開發時間、採用的演算法類型等20多種資料，甚至是模型版本、模型檔案、模型屬性和變數，都能在中央儲存庫中找到。

這個儲存庫，能根據不同模型設定權限，再讓相關人員參與、協作，查看模型狀態或簽核把關模型品質。這個儲存庫平臺，也能記錄管理和稽核軌跡，進一步滿足法遵需求。

至此，玉山銀行的AI模型開發、部署和前端服務應用等三大階段，都已能借助自動化工具來監控，掌管模型生老病死。

玉山AI模型自動化管理工具可以貫穿開發到服務三階段流程