攝影:李昀璇
隨著AI浪潮來襲,企業迫切期望打造AI創新應用,但在開發AI應用時,可能高達六七成時間都在前置作業—資料整理。「資料絕對是AI發展的基石。」新光金控資訊長林國彬在一場研討會中以此點出資料治理的重要性,並分享新光人壽資料治理歷程。
新光人壽自2015年開始推動數位轉型,從最初的數位紮根,到數位賦能,近年走到整合與全體驗時期,內部作業開始採智能化、自動化,數據平臺建置也逐步完善,但在資料使用程度大幅增加的同時,資料問題也浮出水面。
例如,在數據品質上,可能有資料不一致、資料內容不符業務邏輯或資料格式未標準化等問題。此外,林國彬指出,原先的資料倉儲未依照資料架構層的方式提供資料,而是以蜘蛛網的方式交錯連結,造成各種業務邏輯分散在不同程式及應用,且資料表過多,各單位分析人員使用資料的方式不同,不同單位在分析資料時可能因此產生落差,或不清楚有哪些資料可用。
即便市面上有工具可以快速彙整資料,不過,林國彬認為,只要資料定義不清楚,無法分辨資料擁有者,開發的成品仍會十分雜亂,「還是要回歸資料本質,將管理方法長久列入維運SOP中。」林國彬說道。因此,新光人壽展開了一連串的數據治理工程,要從底部開始重整累積多年的資料。
建立資料治理架構,確立角色權責,業務部門也要參與資料管理
首先,是建立資料品質管理流程與制度。新光人壽建立了資料治理架構,共分為三層,治理決策層、治裡推動層和執行層。其中,治理決策層由各業務部門和資訊部門組成,以進行跨組織的資源規劃,推動層則是由特定部室主管組成數據治理推動小組,負責報告資料品質管理狀況,並針對各資料擁有者的單位中,資料品質不合格處進行追蹤管理。
最後一層則是執行層,由各業管單位協助數據治理推動小組展開資料標準、元數據管理等工作。在試行階段,先由部分部門擔任資料擁有者,作為主要推廣試行單位,包含業務部門和資訊部門,進行資料標準和業務詞彙新增與異動作業,並定期進行資料品質檢核,後續再逐步納入各部單位。此外,試行階段中,資訊部門也作為技術資料管理員,除了要進行資料管理工作,也要協助業務單位檢視品質檢合失敗的可能原因。
接著,新光人壽透過優先資料匡列,確認優先處理的資料。他們先從主要推廣試行單位擁有的數據匡列資料,從超過一千項的原始資料,收斂到60項以下的關鍵欄位。匡列原則是依據資料使用者提出需求、效益衡量與執行影響,和資料敏感性等,再由各單位根據評估因素算出第一優先處理的資料。
建立好數據治理組織和角色權責,並確認優先處理的資料範圍後,新光人壽也建置數據品質管理系統,建立數據品質管理流程及各個角色細項分工。此外,新光人壽也制定了資料標準,並盤點元數據相關資訊,包含管理資訊、業務資訊、資料標準、遮罩規則、業務詞彙和品質檢核規則等,協助資料使用者查找數據定義。
最後,再藉由資料品質儀表板來追蹤資料品質。其儀表板共規劃6個維度面向,包含月份檢核、日檢核和業務詞彙等。當資料使用者在儀表板發現資料品質異常時,可以和資料擁有者和IT人員共同討論,針對錯漏部份校正與清理。
新光人壽藉由建立資料品質儀表板,來讓資料使用者透過儀表板追蹤資料品質。(攝影:李昀璇)
新光人壽制定數據品質管理流程,明確訂定各角色分工細項。(攝影:李昀璇)
過去資料管理並未明確定義資料擁有者,例如,某部門只負責更新前的資料,另一部門只管理更新後的資料,一旦資料發生問題時,就不容易找出負責單位。因此,林國彬指出,資料治理的關鍵是明確定義資料擁有者,由業務部門擔任擁有者,例如以資料使用量或需求度來分配擁有者,由業務單位提出需求,再讓資訊部門提供技術協助。
林國彬建議,IT人員可以藉由特定事件來說服上層來推動資料治理,例如資料發生問題,或支援行銷方案。他解釋,當資料能得到行銷部門支持,就能抓緊機會逐步擴大資料整理範圍。他也建議,可以成立數據治理委員會,逐步拉高資料治理層級,並讓資訊部門擔任技術支援單位。
下一步建立資料血緣,更長期目標是建立一體化數據治理平臺
目前,新光人壽的資料治理正在第二階段,下一步是建立資料血緣,藉此確認異常數據的影響範圍。到了最後的第三階段,則要建立一體化數據治理平臺,藉由資料集成和交互操作,提高資料完整性、真實性和即時性,落實企業橫向的資料共享。此外,第三階段也會進行非主資料的數據治理,例如業務資料與基礎資料管理,和非結構化資料管理。
熱門新聞
2024-10-23
2024-11-01
2024-09-27
2024-10-30