【2023年CIO必看10大趨勢：趨勢6】企業異質大數據管理需求增加，資料治理再度熱門

資料治理今年又將再度成為企業CIO的重要課題和話題。AI技術的蓬勃發展，過去幾年掀起了一股企業AI化的浪潮，一段時間後，企業往往發現，AI模型成功關鍵，不只是技術，還要有好的資料，尤其AI模型需要不斷優化校正，需要有源源不絕的數據和資料來支撐。

許多企業看到了AI的威力，但也發現手上資料不敷使用的窘境。這兩年許多大企業，在積極擁抱AI之後，反而過頭來重新蹲馬步，盤點和梳理手上的大數據，甚至乾脆重新建置資料搜集機制、整合更多資料管道和來源，重新設計資料工作流程，建置新一代的資料湖或雲端資料倉儲，都是為了儲備AI武器需要的數據彈藥庫。

不過，企業手上的資料越多，越廣，越多元，就會面臨資料治理（Data Governance） 的新課題。

如玉山金控在2020年完成核心系統轉換後，就成立了資料治理小組，由玉山金控科技長張智星擔任小組召集人，成員橫跨全金控，為了實踐資料治理，甚至不惜推動大規模組織改造，就是解決AI高度內化後的資料治理需求。

不只是天生高度數據化的金融業為了AI而展開資料治理，就連製造業也都要擁抱資料治理。

像是友達光電，花了7年時間，一步一步，從自動化發展到智能化的智慧製造，早從2015年展開大數據蒐集工程開始，在工廠內部署了2萬多個IoT感測器，蒐集機臺及周圍環境的大量數據，將生產流程全面數位化，來建置完整的資料商城，隔年完成大數據平臺，累積夠多資料後，在2017年進行AI概念驗證。2018年，友達開始善用大數據和AI技術來強化製造和管理，也將智慧製造導入到研發、供應鏈智慧化管理等。

到了2021年10月，友達上線的AI模型數突破2,000支。友達內部甚至發展出了一個Al市集平臺，上面有各廠團隊自行開發的AI應用，從設備檢測維修、AOI＋ AI缺陷檢測、電腦視覺偵測、製程品質監控、異常偵測到智能節能等。

AI發展高度成熟後，友達在2021年訂定下一個五年的數位轉型計畫，資料治理正是關鍵第一步。友達IT或數位部門為了推動資料治理，要重新盤點、梳理資料，確保各部門或工廠，甚至不同供應商資料定義一致性，包括資料型態與欄位等，就是要將以前每一個單點的數據流程全面打通，相互串連，來實現數位全流程的自動化或智慧化。

還有更多企業，都在這2年開始投入或資料治理，像中華電信在2022年中，公開了三層架構的資料治理戰略，就是為了解決資料使用3大痛點，包括了巨量資料查詢不易、資料品質不一，以及資料存取權限欠缺統一標準問題。這是很多企業AI擴大規模時常見的痛點。

而Line與雅虎日本整併後在首次聯合技術大會中，公開了自家超大規模資料平臺IU和搭配的機器學習平臺MLU的最新變革，就是為了解決資料治理需求。

IU支援了Line內部超過200項服務，儲存了400PB的HDFS資料，超過4萬個Hive表格，每天要執行15萬個任務，但是，這麼龐大又複雜的資料應用需求下，的資料流程越來越複雜，一旦發生問題，想要找出資料間的關係，越來越困難。Line的對策，就是打造資料血統機制，來落實資料治理。

「可以掌握資料間的關聯，就可以很容易知道如何管理龐大資料，來提高再利用效率，更可以在安全和治理的角度下，來使用這些資料。」Line技術長Tomohiro Ikebe透露了，資料血統上線後最大的效益。這項功能已經成為Line內部79個服務和部門天天都要用的功能。

兩大雲端巨頭也嗅到這股資料治理需求潮，Google和AWS先後在2022年各自的年會上，都不約而同都聚焦雲端資料倉儲和雲端大數據分析領域，將資料治理視為主打特色之一。

從指標企業的經驗可以看到AI高度發展後，資料治理需求也更加重要，技術廠商也看上這股需求搶推新工具，隨著更多企業想要重用AI，整合各類型資料，勢必得更加落實資料治理的實踐。

 相關報導