隨著企業數位轉型風潮日熾,改變各產業的競爭生態,加上「資料力」成為決定轉型成效高低的關鍵,以致近年企業資料分析需求急遽攀升。身為臺灣資通訊服務領域標竿業者的資拓宏宇,因而受託參與許多大型資料分析專案。
資拓宏宇政府暨財金事業部副總經理毛曉夫表示,因市場競爭轉趨激烈,導致客戶對資料分析的時效性要求越來越高,假使走專案模式,將礙於客製化程度過高、佈建時間過長,難以契合客戶期待。著眼於此,近兩年資拓宏宇開始跨足產品代理業務,轉向「產品為主、專案為輔」服務模式;與此同時,也提出一套資料分析平台參考架構,期望引導企業按圖實作、循序建構完整的大數據分析量能,將AI植入企業的DNA。
從底層資料儲存串連到最上層APIM,形成一條龍完整結構
毛曉夫指出,資拓宏宇憑藉豐富專案經驗,觀察到多數企業在推動資料分析上,普遍面臨一些挑戰。首先是資料散佈不同系統,且存在資料不一致性的盲點,導致使用者無法即時採用這些資料。其次基於法令規範與顧客要求,使企業對於資料隱私保全要求不斷攀升,因而需要審慎構思資料落地的安全性設計。再者,目前資訊單位承接的數位化任務過多,作業負載吃重,以致回應業務需求的速度變慢,但因業務同仁缺乏技術實作能力,所以只能等待,因而錯失Time to Market時效性。
為協助企業突破上述瓶頸,資拓宏宇積極找尋解方,於是定義出蘊含多個Layer的資料分析平台參考架構。從底層而上,依序包含Batch Layer、Speed Layer、Serving Layer、Analytic Layer及Application Layer,完整涵蓋企業資料維運(DataOps)的生命週期。
針對底層資料處理,毛曉夫建議採用支援平行處理架構的資料倉儲;如資拓宏宇代理的Vertica,不僅在大數據分析效能上深具優勢,相較Legacy系統也有更強的價格競爭力,堪稱高性價比的資料倉儲選項。至於資料不一致、落地安全性等難題,建議透過資料虛擬化(Data Virtualization)技術來解決;它的運作方式是,企業利用一個假設層,從不同系統彙集所需資料,以虛擬化方式進行分析運用,當使用需求結束,這個假設層連同虛擬資料便立即消失,目前資拓宏宇代理的資料虛擬化產品為Denodo。
到了分析層,過往使用者習慣請求IT同仁給予協助,利用BI工具產出資料分析報表。惟現今情勢驟變,為掌握行銷業務的黃金時效,迫使使用者必須自已執行分析,為此Gartner也提出「Citizen Developer」概念,意指人人都可借助好的輔助工具,即便沒學過程式開發,也能成為技術者、開發者;基於這般趨勢,資拓宏宇引進自動化機器學習(AutoML)工具Dataiku,標榜使用者只要送進資料,就能自動進行分析、產生最適化模型。倘若需要開發程式或編寫,可藉由Low Code低代碼工具Outsystems來完成,以內建模組拖曳方式自動產生程式,如此可解決工程師不足及程式品質的議題,讓人力可有更好的發揮及運用。
最上層為當今火紅的API管理(APIM)。企業運用API,將最終模型訓練成果提供給不同使用者或不同系統,藉以串接不同業務流程串。為此資拓宏宇引進APIM領域的第一品牌Kong,並成功推廣至大型金控、租賃服務等應用場域。
毛曉夫指出,綜觀資拓宏宇勾勒的資料分析平台,從底層資料儲存出發,經由資料虛擬化、AutoML到APIM逐層拾級而上,形成一條龍完整結構。此外資拓宏宇也提供資料治理顧問服務,將Policy元素帶入資料分析平台,讓企業可針對資料使用、儲存等環節,制定明確規範。
實踐MLOps及APIOps,API上架效率激增六倍
資拓宏宇大數據團隊經理許維揚表示,上述資料分析平台架構,並非資拓宏宇憑空發明,而是參酌Gartner提出的資料分析與AI分析方法論所定義的。其中底層的Batch Layer、Speed Layer,分別負責歷史與即時資料處理;針對前者,資拓宏宇推薦的工具為Vertica資料倉儲,針對後者主要運用Spark、Kafka等技術框架。
Serving Layer為資料提供層,關鍵技術是資料虛擬化,如Denodo即是相對應的產品之一。Analytic Layer主要做為MLOps平台,讓行銷人員、業務人員或技術人員都能借助此平台,在Low Code或No Code前提下,一氣呵成滿足模型訓練、開發、部署、版控、健康度監測、重新訓練等完整需求。許維揚解釋,在Low Code模式,使用者拉進圖形資料後,只需撰寫低度的Python Code或R Code即能產出模型,至於No Code模式則完全憑藉拖拉式操作;無論選用哪種模式,最終都經由系統協助建立最佳模型,再將之轉換為API形式。
Application Layer意指APIOps層,可在APIM管控下,將各個API上架並提供予前端使用者。以往企業欠缺APIM,故當資料科學家平均花三個月整理資料、撰寫程式並完成模型訓練後,須由IT部門接力開發API程式、這段歷程平均也是三個月;因此從Idea產出,一路付諸實踐到最終API上架,前後長達6個月,等於一年僅有兩次產出。反觀在MLOps及APIOps串聯運作下,相同題目,最快一個月內完成,形同一年有12次產出,與傳統模式的產能差距極大。
展望今後,資拓宏宇將以顧問銷售形式,將資料分析平台推廣至製造、金融等目標客群,協助相關企業加速AI落地。如協助資料業分析其產品前端使用行為,做為下一代產品設計參考依據:或協助金融業為所有顧客貼標,建構顧客的360度畫像,以利挖掘具業務開發價值的既有客戶和潛在客戶。
熱門新聞
2024-10-30
2024-10-27
2024-10-30
2024-10-29
2024-10-23
2024-10-29