Epic Cloud聚上雲指出,「資料上雲」、「資安聯防」、「數據共享」,無非是 2024 年金融業的三組燙金關鍵字。2024年,金融業預計都將圍繞這三組 IT 項目展開積極作為。持續精耕企業數據治理和整合應用的 Epic Cloud 聚上雲,偕同在數據整合領域具有全球領導地位的 Cloudera,為金融產業傳授雲地數據整合之道,助力金融業自信應對極具挑戰的數據和 AI 課題。

以數據治理打好地基,引領 AI 落地發展

回望 2023 年,為促進普惠、創新、韌性與永續等目標,金管會已發佈「金融科技發展路徑圖」,帶動金融科技數據迅速增長,並解開金融業上雲限制,使混合雲數據治理成為金融產業的重要課題。然而,金融業在面對混合雲數據治理乃至 AI 應用的同時,無可避免遇到諸多挑戰。

著眼於此,Google Cloud 最高等級合作夥伴 Epic Cloud 聚上雲,攜手知名軟體服務商 Cloudera,策劃「金融產業混合資料治理與數據 AI 平台應用」精彩講堂,亦同步邀請兩位 Cloudera 加值服務堅實夥伴炬識科技和愛創大數據,一同發表經驗談,四強聯手,協助金融業者更有效率地採集、儲存、處理、分析和可視化數據,同時確保數據安全性、可靠性與實用性。

關於 Cloudera:全球 Top 500 金融機構採用的技術平台

熟悉 Hadoop 的人,肯定對 Cloudera 並不陌生。「Cloudera 深信數據可以使今日不可能之事,成為明日之可能。Cloudera 向世界展示了數據的價值,並創造了由開源社群之力不斷推動創新的產業和生態系。」由 Cloudera 的簡介即可略窺 Cloudera 的使命與特性。

Cloudera 台灣業務總監蘇懋欣指出,Cloudera 成立於 2008 年,由來自 Google、Yahoo、Oracle、Facebook的菁英共同創立。2011 年時,Yahoo 的 Hadoop 團隊脫離出來創立 Hortonworks,此後,公司在 2019 年併入Cloudera。截至目前,Cloudera 在全球擁有逾 3 千名員工、逾 2 千家客戶,其中包含許多全球 Top 500 金融機構。Cloudera 更是美國政府指定的合作夥伴,從國防單位、情報單位、聯邦到地方政府,皆為 Cloudera 的現有客戶。

運用 Cloudera CDP 平台,高效管理與運用數據資產

綜觀來看,Cloudera 現今最熱門產品即是 CDP(Cloudera Data Platform),CDP 是由 Cloudera 與 Hortonworks 合併後的優勢互補效應所淬鍊成。隨著過往大眾熟悉的 CDH、HDP 陸續在 2021~2022 年停止支援,CDP(Cloudera Data Platform)就成為當前市場上的主力版本。目前,雖然仍有不少人把 Cloudera 與「免費的開源軟體」劃上等號,不過,其實從 2021 年 1 月 31 日起,Cloudera 所採取的訂閱制服務,使客戶得以在訂閱期間取得漏洞補丁、版本升級、開 Case 等關鍵服務,獲得更有保障的服務與更佳的使用體驗。

聚上雲是 Cloudera 台灣獨家代理夥伴

聚上雲副總經理朱驛清則表示,「資料清洗」、「數據平台」、「商業模式再造」是當前不分產業的企業,主要面對的三大議題。尤其,數據管理平台(Data Management Platform)更是企業在數位轉型中,承先啟後的重要工具。鑑於此,聚上雲持續戮力開拓可滿足企業上在 AI 與數據整合方面的解決方案,並正式於 2023 年取得Cloudera 台灣獨家代理夥伴資格。藉由 Cloudera 雲地整合數據平台 Cloudera Data Platform(CDP)的推廣,已助力不少金融機構善用此一平台,為企業 AI/ML 應用打下穩固的數據根基,以期有效強化雲地數據治理、AI 應用,甚至防制金融詐欺。延伸閱讀:聚上雲取得大數據平台領導者 Cloudera 獨家代理權 聯手以 Hadoop 數據力打造企業級 AI

Cloudera 湖倉一體,透過 SDX 共享資料,加速實現雲地整合

Cloudera 解決方案架構師謝宗佑開門見山談及「數據地基」的重要性。倘若一開始數據地基沒扎穩,卻又在上面疊床架屋,可想而知,一連串的「技術債」恐引發後續的連環災難。為幫助金融機構趨吉避凶,謝宗佑提出幾個重要概念,其一便是 Open Data Lakehouse,意即整合資料湖與資料倉儲,形成「湖倉一體」,進而能夠上雲,甚至做到混合多雲。

現今許多金融機構皆有複雜的資料環境,且至少有一座地端系統,如 Oracle DB 或 Hadoop 等等,因此在地端肯定有大量行內的交易數據;而在國內外的分支方面,也許有一些 Customer Data 選擇放在公有雲中;行銷部門則可能選用 Google GA,並將相關數據放在 Google Cloud Storage(GCS)中。以上無非意謂著,若企業想推動數據應用,則勢必先整合地端、Google Cloud、AWS、Azure 等多重的數據源。

此時,Cloudera 便派上用場了。企業如何利用 Cloudera 架構來解決上述難題?Cloudera 基於 SDX(Shared Data Experience),使客戶能透過單一介面查看雲地所有資料表 Table、各自的 Schema,以利企業用戶判斷如何設定資源(可能來自 HDFS、Hive、HBase⋯等資源),以及,這些 Table 會經由哪些條件被哪些人存取,而這些人存取時也都會留下日誌軌跡。

若再繼續深入來看,因為三大公雲皆可 Enable Cloudera 的服務,在地端能支援 Kubernetes 環境,也能支援Cloudera 的 Embedded Container Service (ECS) 系統,因此,客戶可借助 SDX 全面實現雲地 Infra 的安全設定、監控和權限控管。

Cloudera 4 種令人趨之若鶩的獨門優勢

更重要的是,Cloudera 擁抱開源,參與多達 40 多個開源專案,內部擁有上百個 Apache Committer 和 PMC,因此,會持續整合適合元件到 Cloudera Data Platform 中,如 Iceberg 即是一例。簡言之,Cloudera 致力讓客戶在執行應用或數據的遷移時,盡可能不需要重寫程式、安全規則或 Pipeline。換句話說,一旦啟用 Cloudera 架構,無論您是金融機構或其他產業,均可輕易做到下列四件事:

  • (1.)遷移應用程式時無需重寫

  • (2.)建一次應用程式即可執行於任何環境

  • (3.)順利實現 Dynamic Motion

  • (4.)營造前所未有的數據敏捷性

穩固的資料治理根基,決勝 AI 商業應用

作為 Cloudera 加值服務夥伴之一的炬識科技執行長顏良修則分享道,炬識科技成立於 2015 年,以資料湖(Data Lake)為主軸,協助諸多金融機構、政府部門或大型企業執行相關專案。談及以往炬識科技主要耕耘「資料湖」,不過近年則將重心轉向資料治理。顏良修說,資料湖屬於資料工程,較接近資料科學和前端的應用系統開發或微服務,不過,無論是資料工程還是資料科學,都完全無法脫離資料治理。炬識科技因頻繁遇到客戶要求做資料品質保證,因此開始著力於資料治理,協助客戶確保資料的可靠度與安全性。

如何避開那些資料治理常見的地雷區?

顏良修強調,其實過去早有不少大企業啟動資料治理專案,然而,當時未明確區分資料架構與資料品質管理,以致衍生許多複雜難解的問題,使多數專案走向失敗。因此,她建議先建立資料目錄,做好詮釋資料管理,再強化資料品質,然後持續根據規範,形成企業應遵守的流程,最終執行主資料的管理。為此,炬識科技推出了資料品質成熟度模型,旨在協助企業循序推進兩階段工作,先打好資料架構與品質保證的基底,才能確保上層數據應用的有效性,並藉由資料來解讀商業問題。

藉由 CML 服務,打造跨越雲地、產地直送的 AI 應用

同樣作為 Cloudera 加值服務夥伴之一的愛創大數據(AInnovate),則由共同創辦人林宗甫分享道,愛創大數據作為 Cloudera 的夥伴,其主攻 AI/ML、大數據處理、數據中台、上雲遷移等領域。基於來自多數金融客戶的應用需求,林宗甫闡釋了兩種應用情境,一是如何從 PDF 財報擷取結構化文本;另一則是如何透過 LLM 打造能回答企業內部營運問題的 Chatbot。

以 PDF 財報擷取結構化文本為例,該文本由幾項元件組成,包括目錄/頁號偵測、段落偵測暨文本擷取,以及將前述兩個模型與程式邏輯包裝為CML Endpoint(CDP Machine Learning Endpoint),意即透過CML Endpoint 將訓練好的模型直接以 Dock Image 形式加以部署,即可迅速展開執行。

立即免費體驗湖倉一體,讓 Data 跨越雲地藩籬

舉凡資料治理、ML 應用,不論藉由 On-premise 或公有雲上的 Cloudera Data Platform(CDP)叢集皆可輕易實現,且雲地應用體驗完全一致。聚上雲攜手 Cloudera,提供 5 天 Trial 授權方案,申請者不僅可透過公有雲試用 CDP,還可參考 Cloudera 提供的相關文件,免費試用湖倉一體、GenAI、和 ML 等服務。歡迎聯繫 Cloudera 獨家代理夥伴 Epic Cloud 聚上雲,將有專人立即與您接洽。

Google Cloud 搭配 Cloudera CDP 的首選夥伴 聚上雲

Epic Cloud 聚上雲是國內唯一兼備企業核心應用實戰經驗的 Google Cloud 菁英級夥伴,可憑藉 Google Cloud 在地機房、100% 採用綠電的雙重優勢,充分滿足金融機構期盼資料上雲但不離境、借力使力實踐 ESG 目標的雙重需求。作為 Google Cloud 結合 Cloudera CDP 應用的業界第一把交椅,Epic Cloud 聚上雲是金融上雲和企業數據整合的首選夥伴。

準備好透過 Google Cloud 結合 Cloudera CDP ,讓您的數據治理有如神助,加速建立最佳化的 AI/ML 應用基礎架構了嗎?歡迎您進行免費諮詢,或閱讀更多聚上雲指標技術認證上雲成功案例

關於 Epic Cloud 聚上雲

Epic Cloud 聚上雲成立於 2018 年,致力以雲端驅動企業數位轉型。母公司為國內知名IT智能化最佳夥伴MetaAge 邁達特,並於 2019 年加入佳世達集團。聚上雲致力以雲端驅動企業數位創新,專精於「公有雲可靠性託管維運」、「企業核心應用」、「專案軟體開發」三大領域,並結合Google Cloud 之雲端服務,為企業打造韌性營運架構。

熱門新聞

Advertisement