零接觸經濟加速了各界對於FinTech金融科技、新零售的應用。根據主計處資料指出,2021年6月底全台電子支付使用人數已達到1,389萬人,年增 53.8%,而2020年的數據也顯示,全台行動支付交易額已突破新台幣4,230億,年增132%、非實體零售產業年營收也達到3,293億,民眾的日常早已在不知不覺中的上演了「數位轉型」,越趨成熟的雲端服務,加上即至科技(the next tech)賦能,人類將進入更新的數位生活模式。

迎接新常態! 資料驅動其實來自 數位服務互動

事實上,無論是上述的FinTech、新零售或是近來火紅的行銷5.0,都強調了以使用者為中心、以資料為驅動的發展基礎,這也提醒各家企業,如要持續提供新的數位服務、善用新型態的資料,就必須具備「敏捷營運、資料匯聚」的核心能力:

  • 敏捷營運 是指企業能「快速開發回應市場,且擁有從容彈性服務運行環境

  • 資料匯聚 是指企業需「智慧管理供應營運,且能夠有效治理資料儲存模式

「2021國泰金控技術年會:跨界雲端新常態」中,AWS就分別針對「敏捷營運」與「資料匯聚」給予相關「數位深轉型」的實施建議。AWS也強調,「並蓄、兼容」的思維才能讓企業在數位轉型時代下持續領先。

深轉型1:從容彈性的服務運行環境 ── 虛擬機器到『混合雲容器』的並蓄

「『協調式容器混合雲服務』就是並蓄的概念」AWS解決方案架構師指出,企業都希望能快速開發出新服務來對應市場,然而這背後需要「從容彈性的運行環境」來作為靠山,因此容器(Container)就了近年企業紛紛投入的運行模式,因其具備「降低維運風險、優化成本效能、增加開發速度、縮短測試時程」等特點。 

然而,企業在轉換使用容器上,多數企業對虛擬機器或實體設備的長期投入,將成為數位轉型時的挑戰,因而企業都會希望當進行轉移時,容器必須也同時具備四個條件條件: 

  1. 只需開發應用程式,不用費心底層建置

  2. 底層架構可以服合營運需要

  3. 能快速建置、無縫轉換

  4. 安全性與隔離性能被規畫設計

企業可以透過Amazon ECS(Elastic Container Service)來執行容器化應用程式或建立微型服務,就能滿足這些需求。若企業希望能整合既有的設備,則可以使用ECS Anywhere,將Container建置在虛擬機器或地端設備上。此外,若客戶需要「開源」的容器解決方案,也可採用Amazon EKS(Elastic Kubernetes Service),也能夠利用EKS Anywhere來進行容器的自由佈建。

AWS也針對每個企業不同的底層場景需求,提供了「虛擬機器上的EC2、邊緣裝置上AWS Local Zones/AWS Wavelength,以及地端設備的AWS Outposts」三種模式,讓客戶可以依照營運與發展需要,簡單的進行底層架構。

AWS解決方案架構師也透露,Running Container Anywhere是一種打破現行業界的佈署策略,讓企業面臨數位轉行時不再痛苦,而能夠並蓄佈署,因此ECS也授到各界企業客戶青睞,廣泛使用在「應用程式開發、共享服務介接、企業程式遷移、機器學習訓練」等方面。

深轉型2:有效治理的資料儲存模式 ── 從資料倉儲到『資料湖』

當「容器」帶來從容彈性的服務運行環境,意味著數位服務的開發與推出將更快更多,企業每天所產生的資料也將大量增加,並延伸出新的資料型態,從結構化資料進展與大量非結構化資料並存的時代,因此在既有的資料倉儲(Data warehouse),也必須佈署能儲存各式資料的「資料湖(Data Lake)」,打造「適應變化增長、能夠獨立擴展、易於存取共享」的現代化資料架構。

AWS解決方案架構師認為,以金融業的為例,就需要有「更多的資料(交易記錄、信用評分)、更佳的分析(經濟/風險/現金流預測、風險模型優化)、更具意義的影響關鍵(審核效率、客戶新信用賦予)」以及「更多的用戶」才能維持資料驅動的分析與洞察。

「因此,資料已非一堆數字或躺在資料庫中,而是一個能被活用的資料平台」,企業應要視資料為資產,也需讓員工具備資料素養與使用權,並且讓各個資料分析的結果回饋、集中管理,成為一個循環,為企業最出更好的決策,這就是「資料湖」的概念,資料湖是現代化的資料管理型態,因其具備「資料匯流、原樣儲存、多元分析」的基礎,所以能打造成「兼容」各種資料、各種人員、各種分新的資料平台。

AWS解決方案架構師舉例,美國金融業監管局FINRA需要一個平台,能夠每天平均採集、處理、存儲360億個市場事件,並可以在高峰日時動態擴展到處理1,000億個事件。為此FINRA做了以下配置:

資料匯存:Amazon S3(資料湖)

資料分析:Amazon EMR(圖形化洞察)、Amazon Athena(資料查詢)

機器學習:Amazon SageMaker

FINRA因而可以從容應對來自3,700個證券經紀商、12個交易所的資料,做滴水不漏的儲存與分析,必且提供分析師查詢與分析資料所需的工具。而在導入AWS解決方後,FINRA的互動式查詢效率共提升了近400倍,大幅提升調查能力。

不僅如此,如Mastercard併購NuData後,希望採用生物識驗證帳戶所有人的身份,以防詐騙,只要在加上Amazon Kinesis(處理及分析串流資料)、Amazon Redshift(雲端資料倉儲與分析),就能同時針對數百個資料進入點收集和分析資料,順利達成用戶進行身份驗證。

深轉型之鑰:打造「敏捷營運、資料匯聚」的雲端生態系

「金融服務數位化的浪潮興起,讓客戶可以無時無刻、無縫地使用多元的線上金融服務,而這也讓金融機構內的資料從傳統的靜態倉儲,逐漸轉變為快速流動的資料流」國泰金控資料科學實驗室技術經理魏家祥指出,近年來即時串流資料成為重要的資料來源,舉例來說,當客戶交易出現異常行為,就屬於非結構化資料,已非傳統靜態資料庫可以應付,這時就需要開發即時串流資料處理工具,透過動態資料湖結構來處理高速即時的資料。目前國泰也已將此工具導入至銀行客服系統中,讓國泰能快速解決客戶的問題。

談到資料湖,魏家祥強調,金融業的資料大多仍是以結構化資料為主,所以在選擇資料湖時須考量幾件事,包括資料湖必須能夠結合結構化資料的資料倉儲,還要能支援SQL查詢語法,並具備強大的運算力、擴充力與豐富的分析函式庫,進行資料處理、資料分析、結構應用,來開發出更好的數位服務給客戶。目前即是選用Hadoop作為資料湖平台的核心,讓國泰各子公司將靜態資料集中在這個平台上,並應用各種 Hadoop 生態系的服務來分析其中的資料。

KKStream也回應,KKStream必須同時面對用戶行為資料與影像串流資料的處理,如前者資料量龐大,並隨著服務範疇與使用人數而持續成長,每多一項新功能,資料就會多出一批;而後者資料量較少,但如影音、圖片每一筆的資料大小卻大很多,因此在做分析或機器學習上會使用不一樣的工具。在用戶行為資料的處理上,使用的是基於Amazon S3而建置的資料湖,搭配AWS Data Pipeline做資料轉移與轉換。若是針對影像串流資料,則使用NoSQL的Amazon DynamoDB來儲存非結構化資料,如若是存在Amazon S3上則會搭配AWS Athena互動式查詢服務,只要定義結構描述,就能使用標準SQL開始查詢。此外,KKStream也採用AWS EMR做為大數據平台,並利用其中的Spark服務來做串流處理、互動SQL、機器學習。 「雲端技術正在逐步讓機器科學的『民主化』(Democratization)加速。這個現象不是未來式,而是進行式!當被重覆套用的資料科學與技術被一一民主化,越來越普及,所以企業對於資料科學的投入,相信會要往更進一步的『專業化』邁進。當未來影音全面進入4K時代,會有更多的資料可以被分析,來做精準推薦,你可想像有一天人工智慧剪出某個片段,推薦給你,就像看摘要精華一樣」KKStream說。

對於雲端服務,魏家祥也表示,採用雲端服務後,讓團隊能更快速地取得開發資源並獲得相對應的工具,讓很多研究及想法可以快速地開展,因此,不可否認,雲端技術確實是推進資料科學快速發展的重要推手,也期待未來能持續在合規與資料保護的前提下,研究探索先進雲端技術。

AWS解決方案架構部經理也呼籲,雲端生態系已非未來式,AWS將以「敏捷營運、資料匯聚」為概念,為企業夥伴打造最堅強的雲端生態系,實現企業中人人都是資料科學家的願景。


熱門新聞

Advertisement