資料規模年年暴增40%！BBVA資料平臺上雲歷程大公開

過去五年，西班牙對外銀行每年的資料平臺成長率高達40%，「甚至目前沒有任何趨緩的跡象。」BBVA全球資料架構主管Federico Esteban在2024年一場活動上說道。這是BBVA決定將資料平臺遷移上雲的關鍵原因。

早在2000年，BBVA就開始發展資料平臺。和許多企業相似，BBVA最初是採用分散式數據架構來打造資料平臺，但隨著資料一致性和重複性的問題越滾越大，BBVA不得不改變數據架構，改將所有數據統一彙整、存放至數據倉儲。2010年，大數據技術興起，BBVA順勢建立了第一個採用資料湖架構的大數據平臺。

然而，即便BBVA不斷因應資料規模擴大，來改變既有的資料平臺架構，但維運困難、擴充不易的問題始終存在。BBVA很快地意識到，地端架構越來越難以應付日益增加的資料量和效能需求。

2022年底，這間在全球擁有7千萬名客戶、業務範圍擴及25個國家的跨國銀行，啟動了一項大型專案，要打造一套全新的雲端資料平臺，來替換舊有的地端資料平臺，解決擴充性的問題。

三年三階段逐步推動資料平臺上雲計畫

打從一開始，BBVA的目標，就是要打造一套全球性、跨區域的雲端資料平臺，不僅要能提供BBVA在地員工服務，還要支持來自25個國家、共12萬名員工的數據需求。

並且，他們要將部署在部署在歐洲和美洲區域的地端資料平臺遷移至雲端，關閉舊有資料平臺。這意味著，BBVA需要將每天執行超過5萬筆資料處理流程，一年運作超過800個專案，共計4PB資料量、3萬張資料表格的地端資料平臺全數遷移上雲。

要完成這項計畫，對BBVA來說並不容易。他們花三年三階段，逐步推動這項計畫。

第一階段是進行準備作業，包括先在雲端環境打造新資料平臺，清理地端資料平臺中不必要的資料，並向各國監理機構爭取資料平臺上雲核准。

他們將新打造的雲端資料平臺命名為ADA，分別代表分析（Analytics）、數據（Data）和人工智慧（AI），期許ADA平臺不僅要能提供數據服務，也要能輔助員工開發AI服務。這個平臺採用資料湖倉（Data lake house）和資料網格（Data Mesh）架構打造，提供給資料科學家和資料分析師等進階使用者執行分析任務，以及業務單位的一般資料使用者進行一般查詢、分析，甚至是運用ML服務來開發創新業務。

計畫的第二階段是執行遷移工程，到第三階段才正式關閉所有地端的資料平臺。

在第二階段中，BBVA先從歐洲地區的資料平臺開始著手遷移。當時，他們訂了一項目標，要在盡量降低停機時間的狀態下，完成資料平臺遷移上雲。也就是說，要在盡量讓地端和雲端流程同步進行的情況下，將平均平均每日執行超過5萬筆資料處理流程、每月執行超過75萬筆的地端資料平臺，全數遷移上雲。

在這個階段中，BBVA透過雙平臺平行工程（parallel phase）來完成整趟遷移，也就是讓地端和雲端兩套平臺同時執行所有流程，直到兩邊產出相同的結果為止。

每一天，BBVA來自不同國家數千個營運系統，都會傳送資料至地端和雲端的資料平臺，平均一天接收超過一萬五千筆傳輸任務。因此，在遷移過程中，BBVA為了加快資料傳輸的速度，額外自建了一套資料傳輸工具，可以在30小時內完整複製超過500TB資料量，每周進行約100TB資料量的增量複製，則僅需要6小時就能完成。

並且，在進行雲端和地端資料複製的過程中，BBVA也設置了檢核機制。每個周末，他們都會重新比對雲端和地端的資料是否一致、審核資料品質是否達到一定水準。假如發現資料品質不達一定水準，他們就會重新同步、複製一次資料。這個過程，BBVA至少持續進行了六個月，直到雲端上的資訊與地端系統的資訊完全一致才停止。

2024年底，BBVA宣布正式完成將歐洲區域地端資料平臺遷移上雲的工程，並關閉了歐洲的地端資料平臺。今年中，BBVA的全球資料工程主管也在社群軟體上宣布，他們已經完成美洲地區的地端資料平臺上雲。

在2025年，BBVA除了要正式關閉所有的地端資料平臺，他們也計畫讓ADA平臺能進一步處理非結構化資料，並強化多個沙盒環境間的資料共享能力。此外，目前ADA僅支援批次推論功能，未來，他們也計畫進一步整合即時推論的功能至平臺。同時，他們也正在導入特徵儲存（feature store），讓資料科學家可以更快速地訓練模型。

為了提升ADA平臺的資料處理彈性，BBVA正在考慮導入類似Iceberg的資料格式。現階段，ADA每天執行的五萬筆資料處理流程，還僅是批次處理，所以，BBVA也正在整合即時資料處理服務至ADA，應用在部分業務場景。最後，BBVA也正在探索無伺服器的Spark處理架構、資料品質檢驗工具，和更彈性的ETL工具，協助提升資料工程師的工作效率。

西班牙對外銀行的雲端資料平臺ADA分別部署在兩個雲端區域，支持BBVA分布在不同國家的業務需求。平臺擁有超過6,000名資料科學家與資料分析師等進階使用者，以及4萬名業務部門的一般資料使用者。圖片來源／BBVA

ADA平臺成集團創新基礎，支持業務更快速發展GenAI

每天，超過6,000名資料科學家與資料分析師等進階使用者，以及4萬名業務部門的一般資料使用者，都會運ADA，來進行資料分析或查詢，或運用平臺來打造創新業務。

不過，BBVA打造ADA的目標，不僅是要解決地端資料架構的擴充問題，更重要的一項願景，是要輔助集團發展AI，讓ADA平臺成為驅動集團創新的基礎。

今年5月，BBVA也因為這項轉型成果，被英國知名金融媒體《The Banker》評選為2025年全球最創新的銀行。得獎理由是，BBVA推出了全球資料平臺ADA，透過這個數據基礎，發展出一系列創新。

「透過ADA，我們的目標是成為一家真正以數據驅動的公司。」BBVA全球工程主管Carlos Casas在獲獎感言中提到，ADA不僅加強了他們提供個人化、高效率和安全數據服務的能力，縮短了產品上市時間，並提高了營運效率。更重要的是，Carlos Casas提到，ADA加速了他們採用生成式AI的能力，「這幫助BBVA更快擴展創新規模，對業務產生更大的影響。」

例如，在去年遷移資料平臺的過程中，BBVA運用LLM服務，僅花一個半月就打造出一個聊天機器人，專門協助解答ADA平臺使用者的疑問。平臺使用者可以詢問怎麼監控沙盒引擎，或是詢問特定模組功能。

今年2月，BBVA更正式推出了提供給客戶使用的生成式AI助理。他們在銀行App正式上線Blue虛擬助理，不僅能回應3千種客戶問題，也能根據客戶的交易資訊和先前的互動，來回應問題。並且，若客戶在和Blue互動過程中，突然需要離開對話，Blue也能維持原有的對話邏輯。此外，這款助理也提供財務教練功能，能分析用戶的財務狀況，包括對客戶的收入、支出、儲蓄和貸款進行初步評估，再提供具體的改善步驟。

完成資料平臺上雲後，BBVA也將資料可用性這項關鍵列入了集團戰略中。今年中，BBVA在年報中揭露2025至2029年的集團戰略，其中一項優先事項，就是要透過資料可用性和新一代技術，解鎖AI和創新潛力。和過往策略不同的是，BBVA開始將資料可用性視為驅動整個價值鏈轉變的核心。

一方面，BBVA要透過資料應用，來提供客戶高度個人化和差異化服務，另一方面，他們也要藉由自動化流程，提升整體營運效率和風險控管能力。並且，BBVA也認為，只有導入新一代技術，才能有效支持高度個人化服務運作，提升與客戶互動的頻率。