【從被動知識助手，到AI主導的多元AI代理團隊協作】國泰金公開生成式AI代理新框架，用AI代理重塑工作流程的關鍵

生成式AI浪潮在2025年跨入了代理式AI元年，今年3月，AI晶片龍頭Nvidia揭露了因應AI代理100倍算力需求的產品布局。尤其在2025上半年，三大公雲巨頭， 微軟、Google和AWS，紛紛搶推新版AI代理開發工具來卡位，各式各樣的AI代理開發框架和工具生態圈也逐漸成形。

OpenAI更在10月開發者大會中宣布，擁有8億用戶的ChatGPT將內建App市集，打造一個以個人為中心的AI代理全新市集和單一市場，甚至可以將ChatGPT中的Agent機器人，整合到外部App中。OpenAI執行長的戰略目標是，將ChatGPT變成全球最大的Agent交付通路。

雲原生發展核心推手CNCF基金會也正在打造一個全新的雲原生AI架構（Cloud Native AI，簡稱CNAI），不久之前，CNCF技術長Chris Aniszczyk來臺演講時就特別強調，AI Agent就是新型態的微服務，所以，CNCF未來想要將原有的雲原生生態圈，轉變成一個雲原生AI的新生態圈，可以涵蓋AI工作負載在雲原生架構中的開發、部署、執行、擴充到監控的流程。

根據波士頓顧問調查，全球只有26%企業屬於善用GenAI的領先企業，而在臺灣，根據今年iThome CIO大調查，已有15%的臺灣大型企業，已經在正式上線環境中運用生成式AI。

在AI晶片龍頭和技術巨頭的帶頭推動之下，AI代理技術生態圈和工具鏈今年成為主流，也讓明顯提高生產力的AI代理應用，成了AI領先企業今年的GenAI發展焦點。

國泰金控就是臺灣少數以系統化、規模化策略，來發展AI代理的先行者企業之一。

國泰金控今年更一連在秋天舉辦了兩場技術日活動，揭露了他們如何從生成式AI基礎架構布局，邁向新一代的AI代理生態圈戰略發展。

國泰金控是臺灣唯一一家連續六年舉辦技術日活動，來展現科技金融技術力的金控。

每一年，國泰金控會在技術日中揭露最新的科技運用成果和未來技術發展願景。

在2024年的技術年會中，國泰金控搶先金融同業，率先公布了自家集團的生成式AI戰略和技術架構。在戰略上，國泰金控要透過三大AI發展策略 「AI Ready」、「AI Native」、「AI Empower」來打造一個AI即服務（AI-as-a-Service）基礎架構，在架構上，則揭露了一套全集團統一的生成式AI技術框架GAIA。

「GAIA是國泰生成式AI的基礎框架，也是發展AI即服務（AI as a Service）的核心。」國泰金控副總經理暨國泰世華銀行數據長梁明喬強調。

重新定義AI時代的價值，生成式AI藍圖大改版

國泰金控今年甚至接連舉辦了兩場技術日活動，除了技術年會之外，還多了一場未來保險體驗日的保險科技成果揭露。從這兩場活動中，可以看到國泰金控生成式AI應用深化的成果和未來發展方向。

梁明喬觀察，生成式AI越來越成熟之後，「AI 已經不是一個專業的工具，而是已經走入到我們的生活。」未來金融業服務的對象是AI世代的年輕人，AI快速改變整體金融市場，金融業者得更快反應，伴隨AI而來的法規挑戰和人才課題，都是國泰金控接下來的挑戰，因此，這也讓國泰金控開始思考，「如何將AI與金融服務本質結合，來重新定義新AI代理時代的價值。」國泰金控去年才剛發表的生成式AI藍圖1.0，梁明喬這一席話，點出了國泰金控的生成式AI戰略藍圖，為何今年出現了大改變，進化到2.0版本。

過去一年，逐漸完善生成式AI發展的基礎建設

去年國泰金控發表的GAIA框架 1.0，因為國泰為自己量身打造的生成式AI框架，在國泰原有的IT基礎架構上，提供了三大功能模組，知識庫、Model Hub（模型中心）和護欄。

這個國泰專屬的GAIA知識庫還可分為對內和對外兩類，對內知識庫像是HR知識庫、授信知識庫、洗防知識庫和內稽知識庫等，對外知識庫則有貸款產品知識、壽險產險產品知識、理財產品知識等知識庫。

經過一年發展，國泰GAIA框架中的AI知識庫，累計超過700項知識數量 ，涵蓋200 種知識類別，光是在國泰世華銀行，已有600 位員工經常使用這些知識庫。因為許多金融資訊都是非結構化的多模態文件，如何整合進知識庫，是國泰擴充知識庫的長期課題。

而在模型中心模組下，有Model Registry服務，和不同的模型使用端點，可以提供雲端、地端、開源或閉源的多種模型存取。透過AI閘道器，一方面提供標準化的API接口，讓內部應用來取用這些模型，另一方面，用於使用者身分認證的授權。

AI閘道器還會具備了模型路由功能，可以調度模型服務的負載平衡，這是用來因應大規模使用的機制。模型中心還有一些共通的底層管理功能，像是流量費用管理、結果快取、監控日誌的搜集等，可套用到各種模型上。

支援50多款各類模型，護欄超過70個檢查點，累積執行超過18億個Token

第三個關鍵模組是護欄，這是除了公雲模型供應商的護欄機制之外，國泰還自行開發的護欄機制，這是一套規則共享規則的模組，涵蓋隱私、品質、合規、道德等範圍的規範或要求，可以提供複合式的規則和多層抽換護欄。

一方面，這些護欄機制可以在知識庫連接到模型時，進行資訊過濾，另一方面，還可以在既有廠商模型護欄上，加上更多防護措施，來實現多層次過濾規則。目前，GAIA框架的護欄模組提供超過70個檢查點，來連結模型中心上超過50款不同類型的模型。

從GAIA框架上線後，國泰金控在測試和正式環境中的模型與GenAI專案，累計執行超過了18億個Token數。這也反映出國泰金控全集團熱切的展開各種GenAI運用。

發展生成式AI會涉及許多開源技術和雲原生開源軟體的使用，國泰過去幾年積極擁抱雲原生，也發展了一套開源套件管理平臺，可以納入開源AI解決方案的統一管理。（圖片來源／國泰金控）

國泰原本就有一套雲端優先策略與方法論，今年更近一步結合了生成式AI，想要來設計一套涵蓋多種AI顧問的一站式雲端轉型平臺Smart Archie，未來可以提供AI雲端顧問、AI雲端架構師、AI平臺工程師甚至是AI雲端稽核員的AI代理。（圖片來源／國泰金控）

國泰自製生成式AI的NoCode工具，已有35款銀行端AI對話助手

為了讓GAIA框架更容易運用，國泰金控今年上線了一套自己打造的NoCode開發工具GAIA Studio，作為員工單一入口。員工可以在GAIA Studio上，運用提示工程打造自己想要的AI助手，GAIA Studio可以連結到已經建好的知識庫，也能存取模型中心提供的可用模型，還會結合護欄來控管AI助手的生成結果。「希望GAIA Studio可以成為員工日常工作的入口，讓員工自建自己的助手。」梁明喬表示。

目前，GAIA Studio已開放給銀行25個種子單位的員工使用，累計打造出35款AI對話助手，每月平均對話數超過了2.4萬次。

過去一年來，不只自建生成式AI技術框架和應用，國泰金控也同步推動配套的制度和治理做法。在組織面，從集團到各子公司，設立了七大卓越小隊（Center for Excellence，簡稱CoE），推動超過50個部級專案。「CoE是凝聚策略方向的重要組織。」梁明喬解釋，AI卓越小隊一方面則排序AI資源的運用優先度，另一方面則要負責找出必要的專案需求。

為了打造可治理式的 AI，國泰金控去年發表GAIA框架同時，也揭露了AI評測中心（AIEC），這是一個從集團治理角度的原生AI審查平臺。國泰依據金管會金融AI指引的六大原則和數發部AI評測中心的十大評測項目，透過問答集來建立量化的評測指標。目前AIEC已有超過600題測試題庫，涵蓋五大評測領域。

國泰金控有任何AI模型要上線前，得經過AIEC平臺產生評測報告，交由國泰AI上線委員會來評估，這是國泰落實負責任AI的重要制度。

而在人才培訓面，目前提供了超過20堂AI素養課程，提供不同層級主管的培訓，超過20堂AI素養課程，也舉辦了兩大AI競賽，提示工程競賽和AI傳承競賽來推廣，梁明喬表示：「希望AI可以變成我們的核心能力，成為員工的第二工作語言。」

過去一年聚焦員工GAI應用，尤其著力IT領域的GenAI輔助

有了這樣一套生成式AI的技術框架和配套的治理制度，國泰金控去年也從兩大方面著手，來發展AI應用，包括了擴大員工生產力和提升顧客體驗。

從員工角度出發的AI應用，可細分成四類，通用型AI、業務型AI、IT領域IT和顧客服務的AI應用。

通用型AI是靠目前已上線的NoCode開發工具GAIA Studio，讓員工自建個人化的AI助理。而業務型AI則由技術部門負責開發，主要用於改善業務流程，包括了保單健檢，貸款金流追蹤、越南AI風險管理系統、RKB法規比對、投資財報問答，AI Coach、理專AI助手、理賠評議、客服AI摘要、HR AI助手、授信AI助手、理賠報告生成等，部分已經上線，其餘也陸續在今年內上線。銀行端更有超過15個場景正在開發實作中。國泰先前在保險科技日中也揭露了不少AI應用成果，全集團各子公司都如火如荼地開始生成式AI的應用。

除此之外，國泰過去一年也花了不少時間發展IT類的AI，像是與軟體生命週期管理（SDLC）的AI，如UI介面設計、程式現代化、測試資料生成等。另外還有網頁偽冒辨識AI，包括風險分級、輿情分析、關鍵字排行等應用，國泰金控還導入了一些IT輔助AI工具，包括M365 Copilot、Github Copilot、Q Developer等

梁明喬指出，現在流行的Vibe Coding風潮，單靠提示工程讓AI生成程式碼，的確可以快速進行雛形開發（prototyping），但是，Vibe Coding的成果不易於上線，必須要發展到Context Engineering（上下文工程）的AI輔助開發做法，更清楚描述規格，而且讓開發流程可以驗證。今年，梁明喬指出，國泰金控內部IT開發流程會逐漸導入上下文工程的做法。

過去七年來，國泰積極啟動集團上雲計畫，從5年100套系統上雲，今年訂定了雲端優先戰略，來加速IT現代化，為了加速全集團和各子公司的雲端轉型，國泰原本就有一套雲端優先策略與方法論，今年更近一步結合了生成式AI，想要來設計一套涵蓋多種AI顧問的一站式雲端轉型平臺Smart Archie，未來可以提供AI雲端顧問、AI雲端架構師、AI平臺工程師甚至是AI雲端稽核員的AI代理。

最後，在對外的顧客服務上，原本採用NLP和QA方式打造的國泰金融客服服務阿發，今年將推出阿發2.0版本，導入生成式AI的RAG架構，來強化對客服問答上下文脈絡的理解，提高客服回答的品質。