去年11月,玉山在一場公開活動中展示一個生成式AI應用服務——智能法律回覆生成系統,提供內部行員快速檢索法規內容。系統介面是一個Chatbot,當行員輸入法遵相關提問,介面上會顯示簡短回覆和法源依據,並提供內外規範的法條比對,協助行員快速掌握內外規範,因應外部變動調整內部法規。
這個案例不只是玉山發展的唯一一項生成式AI服務。經過一年來的開發、測試,今年初,玉山正式對內推出通用型GenAI平臺GENIE,開放行員使用11項生成式AI應用服務,另有1項服務正在開發中。
這12項應用服務中,可區分為基礎和進階應用服務。起初,玉山僅單純將GENIE平臺介接LLM模型服務,提供基礎版應用服務,例如,純文字和圖片生成、會議記錄生成和摘要總結翻譯等,每項應用服務都能適用於多種場景。
隨著平臺收到更多使用資料,玉山開始挖掘使用者常在哪些情境下使用特定應用服務,接著針對場景開發進階版應用服務,提升平臺在特定場景的服務能力。例如,法規文件比對、市場資訊摘要和生成,或運用客服資料進行顧客情緒分析。
基礎和進階應用服務各有6項
玉山規畫的基礎應用服務共有6項,最基礎的服務包括純文字和圖片生成、會議記錄生成服務,複雜度一路提升,從摘要總結翻譯、分類和分析,到Chatbot知識搜索,最後則是支援非文字形式的音檔、影像資料萃取服務。目前,玉山將基礎服務延伸至特定場景,開發出6項進階應用服務。其中,摘要總結翻譯的進階服務有1項,分類和分析的進階服務有3項,Chatbot知識搜索的進階服務則有2項。
相比最常見的純文字生成、會議記錄生成服務,摘要總結翻譯服務的定位是解讀大量文件,提取出重要資訊。玉山選擇將摘要總結翻譯服務延伸至KYC(know your customer)調查場景,協助摘要和生成市場資訊,結合RPA技術,不僅能快速蒐集、摘要客戶的負面新聞,還能定期產出客戶交易對手的負面新聞和報告。這項進階應用服務能協助理專人員快速撰寫徵審報告,也能協助一般銀行行員掌握時事對金融產品帶來的衝擊。
選定技術開發、客服和商業數據分析場景,發展進階分類和分析應用服務
分類和分析則是更進階的摘要總結翻譯服務,匯入資料形式不局限於文字,還包括數據、程式碼,這項服務是運用LLM模型理解大量文件和數據資料後,協助快速歸類,同時提供對數據、程式碼的分析解讀。玉山看準3種應用場景,發展出3項分類和分析的進階服務,分別是程式碼教學服務、數據分析與教學,和顧客情緒分析。
第一種場景是技術開發,玉山發展程式碼教學服務,當技術人員在開發時面對卡關情況,可以藉由LLM模型服務提供教學指示,或是用來分析結構較複雜的程式碼,並提供建議註解,加速開發流程。玉山金控科技長張智星指出,完全讓模型生成程式碼,反而容易出錯。因此,玉山並未發展程式碼生成工具,而是開發程式碼教學服務。
第二種場景是客服應用。玉山推出導入生成式AI的顧客情緒分析服務,不僅能協助行員分析來自客服Chatbot和留言板的文字訊息,也能將語音訊息轉為文字,讓行員直接從文字來分析顧客情緒和進線意圖。未來,玉山預計使用生成式AI提升原有的意圖判斷模型,精準導流進線意圖較特殊的顧客。
第三種場景是協助業務分析商業數據。玉山開發數據分析與教學服務,協助行員快速分析表格資料,了解資料潛藏趨勢。例如,信用卡刷卡資料包含顧客ID、刷卡時間、特店和金額等欄位,行員可以將顧客信用卡刷卡資料匯入LLM模型服務,分析特定顧客樣態行為模式。
建立Chatbot協助知識庫搜索,首先提供內部行員搜尋法規文件、產品優惠訊息和教育訓練講義
Chatbot知識搜索結合了知識庫和搜尋功能,可以協助摘要、分類和分析大量文件,更重要的是,能讓使用者以簡短的文字提問快速掌握大量文件。這個基礎應用服務運用LLM模型服務和檢索增強生成(RAG)技術,蒐集和彙整大量文件資料或網路新聞資訊,並以Chatbot形式提供內部使用者查詢。系統會根據使用者的提問提供簡短回覆,協助行員省下翻閱大量文件資料的時間。
針對Chatbot知識搜索,玉山鎖定兩個場景開發進階服務,分別是提供內部員工使用的智能客服與專業知識庫搜尋,和法規文件比對服務。前者目前提供行員搜尋金融產品優惠訊息,以及協助新進行員快速查詢教育訓練講義和文件,提升訓練成效。後者則是當行員遇上法遵問題時,可以快速查詢法源依據,了解公司內部法條和外部規範,進一步衡量是否須因應外規變動調整內規。
最後一項基礎服務是音檔、影像資料萃取,當使用者輸入音訊或影片時,LLM模型服務會將語音或影片轉為文字,接著回應使用者針對輸入資料的提問。這項應用服務目前尚在開發中,還未提供內部使用。
除了現有服務,玉山預計在今年發展更多進階應用服務。
他們計畫要提升會議記錄摘要功能,讓模型能讀懂會議中出現的專有名詞,例如能辨識出產品名稱,甚至是分辨出發言者身份,以及透過LLM協助企金業務整理客戶資訊,將企業客戶在網上的資料納入系統,包括公司財報、年報和新聞稿等資料,以及上下游相關企業資訊,建立徵審文件草稿,加速企金業務的徵信工作流程。技術上,玉山也期望能發展出多輪對話功能,創造更多應用服務。
玉山12項GenAI應用服務介紹
基礎應用服務: 功能說明
純文字和圖片生成類:生成文字和圖片
會議記錄生成:快速摘要會議內容
摘要總結翻譯:摘要、總結、翻譯大量文件資料
Chatbot知識搜索:運用LLM模型服務和RAG技術,蒐集和彙整大量文件資料或網路新聞資訊,並以chatbot形式提供服務,系統會根據使用者輸入的問題提供回覆
分類/分析:運用LLM模型服務來快速分類或分析大量資料
音檔、影像資料萃取:當使用者輸入音訊或影片時,LLM模型服務會將語音或影片轉為文字,並回應使用者對輸入資料的提問
進階應用服務: 功能說明和應用場景
程式碼教學:分類/分析的進階服務,使用生成式AI來分析較複雜的程式碼,並提供註解建議,或是當技術人員開發時卡關,可以使用生成式AI提供教學指示,來輔助開發
智能客服/專業知識庫搜尋:Chatbot知識搜索的進階服務,供內部行員搜尋金融產品優惠訊息,或是協助新進行員搜尋教育訓練講義和文件
法規文件比對:Chatbot知識搜索的進階服務,可供行員搜尋和比對內部規範和外部規範
市場資訊摘要/生成:摘要總結翻譯的進階服務,可供行員快速彙整產業和新聞資訊和趨勢,主要應用在KYC調查。也可以協助行員快速掌握時事對金融產品的衝擊
數據分析與教學:分類/分析的進階服務,協助行員快速分析表格資料,了解資料潛藏的趨勢。例如,信用卡刷卡資料包含顧客ID、刷卡時間、特店和金額等欄位,行員可將顧客的信用卡刷卡資料匯入LLM模型服務,分析特定顧客樣態的行為模式
顧客情緒分析:分類/分析的進階服務,協助行員分析來自客服Chatbot和留言板的文字訊息,也能將語音訊息轉為文字,讓行員直接從文字分析顧客情緒和進線意圖
熱門新聞
2024-12-10
2024-12-08
2024-12-10
2024-12-10
2024-11-29
2024-12-10
2024-12-11