今年臺北金融科技展上,多家金融業者展示自家GenAI應用。台新金控也是其中一間業者,展示包括用生成式AI升級的智能客服、服務企金客戶的擬真客服人員、影片生成服務,和音樂生成服務等應用。
不過,台新的亮點不僅在GenAI應用本身,而是背後運用的模型。沒有直接採用雲端現成的生成式AI服務,台新用現成的基礎模型進行預訓練,來客製出專屬的大型語言模型。在今年臺北金融科技展上,台新展出的客服相關應用,就是透過一個名為台新腦的LLM打造而成。甚至,台新金控資訊長孫一仕也喊出,預計最快年底對外推出運用台新腦升級的智能客服。
自行訓練LLM,靠台新腦和工具腦分工發展GenAI客服和特定任務
台新現有大型語言模型分為兩種,一種是台新腦,是一個擁有370億參數量的LLM,負責「懂台新」,發展智能客服等應用。另一種是工具腦,包含數個參數量較小的LLM,負責處理單一工作任務,如報告生成、圖片生成、影片生成等任務。
就台新腦來說,台新金控資訊長孫一仕表示,他們和外部廠商合作,先運用雲端資源訓練370億參數量的LLM。訓練完成後,再將模型放置於台新內部的地端環境運作。自今年5月,台新就訓練出第一版台新腦。孫一仕表示,在測試台新腦過程中,台新除了運用基本的中英文測試集,也運用金融專業人士的考試題目來測試「台新腦」的金融知識。目前,台新腦經過5輪測試,預計會再進行2輪測試。
除了運用台新腦打造客服應用,台新也預訓練數個參數量較小的開源大型語言模型,打造數個處理特定工作任務的「工具腦」。例如,台新在臺北金融科技展上展出的影片生成服務和音樂生成服務,就是透過不同工具腦開發而成,而非透過台新腦打造。
為了發展AI,台新預估已投入約3,000萬,光是硬體資源就包含16片Nvidia H100 GPU。此外,台新也組成一支擁有20位AI專業人員的團隊,負責訓練模型、開發應用,和將AI應用介接IT系統。並且,這支團隊也要負責和業務單位討論GenAI需求。
目前,台新內部落地的GenAI應用分為三類,「一個是智能客服,一個是內部知識管理,第三個是內部圖片生成。」孫一仕表示,內部正在積極和各子公司合作,預計明年將推出12支AI應用,包括智能理專和智能對練等對內服務。
熱門新聞
2024-11-29
2024-12-02
2024-11-30
2024-11-29
2024-11-29
2024-11-29
2024-11-29