在iThome 2024年CIO大調查中,超過半數的金融業者開始導入和驗證生成式AI,台新金控也是其中一家,但他們大膽嘗試了一條不一樣的道路。
今年三月,台新金內部舉辦了一場圖像生成挑戰賽,鼓勵子公司員工組隊參與,運用各種提示工程來生成圖像作品。這群員工當時所試用的模型,正是台新金自建的圖型生成模型。沒有直接採用雲端現成的生成式AI服務,台新用現成的基礎模型進行預訓練,來客製出專屬的大型語言模型,打造出能懂台新金和各子公司的「台新腦」。
考慮自建,並不是偶然為之,而是經過一連串實驗後立下的決策。早在去年初,台新金就開始研究生成式AI,並將生成式AI作為未來兩年的發展重點。他們不只制定AI發展關鍵因子,和AI導入指引,還發展4項實驗專案,包括協作平臺的聊天機器人Teams Chatbot、知識管理平臺、程式碼撰寫助理Codex,以及虛擬智能客服。
當時,台新金採用Azure OpenAI服務提供的大型語言模型。經過一連串試驗,台新金評估,使用雲端服務雖有好處,但也存在盲點。台新金控資訊長孫一仕說明,目前各家科技大廠推出的LLM功能雖然強大,「但我們可能只需使用三到四成功能, 」例如,影片生成,就是銀行不太會用到的功能。
再者,採用雲端LLM服務時,企業僅能透過微調或RAG來優化,讓LLM模型具備銀行的內部知識。「這個方式可行,但不確定是不是夠好的作法。」孫一仕說明,考慮走向自建,並非現有方法不對,而是希望探索其他方法的可能性。
他指出,現在的LLM模型功能強大,如同18歲的成年人,技能樣樣精通,唯獨得花費精力向他介紹台新,但是,能否找出另一種LLM的可能,「他可能只是三、四歲的天才兒童,很多技能不會,但天生就懂台新。」孫一仕強調,方法沒有對錯,差別在於,「你看重大型語言模型哪些功能,又期待模型擁有多少企業的Know How,以及日後維護成本多高。」
運用雲端資源補足算力資源
從去年11月起,台新就開始評估自建LLM模型的實作方法。目前,台新打算運用雲端資源來補足訓練模型所需的算力。「建模時運用雲端,跑模型則靠地端。」孫一仕指出,建模需要仰賴大量算力,得靠雲端資源來補足,但在使用模型時,地端資源就足夠支持模型的運作。因應自建模型的策略,算力,是台新今年在雲端的重點投資項目。
在挑選基礎模型時,台新找來大學教授協助評估,根據兩項條件來進行篩選。先根據想用的功能,來選定適合的模型參數量。再來是,測試模型支援繁體中文的能力。決定了基礎模型後,才挑選適合的雲端算力供應商,來評估適當的模型運算環境。不過,孫一仕點出,挑選雲端業者時,不能只考慮價格,同時要注意供應商綁定問題。他坦言,這是他們目前正在努力克服的議題。
成本計算和資料治理成挑戰
對金融業者而言,無論採用哪種方法導入生成式AI,都存在潛在風險,如何計算成本,便是一大挑戰。孫一仕解釋,走向自建,可能需要的算力投資過大,若用雲端LLM,成本則隨著使用次數上升而增加,難以準確掌握長期的投資金額。孫一仕表示,根據台新目前實驗的結果,「我們可以確保繼續執行自建模型的成本可控。」不過,針對長期的開銷,他也坦言,目前各家金融業者沒有實測數據,「只有假設,需要時間才能知道哪種方式比較貼近事實。」
導入生成式AI的另外一項挑戰,則是資料治理。訓練或調教大型語言模型所需的資料,涵蓋了行內和行外的資料,資料形式上更有大量的非結構化的資料,例如,新聞、財報等。孫一仕指出,金融業過往較擅長處理行內的結構性資料,如客戶資料和交易數據。但是,針對非結構化資料,各家金融業者尚在研討適當的治理方式。甚至,即便是結構化資料,都需要進行調整才能匯入LLM模型。因此,孫一仕強調,資料治理可能也是金融業導入生成式AI時,需要投資的一大重點。
最後,孫一仕指出,自建模型所需的人力資源,和使用雲端服務有很大的不同。例如,採用雲端服務形式,較不需要聘請大型語言模型專家,僅需要了解如何適當運用工具,「不同模式會牽涉到企業需要留在手邊的經驗或系統。」
「這段時間台新走得戰戰兢兢,因為大家都對我們說,你的方向錯了。」孫一仕笑說,這一路下來並不輕鬆,但他仍舊希望嘗試不同路線。在生成式AI的賽道上,台新要用自建模型來另闢蹊徑。
熱門新聞
2024-11-29
2024-11-29
2024-11-20
2024-11-29
2024-11-29