GAI技術爆紅後,不僅讓技術人員感到興奮,就連金融業中的業務單位,也對這項技術充滿期待。永豐銀行財富金融處處長蔡隆裕就認為,GAI能發展許多應用,「想像空間非常大。」永豐銀行鎖定的第一項關鍵應用,便是運用GAI來提供金融市場資訊摘要。
為何先從這項應用起步?蔡隆裕解釋,過往銀行提供客戶各種金融市場研究資訊時,往往面臨兩大痛點。第一,產出研究報告的人力有限,無法快速針對多個市場發表看法。第二,研究人員和客戶關注的消息不完全一致,這就導致,研究人員產出的報告,未必都能貼合客戶需求。例如,當市場出現波動,銀行客戶可能想了解,特定人物的言論是否會影響市場趨勢,「但如果研究人員認為這些言論不影響他們既有看法,可能就不對特定事件進行分析。」蔡隆裕說。
看上GAI的摘要能力,永豐銀行設定了兩個開發目標。第一,能用同一套方法論處理多個市場,快速提供多個市場資訊。第二,針對民眾在意的事件提供見解。
今年八月,永豐銀行率先將生成式AI用在對外服務,推出一項名為「投資水晶球」的服務,透過彙整國內外超過500個媒體平臺數千篇最新報導,再依照臺灣、美國與中國三大市場,各別提供約1,000字的市場趨勢摘要,並在十月初新增了日本和印度市場報告。
這項服務每兩日更新一次,每次更新,都會根據近5日新聞提供多個市場趨勢摘要。摘要內容包括列出影響市場變動的因素,和提供可密切關注的趨勢和議題,以及總結市場趨勢。
這項應用功能看似單純,背後其實投入了大量資源,永豐銀行集合了資訊處、財富金融處、綜合企劃處等單位,組成跨部門專案團隊,並和永豐金控、永豐投顧合作,每月舉辦一次專案會議,跨部門人員共同針對模型回應和指令提供意見,來確保服務上線後不會產生疑慮。
跨部門專案團隊每月開會討論模型回應和提示內容
永豐銀過往的AI專案多由金控技術單位負責,但這款GAI應用,改由該行綜合企劃處負責執行專案,採用了提示工程,主要由專案團隊人員撰寫提示指令。
金控技術單位會提供初版提示,專案人員接著利用員工專用GAI小幫手,測試想調整的提示詞,完成一個版本後,交由開發人員在正式環境中執行提示,再由專案人員檢視執行結果。反覆執行這個過程,直到模型回應達到理想程度。永豐金控技術單位會從旁提供提示詞修改建議,如增加參數限制。
永豐銀行綜合企劃處處長王筱嵐表示,專案團隊每月專案會議中,會針對模型指令和回應進行討論,並給予修改意見,「絕不是單一部門決定整套指令。」專案團隊還徵求法遵意見,確保對外GAI服務合規性。
從產品發想到正式上線只花了半年。開發期間,永豐銀行同步進行調查,收集超過8千條客戶意見,來了解市場接受度,上線前更找來2千名客戶試用實測,確認滿意度後,才正式推出。
為了打造這項對外GAI服務,永豐銀行組成跨部門專案團隊,定期召開專案會議討論模型回應和指令。圖左為永豐銀行財富金融處處長蔡隆裕,圖中為永豐銀行資訊處處長沈志成,圖右為永豐銀行綜合企劃處處長王筱嵐。
先用新聞篩選模型找出重要新聞,再運用多階段提示詞完成開發
每一份市場摘要報告中,看上去,僅是一串摘要文字,實則處理了國內外超過500個媒體平臺的上千篇最新的新聞,背後涉及了大量資料處理工程。
起初,專案團隊僅使用一段式指令打造這項應用,但效果並不理想。第一個挑戰,是模型難以根據即時性,來排序新聞資訊的重要性。「對GAI來說,五天的新聞資訊都是等值。」蔡隆裕解釋,在沒有設定任何參數的情況下,模型可能摘要五日前的新聞,也可能僅摘要近一日的資訊,「這就不是我們想呈現給客戶的資訊。」
第二個挑戰,是模型回應對市場趨勢看法飄忽不定。蔡隆裕解釋,由於新聞報導容易受到市場波動影響,「如果大漲大跌,當天新聞就會寫得很熱烈,且新聞內容可能較多,但如果當天波動小,新聞內容可能就比較簡單、平淡。」這項問題,導致LLM模型輸出的摘要,難以形成一致性的見解。
為了解決這些挑戰,專案團隊在處理新聞資料篩選下了許多功夫。首先,團隊把近五日的新聞資料向量化,並進行向量化匹配,從中篩選出最相關的新聞,進行第一階段的雜訊過濾,去除重要性較低的新聞。接著,團隊運用一個參數模型,對過濾出的新聞資料進行時間權重計算。這個模型主要負責新聞篩選,可以用來確保LLM模型在生成摘要時,會優先採用應關注的新聞。
運用模型篩選出應採用的新聞資訊後,團隊才開始運用多段式提示詞,來完成這項應用開發。在提示詞中,團隊過指示模型分段撰寫,以及每一段應闡述的重點,來提高模型回覆的專業度和可讀性。並且,團隊也將永豐投顧的未來展望化為一套參數,在提示詞中要求參考這項參數,來確保模型回應不會僅依照新聞字面內容生成回應,而是針對特定事件提供專業性較高的見解。
雖然服務已經正式上線,專案團隊仍持續持續提升模型篩選新聞的能力、修改提示詞,並測試新推出的LLM,若新版模型效果較強,則會改為採用更新的模型服務。
從單一應用起步,永豐銀行要建立共用GAI平臺加速業務發展GAI應用
GAI摘要的資料,不只用於這項服務,永豐銀行計畫擴大發展成一個可再利用的共用知識庫。永豐銀行資訊處處長沈志成解釋,未來,其他單位不用從頭處理,直接篩選或重新撰寫提示詞,就能生成新的資訊。
不只如此,以這項關鍵應用為基礎,永豐銀行正逐步發展出一套全行共用的GAI平臺,能彙整各種GenAI服務和共用知識庫,提供行內各業務單位快速打造GAI應用。而市場資訊摘要,正是建立在這個共用平臺上的第一支服務。
沈志成解釋,這套共用平臺具備彈性擴充特性,採用模組化設計,能提供使用者快速選用功能模組來開發GAI應用,包括資料庫搜索、內容生成,和Copilot應用等模組。對業務單位而言,這套共用平臺就是一支API,能串接多種API服務,例如市場資訊摘要API、程式生成API,和內部知識顧問API。「(共用平臺)類似一套中臺服務,全行各個系統都可以透過API介接,來使用生成式AI功能。」沈志成說。
永豐銀行資訊處處長沈志成表示,永豐銀行正逐步發展出一套全行共用的GAI平臺,能提供行內各業務單位快速打造GAI應用。
這套共用平臺也包含權限設置,除了針對模型輸入和輸出內容進行把關,也設計成本控管機制,能統計各單位token使用次數,和使用模型服務的開銷。
為了打造這套共用平臺,永豐銀行資訊團隊正在克服諸多挑戰。由於開發生成式AI應用所需的資料來自多個管道,需要運用雲端服務或爬蟲技術來蒐集、彙整資料,如何有效收集並管理來自不同來源的資訊,便是其中一項挑戰。
此外,資訊團隊批次處理資料的過程中,如何確保資料能順利流動是一大關鍵。甚至,當使用者在資料更新的過程中取用資料,如何設置適當的處理機制,也是資訊團隊需要處理的重要議題。文⊙李昀璇
熱門新聞
2024-12-08
2024-12-08
2024-11-29
2024-12-08