【企業LLM實戰：台灣大哥大】全體動員嘗試LLM，2大流程讓客服AI回答更準也更豐富

今年5月，台灣大哥大悄悄揭露了運用大型語言模型（LLM）優化自家智能客服小麥的成果。他們並非採用常見的微調LLM優化方法，而是以嵌入式模型（Embedding model）搭配客服知識庫，來讓小麥回答更準確、更有人味。後來，他們還將自己的成功經驗打包成產品，要提供給有LLM應用需求的企業。

為何不直接建置資料集、微調LLM，讓模型成為客服大腦？台灣大資訊長蔡祈岩認為：「現階段嵌入式模型就夠用了。」為什麼？

聚焦客服應用，尋找LLM最佳用法

去年底ChatGPT問世，各產業爭相擁抱LLM，要來強化自家服務、提高競爭力，台灣大也不例外。「這段時間，我們嘗試過許多大大小小的應用，」蔡祈岩指出，台灣大不只有一個團隊在摸索，而是「各部門全員動員，」來嘗試各種應用案例，特別是客服場景。

他們嘗試了多種模型，如台智雲的福爾摩沙大模型、微軟的AOAI服務，以及Meta開源的Llama 2，要來優化小麥。一開始，他們採取自建資料集、微調LLM的方法，來打造客服大腦，要讓客服引擎更聰明、給出正確答案。於是，他們收集了客服知識點、客服文字對話、公司新聞、臉書與LinkedIn等資料，作為微調LLM的語料庫。

接著，他們開始清理資料，去除HTML標籤和個資等資訊。也因為每種資料清洗方式不同，難以用少數程式邏輯來處理全部資料，特別是人名，因此需要人工介入。他們將原本投入的1至2名人力，增加為4至6人。

資料集整理完後，團隊開始用來微調模型。但由於資料集中99.8%的資料來自新聞語料，因此模型產出的回答偏向新聞用語，而且準確度還有進步空間，比如正確回答應為100點數，模型卻給出200點數的答案。

經過那次測試，團隊發現，LLM不適合直接用作客服大腦，還需要其他配套方法補強。於是，團隊改變策略，將目標調整為提高回答正確性，改採嵌入式模型搭配客服知識點資料庫，來產出答案給顧客。而LLM則轉為幕後輔助角色，用來新添客服知識點內容，而非直接用來處理業務問題。

前後臺分工，分別負責準確回答和豐富知識庫

進一步來說，這個作法分為前臺和後臺兩套流程，前臺流程的目標是要提高客服回答準確性。因此，當顧客向小麥問問題時，提問會經過嵌入式模型，將文字轉換為向量空間，來與客服知識點中的例句計算信度，找出最符合的資料。若信度大於等於90%的門檻值，就可將這個知識點的資訊回傳給小麥，提供新參考答案給顧客。若信度不足而無回傳值，小麥則套用制式答案來回覆。

要是信度小於門檻值，就會啟動知識點後臺接手處理。後臺流程的目的是豐富知識庫內容，因此，系統會將信度小於門檻值的內容，包含顧客提問和前幾名回答，組成新的提示，由LLM根據新提示產出答案，並將這個新答案回饋給知識點維護人員，來更新知識點內容。

這麼做可節省客服人員維運知識點平臺的時間，而且，知識點的回覆內容，也會因此循環越來越完整。這正是蔡祈岩認為，目前嵌入式模型即可解決客服業務問題的原因。

AI 2.0進展快速，不適合砸重金發展LLM

另一方面，隨著OpenAI掀起AI 2.0超級大腦的浪潮，蔡祈岩觀察，AI 2.0進展迅速，台灣大暫不投入大量成本來發展LLM。他指出，台灣大在AI 2.0已找到許多可立即看到成效的低垂果實，自行發展並非優先選擇。再來，LLM是個眾神必爭領域，企業自行投入的成本效益幾乎沒有能見度。比如，OpenAI日前提出GPTs，允許使用者根據自身需求，客製化專屬的ChatGPT，這就掀翻了許多AI企業的桌子。台灣大集團憑藉多樣的應用場域和IT人才，只要緊盯技術趨勢，就能靈活找出高效益、低風險的發展機會。

「比起耗費大成本重新訓練基礎模型，GPTs或中小模型等分支說不定就能實現8、9成水準，效益更高。」他認為，這種機制在垂直產業，特別有發展機會。

發展AI國力，可強化人才發展環境

生成式AI不只是企業標配，還成為各國秀AI國力的亮點。臺灣已有國科會的TAIDE計畫，來打造臺版LLM，但蔡祈岩認為，要長遠發展臺灣AI國力，還有更多需努力之處。

比如，臺灣要加速發展再生能源，來支援AI算力所需的綠電，政府也能提供更多企業和新創的技術研發補助計畫，來鼓勵研發，激發更多AI軟體創新。

此外，蔡祈岩點出，高等研發人才，特別是軟體人才，更是發展重點。尤其，主流國家瘋搶AI人才，臺灣政府應提出賦稅優惠來留住本地高階技術人才，加上良好的生活環境，如醫療資源、便利性和包容的文化，來吸引國際人才。「因為，臺灣的國際競爭策略一向是高CP值，非常成功，我們不宜孤注一擲在紅海，想用世界最高薪資來搶人才。」他認為，臺灣反而更適合吸引全球非電腦科學學科畢業、具高潛力的AI生手或IT素人，來臺培養專業技能、轉職為軟體人才，同時在訓練過程中，培養對臺灣社會和文化的認同，進而成為臺灣專屬的軟體人才。

 相關報導