生成式AI對企業帶來的第一個價值,不是GAI技術本身,而是這股浪潮帶動的企業AI創新潮。
雖然人人都感受到這股延燒全球的ChatGPT熱潮,但從企業實務角度,體會到的GAI衝擊急迫感卻不盡相同,從我們今年CIO大調查可以看到,高達5成企業認為,GAI最快一年,最慢三年才會對他們產生重大衝擊,但也有1成6的企業擔心,GAI今年(或現在已經發生)就會帶來重大改變。這股GAI衝擊急迫感的落差,也讓企業CIO今年被賦予的目標,有很大的不同。
對今年預期有重大改變的臺灣GAI首批衝擊企業來說,高達6成CIO將AI創新產品和服務、AI強化分析和決策列為2024年度目標,遠高於整體產業的4成,也更看重與AI創新相關的目標,例如資料治理優先度就高於數位轉型,資料驅動決策目標也高於強化數位韌性和ESG企業永續。數位轉型、數位韌性、企業永續這都是去年CIO年度目標優先度較高者,但對GAI衝擊感越迫切的產業,AI創新的優先度越高,甚至一舉超越了CIO過往的目標。
生成結果的不確定性是GAI技術特性,這正是可以促進創新的原因,也因此難以找出一套通吃各產業、各場景的成功方程式,企業得自己不斷嘗試、模索,試驗出適合自己的GAI應用方式。所以,從調查中也可以看到,臺灣人大多數企業仍處於GAI導入和試驗階段,各產業都是如此,尤其積極採用的金融業、醫療和政府學校,高達5成金融業者,4成醫院和政府機關都在嘗試中。
如何用可控的成本,更有效率的方式,嘗試更多種場景,找出性價比夠高的應用,這是企業AI創新潮的關鍵課題。
最近,我剛想完「蘋果私有AI戰略大剖析」封面報導,從CIO大調查中看到臺灣企業所面臨的這個GAI挑戰,不禁讓我轉念一想,蘋果這套AI戰略的目的,就是為了用GAI來創新產品, 而企業的需求不是也是如此,要用GAI來強化自家系統、服務,甚至是產品。企業似乎可以從蘋果私有AI戰略中借鏡一二。
蘋果新AI戰略的核心是私有雲地混合架構,以裝置端LLM為主,算力不足時,才改用「安全可控」的雲端LLM來接手。這都還符合企業想要自己掌控GAI的期待。這也是不少企業,確定在自家機房自建LLM模型服務的原因。從我們今年調查可以看到,約有9.5%的企業想用開源LLM自行訓練,就是想放在自家機房中,降低資料上公雲的外洩風險。
可是,要滿足企業不同場景的生成需求,就得訓練或微調一套超強(參數量越高越好)的LLM,或是很多不同用途的專用LLM,不管哪一種作法的成本都很高。
但是,蘋果對於裝置端LLM採取了一個相當值得企業參考的架構,來兼顧不同應用場景的「專門需求」,又能降低需要經常訓練或微調龐大參數LLM的代價,這個架構就是LoRA架構。這不是蘋果的發明,而是微軟在2021年發表的LLM優化架構,可以大幅減少微調LLM模型的參數量。
LoRA架構的作法是,進行LLM模型微調時,改搭配一個參數量小很多的模型,稱為轉接模型(Adapters)來計算,只需將訓練資料用於微調這個轉接模型,就能達到媲美直接微調大型語言模型的推論效果。
根據微軟在LoRA論文中的比較,微調1,750億參數的GPT-3模型,改用LoRA架構後所用的算力,相當於1,750萬參數的訓練量,減少了1萬倍,也只需要三分之一個GPU記憶體。
蘋果使用他們開源的LLM模型,以30億參數大小,搭配LoRA架構訓練出來的轉接模型,只有數十MB大小,遠低於整套LLM。像蘋果的文字生成LLM就微調出了摘要模型,校對模型、郵件回覆模型、查詢處理模型、友善回應模型、緊急回應模型等不同用途的轉接模型。
蘋果看上LoRA架構的原因,不只是可以省錢,還因為轉接模型可以像是「外掛」一樣快速切換,換了另一個用途的轉接模型,這個LLM就可以具有不一樣的功能,還可以疊加,組合好幾個轉接模型,就能讓LLM模型擅長這幾種轉接模型的能力。只有數十MB大小的轉接模型,可以靠記憶體快取,快速切換,靠同一套LLM,可以針對不同場景,切換轉接模型,來支援不同的應用需求。
用專業相機鏡頭來比喻LLM模型,轉接模型就像是鏡頭的濾鏡,不用每次都切換笨重的鏡頭,單靠快速更換輕薄的濾鏡,就能拍出不同風格特效的照片,一個鏡頭還能搭配多個濾鏡,來呈現複合的效果。這個應用模式是蘋果採取LoRA架構的另一個關鍵,一套LLM,但是可以搭配各種輕薄、切換容易、可外掛的轉接模型。
蘋果已經開源釋出了他們在裝置端的模型,等於企業也可以訓練自己的轉接模型,來搭配iPhone內建的LLM,第三方業者更可以開發各種用途的客製化轉接模型,就像各種用途的外掛模組一樣。我大膽推測,說不定蘋果還會推出轉接模型的市集,讓這些自製模型可以交易。
蘋果用LoRA架構,所實現的裝置端LLM作法,一套LLM搭配多種轉接模型提供不同應用需求。回到企業角度來看,企業不也正是需要用最低的成本,反覆訓練不同場景需要的客製化模型,來測試各種GAI應用的可能性。企業可以參考蘋果這套LoRA架構的運用策略,降低反覆微調LLM、迭代AI創新的成本,企業的確可以向蘋果學,借鏡他們善用GAI背後的思考策略。
相關報導
專欄作者
熱門新聞
2024-12-02
2024-11-29
2024-12-02
2024-11-30
2024-12-02