生成式AI(或簡稱GAI)的競賽到了年底,依舊是熱鬧滾滾。12月初,AWS在年度大會上,終於揭曉了自己的生成式AI戰略和產品布局,包括了生成式AI架構,從基礎設施、工具到應用程式等三個層級的產品策略,還首度發表了商務型AI聊天機器人Amazon Q。
雖然AWS自己也有發展自己的LLM模型Titan,但是,不同於微軟和Google以主力LLM模型為主打的策略,AWS更偏向打造企業需要的GAI工具鏈。AWS打造GAI工具鏈有一個特色是,格外講究企業導入GAI過程的使用體驗。
舉例來說,AWS 也和其他雲端業者一樣,都提供了LLM模型生成內容的把關機制,來避免生成企業不希望出現的內容。其他業者的把關機制是由企業自行訂定過濾規則或判斷條件來控管,而AWS的作法則是讓企業IT人員,直接用一段話(自然語言)來描述想要控管或避免呈現的內容,再由LLM模型產生用來把關的條件,雖然有可能無法第一時間精準的產生所有想要過濾的規則,但是卻可以涵蓋到定義模糊或難以定義的過濾範圍,另外,對管理人員來說,這也是一個更容易操作,建立過濾規則的介面。
不只AWS揭露全套GAI產品策略,Google也在12月6日,發表了最新也是他們有史以來最強的多模態GAI模型Gemini,提供三個版本,參數最多的Ultra版,通用性最廣的Pro版,以及一款參數量較少但可以在手機裝置上運作的Nano版模型。不過,目前會先上線後兩款模型,Ultra版則還在測試,得等到明年才會推出。
Gemini除了在32項AI標準測試中,有30項評分打敗了GPT-4V之外,我覺得最大亮點是推出了可以在手機上執行,而且是不用連結網路,也能運作的Nano版。目前只支援Pixel系列手機。錄音App可以在不連網情況下,使用手機上的TPU晶片來執行Nano版Gemini模型,從會議錄音檔中摘要整理出文字紀錄,也將會支援Gboard的智慧回覆,在通訊軟體中用口說來輸入回覆文字。
既然Nano版都可以離線執行,我在記者會上提問,Gemini版有沒有可能釋出可以部署在企業內部的落地版本,Google沒有鬆口,只說目前只能透過API存取雲端LLM模型。
不只Google,就連微軟Azure也沒有自家LLM模型的落地部署版本,而AWS自家最新推出的Amazon Q商務對話機器人,也是只有雲端版本。
因為LLM模型具有獨占性,一但企業使用了某一套模型,想要轉換底層基礎LLM模型,得重新訓練或微調模型,代價很高,因此,企業一開始選定了哪一個模型,後續多半會繼續使用。雲端業者看上的就是,企業選擇了某一款業者LLM模型,就得連帶使用這個模型相關的雲端服務。
我有次採訪中信金控科技長賈景光時,他強調:「生成式AI是上雲的殺手級應用,讓上雲成了非走不可的一條路。」
為了善用不同LLM的能力,雲端業者不斷強調要提供更多模型來支援不同的任務需求,企業勢必得使用越來越多種雲端LLM和相關的雲端服務,甚至是來自不同雲端供應商的服務。
上雲越深,越久,按用量計價的雲端費用就越暴增,當企業使用了愈多不同供應商、不同雲端服務業者的LLM服務,就越會面臨各種不同雲端計價方式、費用管理的複雜管理課題。
也因如此,國外近年興起了一股雲端費用管理優化新浪潮FinOps(Cloud Financial Operations的簡稱)。隨著上雲企業越來越多,用量越來越大,國外甚至有企業一年上雲費用高達10億美元之多,如何節省上雲開銷成了企業上雲的新顯學。
生成式AI浪潮迫使企業得更積極上雲,但也讓企業面臨了更複雜的上雲費用管理挑戰,這將是臺灣企業CIO接下來的新課題。
相關報導
專欄作者
熱門新聞
2024-12-08
2024-12-08
2024-12-08
2024-11-29