臺灣IBM
在公雲巨頭的GAI技術競賽中,IBM今年5月終於發表了自家開源LLM模型Granite,到了十月時更在年度產品大會上推出3.0新版模型。臺灣IBM最近也開始在臺介紹Granite新版模型,要搶攻企業GAI落地部署的需求,更揭露了在臺發展GAI的兩大策略。
臺灣IBM技術長莊士逸表示,剛發表的Granite 3.0新版是一款輕量級的基礎模型,包括了1B、2B、3B和8B參數量的版本,採用可商用的Apache 2.0開源授權,可以部署到企業內部環境,也能在硬體資源較低的環境中執行,來瞄準企業落地部署的需求。3.0版可以支援12種語言,包括中文,臺灣IBM內部也正在進行繁體中文的測試。
Granite 3.0包括了一系列的模型,包括了大型語言模型,還有強化輸入和回應內容過濾的安全護欄模型,另外還有推測解碼模型、程式碼開發模型、時間序列模型和地理空間模型,目前先釋出的是大型語言模型系列和安全護欄系列模型,陸續再推出其餘模型。企業可到Hugging Face等網站自行下載,也能在IBM的AI開發平臺Watsonx或Google Vertex AI等平臺上選用。
除了多語言支援,3.0版也開始提供企業打造代理人需要的工具調用能力,目前可支援Function Call功能,在LLM模型呼叫外部的第三方函式庫。後續將釋出3.1版,預計可支援到128K上下文長度的資料輸入輸出,還會強化程式碼生成的能力,以及代理人應用的邏輯推理功能。IBM在Watsonx平臺上提供了調度工具,可用來組合LLM模型和第三方元件,打造AI代理人應用。
臺灣IBM透露,明年要發布的Granite 3.2版將是一款多模態LLM,將釋出Granite-3.0-vision-instruct模型,可理解圖像,後續還會推出支援聲音的模型版本。
莊士逸表示,IBM已經用Granite模型打造多款內部的AI代理人,包括了後勤HR、後勤IT HelpDesk、後勤IT系統申請、後勤ERP、員工績效管理、銷售、業務績效、合作夥伴管理等名為Ask系列的AI代理人助手。例如他就曾收到員工績效管理AI助理的通知,提醒他有名員工表現優異,GAI彙整了市場上同類職務的薪水水準供他參考,詢問莊士逸是否要幫這名員工加薪,若他按下同意鍵,就會自動完成相關調薪申請,自動實施到這名員工下個月的薪水匯款。這是由GAI彙整外部市場資訊,結合內部流程自動化工具而成的AI代理人應用。
IBM在年度大會上也公布了最新的產品戰略架構,底層是各種基礎架構和混合雲平臺產品,包括了OpenShift、企業級Linux、Ansible,再上一層則是Data與AI層,以Watsonx平臺服務,還有多款AI助理服務和安全護欄服務。莊士逸表示,新版戰略架構有一項改變是,在資料與AI層之上,IBM將自動化工具產品獨立成一個平臺層,可用來和AI工具整合。最上面一層則是各項顧問服務與合夥夥伴。
臺灣IBM的客戶工程團隊從2023年至今,完成了數百個GAI客戶PoC案例,已有高科技製造和金融的GAI應用實例,例如有金融業者用GAI來搜尋內部知識文件,或是用來整理語音會議的文字記錄。也有高科技業者用RAG作法來檢核ESG報告的內容,是否符合不同ESG標準的各項要求。
莊士逸表示,臺灣IBM的GAI發展策略,主要分為兩大作法,一是針對有意採用GAI但需求還不明確的企業,IBM將扮演顧問來協助,找來有大型企業客戶經驗的資料科學家,協助這些企業評估和試驗LLM模型的應用。另一項作法則瞄準需求明確的企業,提供設計思考工作坊,也以4~8周時間打造出目標應用場景的PoC驗證,或是最小可行產品(MVP),供企業評估是否正式導入。
他觀察,過去一年,臺灣企業大多處於試驗、尋找使用情境或是驗證RAG作法,接下來會開始往IT自動化、程式碼模型開發、智慧助理等方向發展。不過,目前採落地部署的案例多以LLaMA模型為主,臺灣IBM未來也計畫引薦自家Granite模型給臺灣企業。
熱門新聞
2024-12-08
2024-12-10
2024-12-10
2024-12-10
2024-11-29
2024-12-10