自ChatGPT從2023年在全球帶動生成式AI風潮,政府及企業關注如何運用生成式AI以提高工作效率、生產力,然而,大型生成式AI需要龐大運算相關資源訓練、推論,主要為雲端服務方式,不只帶來高額成本,政府或企業將資料上傳雲端,也容易產生外洩的風險,因此,生成式AI從雲端落地到企業機房,甚至行動PC,除了降低使用成本,也能為政府機關或企業降低資料外洩的風險。
行動處理器競相提高AI運算能力,加速AI PC願景成形
鑑於生成式AI落地需求,處理器業者開始整合NPU(Neural Processing Unit)或Neural Engine,蘋果在自家Mac電腦使用的M系列晶片,整合Neural Engine神經網路技術,提高對機器學習應用的處理能力,去年10月底最新推出的M3系列晶片,搭載16核心的Neural Engine,相較M1最高提升60%,達到18 TOPS,以加速AI及機器學習的工作流程處理。
x86處理器大廠英特爾也不落人後,在2023年喊出AI PC口號,意欲在PC市場帶動PC的AI應用,去年12月推出Core Ultra行動PC處理器,整合NPU,以專門處理長時間執行的低功耗AI負載,和CPU、GPU在AI任務處理上互補,特別是相當重視續航力的筆電,新的AI引擎NPU能源效率較前一代提升2.5倍。
英特爾執行長Pat Gelsinger高喊個人電腦正式進入AI PC時代。揭露英特爾在PC市場的新戰略,該公司也發布AI PC加速計畫,希望促成2025年超過1億的PC上實現AI應用,為了達成此一目標,英特爾和100多家軟體供應商合作開發PC上的AI應用,例如Adobe、CyberLink、DeepRender、Audacity、BlackMagic等等。
AMD則是在去年12月最新的Ryzen 8040,強調AI處理效能,整合Ryzen AI NPU技術,較前一代提升1.6倍AI處理效能,並提供Ryzen AI軟體,來加速在PC上建構及部署機器學習模式。
微軟也預告Windows將支援新一代行動PC處理器,未來可透過處理器的NPU,加速生成式AI助理Copilot效能,以提升內容生成及問題答覆等用戶體驗。
讓PC具備執行生成式AI小模型應用能力
這波趨勢不只是一般AI PC應用,也涵蓋生成式AI,讓一定參數規模以內的生成式AI應用也能在PC上離線執行。
英特爾展示在Core Ultra筆電上利用生成式AI應用,生成類似美國流行天后Taylor Swift的曲風的歌曲,此外,還展示下一代處理器Lunar Lake,執行Stable Diffusion生成圖像。根據其測試結果,利用NPU執行Stable Diffusion,其處理時間及耗電都要優於不使用NPU的情形,整體效率提高7.8倍。英特爾指出,目前AI PC適合處理參數低於10億的AI小模型推論任務,例如Whisper語音轉文字模型,更大規模的參數,例如10到200億參數,則需要一臺x86伺服器執行,更大的參數規模則需要多CPU或GPU架構的伺服器,甚至由數據中心來處理。
換言之,對企業而言,隨著行動PC的AI推論處理效能增加,參數較少的小型生成式AI應用可由行動PC處理,提高員工工作效率及生產力,而較大型的生成式AI模型可由企業機房處理,確保機敏資料在可控環境處理,至於數百億甚至千億以上參數的超大型LLM模型,則可使用雲端服務。依據AI模型的大小規模、資料安全及成本,在終端裝置、機房、雲端服務執行。
IDC指出,AI PC在PC品牌業者、作業系統、晶片業者競相將AI推論能力從雲端擴展至終端裝置。生成式AI自從2023年引起全球關注,各種規模企業都在研究該技術,使員工如何在其業務中發揮生成式AI應用。未來隨著2025年Windows 10停止支援及 GenAI 應用帶動下,AI PC的成長動能將先在商業市場發酵,2026年底將有80%用於商業用途的新採購個人電腦搭載專為地端執行LLM應用設計的AI晶片,提高工作效率及生產力、減少延遲、確保資料安全,同時降低成本。
更進一步來看,不只是AI PC,智慧型手機也鎖定生成式AI應用,聯發科、高通最新一代行動晶片紛紛主打生成式AI,例如聯發科的天璣9300及8300,以及高通的Snapdragon 8 Gen 3,除了強調AI算力效能之外,還有降低耗電,使智慧型手機能夠處理一定參數內的生成式AI應用。例如Snapdragon 8 Gen 3強調可支援超過100億參數,平均每秒15個Token指令,可執行INT 4精度及Transformer的大型LLM。
熱門新聞
2024-10-13
2024-10-13
2024-10-11
2024-10-11
2024-10-11
2024-10-12