蘋果
重點新聞(1215~1221)
DRAM 蘋果 LLM
蘋果提出新方法,成功讓邊緣裝置執行DRAM兩倍大的LLM
蘋果最近提出一種新方法,來解決行動裝置DRAM記憶體不足、難以執行大型語言模型(LLM)的難題。進一步來說,LLM雖有出色的語言處理表現,但需耗費大量運算資源和記憶體,很難在資源有限的邊緣裝置上執行,特別是DRAM有限的行動裝置。
於是,蘋果團隊結合2種技術,將模型參數儲存在快閃記憶體上,再依需求,將參數傳送到DRAM,讓行動裝置也有辦法執行原本DRAM無法負荷的LLM應用。這2種技術分別是視窗化(Windowing)和列行合併(Row-column bundling),前者透過重複使用已活化的神經元,來減少資料傳輸,後者針對快閃記憶體的序列資料存取優勢,來增加快閃記憶體讀取資料的大小。團隊測試,採用這些方法,可執行高達DRAM兩倍大的模型,而且與單純的CPU和GPU加載方法相比,推理速度分別提高了4到5倍和20到25倍。
這項研究意義重大,因為蘋果計畫將生成式AI功能整合到iOS 18作業系統中,來強化Siri和訊息App體驗,更有效地回答問題和自動完成句子。不只蘋果,三星最近也推出可在行動裝置上執行的語言模型Gauss,並計畫納入2024年初要發布的Galaxy S24手機中,他們還打算將這種語言模型整合到其他手機、筆電和平板電腦等設備。另一方面,Google也推出Gemini Nano低階版語言模型,可在裝置上執行,且預計結合Google Pixel 8手機,要提供錄音App的摘要功能和Gboard智慧鍵盤的智慧回應等功能。(詳全文)
LLM Google 影片生成
Google發表影片生成模型VideoPoet
大型語言模型(LLM)不只能用來生成文字、圖片,還能生成影片。最近,Google研究院就發表了影片生成模型VideoPoet,可執行一系列影片生成任務,包括文字轉影片、圖片轉影片、產生不同風格的影片、影片修復和外擴,以及影片轉音檔等。
有別於現有模型分段的做法,VideoPoet的特別之處在於,只用單一個LLM架構就整合多種影片生成能力。VideoPoet以多種標記器(Tokenizer)訓練而成,像是讓模型理解影片和圖片的MAGVIT V2、學習音訊的SoundStream等。
經測試,團隊發現,VideoPoet能根據文字提示生成更貼切的影片,也就是文字保真度和動作趣味性比Pika、Stable Video Diffusion、Imagen Video、RunwayML等同類模型表現要好。此外,VideoPoet也擅長零樣本學習,能根據單一文字或圖片輸入,來產出良好且連貫的影片。(詳全文)
GAI LLMOps Google
Google要打造從端到雲全套GAI工具鏈
Google在12月發表不少生成式AI工具,不只有大語言模型Gemini,也在AI開發套件Vertex AI上釋出企業用Gemini Pro模型預覽版API,開放企業免費試用。同時,他們也推出Web版AI Studio開發工具,將自家MLOps開發平臺Vertex AI轉為聚焦企業GAI開發的LLMLOps平臺,要涵蓋開發、部署到維運更多模型生命周期階段的需求。
進一步來說,就Gemini而言,Google發表高階Ultra版、中階Pro和用於行動裝置的低階Nano版模型等3種版本,Ultra版將可同時辨識和理解文字、圖片與聲音,也能處理幾種熱門開發語言,如Python、Java、C++。而先上架的Gemini Pro模型API預覽版,就是中階款,包括只支援文字輸入和生成的Gemini Pro,以及Gemini Pro Vision端點這2種API,後者可處理文字和影像輸入,但只輸出文字。
Google還宣布多項Vertex AI新功能,包含模型增強、與外部資料或API的互動、多模型協作框架、自動化模型評比和更多GAI控制機制。其中,Vertex AI增強工具的主要功能有強化搜尋常用的嵌入檢索機制、設定配置就能快速建置的RAG工具,能串接外部向量資料庫,再以Vertex AI使用Gemini來實現多模態嵌入檢索。Vertex AI也將提供到18種GAI負責任控管機制,來把關生成內容,另也會提供3項模型與外部環境互動的能力,不只有8月推出的預覽版外掛機制(Extension)、讓生成式AI模型即時取得外部資訊,還會新增函數呼叫功能,可將Gemini生成結果自動匯出成一支API或函式程式。另一項新功能是多模型協作調度,Vertex AI將可用來調度多個模型互相搭配,例如在手機上用Nano版模型接收使用者口說的問題,先將問題聲音轉成文字後,再拋轉到雲端的Pro版模型來生成回答、傳給使用者。不過,Google還沒揭露調度框架釋出時程。(詳全文)
OpenAI 小模型 監督
OpenAI最新研究:人類有辦法控制比自己更聰明的AI
人類該如何有效監督比自己還聰明的AI?這是OpenAI今年中提出的問題。他們在7月組隊、展開超對齊(Superalignment)研究,最近揭露最新成果,成功以小模型來監督大模型,在人類開發和管理超級AI的難題上,提供一個新視角。
他們採用簡單的方法鼓勵模型,使強模型不受弱監督者的能力限制,甚至在必要時反對弱監督者意見。因此在自然語言處理任務中,他們以GPT-2模型監督GPT-4,產生的模型能力通常介於GPT-3和GPT-3.5,許多GPT-4的能力仍可發揮。這說明了,即便在弱監督的指導下,強大的AI模型也能超越其限制,達到更高水準的表現。亦即,即便人類身為弱監督者,能力和理解可能受限、無法良好地評估強模型,但身為弱監督者仍有能力引導和改善強模型表現,揭示了人類控制先進AI系統的可能性。(詳全文)
Mixtral 8x7B Llama 2 SMoE
微軟更新DirectML,開始支援NPU
微軟預告2024年將更新DirectML,將支援神經處理單元(NPU)。NPU是一種專為機器學習工作負載設計的處理單元,適合用於計算密集、不需圖型介面互動的工作負載,目前英特爾新款Core Ultra處理器晶片就內建NPU,也會是第一個可在Windows上使用DirectML技術的NPU。
DirectML是一個低階且硬體抽象化的API,能直接存取GPU等各類加速器,來執行機器學習計算。DirectML也能和其他機器學習框架整合,比如跨平臺推理引擎ONNX Runtime、Windows機器學習模型最佳化工具Olive等。得到DirectML支援的NPU,還能加入ONNX生態系,使用如ONNX Model Zoo模型、英特爾Neural Compressor與ONNX Runtime等工具。這次的新支援,對開發者來說,能透過ONNX Runtime等API,將AI模型轉移到英特爾NPU上執行。支援NPU的DirectML預計在2024年初,與最新的ONNX Runtime版本一起釋出。(詳全文)
Azure AI 小語言模型 微軟
微軟Azure AI再添新模型,Phi-2小語言模型也上架
最近,微軟Azure AI再添生成式AI模型,包括在Azure AI中,公開預覽版的模型即服務(MaaS)平臺納入Meta最新模型Llama 2,在Azure OpenAI服務和Azure AI Studio工具中提供公開預覽版的模型OpenAI GPT-4 Turbo with Vision,另也在Azure AI模型市集中上架6個新模型,包括前陣子新發布的小型語言模型Phi-2。
Azure AI的MaaS平臺是微軟在今年11月Ignite大會中發表的新服務。微軟解釋,在Azure AI中,企業可在雲端執行個體中建立VM來部署模型,但有些企業不想處理基礎設施工作,因此催生出MaaS平臺,將模型視為API端點,來讓用戶呼叫模型,猶如使用Azure OpenAI服務一樣,這次在MaaS平臺中新添了Meta的Llama 2系列模型。而在模型市集中,除了新增Phi-2,還納入了文字生成模型DeciLM 7B、文字生成圖像模型DeciDiffussion、程式碼生成模型DeciCoder、Orca2和Mixtral 8x7b等模型。(詳全文)
Imagen 2 Google Vertex AI
Google推出文字生成圖像模型Imagen 2
Google最近在自家模型開發和部署平臺Vertex AI中,正式上架文字生成圖像模型Imagen 2,供等待審核的使用者取用。Google指出,Imagen 2的特點包括更高品質的圖像生成、更精準的文字渲染、可製作Logo、產出更貼切的圖說和看圖問答、多支援6種語言,以及符合Google負責任AI原則。其中,精準的文字渲染,能讓生成的圖像更貼近文字提示,而支援的語言除了英文,還新添中文、印度語、日文、韓文、葡萄牙文和西班牙文等。
就安全性來說,Google在Imagen 2內建安全機制,確保產生的圖像符合規範。例如,生成圖像整合DeepMind的SynthID浮水印功能,列入白名單的使用者可用來生成肉眼不可見的浮水印。而且,Google還強調版權賠償方法,意味著使用者不必擔心以Imagen 2生成的作品,可能侵害著作權。(詳全文)
AI評測中心 數位部 公平性
數位部啟動AI產品與系統評測中心,2024年要成立驗證機構
在本月初,數位發展部正式啟動AI產品與系統評測中心,要建立公平、可靠的AI產品和系統評測機制,以及可信任AI的發展環境。數位部表示,AI評測中心旗下有制度推動委員會、技術審議小組,將負責制定AI產品與系統評測制度、AI產品與系統評測指引。他們還預告,要在2024年成立驗證機構、測試實驗室,來提供AI評測與驗證服務。
目前,AI評測中心已先建立大語言模型的初步評測項目,包含安全性、可解釋性、彈性、公平性、準確性、透明性、當責性、可靠性、隱私及資安等10大類,目前也陸續展開測試,如國科會的TAIDE模型。數位部指出,AI評測中心接下來會推動國內AI模型功效評測工具,並針對不同產品、系統和服務類別,參考國際試驗方法,來發展臺灣的評測工具與系統。(詳全文)
圖片來源/Google、OpenAI、微軟
AI近期新聞
1. Google用機器學習技術最佳化編譯器配置,強化模型執行效率
2. Mistral AI 將於 2024 年開源 GPT-4 級別模型
資料來源:iThome整理,2023年12月
熱門新聞
2024-11-10
2024-11-10
2024-11-11
2024-11-10
2024-11-08
2024-11-08