Tri Dao
重點新聞(1201~1207)
Mamba Transformer 運算資源
Mamba橫空出世引起AI社群關注,克服Transformer運算缺陷還具5倍吞吐量
自2017年Google釋出Transformer架構以來,它就成為大模型的主流架構,不只是BERT、T5,就連GPT系列模型、Gemini等大型語言模型(LLM)都以Transformer為基礎。但最近,來自卡內基美隆(CMU)大學和Together AI的專家Albert Gu和Tri Dao共同打造Mamba架構,克服了Transformer的運算效率缺陷,挑戰Transformer的霸權地位。
這是因為,Transformer模型中的自我注意力機制,其運算資源會隨上下文長度增加而呈平方倍增長,比如上下文增加20倍,所需的運算資源就會達到400倍,非常龐大。也因此,Tri Dao表示,Transformer的注意力機制難以擴展到長序列任務。為克服這個問題,至今有不少專家提出高效能注意力機制改善方法,但通常伴隨模型表現不如原本的代價。
而Mamba採用結構化狀態空間模型(SSM),所需運算量可隨序列增加而呈線性增長,可處理數百萬個Token的長序列上下文運算,解決Transformer的運算效率低下問題,還能實現5倍吞吐量。Mamba可作為通用序列模型的骨幹模型,團隊測試,Mamba在語言、音訊和基因組學等多種任務中達到高階(SOTA)性能,特別是在語言建模部分,Mamba-3B模型表現不只比同參數量的Transformer好,還與2倍規模的Transformer相當。(詳全文)
Gemini Google GPT-4V
GPT-4V最強對手來了,Google多模態Gemini模型登場
Google正式推出原生的多模態大型語言模型Gemini,可同時支援文字、圖片和聲音的輸入。在32項AI測試中,有30項的評分超越了OpenAI的GPT-4V。Google預計推出3種Gemini版本,包括模型最大的Ultra版、通用性最廣的Pro版,以及可在手機裝置上運作的Nano版。
Google展示一段實測影片,來呈現Gemini多模態的回答能力。他們讓Gemini一邊看影片,一邊解讀畫面內容,包括展示人員即時手繪,Gemini能給出每一個動作所對應的意義,如這是隻鴨子,現在在水上游泳,有藍色外觀。當展示人員拿出實體玩具鴨子按壓發生聲音時,AI甚至打趣的說,真的拿出了呱呱叫的鴨子,AI還能糾正展示人員對於「鴨子」中文發音的重音位置錯誤。
不只能同時分辨和理解文字、圖片和聲音,Gemini還能分辨、解釋幾種熱門開發語言,包括Python、Java、C++和Go語言。Google也用Gemini打造了新版的程式碼生成系統AlphaCode 2,比2年前的第一代進步許多,可解決兩倍的問題。(詳全文)
Meta AI聯盟 開源
Meta、IBM等巨頭合組開源AI聯盟
Meta聯手IBM,在12月5日宣布與英特爾、AMD、Linux基金會等組織跨界合組AI聯盟,推動AI開源碼技術的開發和共享,來推動負責任AI的發展。這個組織創始成員除了Meta、IBM,還有50多個組織成員,包括英特爾、AMD、Dell、Stability AI、Hugging Face、甲骨文、Red Hat、Sony、ServiceNow、Linux基金會等業者,美國航太總署(NASA)、歐洲核子研究組織(CERN)、醫學中心Cleveland Clinic,以及哈佛大學、耶魯大學、洛桑聯邦理工學院、加州大學柏克萊分校、東京大學等,但Google、微軟、OpenAI和AWS等並未加入。
AI聯盟的目的是,藉由公開和分享,來避免如ChatGPT這類封閉式AI引發的偏見、假資訊、幻覺和漏洞等風險。該聯盟的開發計畫包括打造安全工具與標準,像是建立AI安全與信任的工具型錄,並協助將這些工具推廣到廠商,再來是打造解決氣候、教育等問題的多模態、多語言的科學模型,此外還要建置強大的AI硬體加速器,並協助全球性的AI技術養成。另外也要開發AI教育、規範內容,並推動負責任AI開發的宣導活動。(詳全文)
TPU 超級電腦架構 資源管理
Google發表新一代TPU和超級電腦架構
12月7日,Google發表了最新張量處理器Cloud TPU v5p、超級電腦架構AI Hypercomputer以及資源管理工具Dynamic Workload Scheduler,來加速AI任務的執行和處理。進一步來說,今年11月,Google才推出Cloud TPU v5e,最近發表Cloud TPU v5p,前者強調成本效益,後者則號稱是目前最強大的TPU。每個TPU v5p pod具備8,960個晶片,晶片間的互連速度達4,800 Gbps,相較於上一代的TPU v4,提供了2倍的FLOPS和3倍的高頻寬記憶體(HBM)。
至於AI Hypercomputer架構,整合了最佳化效能的硬體、開源軟體、主流機器學習框架,比如JAX、TensorFlow、PyTorch等開源機器學習框架,或Multislice Training、Multihost Inferencing等軟體,且還整合GKE與Google Compute Engine。就資源管理工具Dynamic Workload Scheduler來說,它支援Cloud TPU與Nvidia GPU,可同時調度所需的加速器,其中的Flex Start還能用來微調模型、實驗、較短的訓練任務、蒸餾、離線推理和批次任務,並在準備執行請求GPU與TPU容量,是一種相對經濟的選擇。(詳全文)
蘋果 MLX Apple Silicon
蘋果公布Apple Silicon平臺專用AI框架MLX
在微軟和英特爾等業者大肆宣傳AI PC概念的同時,向來較沈默的蘋果也公布了AI框架MLX,可在Apple Silicon平臺上執行。MLX類似Python常用框架NumPy的陣列框架,能提高在Apple Silicon平臺上執行ML任務的效率和彈性。
蘋果指出,MLX的設計靈感來自PyTorch、Jax和ArrayFire等框架,MLX陣列位於共享記憶體中,因此可執行在任何支援的裝置上,如GPU和CPU,無需複製資料。MLX有功能完整的C++ API,且有3大特點,如在自動微分、自動矢量化和運算圖表優化部分,具有可組合函式轉換,再來是MLX的運算為惰性求值,第3個特點是多裝置支援,可在支援的CPU、GPU上執行運算。目前,開發者可從GitHub網頁下載MLX。(詳全文)
思科 防火牆 規則管理
思科推AI助理,簡化防火牆規則管理
思科最近推出資安AI助理(Cisco AI Assistant for Security),能提供自動化規則配置、協助用戶分析和決策,來強化企業防火牆管理。企業防火牆的用意是保護網路免受惡意流量侵害,但防火牆規則卻不好管理,比如普通防火牆就有數千條規則和處理流量,其中許多規則過時、冗餘甚至矛盾。於是Cisco打造LLM防火牆規則管理助理,用戶可以自然語言管理防火牆,如排除故障和配置設定、找出可疑活動等。思科這款助理具多種功能,主要能在Cisco雲端防火牆管理中心與Cisco Defense Orchestrator(CDO)發揮作用,解決設定和維護複雜政策和防火牆規則的挑戰。
此外,Cisco還推出適用於所有防火牆模型的AI加密能見度引擎,經數十億個樣本訓練而成,不需解密流量,就能判斷流量是由哪一個作業系統以及客戶端應用程式產生,直接從加密流量找出惡意軟體傳輸。(詳全文)
AWS 生成式AI IDE
AWS新推擴充套件,用AI簡化雲端程式架構設計流程
AWS正式推出Application Composer整合開發環境的擴充套件,可讓開發者直接在IDE使用Application Composer功能,以視覺化操作方法,更有效地設計和部署雲端應用程式,還簡化開發流程。
AWS在2022年推出視覺化工具Application Composer,讓開發者透過拖放操作,連接和分組AWS服務,更簡單地設計和開發應用程式架構。這次新推出的擴充套件,則能讓開發者在熟悉的IDE工具中,運用相同的視覺化拖放操作體驗,快速建立想法原型。而且,新擴充套件還能和IDE中的各種工具整合,提供即時生成的程式碼模板,以及AWS無伺服器應用模型整合,方便管理和部署無伺服器應用程式。Application Composer擴充套件還整合生成式AI,能即時生成程式碼建議,來加速開發工作。(詳全文)
JetBrains IDE 程式開發
JetBrains新AI程式開發助理整合自家IDE
擁有IntelliJ IDEA、PyCharm等多款旗下IDE產品的JetBrains,最近推出程式開發AI助理,要提高開發者軟體開發的效率和品質。JetBrains AI助理能解釋程式碼、回答程式碼相關問題,也能生成文件或轉換程式語言等工作。
JetBrains透過將AI助理融入使用者工作流程,善用IDE對開發者程式碼的理解,掌握整體開發上下文和專案結構,來對AI助理底層語言模型提供詳細資訊。而且,開發者能以開放式聊天介面和AI助理對話,查詢特定函式功能,或編寫、除錯程式碼。此外,AI助理也能在重構任務幫上忙,雖然JetBrains IDE本身也有重構功能,但AI助理能進一步提供潛在程式碼的重構建議,並解釋原因。目前,該AI助理為訂閱服務,可在IntelliJ IDEA、PyCharm、PhpStorm、ReSharper、Fleet等JetBrains IDE中使用。(詳全文)
圖片來源/Albert Gu和Tri Dao、Google、思科、AWS、GetBrains
AI近期新聞
1. 微軟Copilot升級至DALL-E 3與GPT-4 Turbo
2. 群創用AI改造智能超市,導入智慧購物車、即時分群廣告推播及互動式酒促客服體驗
3. Meta強化Meta AI、推出AI圖片生成網頁版、研發浮水印
資料來源:iThome整理,2023年12月
熱門新聞
2024-12-02
2024-11-29
2024-12-02
2024-11-30
2024-12-02