Google DeepMind用JAX框架打造一款托克馬克核融合裝置模擬器TORAX,目標是要精準、快速的進行前向建模、脈衝設計、軌跡優化和控制器設計。

圖片來源: 

螢幕截圖

重點新聞(0607~0613)

 核融合     JAX     DeepMind  

Google DeepMind打造核融合裝置模擬器TORAX,還開源了

最近,Google DeepMind開源一款可微分的托卡馬克(Tokamak)核心運輸模擬器TORAX,採JAX框架,以Python實作。這款TORAX結合了物理模組和機器學習模型,可用來計算托卡馬克核融合裝置中,離子熱傳輸、電子熱傳輸、粒子傳輸和電流擴散的耦合方程式。

尤其JAX框架具有即時編譯和自動微分的優勢,TORAX可快速執行運算,也能實現梯度最佳化和基於Jacobi矩陣的PDE求解器。而且,JAX對類神經網路的開發和推論支援,也大幅促進了物理模型和機器學習代理的耦合。團隊也以RAPTOR碼來驗證TORAX,證明模擬等離子分布的結果是一致的。Google DeepMind表示,TORAX提供強大、多功能的工具,可用來實現快速且準確的前向建模、脈衝設計、軌跡優化和控制器設計,目前已在GitHub上開源,要促進更多核融合的研究。(詳全文)

 Transformer     CNN     局部性  

Meta AI證實Transformer能跳脫鄰近局部性框架

日前,Meta AI和阿姆斯特丹大學發表最新研究,發現Transformer模型不必按照電腦視覺模型長年遵守的鄰近局部性(Locality),也能直接處理圖像中的單個像素,且表現更好,雖然因序列更長、運算成本更高。

進一步來說,傳統電腦視覺架構,如卷積網路(CNN)、ViT等,都假定圖片中的鄰近像素更相關,並透過卷積核、池化操作和圖像切片等技術來計算鄰近像素,也因此出現將圖像分割為多個16x16的區塊、將這些區塊視為1個Token來計算的作法。這就是長久以來的鄰近局部性基本假設。

但Meta AI和阿姆斯特丹大學以Transformer實驗,將每個像素視為一個個Token來處理,摒除了圖像2D網格結構的假設。他們將這種模型稱為PiT,經測試,PiT在物件分類、圖像生成等任務表現優異,甚至在某些領域,還大幅優於傳統方法。團隊表示,他們並非提倡以PiT取代ViT,而是證明Transformers透過對圖片單一像素運算(而非16×16的區塊),可達到非常好的表現,意味著模型能從單一像素中捕捉更多訊號。而這一發現,也挑戰了電腦視覺任務必須要有局部性的傳統觀念。(詳全文)

  糖尿病     Google Cloud     健保署  

健保署聯手Google要打造糖尿病風險預測AI

健保署日前宣布聯手Google,展開為期5年的合作,要使用Google雲端算力資源、MedLM基礎模型、Vertex AI平臺和資料處理工具等,來與國衛院共同打造專屬臺灣的疾病風險預測模型,第一波瞄準糖尿病風險預測模型。這是因為,在臺灣每10人就有1人罹患糖尿病,且其併發症嚴重,如心血管疾病、腎病、視網膜及神經病變等,需及早介入預防與治療。

在模型訓練資料部分,健保署會採用去識別化的性別、年齡、家族病史、風險資訊、國際疾病分類代碼ICD-10和檢驗檢查等資料,同時透過國衛院專業知識找出更多參數,來訓練糖尿病風險預測模型。完成後,模型會透過健保署健保雲執行,醫療院所醫師上傳資料到健保雲,模型運算後會傳送結果給醫師和民眾。這個風險預測分2種,一是針對未患糖尿病的民眾,模型會提供10年內、5年內和1至3年內的罹病風險,另一是患糖尿病民眾,模型會提供數種風險預測,如總住院率、特定原因住院率、死亡率、慢性病罹患率等。

其中,風險高低會以燈號表示,作為分級醫療參考,比如綠色為低風險、黃綠色為有風險、黃色是中風險、黃橙色中高風險、紅橙色高風險,紅色則是嚴重風險。風險較低的民眾可建議至衛生所、門診就醫,黃色燈號則可轉介至地區醫院、黃橙色至區域醫院,高風險和嚴重風險則至醫學中心,以此達到分級醫療目標。石崇良表示,健保署與Google聯手打造的糖尿病風險預測AI是第一波應用,藉此拋磚引玉,來推動、擴大到更多慢性病和三高疾病風險管理。(詳全文)

  Nvidia    HelpSteer2      LLM  

Nvidia開源HelpSteer2資料集,可低成本確保LLM與人類偏好一致

最近,Nvidia開源一款資料集HelpSteer2,可用來訓練先進的獎勵模型,來引導大型語言模型(LLM)產出與人類偏好一致的回答。這個資料集共有10,681組提示和回答,並由1,000多名美國註釋者按Likert量表,對5種屬性標註。

此團隊表示,他們用HelpSteer2資料集來訓練自家3,400億參數的Nemotron-4基本模型後,在RewardBench主要資料集測試,達到了最先進的92.0%準確率,優於任何現有的開放和專有模型。而且,這個資料集才1萬多個提示-回答組,比起現有的偏好資料集(如HH-RLHF)動輒數百萬組,大幅降低了運算成本。 團隊表示,這個資料集可用來對齊Llamna-3-70B等這類LLM,來提高與人類偏好的一致性。(詳全文)

  蘋果     ChatGPT     Apple Intelligence  

整合ChatGPT!蘋果新推Apple Intelligence智慧功能

蘋果在日前舉行的WWDC開發者大會上發表AI服務Apple Intelligence,將進駐macOS Sequoia、iOS 18與iPadOS 18等蘋果作業系統。同時,蘋果也宣布與OpenAI合作,將在Siri、Writing Tools中整合GPT-4o驅動的ChatGPT。

進一步來說,這款Apple Intelligence提供多項AI功能,包括寫作工具Writing Tools、圖像創作工具Image Playground、可客製化表情符號的Genmoji,以及強化的Siri。其中,Writing Tools可讓使用者在郵件、備忘錄、Pages或第三方的程式中,改寫、校對或摘要文本,還能透過Compose功能來存取ChatGPT的圖像工具,可在文字中嵌入圖像。

再來,Image Playground將內建於訊息、Keynote、Pages等蘋果原生應用程式中,並支援採用Image Playground API的第三方程式,使用者可在幾秒內以文字描述、所挑選的主題、服裝、配件、地點或個人來創作圖像,還能以動畫、插圖或素描的方式呈現。Genmoji則允許使用者以文字描述來客製化表情符號。Apple Intelligence也改善了照片/影片搜尋功能,能以自然語言搜尋特定照片,例如「臉上貼著貼紙的Katie」,或找到影片中的特定段落。(詳全文)

  PyTorch     漏洞     Huntr  

開源機器學習框架PyTorch存在重大漏洞

今年4月,有研究者向漏洞懸賞平臺Huntr通報開源機器學習框架PyTorch存在重大層級漏洞CVE-2024-5480,CVSS風險評分達到10分,影響2.2.2版以前的PyTorch。對此,Huntr向通報者提供1,500美元獎勵,並在日前公布細節。

這漏洞位於torch.distributed.rpc框架,開發者使用該框架執行RPC呼叫時,該框架未驗證相關功能是否如開發者預期執行,因此攻擊者能藉機透過網路使用RPC呼叫Python功能,進而載入Python程式庫並執行任意命令。這個框架通常用於分散式訓練,如增強式學習、模型平行化等,因此影響範圍相當廣泛。研究人員也提供概念性驗證(PoC)程式碼,並指出該漏洞可能帶來的影響:由於攻擊者可將其用來遠端攻擊分散式訓練的master節點,一旦這些節點遭到入侵,對方就有機會竊取與AI有關的敏感資料。(詳全文)

  ChromeOS     Android     AI  

要加速AI創新應用,ChromeOS將重整Android技術架構

Google日前宣布,ChromeOS很快就會重整Android技術架構,包括把Android Linux核心和Android框架當作ChromeOS基礎,來加速ChromeOS執行AI創新應用或其他新功能的速度。

其實ChromeOS一直在向Android靠攏,Google自2016年就讓ChromeOS用戶執行Android程式,隔年更宣布採用ChromeOS的所有Chromebook筆電都將支援Google Play和Android程式。此外,自今年3月發表的ChromeOS 122起,ChromeOS也開始改用Android的藍牙架構Fluoride。Google解釋,把Android技術架構導入ChromeOS,可加速ChromeOS核心的AI創新腳步,簡化工程任務,有助於手機等各種裝置與Chromebook更相容。(詳全文)

  OpenAI     甲骨文     微軟  

OpenAI採用甲骨文雲端為基礎架構

甲骨文和OpenAI宣布合作,OpenAI將採用甲骨文雲端基礎架構(OCI),來擴展微軟Azure AI的基礎架構,加速執行模型推論等任務。這項合作涉及OpenAI、微軟Azure和甲骨文等3家業者,目的是要OCI作為類似備援方案,可從微軟Azure AI擴展到甲骨文雲端,來提供負載更高的處理能力。

其中,光是OpenAI的ChatGPT AI服務,每月用戶數就超過1億,是最吃運算資源的任務。這項合作是讓OpenAI使用「OCI基礎架構上的Azure AI平臺」,來執行推論和其他作業,OpenAI最尖端的模型仍執行在與微軟合作的超級電腦上。(詳全文)

圖片來源/Meta AI、Apple

攝影/王若樸

  AI近期新聞 

1. 微軟將預設關閉Copilot+ PC中的Recall功能,以平息隱私疑慮

2. Databricks聯手Shutterstock推出企業級文生圖AI服務ImageAI

3. 杜拜發起100萬提示者計畫(One Million Prompters),要在3年內培訓100萬名懂提示工程的AI人才

資料來源:iThome整理,2024年6月

熱門新聞

Advertisement