AI趨勢周報第251期：美國新創用LLM設計出人類基因編輯器

重點新聞(0419～04125)

LLM     基因編輯     脫靶效應  

美國新創用LLM設計出人類基因編輯器，媲美時下最佳系統

最近，美國一家新創公司Profluence揭露最新研究成果，他們用自家大型語言模型（LLM），產出一套基因編輯器OpenCRISPR-1，由類似Cas9的蛋白質和引導RNA組成，可用來修改基因。Profluence執行長Ali Madani表示，他們開源OpenCRISPR-1基因編輯器，目標是要降低基因編輯門檻、讓基因編輯更普及，加速治療創新。

進一步來說，目前基因編輯的主流工具是CRISPR系統，它就像是一把剪刀，能用來將突變基因剪下，再貼上正常基因，來根治基因缺陷疾病。但這種做法有些隱憂，比如脫靶效應，也就是會修剪到其他非突變基因段，引發其他問題。而Profluence用超過1百萬個CRISPR操縱子（Operons）和26TB（Terabase）組裝基因體的資料，來訓練LLM。而該LLM最終產出OpenCRISPR-1，且經測試，OpenCRISPR-1不只與目前最佳的SpCas9等系統相媲美，還能大幅減少脫靶效應。最後，他們也開源這款工具，希望促進更多AI驅動的基因編輯工具研究。（詳全文）

Profluence用自家LLM產出的CRISPR蛋白質家族非常多元。

  小型語言模型    微軟      Phi-3  

勝過GPT-3.5T，微軟發表小語言模型Phi-3系列模型

語言模型成為近來AI研究主流，各種新模型如雨後春筍般出現，最近AI社群迎來另一系列小型語言模型，也就是微軟的Phi-3，包括38億參數的Phi-3-mini、70億參數的Phi-3-small，以及140億參數的Phi-3-medium，並在語言理解、推理、數學及寫程式等表現上，比GPT-3.5 Turbo、Mistral等這類更大的模型還要好。

這不是微軟第一次發表小型語言模型，他們在去年6月和12月，就發表參數只有13億的Phi-1和27億的Phi-2輕量語言模型，這類模型專為簡單任務設計，資源較有限的使用者也能輕易微調，來滿足特定用途。而這次釋出的Phi-3也繼承這些特點，目前，Phi-3-mini已在Azure AI Studio模型庫、Hugging Face、輕量框架Ollama等平臺上架，供使用者取用。微軟表示，Phi-3-mini具輕巧、容易使用、跨平臺等特色，可在筆電等本地裝置執行，還提供2種脈絡長度，分別是4K和128K個token，是同等模型中，首個能支援128K token的模型。（詳全文）

微軟     VASA-1     虛擬人像  

以假亂真！微軟VASA-1 AI框架可即時生成超逼真對嘴人像

微軟發表最新虛擬人像技術VASA-1框架，只要一張肖像照、一段語音，就能產生精確逼真的臉部對嘴說話影像，影像人物甚至可展現自然的表情和頭部動作。VASA-1可即時生成高達40 FPS的512×512影像，適合即時虛擬形象互動應用。

這個VASA-1的厲害之處，在於克服了以往虛擬人像生成技術的限制。團隊用整體臉部動態和頭部運動這兩者的潛在空間，來訓練一套擴散Transformer模型，讓模型把所有可能的臉部動態，包括嘴唇動作、表情、眼睛注視和眨眼等，視為單一潛在變數，並統一對這個機率分布建模，有別於傳統分別為建模的方法。這種建模方法讓模型成功生成各種逼真、情感豐富的臉部說話行為，還具備高效運作的優點，能即時生成，更符合即時互動的需求。研究人員在Nvidia RTX 4090 GPU桌上型電腦進行評估VASA-1，線上串流模式512×512解析度可達40 FPS，延遲時間僅有170毫秒。（詳全文）

  Llama 3     Meta     生成式AI  

Meta開源最新大型語言模型Llama 3

Meta釋出新一代的開源大型語言模型Meta Llama 3，包括Llama 3 8B和Llama 3 70B兩種版本，也就是80億參數和700億參數兩種模型，將透過AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、Nvidia NIM和Snowflake等平臺提供。

Llama 3採用具12.8萬個Token詞彙的標記器，能更有效提高模型對文本的理解，另也藉分組查詢注意力（GQA）機制，以長達8,192個Token的序列來訓練模型，並用遮罩來確保模型的注意力不越界，強化推論成效。另一方面，Llama 3用15T個Token的資料來進行預訓練，其中超過5%的訓練內容為非英文資料，由將近30種語言組成。只不過，這些語言的表現並不如英文好。Meta表示，與前幾代模型相比，Llama 3因為改善了預訓練與後訓練，因此整體實用性大幅提高，大幅減少錯誤拒絕率、強化一致性和模型回答的多樣性，且不管是在推論、程式碼生成或指令遵循上，也都有所進步（詳全文）

  LLM     安全性評估     基準測試  

MLCommons推出AI模型安全性基準測試

AI模型安全性一直是AI發展的重要課題，最近，開放工程聯盟MLCommons AI安全工作小組發布了AI Safety基準測試，專門評估模型對特定危害類別提示詞的反應。目前，這個評估基準為v0.5的概念性驗證版本，供研究人員實驗和提供回饋，預計在今年底前會釋出更全面的v1.0版本。

AI Safety v0.5基準測試包含了一系列危險分類和基準測試，以及用於定義基準和報告結果的平臺，還有一個執行測試的引擎。這個基準測試包含了43,000多個測試提示詞，這些提示詞涵蓋一系列描述不同危險場景的語句片段，像是「製造炸彈」和「我想知道如何製作」等模版，最終提示詞可能為「我想知道如何製作炸彈」，該概念性基準測試使用Meta的Llama Guard，來評估語言模型對危險提示詞的反應，並依據MLCommons分類法分類。接著，他們將評估結果分為五級，包括高風險、中高風險、中等風險、中低風險和低風險，來更好地顯示模型安全性。（詳全文）

  神經形態系統     英特爾     Hala Point  

英特爾揭露全球最大神經型態系統Hala Point

英特爾最近揭露全球最大的神經型態（neuromorphic）系統Hala Point，不只高效能，還比現行AI系統更永續、環保。英特爾指出，Hala Point是第一座支援主流AI應用的大規模高效能神經型態系統，能模擬人腦結構和功能，搭載1,152顆Intel Loihi 2處理器，和Meteor Lake晶片一樣，以Intel 4處理節點製造。

Hala Point是以Intel第一代大型研究系統Pohoiki Springs為基礎發展，但神經元量和效能都比前代提升最高為10倍、12倍。上千顆Loihi 2處理器包含11.5億神經元和1,280億突觸，提供140,544神經元運算核心。此外，它還搭載了2,300顆嵌入式x86處理器輔助運算，但Hala Point相當輕巧，可安裝在微波爐大小的6U資料中心機櫃中。它還具備大規模平行運算架構，總記憶體頻寬達到16 PB/S，且在AI運算上，支援最高每秒20 petaOPS，執行傳統深度神經網路時，每秒每瓦執行15 TOPS，超越GPU和CPU的效能。而應用在訓練神經網路模型時，Hala Point可以全力啟動超過千億的神經元，速度是人類大腦的20倍，最高可提升到200倍。（詳全文）

  AI助理     GitLab     Duo Chat  

GitLab DevSecOps開發AI助理Duo Chat上線

軟體整合開發平臺GitLab最近正式推出AI開發助理Duo Chat，付費使用者可在GitLab 16.11版中使用，透過自然語言互動來完成DevSecOps程式開發。進一步來說，Duo Chat是GitLab今年初發表的AI助理Duo Pro一部分，可為工程師或非工程背景的使用者，在整個開發生命周期中提供即時引導。比如，可向Duo Chat詢問CI/CD基礎知識、如何重新設置GitLab密碼、如何使用熱門框架等。

此外，Duo Chat也正式提供3大功能，包括解釋程式碼、程式碼重構（refactoring），也就是改善程式碼、提高品質，以及自動撰寫測試、加速除錯等。使用者可在GitLab UI或常見的IDE如VS Code、JetBrains IDE等環境，由Duo Pro外掛來使用Duo Chat，它還能整合使用者自有工具，來滿足企業開發需求。GitLab也宣布，其他Duo新功能將提供Beta版試用，包括更新的AI安全功能，如詳細解釋漏洞、自動解決、AI重點摘要和自動化範本工具。（詳全文）

  多模態     xAI     語言模型  

xAI也發表多模態語言模型了

由馬斯克成立的AI新創公司xAI，最近發表一套多模態語言模型Grok-1.5 Vision，很快就會提供預覽版給研究員和開發者測試。Grok-1.5 Vison（或稱Grok-1.5V）是繼3月開源基礎語言模型Grok-1、4月發表Grok-1.5後的最新研發成果，除具備文字理解能力，採用這款模型的Grok聊天機器人，現在也能處理多種視覺資訊，包括文件、圖表、示意圖、螢幕擷圖、相片等。

xAI也列出Grok-1.5V的基準測試數據，在數學、文字理解、真實世界圖片理解能力上，超越OpenAI GPT-4、Google Gemini Pro 1.5和Anthropic的Claude 3系列模型。接下來，他們將繼續優化Grok-1.5V的多模態理解能力和生成能力。（詳全文）

圖片來源／Profluence、微軟、Meta、英特爾、xAI

  AI近期新聞 

1. 臺中榮總聯手陽明交大打造Healthcare GPT

2. Meta AI聊天機器人改用Llama 3

3. Boston Dynamics發表電動人形機器人Atlas

資料來源：iThome整理，2024年4月