Google用Transformer打造最新語言模型PaLM,參數量達5400億,少樣本學習表現優異,在29項基準測試中,有28項超越現有大型模型如GPT-3,程式碼生成能力更媲美Codex,且訓練資料是Codex的50分之一。

圖片來源: 

Google

重點新聞(0331~0408)

Pathways     語言模型     Transformer  

Google最新語言模型一手包辦各種理解生成任務,程式碼生成更媲美OpenAI的Codex

Google最近發表一套具5,400億參數的自然語言模型PaLM(Pathways Language Model),全以Transformer架構中的解碼器為基礎,以Google去年提出的Pathways架構來加強單一模型學習效率。這套模型由英語和多語言資料集訓練而成,像是網頁文件、書籍、維基百科文章、GitHub程式碼等,並經過上百項基準測試,像是語意理解、文字生成,甚至是自然語言轉程式碼等任務,比現有的SOTA模型表現還要好。

比如,在少樣本學習的條件下,在29項標準的英語語言理解基準測試中,PaLM在其中的28項,表現比現有大型模型還要好,超過GPT-3、Gopher、Chinchilla和LaMDA等模型。這28項任務包括開放式QA、克漏字、句子填空、常識推理、閱讀理解和翻譯等。甚至,PaLM還能透過深度理解,來準確解釋一些笑話。

另一個出乎團隊預料的成果是,PaLM能良好地完成自然語言轉程式碼(Text to code)、程式碼翻譯等任務。雖然PaLM的預訓練資料集中,只有5%是程式碼,但PaLM一個模型就能良好地進行自然語言轉程式碼任務,甚至比OpenAI打造的Codex模型還要好,而且所用來訓練的Python程式碼少了50倍。這些表現凸顯了PaLM的少樣本學習能力。(詳全文)

  AI應用      企業     規模化  

5成企業力擁AI科技應用,但動機從增加營收轉為降低成本

蜂行資本調查了270家大型和中小型企業,近日公布2022臺灣企業AI趨勢報告,指出48%的企業進入AI科技應用規模化階段,較去年大幅提升,但企業導入AI的原因,從去年為了增加營收,轉為今年的用來降低成本。

今年參與調查的企業,近4成是千人以上規模的大型企業,產業別以製造業占比最高,約四分之一,與去年相似。今年延續去年的AI成熟度框架,依數據完備、團隊完備及營運完備程度來衡量企業導入AI的發展程度,從0到6級分為7個階段,越高代表越成熟。調查顯示,超過48%的作答企業處於AI應用的規模化階段(4到6級),遠高於去年的25%。其中,又以千人以上的大型企業進展最快,占了4到6級企業近半數。

不過,企業導入AI仍面臨不少挑戰,約6成企業經歷導入初期的挑戰,比如最常見的資料蒐集(19%)、驗證可行的商業案例(13.8%)和人才供應(11.3%)等挑戰。(詳全文)

  信義房屋     資料中臺     Azure  

信義房屋打造資料中臺,快速揪出顧客潛在需求

信義房屋要打造資料中臺,來快速掌握客戶潛在需求。進一步來說,他們導入雲端數據分析中臺服務Azure Synapse Analytics和Azure Databricks,來快速橫跨資料倉儲和大數據分析系統、產出洞察,進一步搭配AI解決方案。比如,信義房屋就用這個中臺服務開發「AI智能配案」,透過大數據分析和顧客線上操作習慣,來讓第一線業務快速鎖定顧客潛在需求,業務銷售可透過手機App隨時推薦顧客喜好房源,配對正確率也提高3成5。對信義房屋來說,這種方法也助於新人快速上手,省下手動翻找房源資料、尋找房源的時間。

再來,信義房屋也導入資料治理解決方案Azure Purview,整合企業內部地端、多雲、軟體及服務等環境中的資料。他們利用該服務整合自家30多年來的結構化和非結構化資料,並建立統一標籤來整理、分類,提高數據分析效率。此外,該工具也能管理個人資料和內部使用者權限,來達到個資法GDPR規範。(詳全文)

  AutoML     製造AI     自動建模  

臺灣AI新創將製造業AI實例,變成可快速導入的AI模板,支援50種ML自動建模

專攻製造業的臺灣AI新創杰倫智能最近推出AI應用知識庫(Ready To Go Applications)服務,從上百個實際導入案例中,選出十多個產業AI的實際導入場景,打包成企業可以快速複製試用的AI應用模板。

以杰倫智能AutoML平臺工具為基礎,參考製造業AI實例做法,來提供試用的模擬數據、實際案例的產業建模知識,再利用杰倫智能AutoML平臺,可提供50多種ML模型訓練,包括回歸分析、分類、分群以及時間序列分析等四大類共50多種演算法,能自動選出效果最佳者來自動建模。試用企業可以參考模板,快速在自家場景中套用這些AI實作方式。杰倫智能預計將釋出16種製造業AI模板。例如CPG設備預防維修,塑膠射出成型參數最佳化、PCB顯影不全預測、CPG研發配方最佳化、虛擬量測、虛擬全檢、客戶採購行為預測等實際應用場景。

  Google搜尋    MUM       危機事件  

Google將用Transformer模型優化個人危機事件搜尋

Google本周宣布,將把新的多任務統一模型(Multitask Unified Model,MUM)應用在Google搜尋上,讓使用者更容易找到有關個人危機事件的搜尋結果,像是自殺、性侵、藥物成癮或家暴的協助資訊等。

MUM是Google去年5月發表AI模型,以Transformer架構為基礎,可理解語言、生成文字。MUM經75種語言和多種任務的訓練,號稱比BERT模型強大1,000倍。Google搜尋副總裁Pandu Nayak指出,當Google察覺使用者的搜尋字串與上述緊急事件有關,就會提供當地的協助熱線或相關訊息,然而,使用者可能會以各種型態進行搜尋,相關需求並不都是顯而易見的,如果能精確辨識使用者意圖,就能提供更完整的搜尋結果。

於是,Google決定用MUM模型來更精確偵測個人危機搜尋,以它來理解人們提問的意圖,預計在未來幾周部署。除了個人危機事件搜尋,Google還打算用MUM來改善搜尋結果的垃圾訊息保護。目前MUM支援75種語言,而且,只要訓練其中一個模型、執行任務,就能一次嘉惠所有語言,快速擴充Google對全球搜尋服務的優化。(詳全文)

  OpenAI     DALL-E 2     文字轉圖像  

OpenAI發表新版文字轉圖像模型DALL-E 2

OpenAI最近發表第二代文字轉圖像模型DALL-E 2,使用者只要給出文字敘述,DALL-E 2就能自動生成圖像,比去年1月發表的第一代版本,能產生更寫實、更精確、解析度也更高的圖像。

第一代模型DALL-E以GPT-3為基礎,利用一個文字與圖像配對的資料集,以文字敘述來產生圖像。DALL-E 2的精確度比第一代好上71.7%,寫實度改善了88.8%,解析度更是原本的4倍,還可結合概念、屬性及風格,打造出更生動的圖像,例如使用者得以指定系統以安迪.沃荷風格畫出太空人騎在馬背上的圖像,或者是以莫內風格畫出草原上的狐狸。

此外,DALL-E 2還能以文字來編輯既有的圖像,可新增、移除或置換圖像中的元件;或是以同一張圖像為基準,建立不同風格或編排的版本。目前,OpenAI仍與特定使用者研究DALL-E的規範,包括避免用來建立暴力、仇恨或成人圖像,並打算藉由過濾機制來辨識違反政策的文字或圖像。(詳全文)

  GitHub Copilot     Visual Studio 2022     程式碼建議  

GitHub Copilot支援Visual Studio 2022

GitHub和OpenAI共同開發的AI程式碼撰寫工具Copilot,現在終於支援Visual Studio 2022了!擁有技術預覽權限的所有開發者,都可使用Copilot功能,而且,Copilot也新增程式語言支援,可提供.NET建議。

Copilot可猜測開發者需求,提供程式碼建議,讓開發者快速取用,就像Google搜尋的輸入建議一樣。自2021年6月Copilot發布技術預覽版以來,GitHub持續更新Copilot的功能,現在終於加入眾多用戶要求的Visual Studio 2022支援。在使用Visual Studio 2022的Copilot擴充套件之前,用戶需擁有技術預覽版權限,並在安裝後授權Visual Studio 2022連接Copilot服務,確認連接完成,開發者便可以開始在Visual Studio 2022使用Copilot。(詳全文)

  IDC     《全球人工智慧支出指南》    金融  

IDC:臺灣企業2022年AI預算將達3.65億美元

IDC近日發布《全球人工智慧支出指南》,IDC臺灣企業應用資深研究經理蔡宜秀表示,臺灣企業AI技術相關預算支出,將於2022年達到3.65億美元,其中又以金融、製造和零售流通業的需求最高。IDC指出,AI技術已廣泛用於顧客體驗與營運流程優化,像是以聊天機器人強化客戶服務管道、優化商品推薦準確度,或以人臉辨識來驗證身份,又或是持續改善數據分析模型來優化詐欺偵測,以及建立AIOps機制以降低資訊系統的維運工作等。IDC預測,AI應用將持續擴散,整體市場將持續成長。

《全球人工智慧支出指南》也透露,亞太地區(不含日本)的AI系統支出,將從2022年的176億美元增加到2025年的320億美元。IDC指出,未來五年,銀行業會是AI解決方案上投資力道最強的產業,特別是威脅情報和欺詐分析,而政府是AI解決方案的第二大支出者,鎖定公共安全和緊急回應、增強威脅情報和預防系統,再來則是專業服務,要利用AI加強客戶服務代理,以及自動化來簡化重複的業務。(詳全文)

圖片來源/Google、信義房屋、杰倫智能、GitHub、OpenAI、IDC

  AI近期新聞 

1. Meta AI嘗試解決維基百科人物傳記中的性別偏見問題

2. HPE公布邊緣運算及AI系統SBC-2在國際太空站的實驗成果

3. Google新深度學習模型可利用眼睛外部照片,偵測糖尿病患血糖、血脂狀況

資料來源:iThome整理,2022年4月

熱門新聞

Advertisement