圖片來源: 

Hugging Face

由AI新創Hugging Face主導並協調的BigScience專案於本周公布了成果,釋出具備1,760億個參數的大型語言模型BLOOM (BigScience Large Open-science Open-access Multilingual Language Model),其規模大過OpenAI GPT-3的1,750億個參數,而且開放各界下載與存取

BigScience專案是在去年5月正式啟動,有賴來自全球60個國家、逾250個機構,以及超過1,000名研究人員的貢獻,最後由法國超級電腦Jean Zay執行117天的訓練,才於今年7月完成了BLOOM模型。

BLOOM模型可理解46種語言及13種程式語言,包含法文、西班牙文、越南文、中文或多種印度及非洲語言,大約只有超過30%的訓練資料為英文,因此,現在使用者只要選擇一種語言,就能要求BLOOM撰寫食譜、翻譯或摘要,也能要求BLOOM撰寫程式碼。

這是目前全球所開源的最大語言模型,而且儘可能地透明化,公開了所用來訓練的資料,開發時曾面臨的困境,以及評估其效能的方式。

不過,BLOOM模型也具備其它大型語言模型的缺點,可能藏匿了不準確或是有偏見的語言,但一來該專案採用新的《負責任AI許可》(Responsible AI License),避免被應用於諸如執法機構或醫療照護等高風險的領域,也禁止它被用來傷害、欺騙、剝削或冒充他人,二來Hugging Face認為開源將能讓AI社群協助改善該模型。

當初OpenAI曾說不釋出模型或程式碼的原因是擔心模型遭到濫用,雖然BigScience專案啟用了《負責任AI許可》,然而它只是個類似服務條款的協議,亦無法令上的保護,或許還是難逃被濫用的命運,但Hugging Face認為,有一個良好的開源語言模型,將會替相關研究帶來深遠的影響。


熱門新聞

Advertisement