具備1,760億個參數的語言模型BLOOM開源了

由AI新創Hugging Face主導並協調的BigScience專案於本周公布了成果，釋出具備1,760億個參數的大型語言模型BLOOM （BigScience Large Open-science Open-access Multilingual Language Model），其規模大過OpenAI GPT-3的1,750億個參數，而且開放各界下載與存取。

BigScience專案是在去年5月正式啟動，有賴來自全球60個國家、逾250個機構，以及超過1,000名研究人員的貢獻，最後由法國超級電腦Jean Zay執行117天的訓練，才於今年7月完成了BLOOM模型。

BLOOM模型可理解46種語言及13種程式語言，包含法文、西班牙文、越南文、中文或多種印度及非洲語言，大約只有超過30%的訓練資料為英文，因此，現在使用者只要選擇一種語言，就能要求BLOOM撰寫食譜、翻譯或摘要，也能要求BLOOM撰寫程式碼。

這是目前全球所開源的最大語言模型，而且儘可能地透明化，公開了所用來訓練的資料，開發時曾面臨的困境，以及評估其效能的方式。

不過，BLOOM模型也具備其它大型語言模型的缺點，可能藏匿了不準確或是有偏見的語言，但一來該專案採用新的《負責任AI許可》（Responsible AI License），避免被應用於諸如執法機構或醫療照護等高風險的領域，也禁止它被用來傷害、欺騙、剝削或冒充他人，二來Hugging Face認為開源將能讓AI社群協助改善該模型。

當初OpenAI曾說不釋出模型或程式碼的原因是擔心模型遭到濫用，雖然BigScience專案啟用了《負責任AI許可》，然而它只是個類似服務條款的協議，亦無法令上的保護，或許還是難逃被濫用的命運，但Hugging Face認為，有一個良好的開源語言模型，將會替相關研究帶來深遠的影響。