在2019年終的最後一次自然語言處理GLUE標竿測試中,中國網路業者百度的AI預訓練語言模型達到90.1分,超越Google、微軟和卡內基美隆大學登上榜首。

GLUE(General Language Understanding Evaluation)是知名的自然語言理解(NLU)多任務標竿測試和分析平台,包含9項測試,像是聽取句子中的人名和組織名,或是聽句子中的同音異形字等等。在最近一次16項包含中英文的自然語言處理測試中,百度的預訓練(pre-training)語言模型ERNIE拿到90.1分居冠。

其次為微軟的MT-DNN-SMART(89.9)及Google T5(89.7)。阿里巴巴的ALICE DAMO NLP和卡內基美隆大學的XLNet以89.5 同列第4名,臉書的RoBERTa則名列第8。微軟另二個模型(FreeRoBERT和MT-DNN –ensemble)也擠進前十。GLUE真人測試基準得分為87.1分(第11名)。

百度2019年推出的ERNIE (Enhanced Representation through kNowledge IntEgration)模型是一種連續型預訓練框架,經由連續給予模型多任務學習(multi-task learning)方法,每當引入新任務時,該框架可在學習該任務的同時不遺忘之前學過的資訊,達到漸進式學習與建構的目的。百度2019年初推出ERNIE 1.0,7月再升級為2.0。

百度的ERNIE是從Google BERT獲得靈感(兩者都是取自「芝麻街」的主角名字)。BERT利用名為遮罩(masking)的技巧,隨機隱藏文句中15%的字再試圖預測剩下的字。這種方法大幅推升自然語言處理的能力。但BERT主要是基於英文。百度則根據中、英文的差異,為ERNIE模型加入中文需要的特有演算法。

在英文之中每個字都有獨立意義。例如波士頓(Boston)、美國(America)。但在中文,如果抽出「波」或「美」獨立一個字,就完全和「波士頓」或「美國」不同意義。

百度團隊於是提出動態邊界遮罩演算法(Dynamic Boundary Masking),發展出隱藏中文字串、而非單一字的遮罩法。這項演算法也能分辨有意義和無意義的隨機字串的不同。ERNIE在理解中文組成,以及預測中文漏字的能力比外國模型來得強,用於中文翻譯和在文件中汲取資訊上相當有用。

但百度表示,他們發現ERNIE以意義為基礎的理解能力,除了中文外,理解及預測英文文句也比用單字使用統計為基礎的模型來得好。

ERNIE預訓練技術已被用於百度多項產品,包括百度搜尋、小度音箱、資訊推薦等。百度ERNIE 2.0的論文已被國際人工智慧頂級學術會議AAAI-2020收錄,預定2020年2月7日到12日在美國紐約舉行及發表。


Advertisement

更多 iThome相關內容