OpenAI以非監督式學習預訓練模型,並結合監督式訓練做微調,其研究結果顯示,人工智慧對於語言理解的程度大幅提升,特別在COPA、RACE和ROCStories這三個資料集,被認為需要多語句推理和重要知識參與理解,而OpenAI的新方法比起其他競爭對手,在這些資料集的分數都獲得很大程度的提升。

研究團隊在進行情緒神經元相關工作時,獲得了新方法的啟發。這個新方法主要有兩個階段,首先研究團隊為非監督式的方法Transformer模型,提供非常大量的訓練資料,並將語言建模做為訓練訊號,之後在以小型的資料集,對這個模型進行微調,讓他適合解決特定任務。

當有足夠龐大的資料做為訓練輸入時,非監督式學習反而可以產生令人驚訝的區別性特徵。基於這個發現,當建置模型後,以無監督的方式使用大量資料進行訓練,接著對模型進行調校,以提供不同工作的最佳效能,而換句話說,相同的核心模型,透過不同的微調就能處理不一樣的任務,大大提升了工作效率。

在近期的機器學習研究中,監督式學習有很大的進展,但是其缺點就是需要龐大、經過仔細整理的標籤資料集,而取得這些資料集的成本非常高,Google的人工智慧研究團隊也提到了同樣的困難。因此OpenAI認為,雖然非監督式學習現在可應用的領域仍然非常有限,但可以使用不具有明顯人類標記的訓練資料,對於研究人員來說極具吸引力,而且由於當前運算資源增加,原始資料的可用性便獲得提升。

對於模型以大量文本進行預訓練,可以大幅改進自然語言處理的效率,像是Winograd Schema Resolution這類的任務都能得到幫助。研究人員也提到,底層的語言模型也可以不經過訓練,便能開始執行任務,他們提到,隨著底層語言模型的改進,像面對選擇題挑選出正確答案這樣的任務,模型性能會在過程中越趨穩定。該模型在COPA、RACE和ROCStories這三個資料集的表現特別良好,無論是在常識推理或是閱讀理解上,都超越現存方法的表現。

這個底層的語言模型還能拿來進行情感分析,OpenAI研究人員使用內含正面與負面電影評論的Stanford Sentiment Treebank資料集,讓模型預測評論為正面或是負面,在不對這個任務進行最佳化的情況下,推測精確度達80%。這個研究驗證了Transformer架構的強健性與穩定性,有足夠的靈活性應付各類工作,而且不需要超級參數組設定。當然,比起監督式學習的結果來說,非監督式學習在這部分的研究還在很初期的階段,但卻提供了研究人員另外的可能性。

研究團隊也提到了這個方法的3個缺點,首先,這個非監督式學習需要較多的運算資源,過去的研究在NLP任務訓練上,僅需要單一GPU就可以完成,但是OpenAI的這個新方法卻需要8顆GPU預訓練長達一個月,雖然只需要計算一次,但是對於預訓練來說成本還是相當高。另外,預訓練出來的模型很大,以至於需要更多的計算力與記憶體進行推測運算。

第二個缺點,從文字學習知識存在限制以及偏差,除了書籍以及網路上的資料提供的知識,可能不完整或是錯誤外,研究團隊引用其他研究,部分特定領域資訊難以透過文字學習。最後,儘管這個方法改進解決多領域任務的效能,但是目前深度學習NLP模型,仍然在很多時候會出現意料之外或是違反直覺的結果,特別是用系統化指標來衡量的時候。


Advertisement

更多 iThome相關內容