OpenAI結合非監督式、監督式機器學習方法，大幅提升AI文字理解與推測能力

OpenAI以非監督式學習預訓練模型，並結合監督式訓練做微調，其研究結果顯示，人工智慧對於語言理解的程度大幅提升，特別在COPA、RACE和ROCStories這三個資料集，被認為需要多語句推理和重要知識參與理解，而OpenAI的新方法比起其他競爭對手，在這些資料集的分數都獲得很大程度的提升。

研究團隊在進行情緒神經元相關工作時，獲得了新方法的啟發。這個新方法主要有兩個階段，首先研究團隊為非監督式的方法Transformer模型，提供非常大量的訓練資料，並將語言建模做為訓練訊號，之後在以小型的資料集，對這個模型進行微調，讓他適合解決特定任務。

當有足夠龐大的資料做為訓練輸入時，非監督式學習反而可以產生令人驚訝的區別性特徵。基於這個發現，當建置模型後，以無監督的方式使用大量資料進行訓練，接著對模型進行調校，以提供不同工作的最佳效能，而換句話說，相同的核心模型，透過不同的微調就能處理不一樣的任務，大大提升了工作效率。

在近期的機器學習研究中，監督式學習有很大的進展，但是其缺點就是需要龐大、經過仔細整理的標籤資料集，而取得這些資料集的成本非常高，Google的人工智慧研究團隊也提到了同樣的困難。因此OpenAI認為，雖然非監督式學習現在可應用的領域仍然非常有限，但可以使用不具有明顯人類標記的訓練資料，對於研究人員來說極具吸引力，而且由於當前運算資源增加，原始資料的可用性便獲得提升。

對於模型以大量文本進行預訓練，可以大幅改進自然語言處理的效率，像是Winograd Schema Resolution這類的任務都能得到幫助。研究人員也提到，底層的語言模型也可以不經過訓練，便能開始執行任務，他們提到，隨著底層語言模型的改進，像面對選擇題挑選出正確答案這樣的任務，模型性能會在過程中越趨穩定。該模型在COPA、RACE和ROCStories這三個資料集的表現特別良好，無論是在常識推理或是閱讀理解上，都超越現存方法的表現。

這個底層的語言模型還能拿來進行情感分析，OpenAI研究人員使用內含正面與負面電影評論的Stanford Sentiment Treebank資料集，讓模型預測評論為正面或是負面，在不對這個任務進行最佳化的情況下，推測精確度達80％。這個研究驗證了Transformer架構的強健性與穩定性，有足夠的靈活性應付各類工作，而且不需要超級參數組設定。當然，比起監督式學習的結果來說，非監督式學習在這部分的研究還在很初期的階段，但卻提供了研究人員另外的可能性。

研究團隊也提到了這個方法的3個缺點，首先，這個非監督式學習需要較多的運算資源，過去的研究在NLP任務訓練上，僅需要單一GPU就可以完成，但是OpenAI的這個新方法卻需要8顆GPU預訓練長達一個月，雖然只需要計算一次，但是對於預訓練來說成本還是相當高。另外，預訓練出來的模型很大，以至於需要更多的計算力與記憶體進行推測運算。

第二個缺點，從文字學習知識存在限制以及偏差，除了書籍以及網路上的資料提供的知識，可能不完整或是錯誤外，研究團隊引用其他研究，部分特定領域資訊難以透過文字學習。最後，儘管這個方法改進解決多領域任務的效能，但是目前深度學習NLP模型，仍然在很多時候會出現意料之外或是違反直覺的結果，特別是用系統化指標來衡量的時候。