Google發展出一種稱之為指令微調(Instruction Fine-Tuning)的技術,能夠更簡單的對模型進行微調,使其具有解決一般自然語言任務的能力,研究人員使用該技術來訓練模型,並將該模型稱之為FLAN(Fine-tuned LAnguage Net)。由於和模型預訓練的計算量比起來,FLAN的指令微調階段只要少量更新,因此適合用來解決未見過的任務。

機器學習模型要生成有意義的文字,必須要具備大量的知識和抽象能力,研究人員提到,雖然現在經過訓練的語言模型,越來越能夠在擴展時,自動獲取這些知識,但是並無法將這些知識,直接應用在解決特定任務上,因此需要透過微調技術,標記資料集來訓練模型,使其適應特定任務。

不過即便是微調訓練,仍需要大量的訓練範例,並且需要針對下游任務儲存模型權重,因此實際上並不實用,尤其是對大型模型來說,研究人員提到,雖然近期在語言模型任務中,使用稱為零樣本或是少樣本提示技術,透過給定模型在訓練期間看過的句子,並且挖空部分單字,要求模型完成該語句,透過模型填入的字詞,來獲取想要的答案。

零樣本提示技術僅在特定任務表現良好,但需要仔細設計任務,才能使其看起來像模型在訓練看到的資料,在實際應用情境中,並非一種直覺的模型操作方法,研究人員還提到,就連語言模型GPT-3創建者也認為,這種提示技術,無法在自然語言推理任務中發揮良好的效能。

與零樣本提示技術不同,FLAN使用較為簡單且直覺的任務描述,像是「分類電影評論成正面或負面」或「將這句話翻譯成丹麥語」等。由於從頭創建指令資料集需要大量資源,因此研究人員改使用模板,將現有的資料集轉換成訓練用格式。

實驗證實,使用指令來訓練模型,模型不僅會越來越擅長解決在訓練期間看到的指令,整體而言也更善於遵循指令。

研究人員以25個基準任務評估FLAN,除了其中4個任務,其他任務表現都優於零樣本提示,且在25個任務中,有20個任務優於零樣本GPT-3,甚至比少樣本GPT-3更好。

研究人員還發現,規模對於模型可從指令微調獲益的能力影響很大,在小規模中,FLAN技術反而會降低效能,僅有在較大規模的模型,才能從訓練資料中的指令,泛化處理未曾見過的任務,研究人員解釋,這是因為太小的模型,沒有足夠的參數來執行大量任務。

FLAN模型並非第一個使用指令集訓練的模型,但FLAN是第一個大規模應用指令微調技術,並且證明可以提高泛化能力的模型。


熱門新聞

Advertisement