Google利用指令微調技術增加語言模型的泛化能力

Google發展出一種稱之為指令微調（Instruction Fine-Tuning）的技術，能夠更簡單的對模型進行微調，使其具有解決一般自然語言任務的能力，研究人員使用該技術來訓練模型，並將該模型稱之為FLAN（Fine-tuned LAnguage Net）。由於和模型預訓練的計算量比起來，FLAN的指令微調階段只要少量更新，因此適合用來解決未見過的任務。

機器學習模型要生成有意義的文字，必須要具備大量的知識和抽象能力，研究人員提到，雖然現在經過訓練的語言模型，越來越能夠在擴展時，自動獲取這些知識，但是並無法將這些知識，直接應用在解決特定任務上，因此需要透過微調技術，標記資料集來訓練模型，使其適應特定任務。

不過即便是微調訓練，仍需要大量的訓練範例，並且需要針對下游任務儲存模型權重，因此實際上並不實用，尤其是對大型模型來說，研究人員提到，雖然近期在語言模型任務中，使用稱為零樣本或是少樣本提示技術，透過給定模型在訓練期間看過的句子，並且挖空部分單字，要求模型完成該語句，透過模型填入的字詞，來獲取想要的答案。

零樣本提示技術僅在特定任務表現良好，但需要仔細設計任務，才能使其看起來像模型在訓練看到的資料，在實際應用情境中，並非一種直覺的模型操作方法，研究人員還提到，就連語言模型GPT-3創建者也認為，這種提示技術，無法在自然語言推理任務中發揮良好的效能。

與零樣本提示技術不同，FLAN使用較為簡單且直覺的任務描述，像是「分類電影評論成正面或負面」或「將這句話翻譯成丹麥語」等。由於從頭創建指令資料集需要大量資源，因此研究人員改使用模板，將現有的資料集轉換成訓練用格式。

實驗證實，使用指令來訓練模型，模型不僅會越來越擅長解決在訓練期間看到的指令，整體而言也更善於遵循指令。

研究人員以25個基準任務評估FLAN，除了其中4個任務，其他任務表現都優於零樣本提示，且在25個任務中，有20個任務優於零樣本GPT-3，甚至比少樣本GPT-3更好。

研究人員還發現，規模對於模型可從指令微調獲益的能力影響很大，在小規模中，FLAN技術反而會降低效能，僅有在較大規模的模型，才能從訓練資料中的指令，泛化處理未曾見過的任務，研究人員解釋，這是因為太小的模型，沒有足夠的參數來執行大量任務。

FLAN模型並非第一個使用指令集訓練的模型，但FLAN是第一個大規模應用指令微調技術，並且證明可以提高泛化能力的模型。