圖片來源: 

OpenAI

OpenAI近日釋出一個特別的訓練環境CoinRun,該平臺藉由遊戲設計,能夠提供關鍵的量化指標,讓程式將過去學習到的經驗,轉移到全新環境中,也解決了強化學習長久以來的難題,CoinRun的環境比起傳統的遊戲平臺簡單許多,像是音速小子(Sonic the Hedgehog),但是卻保有豐富且廣泛的挑戰,提供給最新的演算法程式來解決。

打造出適用於不同任務的通用模型,對現今的深度強化學習演算法,還是一大難題,雖然受過訓練的程式可以解決複雜的任務,但是換到新的環境時,該程式就會面臨轉移經驗的挑戰,尤其強化學習程式常常會有過度學習(overfittng)的問題,模型學習成果貼近訓練資料,換成別的測試資料效果就會大打折扣,無法學習到通用的技能。

CoinRun模仿音速小子遊戲平臺,設計成讓現有的演算法容易被訓練的環境,提供可量化的大量訓練資料,CoinRun每個關卡的目標即是在有障礙物的環境中,收集硬幣,如果程式代理人撞到障礙物,在遊戲中就會死亡,唯一的獎勵機制是收集硬幣,且這項獎勵機制是固定的,若程市代理人死亡、集滿硬幣,或是移動1,000步之後,該遊戲關卡就會結束。

為了評估該模型的通用程度,OpenAI用常見的3層式卷積架構,OpenAI也稱之為Nature-CNN,訓練了9個程式代理人在CoinRun平臺玩遊戲,其中8個程式代理人在第100~16,000關卡中訓練,另外一個程式代理人的訓練,則是不限制任何關卡,因此,該程式代理人便不會看見同一個關卡兩次,每個關卡對該代理人而言,都是全新的環境,程式代理人是透過近端策略最佳化(Proximal Policy Optimization,PPO)演算法來訓練,在固定關卡學習的程式,每個關卡會玩成千上萬次,而不固定訓練關卡的程式,每個關卡只會玩一次。

OpenAI收集了單獨訓練的AI程式表現結果,在少於4,000個關卡的訓練配置中,該程式出現過度學習的問題,超過16,000個關卡,問題依舊存在,接著,OpenAI利用CoinRun固定的500個關卡來訓練AI程式,發現透過多項正規化技術,可以改善訓練結果,像是Dropout和L2正規化、資料擴增和環境隨機性。

除此之外,OpenAI也開發了另外2個環境來研究過度學習的問題,分別是CoinRun的變化版CoinRun-Platforms和簡單迷宮導航環境RandomMazes,在這些實驗中,研究人員採用原本的IMPALA-CNN架構,透過長短期記憶模型(long short-term memory,LSTM)來進行實驗,在CoinRun-Platforms的環境中,AI程式要在1,000步的時間限制內收集硬幣,硬幣隨機分散在不同的關卡中,因此,程式必須積積極探索。

OpenAI表示,該研究成果提供打造強化學習通用模型更多研究方向,透過CoinRun環境,精準地量化過度學習的問題,有了這項指標後,研究人員可以更準確地評估,要用哪個架構和演算法,OpenAI也提出幾個建議的未來研究方向,像是研究環境複雜度和關卡數的關係、重覆的架構對通用型AI是否合適、探索多種正規化組合最有效的方法。


Advertisement

更多 iThome相關內容