DeepMind研究團隊發表了一個稱為OpenSpiel的遊戲面向增強學習框架,提供了增強學習需要的環境以及演算法,可用於一般增強學習、搜尋以及規畫的研究,並提供了分析增強學習動態的工具,以及常用的評估指標。

研究人員提到,OpenSpiel的目標是要促進在多種遊戲類型,發展多代理增強學習,跟一般的遊戲訓練環境相似,但是更強調學習的部分而非競爭的形式。研究人員希望OpenSpiel可以在通用增強學習上,達到Atari學習環境在單一代理人增強學習的地位,對通用增強學習的發展產生重大的影響。

OpenSpiel提供了一個可讓研究人員在各種基準遊戲中,評估遊戲以及演算法的框架,OpenSpiel內建了各式包括世界網格遊戲、拍賣遊戲,以及矩陣遊戲等20多種不同類型的遊戲,這些遊戲涵蓋單一或多個代理人的零和、合作、一般和對局(General-Sum)遊戲,還有一次性以及連續性遊戲研究。這些遊戲以C++撰寫,並以Python打包。

OpenSpiel的演算法則是以C++或是Python實作,官方提到,這2種語言的API幾乎相同,因此當開發者需要,能夠簡單地在這兩種語言間切換使用,而絕大部分學習演算法都是以Python使用Tensorflow撰寫,官方目前正發展PyTorch和JAX的支援。另外,OpenSpiel函式庫的一個子集被移植到了Swift上,因此開發者也能在MacOS裝置上進行研究。

DeepMind只在Linux上測試OpenSpiel,但研究人員提到,雖然他們沒有在MacOS和Windows上進行測試,但是在編譯以及執行上,預計不會有太大的問題發生。OpenSpiel主要設計理念為簡單以及最小化,使用了參照實作而非完全最佳化以及高效能的程式碼,而且盡可能維持最小相依性,降低相容性問題發生的可能性。

最近也有不少組織推出了增強學習的研究工具,像是Google大腦就開源了足球增強學習環境專案Google Research Football,臉書也釋出增強學習平臺Horizon,英特爾也在RL Coach中推出一系列增強學習的工具。


Advertisement

更多 iThome相關內容