OpenAI現於Deep RL中發布Spinning Up,這是設計來供任何人學習,以成為深度增強學習熟練實作者的教育資源, Spinning Up內含了增強學習程式碼、教程、教育練習題以及文件。

OpenAI認為,在深度學習領域,增強學習將在強大的人工智慧技術中扮演核心角色,市面上雖然有不少人工智慧學習資源,但是增強學習是更具挑戰性的課題,因此才設計了Spinning Up,幫助人們學習並使用這個技術。

透過與OpenAI的學者和研究員合作,發現即使是原本缺乏機器學習經驗的人,只要有良好訓練資源,也可以很快的在增強學習技術上手。Spinning Up就是基於以上需求建立的計畫,並在2019年被整合到了2019年的學者和研究員計劃的課程之中,OpenAI提到,熟悉增強學習能讓人們參與跨領域的科學研究,像是人工智慧安全,其中就涉及了增強學習以及其他技能的結合。

Deep RL中的Spinning Up內容豐富囊括不少資源,其中包括增強學習的術語、各種演算法和基本理論的介紹,還介紹了研究增強學習的方法,以及一系列按主題編排的重要論文清單,另外,有一個經仔細整理的程式碼儲存庫,其中包含了許多獨立的演算法實作,包含Vanilla Policy Gradient(VPG)、Trust Region Policy Optimization(TRPO)以及Proximal Policy Optimization(PPO)等各種演算法,當然還有一些練習,供學員學以致用。

OpenAI提到,Spinning Up中的範例程式碼都是為新手設計的,結構簡單友善易於學習,他們以撰寫最小實作以展示理論,避免了增強學習函式庫存在的混淆層以及抽象層,也減少使用模組化,力求程式碼邏輯清晰,並有詳細的程式碼註解,幫助學習者了解程式碼功能。

除了學習資源外,Openai對該專案還有持續的支援計劃,在Spinning Up發布的前3個星期,會快速的處理發現的臭蟲、安裝問題以及解決文件中錯誤和模糊的地方,以提高讀者自學的品質,在發布6個月後,將根據收到社群的回饋,對套件狀態進行仔細地審查,並宣佈接下來的更新計畫。在期間OpenAI與研究人員,如有對Spinning Up進行更改,也會推送更新到公開程式碼儲存庫,供所有人使用。

Deep RL中的Spinning Up計畫,是OpenAI倡議新教育的一部分,而這也是他們實踐組織章程,尋求創建一個全球社群,以共同解決強人工智慧(Artificial General Intelligence,AGI)全球挑戰。OpenAI希望透過Spinning Up讓更多人熟悉增強學習,以推進安全且對公眾有益的人工智慧技術。接下來OpenAI還會繼續和其他組織合作,以幫助推廣這些人工智慧教育資源,現在正與柏克萊CHAI(Human-Compatible AI)中心合作,計畫舉辦深度學習研討會。


Advertisement

更多 iThome相關內容