OpenAI手把手增強學習從頭教，釋出教育資源Spinning Up

OpenAI現於Deep RL中發布Spinning Up，這是設計來供任何人學習，以成為深度增強學習熟練實作者的教育資源， Spinning Up內含了增強學習程式碼、教程、教育練習題以及文件。

OpenAI認為，在深度學習領域，增強學習將在強大的人工智慧技術中扮演核心角色，市面上雖然有不少人工智慧學習資源，但是增強學習是更具挑戰性的課題，因此才設計了Spinning Up，幫助人們學習並使用這個技術。

透過與OpenAI的學者和研究員合作，發現即使是原本缺乏機器學習經驗的人，只要有良好訓練資源，也可以很快的在增強學習技術上手。Spinning Up就是基於以上需求建立的計畫，並在2019年被整合到了2019年的學者和研究員計劃的課程之中，OpenAI提到，熟悉增強學習能讓人們參與跨領域的科學研究，像是人工智慧安全，其中就涉及了增強學習以及其他技能的結合。

Deep RL中的Spinning Up內容豐富囊括不少資源，其中包括增強學習的術語、各種演算法和基本理論的介紹，還介紹了研究增強學習的方法，以及一系列按主題編排的重要論文清單，另外，有一個經仔細整理的程式碼儲存庫，其中包含了許多獨立的演算法實作，包含Vanilla Policy Gradient（VPG）、Trust Region Policy Optimization（TRPO）以及Proximal Policy Optimization（PPO）等各種演算法，當然還有一些練習，供學員學以致用。

OpenAI提到，Spinning Up中的範例程式碼都是為新手設計的，結構簡單友善易於學習，他們以撰寫最小實作以展示理論，避免了增強學習函式庫存在的混淆層以及抽象層，也減少使用模組化，力求程式碼邏輯清晰，並有詳細的程式碼註解，幫助學習者了解程式碼功能。

除了學習資源外，Openai對該專案還有持續的支援計劃，在Spinning Up發布的前3個星期，會快速的處理發現的臭蟲、安裝問題以及解決文件中錯誤和模糊的地方，以提高讀者自學的品質，在發布6個月後，將根據收到社群的回饋，對套件狀態進行仔細地審查，並宣佈接下來的更新計畫。在期間OpenAI與研究人員，如有對Spinning Up進行更改，也會推送更新到公開程式碼儲存庫，供所有人使用。

Deep RL中的Spinning Up計畫，是OpenAI倡議新教育的一部分，而這也是他們實踐組織章程，尋求創建一個全球社群，以共同解決強人工智慧（Artificial General Intelligence，AGI）全球挑戰。OpenAI希望透過Spinning Up讓更多人熟悉增強學習，以推進安全且對公眾有益的人工智慧技術。接下來OpenAI還會繼續和其他組織合作，以幫助推廣這些人工智慧教育資源，現在正與柏克萊CHAI（Human-Compatible AI）中心合作，計畫舉辦深度學習研討會。