Google大腦在GitHub上開源了足球人工智慧研究專案Google Research Football,這是一個研究增強學習的環境,目標是讓人工智慧代理掌握足球這項運動,能讓代理人控制遊戲中的足球運動員,學習互相傳球,或是進行防守等足球技巧。

增強學習在人工智慧研究領域是熱門的技術,已經被用於解決許多複雜問題上,像是機器人或是自動駕駛等應用。而將增強學習用於遊戲中,能夠加速增強學習技術的發展,從較早期與人類對弈的AlphaGo,到更複雜的即時戰略遊戲並與人類對戰,像是OpenAI在遊戲Dota 2中開發OpenAI Five,與人類玩家打得平分秋色,以及近期Deepmind開發的人工智慧AlphaStar,在星海爭霸 2中慘電職業玩家。

遊戲提供了安全且可重複的試驗環境,讓開發者快速的測試想法,而現在Google釋出的Research Football環境,則提供研究人員更有挑戰性的環境,Google提到,足球遊戲對於人工智慧是更有挑戰性的主題,因為足球需要在短期控制的能力、學習像是傳球之類的概念,和更困難的戰術之間取得平衡。

Google Research Football環境由三個主要部分組成,包含了高度最佳化的遊戲引擎稱足球引擎(Football Engine),還有稱為足球基準(Football Benchmarks)的一系列具挑戰性的研究問題,以及足球學院(Football Academy)提供難度漸增的增強學習情境。Football Engine能根據兩支球隊的輸入動作,模擬完整的足球比賽,像是進球、犯規或是角球等各種情況,其採用最佳化的C++開發而成,可在一般的電腦上運作,使用六核心電腦運算,每天約可模擬球員移動2,500萬步。

這個Football Engine能良好地支援增強學習訓練,讓代理人在不同的狀態中進行學習,這些狀態包括表達球員位置的語意等,並且為了讓研究人員研究隨機性對增強學習的影響,Football Engine預設啟用隨機模式,當然開發者也可以自行選用確定性模式進行實驗。Football Engine開箱即用,而且支援受廣泛使用的OpenAI Gym API。

Google根據Football Engine的增強學習研究,提出了一系列基準問題,根據對手的實力不同,分為三個版本分別是簡單、終極以及困難。Google提供了兩種熱門的演算法DQN與IMPALA,讓開發人員作為參照,Google提到,簡單基準適合應用單一機器的演算法,而困難基準則是由分散式深度學習演算法來處理。

足球學院提供各種難度的場景,讓研究人員實現新的研究想法,以測試更高階像是傳球的概念,並從難度逐漸提升的場景中學習,習得快速在球員間快速傳球的技巧,或是反擊等技巧,Google提到,在Google Research Football環境中,只要使用簡單的API,研究人員就能夠讓代理學習解決各種問題。

Google Research Football環境提供了一個深度學習研究的環境,Google提到,開發人員可以把Football Benchmark以及Football Academy想像成互動環境中固定的一部分,待代理人獲得足夠訓練後,就能加入動態另一方進行對戰,適應對方的動態行動以及戰略,進行更有挑戰性的研究。


Advertisement

更多 iThome相關內容