AWS為其迷你自駕車DeepRacer打造了聯賽虛擬賽車場,開發者可以先在線上訓練增強學習(Reinforcement Learning)模型,並將模型上傳參加聯賽,與其他競爭者在虛擬賽車場的跑道比賽,AWS會對聯賽排名,每個月排名第一的參賽者還能獲得獎勵。

DeepRacer是AWS推出的縮小版四輪驅動車,為真實車輛的1/18大小,供開發者透過訓練自動駕駛的機器學習模型,來入門增強學習技術,開發者可以將訓練好的模型部署到DeepRacer中,DeepRacer就能在真實世界的賽道中行駛,並在賽車活動中與其他人比賽。

而現在AWS為DeepRacer推出聯賽虛擬賽車場(League Virtual Circuit),讓開發者可以互相競爭以增加趣味性,達到驅動增強學習發展的目的。開發者可以在線上建置、訓練和評估增強學習模型,並與其他人的模型競賽,每個月排名第一的參賽者,可以將能夠免費參加AWS re:Invent 2019會議,並且在聯盟淘汰賽中爭奪冠軍。

整個模型的建置、訓練、評估,都能在新推出的DeepRacer控制臺中進行,AWS提供了DeepRacer Lab指南,手把手引導開發者開始模型的建置工作。開發者可以直接在DeepRacer控制臺中,創建需要的資源以及模型,並且為模型挑選訓練賽道,在虛擬聯賽進行的期間,陸續會有更多的賽道加入,AWS表示,他們將會每月為聯賽虛擬賽車場增加一款新的賽道,而新賽道會依據全球知名的賽道設計。

選擇好賽道,開發者接下來可以用簡單的方式定義模型的行為,DeepRacer控制臺提供一系列模型可以執行的離散動作,開發者只要操作下拉選單或是數字選擇器,就能設定方向盤轉動的角度,與DeepRacer行進的速度。

開發者還可以在DeepRacer控制臺,自定義增強學習中會直接影響模型效能的獎勵函式,獎勵函式會根據訓練程序以及回傳的獎勵決定DeepRacer的狀態,DeepRacer的開發者能直接使用控制臺預設的獎勵函式範例,或是完全從頭開始打造。

獎勵函式需要以Python 3撰寫,其中track_width、distance_from_center等參數,能讓開發者取得賽道的資訊,包括寬度以及距中心距離等,也能獲得DeepRacer的狀態與位置。DeepRacer控制臺還會提供開發者一組超參數,這些參數會影響整體模型訓練效能,開發者可以先使用預設數值,邊訓練邊進行調整。

AWS提到,一般模型訓練通常需要90到120分鐘,但是效率還是會因最大速度以及獎勵函式而有差異,開發者可以直接在DeepRacer控制臺中,查看車輛在虛擬賽道行進的畫面,但也因為訓練的工作背後使用的是AWS的RoboMaker服務,因此在RoboMaker控制臺同樣也能監控訓練的狀況。開發者可以反覆訓練與評估模型,並將最終成果上傳到當月份的虛擬賽車場參加DeepRacer聯賽。

DeepRacer控制臺現在於美國東部維吉尼亞地區推出,開發者已經可以開始建置DeepRacer模型,準備於虛擬賽車場中比賽,另外,有興趣的開發者現在也可以訂購DeepRacer實體車輛,美國約從7月開始出貨。


Advertisement

更多 iThome相關內容