參賽者可設定速度,讓賽車在無人操控的情況下自行在跑道上繞圈,只要還有一個輪子壓白線就不算出界,單圈內最多可以出界三次再重來。

圖片來源: 

攝影/洪政偉

AWS舉辦的機器學習自動駕駛賽車聯盟競賽(AWS DeepRacer League)首度在台灣舉行,吸引了超過百位選手報名參加,此次比賽中交大學生表現亮眼,分別奪得第一與第三,第二名則是由趨勢科技的軟體工程師JasonLian拿下,而在倫敦巡迴虛擬聯賽中上榜的Taiwan-Taipei-CKSun,則是來自Qoobit的全端開發工程師孫振綸,這次在台北實體賽中排名24。

選手參賽前,需先使用Amason SageMaker RL平臺,線上訓練增強學習(Reinforcement Learning)模型。AWS首席雲計算企業顧問張俠表示,即便是沒有強化學習專業背景的人員,也能藉由SageMaker平臺,讓AI的訓練流程變簡單,甚至可以直接選擇由AWS預先訓練好的三款模型,再選定賽道、給定參數就能訓練。「AWS要透過DeepRacer比賽,讓AI更簡單化與普及化。」

而用來競賽的賽車,是AWS推出的縮小版四輪驅動車,為原比例的1/18,也內建了CPU以及深度學習攝影機DeepLens,來幫助模型快速對環境的變化作出反應,其外殼也有減振防撞的功效。這款賽車目前也還在預售階段,換句話說,尚未有參賽者能實地使用比賽用車來訓練模型。

張俠現場展示賽車的內部構造,上方白色立方盒子即為深度學習攝影機DeepLens。

在訓練RL模型時,參賽者可以直接選用平臺上提供的模型進行訓練,分別是以中心線、不超過邊線、速度為主訓練出來的三款模型,但實際上仍有許多人選擇自己開發,根據賽車是否正確轉彎、是否超出賽道、是否蛇行等行為,來給定合適的獎勵與懲罰,也就是獎勵函數(Reward Function),給定的數值越精確,模型學習的能力就較強。JasonLian舉例,如果賽車在轉彎有切內側車道,就會給定較高的分數。

寫好演算法後,接著選定賽道、設定動作空間(Action Space)的參數與訓練時間,再開始訓練模型。動作空間包括轉彎的角度與行進的速度,不同參數的組合會影響模型的表現,舉例來說,動作空間越大,探索的範圍較多,會導致模型較難找出規律來學習,訓練時間就要拉長,但也有更細微操控車子的優點。

JasonLian表示,訓練時間長短也會影響到模型表現,太長可能會過適(overfit),太短可能無法有效學習,也由於強化學習的不可解釋性,讓參賽者必須藉由不斷調整參數、訓練的過程來優化模型。孫振綸也表示,過一段時間若發現模型的的表現停滯不前,可能已經達到極限,必須重新思考演算法的方向,才不會過度訓練。

訓練好模型,就可以部署到賽車上參賽。每個參賽者有四分鐘時間,讓賽車在無人操控的情況下在跑道上繞圈,並要設法讓賽車取得有效的單圈迴圈;在單圈中,只要還有一個輪子壓白線就不算出界,單圈內最多可以出界三次,並以出界的位置為出發點接續進行比賽,超過三次就必須重跑。

此外,比賽時模型已經不能更動,參賽者唯一可以設定的是賽車的速度(0-180km/hr),也不是越快越好,太快時過彎會有衝出跑道的風險;而實際賽道的環境又與訓練資料有所差異,會因光線種類不同(黃光或白光)、光影變化、或振動而影響輸入的影像,這些現實環境的變因無法被納入訓練過程,因此,現場比賽的分數除了靠實力,還要有些運氣的成分。

比賽吸引了不少IT人參加,趨勢科技的軟體工程師JasonLian(圖右)也以個人身分來參賽。

除了實體賽車賽,AWS也打造了虛擬賽車場,讓開發者可以將模型上傳參加聯賽。虛擬聯賽總共六場,目前倫敦巡迴賽已經結束,第二場東京巡迴賽正在舉行,且每15分鐘更新一次賽況;六場比賽均結束後,會以每位選手的總積分1000分扣除秒數,總排名前18名的選手可以參加世界盃。因此,在倫敦巡迴虛擬聯賽中奪得第四名的孫振綸,目前仍有取得世界盃選手資格的機會。

孫振綸表示,這次實體賽中部署在賽車上的模型,是將虛擬賽使用的模型稍加訓練後就直接參賽,主要想測試不同場域對模型的影響,對於比賽結果也在預料之中,因為虛擬賽與實體賽的規則不同,虛擬賽中,只要賽車的其中兩個輪子超出白線,就要出局重來,而實體賽中的規範相對寬鬆,只要一個輪子壓在白線上就可以繼續行駛,而這也影響了實體賽的演算法可能要設計以中心線為主,而虛擬賽則以不超過邊線為主,應根據不同賽制有所調整。

此外,孫振綸也提到,儘管AWS提供了強化學習模型的訓練平臺,但參加比賽的成本並不低,不論是使用AWS SageMaker平臺、線上訓練模型,或是提交模型參賽都要花錢,從虛擬賽到實體賽期間總共花費700美金,因此在資源有限的情況下,對於訓練模型或提交演算法等過程也會斟酌花費、有所取捨。

實體賽和線上虛擬賽的規則略有不同,只要一個輪子壓在白線上就可以繼續行駛,虛擬賽的AI模型還得修正才能有好表現。

2019 AWS DeepRacer冠軍盃將在12月於拉斯維加斯舉行,無論是6場世界巡迴虛擬賽總排名前18名、或是任何AWS高峰會舉辦的現場賽車競賽冠軍都能參加,目前實體賽的最好成績是日本sola@DNP的7.44秒,而臺灣比賽第一名成績則為8.734秒。


Advertisement

更多 iThome相關內容