近來機器與人類史上最有名的正面戰役,莫過於今年5月,Google旗下AI實驗室DeepMind所開發的AlphaGo,與人類圍棋世界冠軍柯潔的對弈,AlphaGo最終以3:0贏得勝利,打響了AI的名聲,不管是學術界或是產業界,都紛紛投資AI應用。

近日,DeepMind更推出了比AlphaGo還要厲害的AlphaGo Zero,不需要事先學習人類下棋的棋譜,擁有自我學習的能力,而一手打造出AlphaGo傳奇的首席工程師黃士傑,今日(10日)於中研院舉辦的第一屆台灣人工智慧年會的演講中,以「AlphaGo-深度學習與強化學習的勝利」為題,揭露未曾對外公開的AlphaGo發展歷程,以及開發AlphaGo所用到的深度學習與強化學習(Reinforcement Learning)技術關鍵。

黃士傑日前曾在個人臉書簡短的介紹AlphaGo Zero的特性,並表示這次回臺將會介紹AlphaGo Zero的開發歷程。

AlphaGo Zero主要達成的成果是從零開始自我學習下圍棋,並且靠著自我學習,在短短的36小時後,摸索出所有基本且重要的圍棋知識,圍棋程度達到與李世乭九段對戰的AlphaGo v18相同水平,又經過3天後,AlphaGo Zero對戰AlphaGo v18達到100%的勝率,之後又達到了年初在網路上達成60連勝的Master的水準。

而40天後,AlphaGo Zero對戰Master達到近90%勝率,成為有史以來AlphaGo棋力最強的版本,他表示,雖然AlphaGo Zero還未公開下圍棋棋,但DeepMind已將AlphaGo Zero的80局棋公開發表於《自然》(Nature)期刊。

儘管AlphaGo Zero仍然以圍棋為開發範本,但DeepMind認為類似的技術將可被應用在其他的結構化問題上,例如蛋白質折疊、降低能源損耗,或是尋找革命性的新材料等,將有潛力對社會帶來正面的影響。

黃士傑研究電腦圍棋已經10年,他一開始到加拿大做研究時,第一個就是要解決語言溝通的問題,花了很多心力在加強英文的溝通,他指出,雖然現在AlphaGo已經完成所有的任務,但是,DeepMind認為應該還要繼續往AI技術前進,可以見得,DeepMind有非常遠大的目標。

他表示,2016年5月AlphaGo真正贏了人類的那一刻,是他人生最開心的時候。當初他沒有想過電腦圍棋會變得這麼厲害,但是仍然不斷嘗試,最後終於成功。其實,過去就連聖誕節AlphaGo也還在下棋,團隊也都不間斷在訓練AlphaGo。

黃士傑從小就喜歡下棋,他自己的棋力是業餘6段,研究電腦圍棋是他的興趣,而更令他開心的是,因為AlphaGo的關係,竟然能夠與自己的圍棋偶像面對面下棋。

AlphaGo帶給黃士傑最大的感觸是,AI與人類合作的氣氛慢慢在形成。在韓國與李世乭​對弈時,可以明顯感受到他背負人類必須贏得勝利的壓力,然而在中國烏鎮圍棋峰會與柯潔對弈時,黃士傑真正感受到 AI和人類合作的氛圍,柯潔在賽後也表示非常榮幸能跟AlphaGo下棋。

AlphaGo專案的起源

AlphaGo的起源要從黃士傑在攻讀博士班時,用單機開發的電腦圍棋程式Erica說起。Erica其實是他的妻子的名字,當時,他現在的主管David Sliver寫了封信表示,對他的研究成果非常驚艷,還問他要不要加入DeepMind,黃士傑後來在隔年,2012年11月才正式加入DeepMind,當時最後面試的主管問了他做出Erica的感想,「我覺得很有成就感!」David Sliver還表示與他有相同的想法。

他指出,DeepMind的目標是要打造通用的人工智慧,當時要開始投入研究電腦圍棋AI程式時,DeepMind的共識就是不要複製Erica,因為會有既定的限制。

AlphaGo專案一開始是因為DeepMind的執行長Demis Hassabis提議要研究電腦圍棋專案,於是黃士傑與他的主管David Sliver開啟了研究專案,後來研究團隊又加入了Chris Maddison、llya Sutskever,一同參與開發AlphaGo,而「為什麼要做圍棋?」,這是許多人的疑問,他說,IBM深藍在西洋棋戰勝人類之後,就只剩下圍棋這項挑戰了。

至於「為何判斷深度學習可以用在圍棋呢?」黃士傑的答案是,如果人類可以馬上判斷下這一步是好棋,那麼以神經網路就可以做到。當時他利用人類的棋譜來讓AlphaGo學習,建立策略網路(Policy Network),用人類的直覺來下圍棋。

他表示,每天的工作就是反覆訓練網路、測試、觀察勝率,不斷地重複這樣的過程,包含要研究神經網路要建立多深、資料集有沒有問題、神經網路需要幾層等等的問題。其實在剛開始的第一個月,AlphaGo是行不通的,勝率不高,不過在後來發現Overfitting的問題後,解決之後AlphaGo的勝率就大幅達到95%。

之後,AlphaGo最主要的突破即是加入價值網路(Value Network),將強化學習結合深度學習,讓AlphaGo擁有學習的能力,另外,也因為硬體上TPU給了很大的幫助,他指出,相同的程式碼,用TPU執行的勝率,會變得非常高。AlphaGo將直覺和判斷一起訓練,就能將直覺和判斷達到一致性,並將策略和價值網路結合在一起,變成Dual Network,之後再不斷的加強訓練流程。

為了測試AlphaGo的能耐,黃士傑努力說服團隊要在線上測試AlphaGo的棋力,後來終於在2016年底,讓AlphaGo Master在網路上邀來中日韓台頂尖棋手,幫忙訓練,一天連下10盤,就這樣在自家的房間低調地用單機訓練AlphaGo Master。當時下一步棋平均要4 ~8秒,一局下完大約需要1小時,而與職業棋手的對戰都是全勝,他認為,電腦圍棋AI的價值在於「擴展圍棋界的理論和思路」。

真正脫離人類知識的AlphaGo Zero

近日,DeepMind釋出的AlphaGo Zero正式脫離人類知識的資料,不再需要人類的資料。AlphaGo原本的版本需要用數千盤人類棋手的對戰來訓練,然而AlphaGo Zero則可以在完全不懂圍棋的狀況下,自己跟自己對戰,透過神經網路演算法,不斷調整與更新,進而預測棋子的最佳落點。AlphaGo Zero採用了強化學習,過程中完全沒有經過人類的干預,也從未使用過去的棋譜資料,總共只花了40天,就成為歷史上最強的棋手。他覺得這是一種趨勢,經過10幾年的研究,電腦圍棋的研究在AlphaGo Zero上,有很好的收尾。

他指出,目前AlphaGo Zero棋力還在持續精進中,DeepMind的團隊合作創造許多不錯的成果,包含發表了兩篇論文,以及與人類大戰兩次的大戰,在網路上有60個棋局訓練,最後還拍了《AlphaGo》的紀錄片。

他表示,AlphaGo的成功是深度學習與強化學習的勝利,從專案起始到收尾,都是靠著大家一同合作,而硬體資源與TPU也扮演很重要的角色,最後,近日AlphaGo Zero也展示了強化學習的巨大潛力,他認為,AI要成為人類的工具,與人類合作。


Advertisement

更多 iThome相關內容