圖片來源: 

iThome

59歲的臉書首席AI科學家Yann LeCun,從大二第一次接觸到機器學習點燃好奇心之火至今,大半輩子都投入了這個領域,也在機器學習、計算機視覺、移動機器人和計算神經科學等領域都有許多貢獻。其中最為人知的是,他在1989年任職貝爾實驗室期間,發表了卷積神經網路(CNN)框架LeNet,奠定了日後深度學習的基礎架構,因此,他也被稱為CNN之父。

就算幾度面臨深度學習領域的寒冬,Yann LeCun仍不斷從事研究、發表論文,甚至自己動手設計卷積神經網路專用晶片,試圖想解決當年硬體效能不足的問題。直到2012年,ImageNet競賽使深度學習重回主流舞臺,他的貢獻也才重新得到肯定。

Yann LeCun再次來臺開講,揭露對深度學習未來發展的觀察和預測,全場爆滿,結束後的講臺上仍聚集了大批學術粉絲和聽眾輪番提問。我們從演講、會後提問和採訪中,整理出10個問題,可以快速了解他力推的自監督式學習。

 

 Q1  為何要將非監督式學習稱為自監督式學習?

如果你告訴媒體,這是用非監督式學習(Unsupervised Learning)訓練的模型,不熟悉科技的人可能誤以為,「天啊!機器不受控制,會自己訓練自己!」我認為,應該用更精確的詞來稱呼,也就是「自監督式」學習。

 

 Q2  自監督式學習、監督式學習和強化學習,三者有何不同?

可以用蛋糕來比喻三種方法的預測能力,強化學習能預測的資料最少,因為它是為了獎勵,才能做出少量正確的預測,就像蛋糕上的櫻桃。而監督式學習的預測資料量,取決於人類提供的標記資料,一個樣本能回饋10到1萬個位元(Bits)不等的訊息,像是蛋糕的表層。

但是,自監督式學習是,給多少資料就有多少資料能觀察,一個樣本能產生上百萬個位元的預測回饋,就像整個蛋糕本身,這是其他學習方法不能及的。

 

 Q3  自監督式學習有的預測方式有哪些?

自監督式學習,是觀察現有訓練資料中的任何部份來學習,再去預測未知的部份,且不仰賴人類給定的標籤。可以進行的預測包括:從過去的資料預測現在或未來、從近期的資料預測未來或過去、或從同一時間下的其他資料預測缺失的部份等。

 

 Q4  為何自監督式學習有機會讓AI具備人類常識能力?

一般稱呼具備人類常識的AI模型為Artificial General Intelligence(AGI),但我認為,人類能擁有常識是非常特別的事,一點也不平凡,所以,我更偏好稱呼它為Human Level Intelligence。

舉例來說,雖然只有一句簡短的話:「John拿起他的書包並離開會議室。」但你可以從這幾句話中了解到大量的信息,比如,John應該站了起來並拿起書包,接著,他走向門、打開門離開會議室,此時,會議室就不會有John這個人,因為他不會同時存在於兩個地方,這是屬於物理世界的約束。人們能透過常識來判斷這些隱性資訊,常識使我們能填補空白。也就是說,自監督式學習能從許多的物件、行為等背景知識,來學習整個世界運行的方式,進而運用已知的常識來預測未知。

 

 Q5  自監督式學習的研究目前有哪些進展?

自監督式學習目前在自然語言處理(NLP)的應用頗有成效。比如去年Google對外開源了用於自然語言預訓練的新技術BERT,能在一個挖空15%內容的句子中,預測字彙並補上這些句子的空白。除了NLP,圖像的填空是更具挑戰性的任務,但現在也已經能夠過拼圖與著色問題的解法來預測。

 

 Q6  你自己有何成果?

我研究自監督式學習最主要的動機,要找到讓機器學習更像人類或動物學習的方法,所以,對應用層面的研究較不感興趣,反而是專注於找出一套原則,能讓機器變得更聰明。

在研究方面,臉書已經將自監督式學習運用到對話領域。你若看過電影Her,就知道這部電影是在描繪人與虛擬語音助理之間,可能產生的互動模式。虛擬語音助理要能順暢地與人類溝通,就必須要學習人類認知的方式,可能還需要能理解人類想法、甚至猜到你要說的話。

其他研究,包括靠自監督式學習讓自駕車可以預測周遭車輛的未來動向,來決定下一步的行駛軌跡,或是透過肌肉運動來預測接下來的手臂動作。雖然現在的科技,距離電影情節的實現還很遙遠,但,這是一個我們嚮往的藍圖。

 

 Q7  自監督式學習會領導機器學習的未來發展嗎?

這是我所希望的,但現在只是假設。

我們現在已經具備的AI技術,包括更安全的自駕車、更精準的醫療影像辨識、個人化藥物配置、適當的語言翻譯、實用但不聰明的聊天機器人、資料檢索與過濾,還有其他如能源、金融、製造業、環境保護、商業、法律、藝術創作、遊戲等場景的應用。

現今的深度學習方法,雖能帶給人類許多新科技應用,卻無法創造出「真正的」人工智慧,也就是具備常識、聰明、敏捷且靈活的AI。自監督學習可能是實現這個理想的第一步,甚至未來發展出具備人類常識的機器人,走到強人工智慧的階段。

 

 Q8  AI的不可解釋性會成為深度學習發展的挑戰嗎?

對於特定需要解釋性AI的應用來說,這是一個挑戰,比如運用AI來做合法、正義的決定,就必須了解決策背後的原因。但我認為,這只是人們用來重複說服自己的方法,絕大多數的應用並不需要解釋,而且很多時候,人自己也無法解釋。

試想有一套決策系統,提出了兩個建議,一個是正確性80%的可解釋性建議,另一個是正確性95%的不可解釋性建議,若你是研究員,會如何選擇?我相信,絕大多數的人會選擇正確率更高的決策,而非過度在意其解釋性。

再舉個例子,阿斯匹靈是世界上服用人數最多的藥,經過白老鼠到人體試驗來證明藥效後,廣泛使用在藥物治療上,但直到1970年代,我們並不了解為何它能治病、如何在體內運作。換句話說,就算AI缺乏解釋,只要能全面的驗證其有效性與可靠性,仍然可以被使用。不能只追求AI的解釋性,卻忽略其可用性。

 

 Q9  為何你會決定投入神經網絡的研究?

當我還是個電子工程系的大學生,我就著迷於人類擁有智慧(Intelligence),1970年代晚期,我偶然看到一本哲學書,關於語言學家喬姆斯基和兒童心理學家皮亞傑的辯論,「從人的語言機制和語言習得角度來探討兒童發展問題」,才得知皮亞傑一直在研究感知器(Perceptron)模型。

這是我第一次接觸到深度學習的概念,已是感知器(Perceptron)提出十幾年後。當我開始閱讀1960年代的文獻時,機器學習就進入了停滯期,只剩下一些日本等國學者還在研究。1980年代,機器學習重新受到關注,看著那些舊論文,我意識當時多層神經網絡的演算法被忽略了,所以,我開始朝這個領域展開研究。

 

 Q10  為何選擇進入臉書而不是其他企業?

因為臉書是一家非常開放的公司,給我從頭開始創建研究實驗室的自由,就技術而言,臉書基本上沒有秘密,大部分技術都已開源釋出,甚至連基礎建設的設計都已開源,這是其他公司無法做到的。比如在Google,會規畫出研究領域的大方向,而在Amazon或Apple更不可能,因為它們是非常秘密的企業。


Advertisement

更多 iThome相關內容