Google釋出開源機器學習模型搜尋平臺Model Search,供研究社群更容易地取用AutoML解決方案,Model Search能夠讓研究人員高效且自動地開發機器學習模型,該平臺與領域知識無關,可以找到適用各種問題與資料集的模型架構,最大程度減少程式開發時間與工作量,Model Search是以Tensorflow建構而成,因此可以在單臺機器或是分散式裝置中運作。

近年出現的AutoML演算法,可以讓研究人員不需要手動實驗,就能找到合適的神經網路,Google提到,使用正確的配置甚至可以得到比手動更好的結果,只不過這些演算法運算量通常很大,所以在融合之前,需要訓練數千個模型,而且搜尋空間僅能針對特定領域,無法在跨領域良好地運作。

為了解決這些問題,Google發布了開源Model Search平臺,該模型搜尋系統是由多個訓練程式(Trainer)、搜尋演算法、轉移學習演算法和用來儲存各種評估模型的資料庫所組成,能以自適應的方式,執行各種機器學習模型的訓練工作和評估實驗。

每個訓練程式皆獨立完成實驗,但其他訓練程式也都可以從實驗中獲得知識,每個周期開始,搜尋演算法都會查詢已完成的實驗,並且決定下一步要嘗試的項目,並對當下所找到的最佳模型架構進行一些變異,並將模型結果回饋給訓練程式。

Model Search中實作的搜尋演算法具有適應性、貪婪和漸增特性,所以收斂的速度比增強式學習還要快,但是卻又能模仿增強式學習,達到兼具深度與廣度的探索,更快地找到最佳結果。而為了要進一步提高效率和準確性,Google提到,Model Search使用知識蒸餾(Knowledge Distillation)和權重共享,使得各種內部實驗可進行轉移學習,以加快訓練速度,並且有更高的機會發現更好的架構。

Model Search可以顯著地提升模型生產速度,Google將Model Search用於探索關鍵字標記與語言辨識模型,不到200次迭代,就能獲得比專家設計更好的模型,少使用了13萬可訓練參數。

Google還使用Model Search,來找出適用於CIFAR-10圖像資料集的圖像分類模型架構,而Model Search僅經過209次模型實驗,就達到基準測試91.83精準度,相較於之前使用增強學習的研究,要達到相同的精準度,必須要經過1,160次的實驗。

熱門新聞

Advertisement