圖片來源: 

Google

Google AI研究團隊最近發表了縮放卷積式網路(CNN)模型的新方法,利用簡單卻高效的複合係數,透過更結構化的方式,來縮放CNN模型,有別於任意擴展模型維度的傳統方法,像是寬度、深度,或是用更高解析度的圖像當訓練資料,Google研究團隊的方式是針對每個維度,用固定的係數,一致地擴展,利用該方法搭配上Google的自動建模工具AutoML,Google開發出一系列更小更快的模型EfficientNet,效能可以快上10倍。

CNN模型的開發通常是用固定的資源成本,當有更多資源時,為了達到更好的準確率,就會擴展CNN模型,舉例來說,可以增加ResNet網路的層數,從ResNet-18擴展至ResNet-200,傳統任意擴展模型維度的方法,雖然也可以改善準確率,但是需要經過繁雜的手動優化過程,且通常需要犧牲效能,Google的目標是要找出提升準確率的同時,又能保持效能的縮放模型方法。

為了理解縮放模型的影響,Google研究團隊有系統地研究了擴增模型不同維度所產生的影響,當擴增個別維度能夠改善模型表現時,Google觀察如何平衡模型其他所有的維度,以最好地改善整體的表現。第一步,Google用網格搜尋(grid search)來找出擴展不同維度之間的關係,如此一來,能夠確定每個維度的適當係數,接著,用這些係數來將原本的模型縮放成目標模型大小,或是符合預算的模型。

此外,由於EfficientNet模型展現出顯著的效能改善,Google希望EfficientNet模型能成為未來電腦視覺任務的新基礎,因此,Google團隊開源釋出所有EfficientNet一系列的模型。

熱門新聞

Advertisement