圖片來源: 

AWS

AWS最近在ML自動建置和部署工具SageMaker平臺中,為Object2Vec演算法新增了4個新功能,Object2Vec是常見的神經嵌入演算法,新增的功能包含負採樣(negative sampling)、稀疏資料梯度更新、權重共享(weight-sharing),以及比較器(comparator)運算子訂製,來解決企業的痛點。

過去,若應用案例只有positive標記的數據,企業需要手動進行負採樣,來預先處理數據,透過新的負採樣功能,Object2Vec演算法在訓練過程中,會自動將不易察覺和標記的資料自動標記為negative,而稀疏資料梯度更新的功能,則是可以在不損失效能的情況下,加速單一GPU的訓練工作,此外,若有多個GPU,還能夠更進一步加速訓練速度。

另外,Object2Vec演算法的架構含有兩個編譯器,每個編譯器都有自己的token嵌入層,用來編譯來自兩個輸入來源的數據,過去訓練的過程中,演算法是分開學習兩個編譯器的輸入向量,現在,新增的超參數能夠讓兩個編譯器共享token嵌入層。而過去比較器的運算子是固定的,從兩個編譯器中收集並輸出結果,而現在,AWS讓企業可以自訂運算子,如此一來,就能根據應用最佳的表現來優化演算法,目前提供的二元運算子有hadamard、concatand和abs_diff。


Advertisement

更多 iThome相關內容