繼去年11月開源機器學習系統TensorFlow後, Google再宣佈釋出機器學習模型的部署系統(serving system) TensorFlow Serving的程式碼。
 
Google工程師Noah Fiedel指出,TensorFlow Serving為高效能機器學習模型的部署系統,適用於大量且會隨時間變化真實世界資料的多種模型,提供機器學習模型的生命周期管理、實驗多種演算法,以及GPU資源的有效利用。

↓TensorFlow Serving取得的資料,從學習器(Learner)中產生出模型,再隨著使用者端取得的新資料建構出新的模型。(圖片來源:Google)

Fiedel強調C++寫成、支援Linux 的TensorFlow Serving具備高效能、低耗損等優點,曾在一次標竿測試中,於一台16 vCPU Intel Xeon E5的機器上執行高達每核每秒10萬次的查詢。
 
Google並指出,TensorFlow Serving專為TensorFlow最佳化,且很容易整合到生產環境,可在維持伺服器架構及API情況下部署新模型與執行實驗。同時它既可與TensorFlow整合使用,也能加以擴充來部署其他模型。

TensorFlow Serving已在Apache 2.0之下授權開源,程式碼及相關文件並於 Github開放下載

 

 


Advertisement

更多 iThome相關內容