Google開源TensorFlow Serving機器學習模型部署系統

繼去年11月開源機器學習系統TensorFlow後， Google再宣佈釋出機器學習模型的部署系統(serving system) TensorFlow Serving的程式碼。
 
Google工程師Noah Fiedel指出，TensorFlow Serving為高效能機器學習模型的部署系統，適用於大量且會隨時間變化真實世界資料的多種模型，提供機器學習模型的生命周期管理、實驗多種演算法，以及GPU資源的有效利用。

↓TensorFlow Serving取得的資料，從學習器（Learner）中產生出模型，再隨著使用者端取得的新資料建構出新的模型。（圖片來源：Google）

Fiedel強調C++寫成、支援Linux 的TensorFlow Serving具備高效能、低耗損等優點，曾在一次標竿測試中，於一台16 vCPU Intel Xeon E5的機器上執行高達每核每秒10萬次的查詢。
 
Google並指出，TensorFlow Serving專為TensorFlow最佳化，且很容易整合到生產環境，可在維持伺服器架構及API情況下部署新模型與執行實驗。同時它既可與TensorFlow整合使用，也能加以擴充來部署其他模型。

TensorFlow Serving已在Apache 2.0之下授權開源，程式碼及相關文件並於 Github開放下載。