藉助容器叢集,來支援大數據或機器學習分析所需的大型叢集,已是資料科學家常用的方法之一,但想要自己在雲端部署Docker容器叢集,第一個挑戰就是,要怎麼租用VM,才能省錢又能符合需要的效能?得同時考量VM規格、容器配置和應用程式的配置需求等多項複雜變因,來衡量成本,往往得靠資深的雲端架構師才有能力拿捏得當。

前Mesosphere分散式系統首席工程師Timothy Chen近日開源釋出了一套容器叢集配置自動化工具Hyperpilot,這是利用機器學習技術中的Bayesian Optimization最佳化技術,依據使用者提供的條件,來找出最佳的容器叢集所需要的VM架構配置,目前只能針對AWS上的VM規格為優化對象。

這套工具還提供了一個資源瓶頸分析工具HyperPath,可以從CPU、記憶體、網路、I/O的來評估資源瓶頸,開發者已配置的單一容器或單一節點的效能上限,方便開發者來衡量應用程式在這樣規格的容器或節點上的執行效能。

Timothy Chen率領的團隊也開發了新的Heracles 效能評估演算法,可供容器叢集控制器使用,來動態調整配置給應用程式的資源,根據Timothy Chen釋出的測試例子,可將一個Spark分析叢集的效能利用率提高2~3倍。


Advertisement

更多 iThome相關內容