Container周報第56期：大數據分析平臺Spark 2.3新版多了原生K8s支援

重點新聞：03/9~03/16

Spark釋出2.3新版，最大特色是原生支援Kubernetes

開源社群越來越多人使用Kubernetes來進行資料處理、資料分析和處理機器學習計算，Kubernetes也增加了不少擴充功能，資源客製化、控制器客製化，以便對更深度整合這類專屬應用程式。

現在熱門的大數據分析平臺Spark在2.3新版中，開始原生支援Kubernetes。可以直接在一個現成Kubernetes 1.7以上版本部署的容器叢集中，執行Spark運算工作，而且還可以利用Spark自身功能，來管理分散的資料處理或分析任務。Spark可以接使用Kubernetes叢集的命名空間或儲存空間，例如整合到外掛式驗證機制或Log追蹤上。

Spark原生支援Kubernetes最大的好處是，不用重新安裝Kubernetes叢集，或改變現有Kubernetes叢集的配置，只要建立一個新的容器映像檔，並指派合適的RBAC權限角色，給所要執行的Spark應用程式，就可以開始使用這個Spark程式了。

在2.3新版中還有不少重要更新，例如增加了新的DataSource機制、Structured Streaming API第二版，也強化了PySpark的效能。

容器叢集效能成新議題，HyperPilot開源釋出，要靠機器學習自動優化容器叢集的配置

藉助容器叢集，來支援大數據或機器學習分析所需的大型叢集，已是資料科學家常用的方法之一，但想要自己在雲端部署Docker容器叢集，第一個挑戰就是，要怎麼租用VM，才能省錢又能符合需要的效能？得同時考量VM規格、容器配置和應用程式的配置需求等多項複雜變因，來衡量成本，往往得靠資深的雲端架構師才有能力拿捏得當。

前Mesosphere分散式系統首席工程師Timothy Chen近日開源釋出了一套容器叢集配置自動化工具Hyperpilot，這是利用機器學習技術中的Bayesian Optimization最佳化技術，依據使用者提供的條件，來找出最佳的容器叢集所需要的VM架構配置，目前只能針對AWS上的VM規格為優化對象。

這套工具還提供了一個資源瓶頸分析工具HyperPath，可以從CPU、記憶體、網路、I/O的來評估資源瓶頸，開發者已配置的單一容器或單一節點的效能上限，方便開發者來衡量應用程式在這樣規格的容器或節點上的執行效能。

Timothy Chen率領的團隊也開發了新的Heracles 效能評估演算法，可供容器叢集控制器使用，來動態調整配置給應用程式的資源，根據Timothy Chen釋出的測試例子，可將一個Spark分析叢集的效能利用率提高2～3倍。

Docker前CEO轉戰區塊鏈新創，聚焦於分散式雲端儲存技術

前Docker CEO Ben Golub最近轉戰區塊鏈圈，加入美國一家利用區塊鏈技術，建立去中心化雲端儲存新創公司Storj Labs，任職臨時CEO。

Storj Labs透過區塊鏈技術，提供管理資料的開源平臺，針對全世界電腦未使用的多餘空間，透過以太坊分散式帳本來租用多餘的容量，提供有需要儲存空間的用戶購買，也就是說，用戶上傳文件後，平臺會先加密並且拆分成多個片段，分散儲存到多臺電腦中，Storj Labs表示，只有用戶知道資料保存的位置，能夠增加資料的安全性。

Ben Golub過去在Docker的初創期間，為Docker奠下基礎，也創造出亮眼的成績，Ben Golub也在Storj Labs的官方部落格，寫下自己為何加入該新創的原因，他表示，自己過去曾參與過6家新創公司，電腦計算現在正處於重大的改變，區塊鏈和分散式帳本能夠驅實現分散式網路和架構，打造可信賴且安全的模型，Ben Golub看見區塊鏈技術於分散式儲存發展的機會。

甲骨文容器服務也開始支援Kubernetes

甲骨文近日宣布了可以支援Kubernetes的Oracle Container Services 1.1.9版，目前可支援Kubernetes 1.9.1以上的版本，還無法支援舊版。可在Oracle Linux 7上，整合Docker版Oracle Container Runtime。目前已經透過 Oracle Container Registry服務釋出Oracle Container Services的映像檔。

在這個映像檔中，除了提供支援Kubernetes的Oracle Container Services所需程式和配置之外，還內建了Kubernetes儀表版軟體、叢集備份還原機制和Oracle雲端基礎架構的整合測試工具，Oracle還提供了安裝和配置腳本程式來簡化部署。更多內容

OpenStack新版不只強化vGPU，更增加新的Zun容器服務

開源IaaS平臺OpenStack日前釋出了第17個版本Queens。新版特別強化了vGPU的支援，現在可以啟用內建vGPU功能的VM了。另外也增加了一個用來管理硬體加速或軟體加速的框架Cyborg，可以支援GPU、FPGA、加密卡、DPDK/SPDK等，管理者可以將這些加速卡或硬體，指派給特定VM。新版也增加對邊緣運算架構（Edge Computing）的支援。

另外，新的Queens版本，也增加了不少容器功能，例如用來整合OpenStack和Kubernetes叢集網路的Kuryr框架，增加了CNI daemon機制，可以強化Kubernetes叢集的擴充能力。另外，OpenStack也增加了一個新的容器專案Zun容器服務，可以快速啟動和執行容器，而不用管理伺服器或叢集，也可以快速和企業網路、儲存機制整合。更多內容

Google用Kubernetes打造多人遊戲託管平臺

Google近日與法國一家知名遊戲開發公司Ubisoft合作，利用容器調度工具Kubernetes打造開源平臺Agones，來管理多人玩家進入遊戲的伺服器資源分配，Agones目前還是預覽版，已於GitHub開源釋出。

Google認為，這項新的專案將會對遊戲設計非常有幫助，現在透過Agones，取代原本伺服器管理和擴展的方式，直接透過包含Kubernetes控制器的叢集，來分配遊戲伺服器的資源，這樣的架構也可以直接透過Kubernetes API來建立專用伺服器。
開源的Agones專案透過原生的Kubernetes，可以直接在叢集中建立、執行和管理專用遊戲伺服器的程式，減少了大部分複雜的問題，此外，遊戲的開發人員也可以使用原本熟悉的Kubernetes工具來撰寫應用，除了伺服器的運行之外，Agones專案也支援遊戲中的服務，像是帳戶管理，透過同一個平臺來管理這些服務，可以減少開發團隊開發時的困難。

責任編輯／王宏仁

Aqua Security 3.0新增容器安全平臺，來強化雲端原生應用安全

＠資料來源：iThome整理，2018年3月