重點新聞:03/9~03/16

Spark釋出2.3新版,最大特色是原生支援Kubernetes

開源社群越來越多人使用Kubernetes來進行資料處理、資料分析和處理機器學習計算,Kubernetes也增加了不少擴充功能,資源客製化、控制器客製化,以便對更深度整合這類專屬應用程式。

現在熱門的大數據分析平臺Spark在2.3新版中,開始原生支援Kubernetes。可以直接在一個現成Kubernetes 1.7以上版本部署的容器叢集中,執行Spark運算工作,而且還可以利用Spark自身功能,來管理分散的資料處理或分析任務。Spark可以接使用Kubernetes叢集的命名空間或儲存空間,例如整合到外掛式驗證機制或Log追蹤上。

Spark原生支援Kubernetes最大的好處是,不用重新安裝Kubernetes叢集,或改變現有Kubernetes叢集的配置,只要建立一個新的容器映像檔,並指派合適的RBAC權限角色,給所要執行的Spark應用程式,就可以開始使用這個Spark程式了。

在2.3新版中還有不少重要更新,例如增加了新的DataSource機制、Structured Streaming API第二版,也強化了PySpark的效能。

容器叢集效能成新議題,HyperPilot開源釋出,要靠機器學習自動優化容器叢集的配置

藉助容器叢集,來支援大數據或機器學習分析所需的大型叢集,已是資料科學家常用的方法之一,但想要自己在雲端部署Docker容器叢集,第一個挑戰就是,要怎麼租用VM,才能省錢又能符合需要的效能?得同時考量VM規格、容器配置和應用程式的配置需求等多項複雜變因,來衡量成本,往往得靠資深的雲端架構師才有能力拿捏得當。

前Mesosphere分散式系統首席工程師Timothy Chen近日開源釋出了一套容器叢集配置自動化工具Hyperpilot,這是利用機器學習技術中的Bayesian Optimization最佳化技術,依據使用者提供的條件,來找出最佳的容器叢集所需要的VM架構配置,目前只能針對AWS上的VM規格為優化對象。

這套工具還提供了一個資源瓶頸分析工具HyperPath,可以從CPU、記憶體、網路、I/O的來評估資源瓶頸,開發者已配置的單一容器或單一節點的效能上限,方便開發者來衡量應用程式在這樣規格的容器或節點上的執行效能。

Timothy Chen率領的團隊也開發了新的Heracles 效能評估演算法,可供容器叢集控制器使用,來動態調整配置給應用程式的資源,根據Timothy Chen釋出的測試例子,可將一個Spark分析叢集的效能利用率提高2~3倍。

Docker前CEO轉戰區塊鏈新創,聚焦於分散式雲端儲存技術

前Docker CEO Ben Golub最近轉戰區塊鏈圈,加入美國一家利用區塊鏈技術,建立去中心化雲端儲存新創公司Storj Labs,任職臨時CEO。

Storj Labs透過區塊鏈技術,提供管理資料的開源平臺,針對全世界電腦未使用的多餘空間,透過以太坊分散式帳本來租用多餘的容量,提供有需要儲存空間的用戶購買,也就是說,用戶上傳文件後,平臺會先加密並且拆分成多個片段,分散儲存到多臺電腦中,Storj Labs表示,只有用戶知道資料保存的位置,能夠增加資料的安全性。

Ben Golub過去在Docker的初創期間,為Docker奠下基礎,也創造出亮眼的成績,Ben Golub也在Storj Labs的官方部落格,寫下自己為何加入該新創的原因,他表示,自己過去曾參與過6家新創公司,電腦計算現在正處於重大的改變,區塊鏈和分散式帳本能夠驅實現分散式網路和架構,打造可信賴且安全的模型,Ben Golub看見區塊鏈技術於分散式儲存發展的機會。

甲骨文容器服務也開始支援Kubernetes

甲骨文近日宣布了可以支援Kubernetes的Oracle Container Services 1.1.9版,目前可支援Kubernetes 1.9.1以上的版本,還無法支援舊版。可在Oracle Linux 7上,整合Docker版Oracle Container Runtime。目前已經透過 Oracle Container Registry服務釋出Oracle Container Services的映像檔。

在這個映像檔中,除了提供支援Kubernetes的Oracle Container Services所需程式和配置之外,還內建了Kubernetes儀表版軟體、叢集備份還原機制和Oracle雲端基礎架構的整合測試工具,Oracle還提供了安裝和配置腳本程式來簡化部署。更多內容

OpenStack新版不只強化vGPU,更增加新的Zun容器服務

開源IaaS平臺OpenStack日前釋出了第17個版本Queens。新版特別強化了vGPU的支援,現在可以啟用內建vGPU功能的VM了。另外也增加了一個用來管理硬體加速或軟體加速的框架Cyborg,可以支援GPU、FPGA、加密卡、DPDK/SPDK等,管理者可以將這些加速卡或硬體,指派給特定VM。新版也增加對邊緣運算架構(Edge Computing)的支援。

另外,新的Queens版本,也增加了不少容器功能,例如用來整合OpenStack和Kubernetes叢集網路的Kuryr框架,增加了CNI daemon機制,可以強化Kubernetes叢集的擴充能力。另外,OpenStack也增加了一個新的容器專案Zun容器服務,可以快速啟動和執行容器,而不用管理伺服器或叢集,也可以快速和企業網路、儲存機制整合。更多內容

Google用Kubernetes打造多人遊戲託管平臺

Google近日與法國一家知名遊戲開發公司Ubisoft合作,利用容器調度工具Kubernetes打造開源平臺Agones,來管理多人玩家進入遊戲的伺服器資源分配,Agones目前還是預覽版,已於GitHub開源釋出。

Google認為,這項新的專案將會對遊戲設計非常有幫助,現在透過Agones,取代原本伺服器管理和擴展的方式,直接透過包含Kubernetes控制器的叢集,來分配遊戲伺服器的資源,這樣的架構也可以直接透過Kubernetes API來建立專用伺服器。
開源的Agones專案透過原生的Kubernetes,可以直接在叢集中建立、執行和管理專用遊戲伺服器的程式,減少了大部分複雜的問題,此外,遊戲的開發人員也可以使用原本熟悉的Kubernetes工具來撰寫應用,除了伺服器的運行之外,Agones專案也支援遊戲中的服務,像是帳戶管理,透過同一個平臺來管理這些服務,可以減少開發團隊開發時的困難。

責任編輯/王宏仁

更多Container產品動態

Docker傳教士開始推廣Azure Kubernetes Service的部署經驗

Aqua Security 3.0新增容器安全平臺,來強化雲端原生應用安全

@資料來源:iThome整理,2018年3月

 

 


Advertisement

更多 iThome相關內容