12/1~12/21 精選容器新聞
#Kubeflow #K8s叢集
Spotify揭露第三代機器學習架構,2020年改用K8s調度運算資源
最近知名音樂串流平臺Spotify在先前北美Kubcon大會上,對外分享自家機器學習平臺的發展歷程,並首度公開了2020年要上線的第三代機器學習平臺架構,採用了Kubeflow,改以K8s來作為算機器學習運算資源的主要調度平臺。Sptify經常需進行大量機器學習訓練和推論,來分析音樂風格和提供用戶各種個人化推薦音樂。2018年,Spotify自行利用開源資料分析技術,後端採用Scala語言,再搭配Python相關工作流程工具,自建了第一代的機器學習平臺,方便分析團隊快速進行各種ML專案。
第一代的特性是,提供了一系列的選項套餐,方便專案人員運用到不同需求的機器學習應用。但是,Scale語言對資料分析人員來說太難,前後端技術的切換成了不少專案開發的困擾,要統一不同模組間的功能、版本和配置難度也頗高。所以,2019年,Spotify團隊決定,改用Google的Tensorflow Extended(TFX)工具,建立機器學習專案開發的標準化,從儲存形式、預設函式庫、到ML工作流程都有一套制式作業規範,尤其盡量採用Tensoflow擴充元件如Tensorflow Transform、Tensorflow Model Analysis、Tensorflow Serving等,來建立跨團隊的共用標準。
最近,Spotify決定,進一步連ML工作流程和運算資源都進一步建立標準化,開始導入了Kubeflow Pipelines(KFP)。這個架構會將主要的運算元件先打包成Docker化容器應用,再利用Kubernetes來部署成容器應用,和調度運算資源支援龐大運算所需。Spotify表示,先前為了標準化而改用TFX的各種努力,成了後來導入KFP流程的成功關鍵,分析團隊不用重新學習另一套ML任務的管理方式。
另一個KFP的好處是,其SDK允許建立共享的元件,分享給其他流程之用。因此,Spofity產品主管Josh Baer撰文透露,其中一個團隊建立了一段不錯的流程和元件組合,可以分享給其他團隊使用,不用重複造輪子,更有助於建立所有團隊的共通工作流程範本。
下一步,Spofity透露,將進一步發展成分析特徵的共享化,將重要的ML功能變成內部共享的微服務,來加快組合運用的方便性,目前他們正在進行機器學習模型服務化的設計。
#雲端供應商標籤 #新版K8s
今年最終版釋出,Kubernetes 1.17來了
Kubernetes繼續維持著一年四次更新的步調,在12月9日,釋出了今年最後一次的更新1.17版。這個版本最大特色是,雲端供應者標籤成了正式功能,開發者可以用這個標籤,在節點或儲存空間建立時,來標記所用的雲端供應來源或服務所在位置,通常是用來標記這個節點位於哪一個雲端供應者的那個地區(zone)或區域(region),方便辨識和管理分散在不同公雲或私雲平臺上的K8s運算資源。另一方面,等於也可以透過K8s排程器(Scheduler)來調度和部署跨雲K8s節點的優先順序了,或是可以確保某一個儲存空間,都會在同一個雲端供應商區域,避免因跨區儲存而增加了傳輸費用。另外有幾個儲存功能進入了Beta測試版,可預期明年會成為正式功能,包括了儲存快照功能和儲存介面標準CSI都在1.17進入了Beta1版。
#K8s管理 #混合雲管理
D2iQ發表企業級K8s叢集管理工具
雲端維運軟體商D2iQ正式推出了企業級家K8s跨叢集管理工具Kommander,可以跨公雲或私雲K8s叢集,自動派送各種治理政策,來建立一個全生命週期的聯合管理流程,要專攻Day2維運市場。這套軟體提供了一個集中式的跨叢集管理介面,也可監控混合雲架構的K8s叢集,也可針對不同叢集進行配置和政策派送、安全規範、更新等管理措施。另外,Kommander還提供了一個資安控管機制,特別用來管理不同應用程式的存取和派送途徑,已確保具有合法權限者才能存取這些應用服務。
#軟體更新 #CNCF
CNCF第一個畢業的規範,軟體更新安全規範The Update Framework出爐
軟體更新安全開源規範The Update Framework(TUF)已經達到CNCF(Cloud Native Computing Foundation)的專案畢業狀態,而TUF也是第一個從CNCF畢業的規範(Specification)專案。TUF專案內含有一組函式庫、檔案格式和公用程式,讓用戶能夠保護新的和現有的軟體更新系統。TUF設計提供最小化影響的方法,並且能彈性地滿足各式軟體更新系統需求,且容易與現有的軟體更新系統整合,包括AWS、Google、Cloudflare、微軟、Docker、IBM、紅帽與VMware等大型企業都採用。CNCF技術長表示,現在開源軟體無所不在,並且在許多裝置上無縫地更新,而TUF在軟體供應鏈上扮演重要的角色。
#GCP #VMware #Serverless
Cloud Run for Anthos加入流量管理功能且支援VMware叢集
GCP的無伺服器容器服務Cloud Run for Anthos,最近新增了多項功能,不只加入了流量管理,也讓Cloud Run現在可以在企業就地部署的VMware叢集中執行,另外還整合了Stackdriver監控服務,讓用戶能直覺查看多項重要服務指標。在可以按配置比例,隨機路由請求或是RPC到不同的服務修訂版本,這項功能可以讓用戶對不同版本的應用程式進行測試,像是對新版應用程式進行金絲雀部署,先發送少量流量到新版本的服務,接著再逐漸提高流量比例,以確保服務的可靠性。
#GKE #Anthos
Google揭雲端原生資安新模式,將支援GKE和Anthos
最近Google悄悄地揭露了詳細的雲端原生資安的新模式,稱為BeyondProd。Google在2014年提出以零信任設計為主的網路安全架構BeyondCorp,現在進一步將資安防護架構,延伸到機器、工作量和各種雲端服務,設計出這個新的BeyondProd。Google訂出了幾項安全原則,包括了在邊緣端保護網路、禁止內部服務共用信任、只用信任機器執行來歷清楚的程式碼、跨服務使用同一套服務阻斷點政策,變更改版要簡單自動又標準化、跨工作量要隔離。Google也將這套資安框架套用到自家產品上,可利用雲端GKE服務和混合雲平臺Anthos和幾個開源資安工具,例如可透過Envoy來管理TLS流量的政策,可用gVisor容器沙箱技術來建立工作量隔離,來設計一套符合BeyondProd原則的資安作法。而Anthos更參考這個資安框架,建立一套自己的現代化應用程式資安建議。
責任編輯/王宏仁
更多Container相關動態
CoreDNS釋出1.6.6版,增加新bufsize外掛
@資料來源:iThome整理,2019年12月
熱門新聞
2024-12-03
2024-11-29
2024-12-02
2024-12-02
2024-12-03