AWS的Kubernetes服務EKS現在開始支援Inf1執行個體,由於Inf1使用專門機器學習的運算晶片,因此可大幅加速機器學習工作負載,Kubernetes用戶已經可以在美東北維吉尼亞與美西奧勒岡地區,在EKS上部署Inf1執行個體。

Google等部分公有雲業者,開始研發自家處理器和人工智慧加速晶片,而AWS也不例外,除了Arm架構的Graviton系列處理器之外,AWS在2019年的re:Invent大會上,還發表了自家設計的機器學習推理專用晶片Inferentia,並推出使用該晶片的執行個體Inf1,AWS提到,Inferentia提供高吞吐量且低延遲的運算效能,可用於加速機器學習推理工作負載。

Inf1執行個體有搭載1、4或16個Inferentia晶片多種規格,1個AWS Inferentia晶片包含4個NeuronCore,每一個NeuronCore都擁有高效能脈動陣列矩陣乘法引擎(Systolic Array Matrix Multiply Engine),該引擎可以大幅提升卷積神經網路和Transformer等典型深度學習演算法的計算速度,而且因為NeuronCores搭載大量晶片上快取,因此可以減少外部記憶體的存取,節省程序的I/O時間。單一Inf1執行個體也支援多模型預測,使用者可以跨多個模型分配AWS Inferentia晶片上的NeuronCore。

不過,要在Inf1執行個體上執行機器學習運算,開發者需要使用AWS Neuron SDK將模型重新編譯,進行Neuron最佳化,所有工具都在AWS Deep Learning AMI中提供,使用者也能自行在執行個體中安裝。用戶可以使用eksctl工具以Inf1執行個體建置EKS叢集,eksctl會自動在叢集中安裝Neuron裝置擴充套件,該套件會將Neuron裝置發派給Kubernetes調度程式,作為工作負載運算資源。

熱門新聞

Advertisement