AWS在re:Invent 2018大會上首先釋出託管Apache Kafka串流服務(Amazon Managed Streaming for Apache Kafka,MSK)的消息,現在已經脫離預覽階段推出正式服務。

Apache Kafka是一個分散式的串流平臺,其使用發布以及訂閱的架構,將產生串流資料的應用程式與利用串流資料的角色分離。Apache Kafka讓使用者可以捕捉像是串流事件、交易、物聯網事件,或是應用程式與日誌等串流資料,還能即時進行分析,連續不間斷地轉換資料,並再將收到的資料經過處理後,分散到其他的資料湖和資料庫中。

AWS提到,使用者在生產環境中要配置Apache Kafka,需要克服一些障礙,特別是在後續的管理以及規模擴展工作上,而現在AWS正式推出的MSK服務,則由AWS負責管理任務,讓使用者可以簡單地配置使用,而且由於近幾個版本的Kafka,都需要與節點協調程式Zookeeper共同使用,因此MSK服務也只要簡單地設定,就能讓Kafka與ZooKeeper一同運作。

使用MSK服務,用戶可以在幾分鐘內創建叢集,並使用AWS身分管理與存取控制IAM管理叢集操作,也能透過ACM(AWS Certificate Manager)完全託管的TLS私密憑證頒發機構授權客戶端,以TLS加密資料,並使用KMS(AWS Key Management Service)中的金鑰加密其他資料。當伺服器發生故障時,MSK還會替換故障機器,自動執行修補工作,用戶可以從Amazon CloudWatch中,監控服務的狀態指標。

AWS表示,MSK與Kafka 1.1.1和2.1.0版本完全相容,因此用戶可以在AWS直接執行原本的Kafka應用程式以及工具,而不需要修改任何的程式碼,用戶能使用開源工具MirrorMaker,將資料從現有的Kafka叢集直接搬移到MSK上。

MSK的計價方式是以Kafka Broker以及配置儲存每小時計價,MSK的資料傳輸費率與原本的AWS資料傳輸相同,而叢集所使用的Zookeeper節點,還有區域叢集的Broker和Zookeeper節點互傳資料是不額外收費的。現在用戶已經可以在大部分的AWS區域使用到MSK服務,包括北美、亞洲與歐洲。


Advertisement

更多 iThome相關內容