在2011年被LinkedIn開源釋出的分散式串流分析平臺Kafka,而在2014年,LinkedIn離職員工另起爐灶,創辦提供企業級Kafka串流服務的Confluent。在近日,該公司釋出了Confluent Platform 5.0版,讓用戶可以更快整理分散各處資料源,彙整至單一來源。Confluent表示,這次釋出新版本有許多重要功能,像是提高基礎架構的安全性、可靠度,以及加強應用程式串流分析的能力。

第一重點加強層面是提升該平臺的安全、可靠度。Confluent表示,這次版本利用新LDAP authorizer套件,設定Kafka的存取權限,而管理員可以連結使用群組及LDAP伺服器,進行權限控管。而LDAP authorizer套件與其他安全協定結合後,管理員亦能用個人或者群組為單位,進行存取控制。同時,Confluent也加強控制中心的功能,包含Schemas、KSQL、Topic等內容,都可以利用存取控制機制加強安全。

至於串流平臺的穩定性,此平臺也搭配了Confluent Replicator,縮短災難復原的時間,協助維運人員,將災難復原的每個步驟自動化。當企業IT環境故障,客戶端應用程式要轉移至次叢集運作時,Replicator利用Kafka內建容錯機制Consumer group,讓應用程式搬遷至新叢集運作時,可以從延續既有節點的工作進度,Confluent表示:「不僅縮短重新處理Consumer需求的時間,也不會遺失新收到的訊息。」為了避免故障轉移時,系統重複複製訊息,在Replicator的設計機制中,系統會確保從甲地複製,傳送至乙地的訊息,不會重新拷貝一份至甲地,反之亦然。

再者,Confluent控制中心的監控、管理功能也有加強。以監控功能為例,系統管理員在選單中,可以觀察多個Kafka叢集中個別Kafka伺服器組態設定,確保每個Kafka Broker都配有正確組態設定,避免出現資安問題。

同時,系統管理員在控制中心也能即時觀看個別應用程式的效能表現,並且設定觸發警報條件,加強平臺穩定度。在此版當中推出的新功能Consumer lag,使用者可以觀察Consumer端的效能表現,提前準備確保平臺維持高效運轉。

除了加強平臺安全、降低維運工作,第二個重要特色就是加強平臺串流分析的能力。而Confluent總共從兩個層面,強化平臺運算力。

首先讓開發者透過控制中心,能更加了解串流資料的特性。在數據收集被歸類到Topics後,使用者可以檢視每一筆訊息中的標頭檔、Key等資訊。再者,現在Confluent開發的Schema儲存庫(Schema Registry )已經和控制中心整合,使用者可以直接瀏覽Topics內資料的鍵值資訊。同時,在控制中心的管理選單中,該平臺也提供開發者,比對新舊Schema的設計。第二個層面則是加強整合KSQL。Confluent表示,在4.1版時就推出Web介面實驗功能,讓開發者可以在網頁介面執行KSQL。現在控制中心已經整合了KSQL,開發者能直接利用Kafka Topics,建立資料流(Stream)及資料表(Table)。

現在Confluent也開始加強布局物聯網應用,該公司表示,Confluent推出了MQTT Proxy,能相容標準的MQTT 3.1.1版協定,讓企業用戶可以更快整合物聯網應用,藉由原生的MQTT Proxy,用戶可以淘汰第三方廠商的MQTT Broker。該公司表示,自家原生的MQTT Proxy也支援了TLS協定,加強連網設備的安全。

系統管理員在選單中,可以觀察多個Kafka叢集中個別Kafka伺服器組態設定,確保每個Kafka Broker都配有正確組態設定,避免出現資安問題。圖片來源:Confluent

 

系統管理員在控制中心也能即時觀看個別應用程式的效能表現,並且設定觸發警報條件,加強平臺穩定度。在此版當中推出的新功能Consumer lag,使用者可以觀察Consumer端的效能表現,提前準備確保平臺維持高效運轉。圖片來源:Confluent

 開發者透過控制中心,能更加了解串流資料的特性。在數據收集被歸類到Topics後,使用者可以檢視每一筆訊息中的標頭檔、Key等資訊。圖片來源:Confluent

 

開發者可以比對新舊Schema的設計,比對後,Confluent會自動列出前後版本差異的地方。圖片來源:Confluent

現在控制中心已經整合了KSQL,開發者能利用Kafka Topics,建立資料流(Stream)及資料表(Table) 。圖片來源:Confluent


Advertisement

更多 iThome相關內容