Google去年發布的全託管低延遲NoSQL資料庫BigLake,迎來了幾項重要更新,包括可用於建構事件驅動應用程式的更改串流(Change Stream),還透過在混合交易和分析處理加入優先等級,避免資源爭奪,而用戶現在也可以不需使用ETL,就直接將BigQuery資料匯出至Bigtable。
BigLake作為統一儲存引擎,能夠跨不同雲端和格式,提供精細度一致的儲存控制,解決企業在不同環境以多種資料格式儲存資料,造成資料孤島的問題。
BigLake推出新的更改串流功能,用戶能夠追蹤Bigtable變更,並且和其他系統整合,官方舉例,Bigtable的資料變更可以複製到BigQuery中進行分析,又或是複製到ElasticSearch執行全文搜尋,甚至複製到其他資料庫中以支援多雲和混合雲架構。透過訊息傳遞服務Pub/Sub和無伺服器服務Cloud Functions,就能夠觸發下游操作,甚至是整合Vertex AI建立機器學習驅動應用。
更改串流可以讓零售商更簡單地監控產品目錄變化,隨時監控產品的定價和可用性,並且觸發應用內或是電子郵件通知,提醒客戶商品狀態變更。銀行應用也可以利用更改串流,將上傳的文件交付給Cloud Vision人工智慧,以解析其內容。
另外,過去在分析營運資料的應用上,企業常會擔心資源競爭的問題,當分析操作消耗過多的資源,可能破壞具延遲敏感性的工作負載,部分團隊需要創建額外的執行個體,專門執行批次分析任務,又或是在低流量時刻進行操作,但這些方法可能產生額外成本或是管理工作。
而Bigtable新的請求優先等級功能,則可以解決這個問題,當用戶在執行較不具時效性的大型工作負載,像是分析查詢和批次寫入,便能夠將其設為低優先等級,Bigtable便會選擇優先處理高時效性的查詢作業,進而減少批次處理對系統的影響。
常用的Bigtable資料存取路徑,諸如BigQuery聯合、Dataflow和Spark連接器,也都支援請求優先等級,分析師、資料工程師和資料科學家都能夠操作資料,Bigtable將會依優先等級排序工作,降低批次資料載入或是模型訓練對整體系統效能的影響。
BigQuery現在也可以直接將資料匯出到Bigtable,過去將資料移入營運資料庫需要經過複雜的ETL工作管線,而Bigtable更新後開發者能夠自助,將資料從資料倉儲移動到營運資料庫。此外,Bigtable的另一項重要更新是能夠與HBase雙向複製,透過Bigtable所提供Apache HBase相容API,還有通用的寬欄位(Wide-Column)資料庫結構,能夠簡單地實踐雙向複製,使用戶建構多雲或是混合雲部署。
熱門新聞
2024-10-11
2024-10-13
2024-10-11
2024-10-11
2024-10-11
2024-10-12