Google在其雲端資料倉儲BigQuery加入搜尋索引以及相關的SQL搜尋函式,讓用戶可以使用標準的BigQuery SQL,高速搜尋非結構化文字和半結構JSON檔案中,所存在的唯一資料元素。搜尋索引為無伺服器服務,並且完全由BigQuery管理,只要資料在BigQuery中可以使用,用戶就能利用新的搜尋功能進行資料檢索。

Google表示,這項BigQuery新功能讓用戶可以在單一資料平臺中,對欄式儲存和文字進行搜尋,可在用戶查詢資料列,而非聚合資料時,發揮極大的效能和成本效益。像是辨識特定用戶相關聯的資料列,以用於GDPR報告,或是從文字中尋找特定錯誤碼,都可以利用該功能快速完成搜尋工作。

BigQuery搜尋索引功能,能夠避免觸發繁重的表格掃描工作,官方解釋,搜尋索引主要採用反向索引(Reverse Index)技術來加速資料點的查詢。BigQuery透過反向索引,能夠深入了解特定資料元素在表格底層儲存的位置,因為資料經過標記,因此在區分大小寫等細微差異的文字搜尋上,比SQL具有更大的靈活性。

BigQuery現在能對超大量的文字資料進行搜尋,像是用戶可以將本地端、多雲平臺和Kubernetes中的日誌記錄,全部匯集到BigQuery中,快速地查詢特定資料元素。與其他的BigQuery功能相同,搜尋索引是全託管功能,一旦用戶創建了索引,BigQuery便會在後臺處理剩餘的工作。

同時,搜尋索引也能夠搜尋半結構化資料,Google提到,安全日誌來自多個來源,具有不同的架構、類型,而用戶現在可以將這些日誌儲存成JSON,並且在BigQuery中使用SQL進行查詢。

BigQuery搜尋索引功能不額外收取費用,但是用戶需要對索引所使用的儲存支付費用,Google表示,適當的使用搜尋索引功能,查詢掃描的資料將大幅減少,進而節省成本。Google舉例,要從PB級的資料中,刪除所有Bob的資料,過去用戶可能需要掃描TB大小的表格,才能找到其中10筆包含Bob的紀錄,而現在透過在BigQuery表格增加索引,就僅會觸及包含Bob的資料列子集,因而大幅降低成本。

熱門新聞

Advertisement