雲端下水道工程改造中

要了解一座城市的先進程度，要從看不見的地方著手。下水道正是城市發展背後的隱形關鍵基礎設施。

下水道普及率越高，不只反映出一個城市的衛生越好，可以容納越多生活人口，甚至更能抗災，不怕颱風暴雨，就算局部地區淹水，也能快速排解，下水道工程正是城市治水的關鍵。

下水道的科技應用，更影響了城市發展的型態，工業都市需要工業廢水處理廠，下水道管線中的光纖則讓都市更數位化。

雲端世界也有下水道！若以一棟棟大樓來比喻各種雲端應用或雲端服務，雲端世界就像是蓋滿了各類用途大樓的超大型城市，而雲端服務、雲端應用、資料儲存處之間的資料網絡，就像是雲端世界的下水道。

一座小城市要發展成大都會，不只是興建更多大樓就好，看不見的基礎設施也要跟著升級。若要從大都會，再更進一步變成世界級都市，不只要引進打造摩天大樓的新世代建築技術，更得重新改造看不見的地面下基礎設施，發展更系統性和現代化的下水道網絡和各類汙水處理系統，才能支撐起更高、更先進的摩天大樓。

這幾年，數位轉型帶動了IT現代化技術的進化，雲原生技術成為主流，這就像是打造摩天大樓的新世代技術，企業比過去更容易打造出服務千萬人，甚至上億人的全球性服務架構，但和發展世界級都市一樣，不只大樓建築技術要提升，城市下水道網絡也得全面翻新才行。

這正是為何，在雲原生技術成為主流之後，今年兩大雲端巨頭，Google和AWS，先後不約而同都聚焦資料產品線的改造，而且都是聚焦雲端資料倉儲和雲端大數據分析領域，這正是雲端下水道工程的新世代技術。

Google Cloud執行長Thomas Kurian在今年Next大會揭露了Open Data Cloud新戰略，宣稱要做到「可以聚集和分析來自所有來源，所有儲存格式，所有雲端供應商的所有資料，來提供各種形式的存取。」核心產品是BigQuery，從過去十年的結構化分析平臺，從今年開始轉為通吃結構和非結構的通用型分析平臺，更打通了與雲端儲存服務、串流大數據Spark、各類商用資料庫，甚至直通到AI應用開發流程，都能以BigQuery為資料集散地來流通。

而剛結束的re:Invent大會，AWS執行長Adam Selipsky也提出了一個新的企業數據產品戰略，他的願景是，「面對複雜的資料規模挑戰，企業需要一套完整工具，可以處理各種資料類型，並將這些資料整合，然後提供治理和安全性，還要能夠以視覺化呈現，方便掌握和快速傳遞，來獲得對於公司業務有價值的洞察。」

AWS的策略是盡量將各種分析服務Serverless（無伺服器）化，AWS除了原本能用於無伺服器型態的互動式查詢服務Athena、資料串流服務Kinesis、資料整合服務AWS Glue以及BI服務QuickSight之外，去年宣布AWS資料倉儲服務Redshift支援無伺服器服務，今年陸續將大數據處理平臺EMR、即時分析工具MSK也提供無伺服器服務。

到了年底今年年會中，更推出了搜尋和分析引擎服務OpenSearch的無伺服器服務預覽版。Adam Selipsky強調：「沒有人像我們可以做到所有分析服務都能提供Serverless。」

Serverless可比喻成AWS的下水道技術，因為要將各式雲端服務轉換成無伺服器服務模式的背後，其實就已經串起了這項服務的各種資料連結，才能將一項服務無伺服器化。

AWS雲端下水道系統的終點是Redshift，這裡正是AWS企業數據產品戰略的核心。Redshift今年不只強化zero-ETL技術，無縫打通數據雲端服務Aurora到Redshift的資料通路，更內建了串流大數據分析平臺Spark的連接器，不需再使用第三方整合工具，可以快速將資料從Redshift拋轉到Spark。

一座城市，有了更好的下水道系統，就能具備更好的治水能力，不怕颱風暴雨而淹水，才能讓都市容納更多人口和更多元化的發展。雲端巨頭們正在改造雲端世界的下水道工程，勢必帶來更大規模、更多新型態雲端應用出現的可能。

 相關報導