【美國拉斯維加斯AWS re:Invent 大會現場報導】
「這是一個高達35 PB的倉儲巨量資料庫遷移的挑戰」Amazon.com大數據技術資深經理Thomas Park在今年AWS re:Invent一場專談DBFreedom的技術議程中，對著臺下聽眾分享Amazon 資料庫上雲經驗時首度公開揭露這項數據。
今年在美國拉斯維加斯舉行的AWS年度大會re:Invent中，AWS也特別開設了一系列專談DBFreedom議程，其中一場就是專談「Amazon.com從Oracle資料庫搬上AWS」經驗的chalk talk，議程還沒開始，場外就已經排滿人潮，等著搶聽Amazon的自身經驗。
Amazon在11月1日正式關閉電商平臺使用多年的Oracle資料倉儲系統，改搬到自家AWS雲端資料倉儲 Redshift上，當時這個消息一出，科技圈譁然，成了熱議話題。也讓全球雲端龍頭AWS與傳統資料庫巨人甲骨文（Oracle）的資料庫之爭正式浮上檯面。
而今年在美國拉斯維加斯舉行的AWS年度大會re:Invent中，AWS也特別開設了一系列專談DBFreedom議程，其中一場就是專談「Amazon從Oracle資料庫搬上AWS」經驗的chalk talk上，Thomas Park也以這次Amazon成功換掉Oracle資料倉儲系統當例子。
Thomas Park表示，Amazon很早就開始採用Oracle資料倉儲，在換成AWS以前，系統存放的資料總共有多達35PB(壓縮後)，1個PB(Petabytes)等同於1000個TB，若以一個1TB硬碟厚度平均0.7公分來計算的話，35PB的硬碟，堆成的高度超過200公尺高，這還不包括還有一個同樣壓縮過的5PB的核心資料集，也都要一併改上AWS，這正是Amazon資料倉儲上雲面對的最大挑戰。
Amazon的甲骨文資料倉儲與資料庫運作架構圖大公開（自11月起已由AWS雲端資料庫服務架構取代）
.JPG)
Thomas Park也首度公開在換成AWS以前，Amazon原本使用甲骨文資料倉儲與資料庫運作的架構圖。就像一般企業，Amazon一開始，也使用OLTP database 與資料倉儲，用來處理不同類型的工作負載，像是Oracle資料庫可以用在交易型與非交易的workload。包括catalog、inventory、transactions 、Clickstream、Marketing等資料，而資料倉儲是可用來蒐集大量交易數據與分析所用。並透過Amazon自行開發一個可以用來管理不同資料庫處理流程的ETLM管理平臺，除了用協助交易資料萃取和轉置外，也能用來處理特殊應用，如跑報表，將取得結果傳送給不同使用單位。
他也解釋為何AWS資料庫上雲的原因，就是要讓資料庫具備橫向擴展（Scale Out）的能力，他表示，Amazon成立20多年來，在業務發展上，從開始用來查詢交易資料與儲存使用的資料庫，用的就是Oracle資料庫與技術，並用這些資料庫來建立Amazon網站底層的架構。但是當是業務逐漸成長，擴建更多的region、與跨入不同領域市場，對於IT團隊來說，必需要很快擴展原有基礎設施來迎合這樣的需求。
但是舊有的資料庫設計方式，已無法跟上他們事業快速成長的腳步，所以，Amazon 決定將自己的資料庫重新打掉重練，改用新的資料庫設計方式來取代，以便能夠scale out來因應業務成長需求。「這也是我們會決定從使用已久的Oracle資料庫搬上AWS的最重要原因。」當然成本也是另一大考量，他也補充說到。
最後，Thomas Park總結從這次推動Amazon資料庫與資料倉儲遷移學到的10堂課：
1.當企業開始要思考遷移資料庫，必須先提高能見度(visibility)，對資料庫使用狀況有全盤了解，以利於掌控時間進度。
2.由於資料庫搬遷會影響到許多單位正常運作，因此事前必須盡可能尋求高層的支持
3.資料庫移轉想要順利進行，事前必須獲得Oracle 與SQL資料庫管理負責人的支持與協助
4.在資料庫移轉時，應單獨設立開發團隊，負責協助解決不同資料庫團隊移轉遇到的共通問題，有助於縮短遷移時間
5.執行上須與AWS團隊保持密切合作
6.團隊心態上必須克服對技術的恐懼，並且找出造成技術阻礙的問題癥結
7.遷移付出成本和價值的比較，應以能夠創造更高價值為目標
8. 以資料庫上雲帶來整體效率的改善當作案例，來說服其他未使用單位加入採用
9.在雲端資料庫維運上，也必須要有一套雲端資料庫管理工具，能對所有雲端資料庫進行統一管理
10.隨時保有擴充彈性，然後慶祝勝利到來
熱門新聞
2024-04-17
2024-04-15
2024-04-17
2024-04-15
2024-04-15
2024-04-15