幫TB等級DB找新家！甲骨文推第五代資料庫應用雲櫃

雲端運算興起之後，各家系統廠商開始推出以機櫃為基礎的新一代IT基礎架構整合建置套件，像IBM稱之為專家整合系統（Expert Integrated Systems），演變至今成為PureSystems系列解決方案，橫跨雲端環境、大資料與分析、應用系統等三大類型的快速建置需求；Oracle也推出了專屬的一系列方案，稱為最佳化設計系統（Engineered Systems），目前已針對資料庫、中介軟體、伺服器虛擬化、儲存、叢集運算、記憶體內（In-Memory）BI分析、資料庫即時防護等應用，推出整合式硬體設備，而這些產品當中知名度最高，當屬2008年問世的Exadata Database Machine，主要訴求的應用型態，包括常見的線上交易處理（OLTP）、與BI分析有關的資料倉儲，以及資料庫雲端應用──亦即資料庫即服務（Database as a Service，DBaaS)，企圖囊括所有資料庫系統的工作負載。

Oracle當時推出的是第一代產品V1，隔年該公司發表了第二代產品V2，接著，2010年續推第三代產品X2，之後，在2012年第四代產品X3上市，而目前最新款的機型是2013年底推出的第五代X4。

相較於傳統普遍採用的拼裝式軟硬體組成，Exadata訴求的特點在於整體搭配、最佳化、標準化，以及強化的效能與穩定性。

以運作架構來看，Exadata分為三大部分：資料庫伺服器、儲存伺服器與高速存取的網路存取。前兩者都是採用標準x86架構的伺服器平臺，X4系列機型已經將伺服器端處理器，全部升級到Ivy Bridge架構的Xeon E5 v2，若性能不足或用量太大，還可視需求橫向擴充。

而這些伺服器彼此連結的網路規格，主要是高達40Gb/s的InfiniBand（X4採用PCIe 3.0介面的網卡，而且當中的兩個連接埠可同時啟用），並提供GbE和10GbE標準規格的網路埠，以連結資料中心的其他應用或遠端管理之用。

若對照之前推出的Exadata產品，第五代的X4系列效能表現提升高的幅度達到50％至100％，儲存容量也增加33％至100％。

Oracle Exadata Database Machine分為4種尺寸的機型，圖中為馬偕紀念醫院所導入的八分之一櫃，而且是最新款的二路運算架構X4-2。

資料庫伺服器搭配12核心處理器，可提供更多運算核心，本機儲存空間也擴充1倍

以2路運算架構作為資料庫伺服器平臺的X4-2方案為例，若配置到一整櫃的規格，資料庫伺服器可擁有192顆運算核心、4TB記憶體、19.2TB本機儲存，而所運用的InfiniBand埠都是40Gb/s的QDR規格。相較之下，在上代的X3-2規格當中，資料庫伺服器最多可擁有128顆運算核心、2TB記憶體、9.6TB本機儲存。

儲存伺服器配置更大容量的硬碟與PCIe快閃記憶體，並可應用壓縮技術獲得更大的Flash快取空間

而X4搭配的儲存伺服器，所搭配的處理器仍然是2顆6核心，但換成2.6GHz的Xeon E5-2630 v2，時脈比前代機種（Xeon E5-2630L 2.0 GHz）要高。

以可用空間來看，在整櫃裝滿168臺硬碟的情況下，X4若採用高容量硬碟（4TB），總共能配置672TB的儲存空間；若X4用高轉速硬碟（1.2TB），也能配置到200TB。而在X3時，儲存伺服器僅能搭配3TB的高容量硬碟或600GB的高轉速硬碟。

值得一提的是，Exadata內含的儲存伺服器在第二代以後，開始搭配PCIe介面卡形式的Flash記憶體來加速存取，Oracle稱之為Exadata Smart Flash Cache。而以整櫃的配置而言，X3所採用的Flash，原生容量只有22.4TB，到了X4，Flash容量多了一倍，可配置到44.8TB。

●Smart Flash Cache Compression

以整櫃儲存伺服器可存取的Flash記憶體容量而言，若同時啟用X4新增的Flash快取壓縮軟體功能Smart Flash Cache Compression之後，甚至能高達88TB，等於是X3配置Flash記憶體容量的4倍。這麼一來，絕大多數的OLTP資料都可載入其中。

受益於配置了更大容量的Flash記憶體與新的Flash快取專用壓縮技術，X4資料庫系統的I/O速度也大為提升。

以整櫃組態的X4-2為例，當設備用8K大小的資料來執行SQL的處理時，在讀取和寫入效能項目上，可分別達到266萬IOPS和196萬IOPS。而上一代的X3-2在整櫃組態下，讀寫效能分別是150萬IOPS和100萬IOPS，相較之下，X4-2超越的幅度相當大，讀寫規格高出X3-2有7成和9成之多。

若單論X4-2的儲存原生可用頻寬（不啟用資料庫壓縮技術），搭配高效能硬碟時，比X3-2的相同硬碟配置少了0.5GB/s，可能是因為硬碟轉速差異，X3-2配置的是1.5萬轉（rpm），而X4-2配置的只有1萬轉；不過若搭配高容量硬碟，反而比X3-2多，最大可多出2 GB/s（整櫃組態）。不過，一旦搭配Flash記憶體，新舊Exadata設備的資料存取頻寬都可提升到全部使用硬碟的5倍，例如整櫃組態的X4-2或X3-2，可用的資料傳輸頻寬皆為100GB/s，比坊間的各家廠商推出的全快閃儲存陣列設備還要高出許多，之所以會有這樣的差異，主要還是得力於Flash的應用──Exadata從第二代的機型，就開始採用PCIe Flash。

理論上，Flash可為系統提供高速I/O存取能力，但是若用於快取應用，所能得到的命中率若不夠高，對於效能提升的效益也可能不明顯，而這部分就不只是單純考量搭配硬體的好壞，而要看搭配的軟體演算法。

Oracle也看到軟體應用方式對於快取效能的影響力，該公司在X4上，搭配了新的Flash快取演算法，針對資料倉儲系統常見的資料表與資料分割區掃描工作，提供最佳化處理──若資料表大小超過Flash容量，Exadata會自動讀取部分的內容、載入Flash中，讓Flash和硬碟端都可以持續讀取這些資料，以便加速整體的I/O吞吐量。

●Smart Flash Logging

X4在儲存伺服器的軟體當中，也應用了特殊演算法Exadata Smart Flash Logging，能夠資料庫物件載入Flash，以減少記錄寫入I/O，這項技術可充分利用Exadata 儲存伺服器上所搭配的Flash記憶體，以及磁碟控制器的高速記憶體，以這些優勢急遽減少記錄寫入所導致的延遲，同時也可避免其他快閃儲存應用方案經常發生的存取尖峰延遲（latency spikes）。

除了上述作法之外，在儲存設備、PCIe Flash和InfiniBand網路交換器的使用上，Oracle也都採用了獨特的演算法，設法提升效能。 

●可將資料密集型的處理工作，卸載到儲存伺服器，減輕資料庫伺服器負擔

相較於傳統的運作架構，Exadata Data Machine的另一個特色是，能將一些偏重資料存取的工作，例如SQL查詢、條件過濾等作業，從資料庫伺服器卸載到儲存伺服器上，因此，上述這些工作的執行，能夠和系統從硬碟和Flash讀取資料的作業，一起同步進行，只剩下與查詢相關的資料欄與資料列，會被送至資料庫伺服器處理──Exadata儲存伺服器回傳給資料庫伺服器的資料，只有欄和列的部分，而不是整張資料表，同時，整個SQL處理作業會盡可能貼近資料端（或硬碟），讓所有的硬碟都可以平行地作業。

這麼一來，資料庫伺服器的處理器用量可大幅降低，而且，資料庫伺服器與儲存伺服器之間的流量也隨之精簡許多，因為不用在兩端之間傳來傳去，所以，若在資料倉儲應用上，因為查詢的處理而產生的大量資料傳輸需求，以及資料庫伺服器端的沈重負載，可以藉此得到紓解；若是在OLTP應用環境，面臨大量批次資料處理，以及報表產生作業，也可以游刃有餘。
而且，Exadata會將底層的儲存資源轉換成傳統的區塊儲存服務，因此對資料庫應用系統而言，Exadata儲存的運用都是清清楚楚、一目了然的。

因此，Oracle認為，在資料庫系統同樣是Oracle Database 11g Release 2或12c的環境下，用Exadata Data Machine上的執行速度，會比用傳統方式逐一建置的系統要快。而且，既有的SQL指令還是可以照常運作，無論是在專用查詢作業，或套裝系統、客製系統上，都不會因為改用Exadata Data Machine，而受到影響，衍生出修改的額外工作。

對於這樣的卸載處理，Exadata儲存伺服器應付得來嗎？Oracle在這類型應用伺服器所配備的處理器等級相當高，以X4來說，每臺儲存伺服器採用的是2顆6核心Xeon E5-2630 v2，以整櫃配置來說，由於可搭配到14臺儲存伺服器，所以最多可運用168顆運算核心，因應來自資料庫伺服器的工作負載，這樣的作法，Oracle認為，類似於GPU解決大量圖形密集式處理的方式。

除了資料密集式的工作可以卸載到儲存伺服器，事實上，Exadata還可以將混合式欄位壓縮（Hybrid Columnar Compression，HCC）的作業，交給擁有大量處理器核心的儲存伺服器處理。

HCC目前提供兩種執行模式，包括針對查詢作業的最佳化壓縮模式（Query Optimized Compression），以及針對歸檔作業的壓縮模式（Archive Compression），前者適合偏重資料讀取作業的工作負載，像是資料倉儲，可節省大量空間與提供強化效能；後者則提供最極致的壓縮方式，主要是針對一些線上但較少用的資料。

一般而言，HCC常用於壓縮較老舊的、不常存取的資料，若要針對一些密集存取資料，例如新的、經常存取或變更的資料，可運用進階的資料列壓縮（Advanced Row Compression）。

從正面看Exadata Database Machine的模樣，中間陳設了資料庫伺服器，下半部是儲存伺服器。

機櫃上，我們可以很清楚地看到門上標示著Exadata X4-2，邊框則寫著Exadata Database Machine的字樣。

打開前方機櫃的門，我們可以從面板上，更清楚地看到Exadata Database Machine X4-2的ˊ配備，馬偕醫院採購的是八分之一櫃機型。

而在Exadata中的機型配置來說，八分之一櫃與四分之一櫃的硬體配置，其實是完全一樣的，當中包含了：資料庫伺服器有兩臺設備，各自皆配備了4臺600GB容量的1萬轉硬碟；儲存伺服器有3臺設備，各自搭配了12臺硬碟，因此，總共可容納36臺硬碟－－這裡可選擇高效能硬碟（2.5吋1萬轉1.2TB）和高容量硬碟（3.5吋7200轉4TB）等兩種組態。然而，兩者不同的是，八分之一櫃只啟用了一半數量的處理器與硬碟，因此若就硬碟而言，這種機型只能運用其中的18臺。

運用40Gb/s InfiniBand超高速網路，連接資料庫伺服器與儲存伺服器

除了資料庫伺服器和儲存伺服器，Exadata X4還包括2臺QDR InfiniBand交換器，建構出40Gb/s InfiniBand網路，供上述兩種伺服器連接，讓RAC節點之間能彼此通訊，並以此形成單一網路。

圖中是從機櫃背後來看，最上與最下的這兩臺設備都是InfiniBand交換器，都各自提供了36個QDR(40Gb/s)規格的連接埠，中間這一臺應該是GbE規格的乙太網路交換器。

不僅如此，若Exadata應用到多座機櫃的規模時，也是透過InfiniBand的傳輸線來連接，用戶最多可同時連接18座機櫃。由於Exadata有整櫃、半櫃、四分之一櫃、八分之一櫃等4種尺寸機型，彼此連接方式也有些不同之處。例如，整櫃機型與半櫃機型之間都可以相互連接，若是四分之一櫃，也可與其他尺寸機型互連，例如，2座八分之一櫃可彼此互連，或者是用四分之一櫃來連接已經設定好的整櫃機型或半櫃機型。

圖中為Exadata X4資料庫伺服器的背面，這裡提供了4個100/1000/10G Base-T的網路埠，以及4個PCIe 3.0介面卡擴充插槽（1個x16與3個x8）。

這一張圖是Exadata X4儲存伺服器的背面，機箱尺寸為2U，比資料庫伺服器所用的機箱更高，可容納的硬碟與擴充介面卡數量更多。Oracle在這裡，同樣提供了4個100/1000/10G Base-T的網路埠，但有更多PCIe 3.0介面卡擴充插槽（6個，1個x16與5個x8）。