雲端運算實踐經驗：元大證券集中機房為大規模虛擬化打好底子

你可能常常聽到「IT要快速反應營運所需」這句話，但你恐怕很難想像證券業IT所謂的快速反應營運需求，完成期限竟然是一個晚上。這是因為證券業的IT會明顯受到景氣波動影響，所以，只要景氣越熱絡、各種金融交易量越大，IT需求就越大，往往一個晚上要增加數10臺伺服器，才能支援隔天的交易量。因此，元大證券在2008年底時開始嘗試導入虛擬化，藉由快速複製所需IT資源，大幅縮短提供服務的時間。

元大證券資訊部副理游庭昆表示，在景氣好的時候，一個晚上就要建置10～20臺伺服器，負責建置的IT人員，往往必須在機房過夜才能完成工作，但是導入虛擬化以後，藉由VMware中的虛擬機器Clone（複製）功能，只要設妥主機名（hostname）和IP，不到1分鐘就可以讓新增的服務系統上線。

從測試環境、內部系統到對外系統逐步虛擬化

從2008年起至今，元大導入虛擬化的過程大致分為3個階段，第一個階段是2008年到2009年，先進行虛擬化的是測試環境，規模為120臺到140臺的實體機器。緊接著2009年再將元大金控的系統虛擬化。會這麼做的原因，游庭昆表示，除了金控系統用於對內提供服務，影響較小之外，最主要的原因就是要取代過於老舊的機器。舉例來說，當時金控使用的Lotus Notes版本仍需Windows NT 4.0的環境才能運作，雖缺乏維運的人力，但Lotus Notes還是必須運作，所以元大就透過P2V（實體機器轉虛擬機器）的方式，解決機器與版本過於老舊的問題。

第二階段是從2010年開始，元大逐步將證券的應用程式虛擬化，只要遇到要提供新服務或成立新專案時，就會以虛擬化的方式建置，一直到現在，元大正式環境中的應用程式有3成比例已經進行虛擬化。虛擬化的建置方式是，只要其他單位有新專案或是新服務推出時，元大IT會說服使用者部門直接採購標準化的伺服器配備，IT部門再依新服務的實際運算量來建置虛擬機器，未來使用者要擴充時就不用再添購新設備。IT部門訂出的標準配備是一臺2U的機器，搭配64G記憶體、2顆處理器、10G的網卡以及VMware的授權費。

游庭昆表示，目前已經進行虛擬化的系統都是屬於I/O負載較低者，因為，並不是所有系統都適合進行虛擬化，像是有些資料庫的處理器使用量就很大，I/O負載也較重，就沒有必要花錢買虛擬化軟體。另外，元大也沒有虛擬化UNIX主機。

從今年開始，元大進入第三階段，就是要將擁有超過350臺實體機器的電子交易系統也全數虛擬化，預計在2011年底，整個元大的資訊系統虛擬化的比例將達八成，屆時也將成為全臺灣第一個大規模導入虛擬化的證券業者。

這麼大規模的導入，當然也讓人好奇他們的作法。元大當時選擇導入的虛擬化軟體為VMware的vSphere 4.0，每臺機器都僅規畫15臺的虛擬機器。游庭昆表示，主要是考慮到實體機器毀損時所能承受的風險。「因為當一臺實體機器擁有越多虛擬機器時，一旦毀損時，受到影響的範圍也越廣。」

他進一步說明，估算一臺機器適合虛擬出的虛擬機器數目並不是以處理器的效能來計算，而是以記憶體的使用量來估算最適合承載的量。以元大來說，實體機器的標準配備是64G的記憶體，而每一個虛擬機器約占4G，因此，每一臺實體機器可虛擬出16個虛擬機器。但他考慮到發生問題時，得預留移動虛擬機器空間，所以，仍以15臺為標準。

資料先集中才有利IT配置

回顧元大導入虛擬化的過程，其實有兩件很重要的關鍵，分別是機房的集中以及儲存技術的改變。

游庭昆認為，虛擬化要成功，就必須做到機房與資料的集中。而元大就是在2010年時進行了機房集中，將原先分散7處的資料中心整併為2個。過去10年來，元大分別在臺北有2座資料中心、中部與南部各1座資料中心，另外北中南還各有1個集線站，用來接收非交易的資料。

游庭昆表示，資料分散對建置企業私有雲的難處就在於，資料儲存在4個地方，除了資料抄寫困難，也增加在虛擬化過程中分類不同服務的困難。另外，原先各個資料中心的網路骨幹頻寬也僅有2Mb到10Mb不等，集中之後，2個機房中間就以20Gb的頻寬連接，並且互為備援。

虛擬化最需要解決的是儲存架構

在整個虛擬化的過程中，游庭昆認為，最需要解決的就是儲存問題。元大過去不論金控或是證券全都是走SAN的架構，但後來除了UNIX主機之外，其他全改用NAS的架構。

改用NAS架構主要有2個理由，一來是產業屬性，二來則是考量到管理的便利性。游庭昆表示，SAN的I/O存取穩定度較高，而NAS確實較不穩定，但是，證券業有8成作業系統都是讀取資料，而不是輸入資料，相對來說，穩定度的需求也較小。同時，他表示，採用NAS架構在虛擬化環境下搬遷虛擬機器時，比SAN架構要調整的設定工作少很多，NAS架構有助於簡化管理。

而元大也利用了不少NetApp的功能來減少儲存系統的負擔，比如他們用NetApp FAS3240的重複資料刪除功能，也用了NetApp的快取功能，游庭昆表示，這2個功能對於不斷複製新的VM來說，都能大幅減少存取的資料量，也能減少儲存系統的負擔。

在儲存的架構上，元大對內服務與對外服務分開成不同的NAS系統，每個NAS系統有2個控制中心，每個控制中心管理48顆300G的硬碟。以臺北機房來說，總共負責300臺機器的運作，那麼每個控制中心平常各自負擔150臺機器的資料，但一旦有危機發生，就會由另一個控制中心承擔300臺機器的資料儲存，另外，在臺中也建置了與臺北同樣的儲存系統，讓2地互為備援。

而在一路這樣摸索虛擬化的過程，游庭昆坦承，許多事情都得不斷嘗試並解決。以監控來說，元大最近導入VMware才剛推出的新一代監控軟體vCenter Operations，比起原先使用的vCenter來說，不需要點選展開樹狀清單就可以看到所有的虛擬機器、各自的使用率等詳細資訊，而且一旦出現問題會直接出現警示符號。他表示，虛擬化以後，虛擬機器可以快速搬遷，但也會在發生問題時，不容易找到源頭，增加解決問題的時間。因此，對他來說，可以用色塊與儀表板的方式呈現每臺實體機器與虛擬機器的狀況是非常重要的。

而這一路的摸索，對元大來說，早就不只是IT的議題。過去證交所、期交所開辦任何活動，一張需求單跑流程要1到2個月，現在只要需求單進來，IT部門可以在幾分鐘內滿足內部與外部的需求。游庭昆表示，元大現在將建立私有雲訂定為企業的商業策略，所有的業務開辦都是搶在同業之前。對元大來說，建立私有雲才能在什麼都搶快的證券業當中，展現競爭力。

相關報導請參考「私有雲實踐術」