iThome

太空,人類的終極邊疆……,這段臺詞,是許多科幻迷熟悉的Star Trek系列影集的片頭引言,如今,在伺服器虛擬化、雲端服務當道的時代,每一種基礎架構與上層應用都不能或缺的「網路」,卻成為終極邊疆。

為什麼我們這麼說?一方面是因為資料中心最普遍的GbE網路,已經越來越不夠用,具有更高頻寬的10GbE遲遲無法普及,直到最近才出現升級潮,一方面許多新推出的網路協定或架構,例如FCoE、Ethernet Fabric、軟體定義式網路(SDN)、網路功能虛擬化(NFV),希望讓企業網路環境能夠走向高度整合、簡化、效率,卻由於變革太過劇烈,始終無法吸引許多企業採用。

既有經驗不能完全適用,企業不懂如何管理虛擬環境下的網路

以企業端的IT基礎架構應用而言,各家IT大廠無不全力鼓吹軟體定義式的IT環境∕資料中心的概念,提出了超融合架構(Hyper-Converged Infrastructure),透過通用的x86伺服器設備,將運算、儲存與網路資源整合於一體,已成為大勢所趨。

不過,這股浪潮似乎僅止於前兩者,主要針對的IT架構都是非常龐大的環境,就像很多廠商喊出的口號「Web Scale IT」、「HyperScale Data center」。

相形之下,大多數企業對於虛擬化環境的應用,仍停留在運算和儲存資源的調度。雖然,許多公司懂得用vMotion或Live Migration的VM線上遷移功能的好處,甚至也知道去用DRS(Distributed Resource Scheduler)或PRO(Performance and Resource Optimization)的VM自動線上遷移,讓關鍵應用系統的運作持盈保泰,後來,隨著Virtual SAN、Virtual Volumes這類產品推出之後,也重掀企業關注儲存虛擬化的風潮,但對於網路的使用和管理,仍處於很原始的階段,甚至可以說是非常保守。

例如,伺服器虛擬化已經進入相當成熟的階段,隨著商用、開源Hypervisor多家爭鳴,企業、雲服務業者想要導入伺服器虛擬化技術,選擇很多,而且可說是易如反掌,想要自行搭配軟硬體,或採購廠商最佳化配置好的整櫃式套件,都相當方便。

儲存虛擬化在最近幾年以來,也有重大突破。過去只有專屬的儲存虛擬化軟體方案,後來則進入到軟體定義式儲存的階段,隨著VMware推出與本身虛擬化平臺密切整合的Virtual SAN,以及結合眾多系統廠商的多節點伺服器硬體之力,發布了融合vSphere、vCenter與VSAN的EVO:RAIL平臺之後,將相關的整合帶到新的里程碑。

相較之下,網路虛擬化或所謂的軟體定義式網路,功能發展與普及程度卻是進展最為緩慢的,相關技術還在不斷演進、競爭,企業對此的接受度與採用率,也一直無法提升。而且,就算是純粹以伺服器虛擬化環境而言,對於網路共用資源的能否有效管理與最佳配置,這樣的基本需求也一直被忽視。

伺服器虛擬化應用規模越來越大,網路不夠用了!

在資料中心環境當中,伺服器虛擬化的應用是日益普及,已經無庸置疑,對臺灣的企業而言也不例外,目前已經到達技術採用的爆發期。

根據iThome 2015年CIO大調查的結果顯示,企業採用VM私有雲的比例,從20.9提升到28.3%。而且,每家公司所擁有的VM平均數量,已經到達50.2臺,相較於2014年,成長率高達63.5%。同時,當前企業內部應用系統虛擬化的比例,也來到40.6%

若就軟體採購項目來看,伺服器虛擬化這一類產品仍名列前三大,僅次於Office與作業系統,但比例開始下滑。市占最高的伺服器虛擬化平臺是VMware vSphere,65.7%的臺灣企業都在用,其次是微軟Hyper-V,比例為25.2%,跟去年相比所差無幾,顯示市場有逐漸飽和的跡象。因此,整體而言,伺服器虛擬化的確是企業IT環境不可或缺的應用之一,建置這類平臺的需求確立了,也已經導入,接下來的問題是,我們懂得如何妥善運用它嗎?環境準備好了嗎?

值得注意的是,在虛擬化環境的系統需求當中,通常我們會注意到處理器、記憶體、硬碟或網路儲存空間這幾個條件,對於網路連線的資源夠用與否,卻是比較輕忽。

會有這樣的結果,單就伺服器端歷年來的規格演進來看,也可發現一些端倪。例如,新推出的伺服器平臺,往往強調可支援更多處理器與記憶體的配置,而且,每顆處理器內的運算核心數量越來越多、記憶體運作時脈也有與日俱增的趨勢,相較之下,預設提供的網路介面,卻大多還是以2個GbE埠的規格居多。

而隨著虛擬化應用的普及,伺服器所面對的內外I/O需求也越來越巨大,就算擁有強大的運算核心與充裕的記憶體資源,還是不能大意,因為伺服器端的對外網路頻寬一旦不足,還是會影響系統的整體運作效能。

當然,如果伺服器的硬體擴充性夠,用戶還是可以選購網卡、插上去使用,就能讓伺服器得到更多網路介面,但這麼一來,不只增加耗電量,在網路布線上也會變得很複雜,連帶地,對於伺服器所連接的交換器而言,也必須提供更多網路埠來對應,而導致需要建置更多臺交換器,但交換器數量一多,又衍生出管理這些網路設備的需求。

於是,很多人會開始考慮導入頻寬更大的10GbE網路,近年來,10GbE規格的網卡與網路設備的成本也日漸下滑,普及度也因此增加,但還是比較貴,尚無法取代GbE,一躍而成資料中心網路環境的主流配備。

但這個態勢的確正在轉變,許多新推出的伺服器除了預設搭配4個GbE埠,還可讓用戶選購其他組態,例如GbE埠、10GbE埠各2個,以及4個10GbE埠。

就網路設備的採購趨勢來看,其實也可看到10GbE網路的建置方興未艾。根據iThome 2015年CIO大調查的網通採購重點項目,有16.3%的臺灣企業投入10GbE網路環境的部署,今年排名提升到第六,相較之下,去年10GbE網路採購的重要性是第十,企業比例則是10%。此外,蟬聯第一名寶座的網路設備升級、第四名的網路效能分析,某種程度上,也跟企業資料中心網路效能需求持續增長的現象有關。

 

虛擬網路奠基在實體網路

透過虛擬化技術的幫忙,企業能夠將實體伺服器的運算、儲存與網路,變成一個資源池,讓多臺虛擬機器可以依據需求去配置這些資源,然後同時執行起來,達到一機多用的效果。但要能支撐更大的應用規模,伺服器所擁有的這些資源,也必須很充裕,以網路的存取來說,若伺服器端的網路介面可提供的頻寬不夠,連帶也將影響裡面執行的虛擬機器網路效能。

 

網路架構是虛擬化環境與雲端服務的重要基礎

若要支撐超大規模的資料中心應用,例如私有雲、公有雲的服務需求,單靠既有實體網路的架構,可能無法因應,也因此,將整個資料中心的網路基礎設施加以虛擬化的浪潮興起,這當中,不只是支應伺服器虛擬化環境的應用,也可以運用到Ethernet Fabric、軟體定義式網路(SDN)、網路功能虛擬化(NFV)等概念。

 

從實體網路環境,走向虛擬化環境的網路環境

實體交換器提供傳統的網路存取方式,下可連接多臺伺服器,上可連接到核心交換器,相關設備的部署,也都是獨立於伺服器之外,並且針對使用規模較為固定的網路環境。同時,為了持續提供網路服務,也需要保有一定的備援能力。

相較之下,伺服器虛擬化環境下的虛擬交換器,所提供的網路存取方式和實體交換器一樣,並且具有一般L2交換器的大部分功能,但虛擬交換器是在伺服器內模擬出來的,並不是獨立的一臺實體設備,我們可以把多臺虛擬機器配置的虛擬網卡接到同一臺虛擬交換器,然後再將實體伺服器的網路介面,指派給這臺虛擬交換器作為它的上行埠(uplink),而實體伺服器的網路介面對外,則接到實體的核心交換器。

 

 

在虛擬化環境當中,對於實體網路的穩定性與效率更加仰賴

資料中心走向虛擬化、軟體定義式架構已經是大勢所趨,IT人員、開發者會透過軟體來主導整體IT基礎架構的應用方式,但這並不代表硬體設備的穩定度與效能無關緊要,事實上,IT基礎架構虛擬化之後,每臺伺服器可能要同時承擔多臺VM的運作,因此對於運算、儲存、網路等不同性質的系統資源利用率,也會跟著提高。

簡而言之,硬體要能負荷得住,才能讓軟體的執行無後顧之憂,這個道理不只適用在現行的實體伺服器、個人電腦,對於伺服器虛擬化環境來說,因為本身要具有同時擔當多個應用系統工作負載的能耐,又要能動態地運用所有共享的整體系統資源,當然也不例外。

然而,在系統資源的管理上,處理器的核心數量、記憶體容量、儲存空間都有明確而具體的數值,可供IT人員評估,相較之下,實體網路本身就很抽象,相關資源的使用率也非常動態,不易被量化,因此,一旦發生效能不彰、管理不當、資源不足的情況,都不容易在第一時間發現,除非徹底斷線,或連網速度慢到太離譜。若在虛擬環境當中,這些網路問題,可能會因為有好幾層架構相疊,更加隱而不現,若想要找出關鍵點,難度也很高,因為,實際上,會影響網路效能的環節變得更多。

舉例來說,在既有的實體環境,若要觀察網路流量的變化,只需關注伺服器的網路介面,以及所連接的交換器、路由器,想進行封包側錄,都有既定的作法可供參考與進行,如果要借助免費或付費的網管軟體來監控,選擇也很多。

而在虛擬環境,網路傳輸不只是發生在上述地方,也有可能在同一臺伺服器裡面的不同VM之間,會影響連線效能的因素更多,可能牽涉到的範圍也比實體環境更廣、更深,可專門針對這樣特殊環境應用的網管軟體,相形之下,卻較少,負責這方面作業的人,不只要精通實體網路的管理,也要對虛擬化環境的特性夠了解,才能通盤考量。

總而言之,實體網路的良窳,仍然是整體系統效能的關鍵因素之一,也是支撐伺服器虛擬化、儲存虛擬化、網路虛擬化,以及各種雲端服務的重要基礎。

因為,若實體網路故障,虛擬化的網路連線可能也將跟著停擺,而導致上層的應用系統、IT服務無法運作,影響業務運作,因此能否快速恢復正常運作,很重要。假如它的架構太過複雜,讓人難以部署與維護,也會增加日常管理的負擔與費用,所以,應盡可能簡化,不要疊床架屋。

此外,它的運作方式必須要有效率,如果資料中心環境裡面,有許多網路連線與交換器連接埠處於閒置狀態,或利用率太低,也等於浪費了企業花大筆預算和人力所投入的網路基礎建設。

虛擬化環境為什麼會出現網路效能不彰的現象?

若以伺服器虛擬化環境來說,會影響整體運作效能的因素,跟伺服器本身是否擁有充裕的資源,有密切的關係。

一般人最容易察覺的部分,主要是處理器運算能力、記憶體配置、硬碟存取速度,而這些地方會發生效能瓶頸,往往跟VM本身的資源配置不足有關,例如,vCPU等待運算完成的時間太久,或是VM系統記憶體容量不足,而需透過磁碟置換(Disk Swap)產生虛擬記憶體來動態擴充,硬碟的部份,則有可能因為VM系統端的應用程式啟用了Log監控記錄功能,而增加了許多存取硬碟的工作。

而在虛擬化環境若出現網路連線效能的問題,主要原因是發生了封包遺失(Packet Loss)。根據RISC Networks這家IT效能分析服務公司的觀察,有超過4,600家公司,在虛擬交換器連接埠的環境當中,都遭遇了封包遺失,其中,有64%的公司表示,這種狀況,發生在伺服器虛擬化平臺的主機端接收來自虛擬交換器的封包時,同時,也有26%公司反應,在主機連到虛擬交換器的時候,遺失了封包。

對於這種現象,ExtraHop Networks公司稱為虛擬封包遺失(Virtual Packet Loss,VPL),通常會發生在負載沈重的虛擬環境裡面。起因是伺服器虛擬化平臺所在的實體主機,承擔了太多的虛擬機器──雖然在這樣效能超載(oversubscription)的主機上,虛擬機器還是看起來可以正常運作,但當中執行的應用系統,效能會很糟糕。

因為,此時,網路封包的接收會不斷地延遲,若時間拖得太久,發出封包的裝置會以為封包遺失,或者假設網路流量處於擁塞的狀態,於是降低傳送率。為了減緩這樣的流量堵塞情況,發送端會再試著重新傳送封包,但還是無法奏效,因為網路的流量仍無法動彈,看似封包遺失,但實際上封包並未遺失。

這種狀況會形成骨牌效應,導致吞吐量變慢、資料傳送時間延長,連帶地,應用程式的執行效能也跟著停滯。

麻煩的是,這種現象會間歇性發作,而非持續出現,而且,傳統的系統監控與管理工具受限既有的技術,可能難以偵測到。

上述狀況只是發生在執行伺服器虛擬化平臺的伺服器內部,在這之外,例如該臺主機的網路介面、連接的網路交換器等位置上,又會有其他因素會導致封包遺失。RISC Networks公司進一步歸納出下列幾個可能的要點:網路設備的上行埠(uplinks)、L3網路層的介面、伺服器端對外連線的網路埠,以及透過L2資料連結層,對5臺以上的主機執行封包轉送作業,而且這些主機的所在地,是未知的網路或不在企業管轄範圍內。

 

 

網路配置不當,VM連接SAN儲存發生封包遺失

當 伺服器虛擬化平臺的主機或虛擬機器存取SAN儲存網路時,如果流量超過交換器的負荷時,也會發生丟棄封包的狀況,此時,主機或虛擬機器需花一些時間判定是 否發生封包遺失的狀況,確認後會再重新傳送封包,但如此一來,又會占用到原本可用來存取網路儲存資源的頻寬。(如上圖)

若應用程式或系統想要將大量資料寫入SAN儲存網路時,最好能透過多個連線的方式進行,如果採取較少量的連線進行傳輸,可能會出現流量超載的狀況。

 

透過指令顯示ESXi主機的網路封包丟棄比例

在VMware vSphere的ESXi主機上,管理者可透過esxtop這支指令,了解目前這臺系統的網路狀態,其中兩個欄位──%DRPTX、%DRPRX,分別代表傳送過程的封包丟棄比例,以及接收過程的封包丟棄比例。

 

如何避免VPL?

前面提到的虛擬封包遺失狀況,我們一旦了解到,問題點主要是在執行伺服器虛擬化的主機本身,該如何避免?

以目前最多企業採用的vSphere為例,VMware在探討vSphere整體效能最佳實務的文件上,提到了幾個建議作法。

首先,是伺服器端需具備足夠的處理器資源,在實體環境上,若要處理的網路流量越大,就需要更多CPU運算資源協助,在虛擬化環境當中更是如此,如果伺服器端的處理器資源不足,可能就會影響系統整體的網路吞吐量,因此要時時注意處理器利用率。

其次,是伺服器的網路介面配置。由於vSphere可支援網路介面共享與專屬等兩種模式,適合的情境也有所不同。

在多臺虛擬機器共用單一實體網路埠的組態下,若其中有幾臺虛擬機器的網路流量較大,很可能會拖累其他臺虛擬機器的網路效能,此時可以將特定實體網路埠,指派給這些用量特別大或不能忍受延遲傳送的虛擬機器,將它們的網路I/O隔離開來,以免影響其他系統。

在同一臺伺服器裡面的兩臺虛擬機器,若要彼此連線,在網路介面的組態上,應設定連到同一臺虛擬交換器。若它們各自連到不同臺虛擬交換器,相關的流量會傳到伺服器之外的實體網路上,這將衍生非必要的處理器運算與網路存取的負擔。

 

相關報導請參考:「伺服器虛擬化環境面臨網路效能難題」


Advertisement

更多 iThome相關內容