看和信超媒體如何建置ISP網路架構

由於和信超媒體的骨幹業務是提供給用戶一個穩定快速的純IP網路，因此目標其實相當的單純，只要考慮IP的部分就可以，也因此在初期根本不打算導入MPLS/VPN等等企業服務，在設計時主要的考量就是如何以最合理的成本，建置高速且具備多重自動備援的IP網路骨幹，同時還要規畫未來數年的頻寬滿足量，以免產生青黃不接的壅塞時期；另外，由於企業對於設備攤提成本及整體持有成本（Total Cost of Ownership，TCO）有相當程度的要求，因此還必須考慮在設備的攤提期間（一般為3~5年）要能持續利用，以避免閒置資產的發生。

一般的系統整合商（System Integration，SI）在幫企業規畫網路架構時，常會選擇以該SI慣用的私有協定（Proprietary Protocol）來作為主要的路由規畫，例如Cisco的EIGRP（Enhanced Interior Gateway Routing Protocol），或是Extreme的EAPS（Ethernet Automatic Protection Switching）等等；在和信超媒體網路建置的初期，亦是由系統整合商代為規畫網路架構，並採用EIGRP為主要的內部路由通訊協定（Interior Gateway Protocol，IGP），但隨著網路架構的成長擴建以及一些新型態服務需求及新的網路設備出現，我們意識到私有協定的存在可能會讓我們未來各種可能的網路方案受限制，或是增加網路維護上的複雜度，因此我們開始著手規畫以標準的OSPF（Open Shortest Path First）作為我們主要的IGP，並以同時存在的方式逐漸地完全取代EIGRP，經過長達將近8個月的時間才順利轉移到OSPF。因此設備的相容性（Interoperability），也是相當重要的考量之一。

在考量了以上TCO/擴充性/備援/相容性等等因素後，我們將主要骨幹架構規畫成第三層環狀雙路由的形式以節省成本與增加網路穩定性，而在臺北主要據點，設置兩個主要的機房形成雙骨幹，再將骨幹連線與對外連線，平均分配在這兩個主要的機房，以達到POP等級的Redundancy。另外，在對外連線架構方面，將網路以階層的方式，分為Peering/Core/Transit等三級，一方面可以適應某些設備的路由表容量不足的問題，另一方面也可以將網路流量做適度的分配，以方便隔離出問題與除錯。採購評估

在2000年初，IP路由器大廠還是以Cisco為主，因此在純IP網路的情形下，選擇Cisco作為骨幹IP網路的主要設備可說是僅此一家別無分號，雖然後來其他的設備也有一定的水準，但在既有人員習慣Cisco設備與代理商未有積極動作的情形下其實也很難選擇，如Juniper在2003年以前甚至連借測的機會都沒有，更不用說導入了，這也是各SI公司對於市場的操作不同的結果。設備生命周期也是重點

另外，思科產品的生命周期與投資保障（Investment Protection）也是其他大廠難以望其項背的。以7206VXR路由器為例，它的生命周期甚至超過10年，一路從NPE-150（約可負荷一條T3）升級到NPE-G1（約可負荷2~3條STM1），還能支援IPv6；而所需要的僅僅是換一片板卡。其他網路介面卡都不用重買，甚至7200/7500及6500/7600系列還能通用，這就好像伺服器可以一路由486升級到Xeon都不用換機一樣，對網路規畫人員來說這樣的TCO控制其實是相當有吸引力的，尤其當財產標籤大多是以Chassis來算的時候。

因為著眼於以上幾點，我們選擇了L2/L3都能勝任的Cisco 6500/7600系列作為骨幹交換器，在2000年時6500系列交換器的背板頻寬僅有32Gbps，第三層交換的效能也僅有6Mpps，後來提升到15Mpps/256Gbps fabric，到今年已經有最新的30Mpps/720Gbps fabric出現，同樣也只要更換一片板卡就能升級，甚至支援的介面還從FE/GE一直到SDH的STM1/STM4/STM16，甚至10GE都陸續出現，提供了持續而完整的產品線，使得網路在成長時都不用擔心需要整臺換掉而產生不必要的浪費。另外，採用標準化的介面，也是另一種節省成本的方法，例如某些路由器因為不支援標準的1000BASEX GBIC（Gigabit Interface Converter），只能採買該路由器專屬的GE介面卡，在架構改變時若適用的連線方式有變（如Multi mode fiber改遠距離Single mode fiber），或是更換其他設備時，就可能需要再花錢購買新的整張板卡而造成資源的浪費與設備閒置，如果採用板卡與GBIC分離的方式，就不用擔心這樣的問題。

另外，標準化的GBIC還有一個好處，就是可以用國內副廠的產品來取代原廠昂貴的GBIC，有時價差甚至會高到數十倍，還有許多特殊規格可用（如20/40km GBIC或是CWDM GBIC）。當然，原廠近年來也漸漸注意到這個情形，所以有些機種便開始加入辨認原廠GBIC的機制，因此若要導入副廠的GBIC，還是要先測試過會比較好。建置計畫、選擇和步驟

我們使用了兩臺Cisco 6509作為骨幹交換器，由於6509的採購時間較早（2000年），因此只配備了Supervisor Engine 1/MSFC1。另外，在2002年採購了兩臺6506/Sup2/MSFC2作為Peering交換器，並配備了OSM（Optical Service Module）以連接STM1連線的其他ISP業者；而在節省外地Colocation space的考量下，Transit交換器 選用了僅佔4U機架高度的Cisco 7603，加上STM4的OSM，用來連接國際海纜。所有的交換器都沒有配備交換器Switching Fabric，一方面是因為成本因素，另一方面是規畫容量並不需要這麼大，還有就是預留以後升級的空間。後來證明這樣的想法是對的，因為目前32Gbps的背板頻寬實際使用量最多才到56%，Cisco還新出了內含720Gbps Switching Fabric 的Supervisor Engine 720，以後要升級只要將Supervisor Engine 換掉就可以得到超過20倍的容量。

另外，我們利用Cisco Catalyst 2948G-L3建置擁有雙路由備援機制的光纖乙太網路。Cisco Catalyst 2948G-L3擁有48個10/100Mbps自動偵測Ethernet連接埠，透過Fast Ether Channel頻寬整合，可提供800Mbps的連接能力，並做到提升流量與線路備援，並以OSPF做自動備援機制。到了2003年，我們為了建立更穩定更高速之光纖網路，開始採購配備多達10個GBIC port的Cisco 3550-12G，並將原來2948G-L3的雙路由架構，升級到多點互連備援路由架構（Partial-Mesh）。

為了滿足Server Farm 每臺Server 均超過300Mbps的流量，因此使用了Cisco 3750 交換器來作為Server Aggregation，並以GE Channel分別連接Core 交換器與Peering交換器，一方面節省Core 交換器與Peering 交換器間的流量，另一方面也將骨幹交換器的背板使用量降到最低。3750另外一項功能在連接1000BASE-T的時候相當有用，就是它可以測試每個1000BASE-T接線的品質，有了這項功能，就不用擔心雙絞線的品質問題。根據我們的測試，在短距離（20M）內，一般國產Cat5e線的品質都足以勝任1000BASE-T的連線，並不需要特別的施工或一定要Cat6的線，就算是壓線的時候有某對線有問題或是跳線接錯，1000BASE-T還是能正常工作，實際的1000BASE-T GE Channel Performance也能達到接近滿載（>95%）的水準。

設備更換的次序
由於整個和信超媒體網路是處於24小時營運的狀態，真正影響用戶的大幅度更換設備只能在凌晨用戶最少的時間進行，不過因為在架構上已經做了分流的動作，不論是新增連線或是設備整臺升級都不會對用戶上線造成全面性的影響，頂多是在重開心交換器/路由器時某區域的用戶會暫時中斷幾分鐘，如果是Peering或是Transit交換器更動，或是骨幹線路更動都不會產生任何用戶察覺得到的問題。

另外，由於Cisco 設備的產品生命相當長，舊的設備如2948G-L3或是7206可以隨著網路的擴增，而從原本的區域中心，轉做小型POP的骨幹上鍊（Uplink），因此不會產生太多閒置設備的問題，而高階的骨幹設備如6509或是7606，只要更新硬體就不用擔心被淘汰。

建置結果、疑難雜症及使用經費
截至今年（2004）第一季為止，和信超媒體國內連線總頻寬已達到34788.64Mbps，國外連線也達2500Mbps，目前光是網站流量每天平均就超過 4000Mbps以上，ADSL與Cable modem用戶也持續成長，雖然期間有碰到一些軟體上的bug，但是大都可以在思科網頁上快速地查詢到解決方案或是以更新設備軟體的方式得到解決。而由於在架構上已經將分流與故障隔離考慮進去，並且搭配Netflow分析功能，在遭遇到2001年Code Red、2003年SQL Slammer、Welchia等蠕蟲大發作時，都能將影響減到最小，並在最短時間內排除異常狀況，甚至在遭遇超過600Mbps的惡意DDoS攻擊時，也能簡單的在少數幾臺邊界交換器上加以阻擋，維護網路的穩定。

雖然Cisco設備的效能不是最好的，但以它的穩定性、擴充性及完善的後勤支援來看，的確幫我們達到節省TCO的目的，也讓我們以合理的成本建置了具備極佳的彈性、容易維護、且安全可靠的高速IP網路。

企業簡介
和信超媒體成立於1998年10月，不僅是臺灣地區第一家寬頻上網服務的業者，也是臺灣寬頻上網服務及寬頻網路內容的領導品牌之一。作者簡介

劉博仁，目前任職和信超媒體網路服務工程部網路交換組，擁有超過10年的IP網路經驗，除了在服役期間就有軍方網路維運經驗外，也曾負責全省寶來證券分公司Frame Relay網路的建設，更於2003年考取思科最高級認證Cisco Certified Internetwork Expert（CCIE）認證#11440，目前臺灣僅有約百位通過CCIE認證的網路工程師，全球也僅不到一萬人。