【解讀2021儲存技術新趨勢１】I/O介面的關鍵進化

在儲存I/O介面領域，2021年最重要的事件，必然是PCIe 4.0的全面普及。另外，作為基礎磁碟介面之一的SAS，第4代SAS-4也將開始實用化。最後，FC介面最新一代的64Gb FC，也會形成更完整的產品生態。

PCIe可說是「I/O介面之母」，是當前最基礎的I/O介面，所有I/O通道最終都會接到PCIe上，因而PCIe的更新也是牽一髮而動全身，影響最為深遠。

至於SAS介面，原本是繼SCSI之後，最重要的企業級磁碟I/O介面，但目前在高性能SSD介面應用中的地位，遭到NVMe的取代，但依舊是中低階SSD與機械式硬碟的標準介面，以及標準的外接磁碟介面。

新一代FC SAN介面也有進展，面對雲端儲存、超融合系統等新興儲存產品，傳統的SAN儲存陣列產品，近年來的銷售受到很大的衝擊，連帶也影響到FC介面的發展，反倒不如新一代的高速乙太網路（25、50、100GbE等）受到矚目，但仍能緊守關鍵應用的SAN儲存網路規格角色。

 千呼萬喚始出來的PCIe 4.0 

【PCIe發展路線圖】由上圖可以看出，在PCIe 3.0與PCIe 4.0之間，間隔了特別長的過渡期，以往PCIe規格大約是每隔3、4年便更新一代，但PCIe 4.0卻與PCIe 3.0相隔了7年之久，也導致2010年推出的PCIe 3.0，到了2021年的今日，依舊是市場上的主流PCIe規格，因此也形成制約伺服器與儲存陣列效能的主要瓶頸之一。這個問題直到Intel於2021年開始支援PCIe 4.0，才能獲得解決。（圖片來源／https://pcisig.com/sites/default/files/files/PCI-SIG-Seamless_Transition...）

依照最初設定PCIe發展路線圖，PCIe 4.0應該早在2年前就已進入普及階段，現在這個時間點（2021年初），我們討論的主題，應該是PCIe 5.0何時普及。但實際上的發展，卻與過去路線圖的規畫大不相同。

負責制定PCIe規格的組織PCI-SIG，發布PCIe 4.0規格的時間，原本就較預期時程慢了2、3年，依照PCIe 1.0到PCIe 3.0的更新速度，PCIe 4.0規格應該要在2015年以前完成，但實際上，PCI-SIG直到2017年底才發布PCIe 4.0。

然而接下來，PCI-SIG卻又很快在2019年推出PCIe 5.0規格，以致PCIe規格的發展，與實際上的應用情況，出現了嚴重脫鉤的情況。雖然規格已經發到PCIe 5.0，PCIe 6.0的草案也在2020年提出，但當前IT環境的實際應用，主流仍然是PCIe 3.0/3.1。這也讓PCIe 4.0的地位顯得尷尬，本身都還未受到普遍支援，新的PCIe 5.0卻已問世。

造成PCIe 4.0遲遲無法獲得普遍應用的「禍首」，一是PCI-SIG組織規格制定時程的延宕，另一是作為處理器平臺龍頭廠商的Intel，遲遲不願支援PCIe 4.0。

自PCIe 4.0於2017年底發布以來，一直都只有相對小眾的產品支援，最早支援PCIe 4.0的運算平臺是IBM的Power 9，另外還有一些網路卡與SSD產品支援，如Mellanox最早的100GbE與200GbE網路卡，Netint與三星的SSD等。

直到AMD於2019年1月宣布其Zen 2處理器平臺將支援PCIe 4.0後，才讓PCIe 4.0的應用開始擴大。但即使如此，由於Intel仍不支援，以致PCIe 4.0仍不能進入主流應用，這也整個IT應用環境在PCIe 3.0停滯了10年以上，成為限制儲存陣列與伺服器I/O規格的瓶頸，尤其NVMe介面開始普及後，這個態勢更為顯著。

以往只有GPU卡、高階網路卡，需要占用較多的PCIe通道，但隨著NVMe SSD的普及，一臺NVMe SSD便需占用4條PCIe 3.0通道，也直接導致伺服器與儲存陣列的PCIe通道資源陷入緊張。

除此之外，PCIe 3.0也制約了新一代網路介面的普及，如64Gb FC、200Gb HDR InfiniBand等，都需要更大的PCIe頻寬才能發揮線速，必需占用更多PCIe通道。唯一的解決辦法，便是引進擁有2倍頻寬的PCIe 4.0，如此一來，只需耗用一半數量的PCIe通道，就能提供相同的頻寬。

面對PCIe 3.0帶來的I/O效能瓶頸，即使是Intel，也不得不加入支援PCIe 4.0的行列。從目前的情況來看，Intel預定在2021年推出的兩個處理器平臺，包括針對桌上型應用的Rocket Lake平臺、以及針對伺服器端的Ice Lake-SP平臺，都會支援PCIe 4.0後，這也將打開PCIe 4.0進入主流應用的大門，可望迅速推動PCIe 4.0在伺服器與儲存設備的普及，先在2021年，進入伺服器與桌上型電腦的應用，然後到了2022年以後，應該就會跟著擴展到儲存陣列控制器。

 姍姍來遲的SAS-4 

SAS介面發展路線圖

相較於12Gb/s的SAS-3，24G的SAS-4普及速度慢了許多，2017年中完成規格制定後，到了2019年中，第一批基本元件（擴展器與控制器）才問世，然後在2020年中，第1款採用24G SAS的SSD產品才問世。下一代的SAS-5（48G SAS） 已在制定中，預訂在2023～2024年前後問世。（圖片來源／STA）

受到NVMe介面逐漸普及的影響，SAS原本一統企業磁碟I/O介面的地位，已經有所動搖，目前高階SSD都已改用效能更高的NVMe介面。不過由於NVMe相對較高的成本，以及有限的擴展能力，讓SAS仍保有中、低階SSD、機械式硬碟，以及標準外接擴充介面的地位。

但另一方面，這也導致IT環境對於提高SAS效能的驅動力大為下降，對於需要更高效能的裝置來說，直接改用NVMe即可；而對於中、低階裝置來說，既有的SAS-3規格便足以滿足要求，因而造成新一代的SAS-4遲遲無法進入實用化的困境。

事實上，相較於SAS-3，SAS-4的發展速度大為放緩了。SAS-3問世於2013年，到了2015年時，就已形成完整的應用環境，從SSD、硬碟等磁碟裝置、到板卡、伺服器與儲存陣列，都已普遍支援SAS-3。

相較下，負責制定與推廣SAS規格的SCSI貿易協會（SCSI Trade Association，STA），雖然早在2017年中便宣布完成SAS-4規格的制定，但3年後才開始被應用在終端裝置上，應用普及的速度遠遠慢於上一代的SAS-3。

由東芝記憶體（Toshiba）改組而來的Kioxia（鎧俠），在2020年中推出第1款採用SAS-4介面的SSD產品PM6系列，這也是第一個採用SAS-4的終端產品，也總算讓SAS-4進入實用化階段。我們預期在2021年，會有更多SSD產品跟進採用SAS-4介面，至於在伺服器與儲存陣列上的普遍應用，可能得等到2022年以後才有具體進展。

 64Gb FC應用環境邁向成熟 

首款64Gb FC交換器

Broadcom在2020年下半年推出了第一批64Gb FC網路設備，包括X7導向器與G720交換器。

第7代FC規格64Gb FC，問世已經有2年多時間，預期將會在2021年初步形成完整的生態環境。

64Gb FC規格於2018年底制定完成，Cisco與Broadcom兩大FC SAN網路設備供應商，則從2019年下半年開始發表64Gb FC相關產品。

Broadcom在2019年8月推出業界首款64Gb FC HBA卡，但實際上仍只支援32Gb FC，只是未來「可升級」到64G FC規格。

類似的，Cisco也在2019年9月宣布旗下的MDS 9700交換器平臺，已備妥升級64GbFC，可透過更新line card模組支援64Gb FC，但仍不是實際支援。

造成64Gb FC實用化進程緩慢的一個主要原因，是受到PCIe 4.0普及緩慢的拖累，64Gb FC需要PCIe 4.0的配合，才能更好的發揮傳輸速度，因而PCIe 4.0普及時程的延遲，也連累到64Gb FC應用生態環境的成形。

到了2020年下半年，64Gb FC應用環境終於有了具體的進展。

Broadcom在2020年9月，宣布推出業界第一批64Gb FC交換器產品，包括X7導向器與G720交換器，接下來只要將Broadcom既有的64Gb FC HBA卡，實際升級到64Gb規格，就能構成端到端的完整64Gb FC環境，預期在2021年，我們便能見到完整64Gb FC環境的誕生。