儲存月報第9期：失靈的儲存效能指標SPC-1

非營利組織的儲存效能理事會(Storage Performance Council，SPC)所提出的測試標準，特別是針對隨機IOPS效能的SPC-1測試，一直是儲存業界衡量產品效能的基準，主要的儲存大廠如EMC、NetApp、Dell、HPE、HDS，以至中國的華為，與國內的普安等，都曾讓旗下儲存產品參與SPC測試，並以取得的測試結果，來標榜自身產品的效能或效能/價格比特性。而這也讓SPC-1成為一個跨廠牌、直接比較不同產品效能表現的公認指標。

SPC-1的成功可以歸因於這幾點：

●測試規範相對嚴謹與公平，不僅測試程序相對能避免一些特意衝高數值的手段，測試模型也接近主流的交易型工作負載，足以作為現實應用環境的參考。

●在企業儲存領域，尤其是區塊型儲存應用，沒有其它具備足夠公信力、業內公認的測試基準與SPC競爭。

●前面兩點造成SPC一家獨大，成為企業區塊儲存產品效能的權威比較基準，一些廠商在採購儲存設備時，甚至將SPC測試表現列入招標規格，導致儲存廠商不得不參與SPC測試，於是這也進一步擴大了SPC的影響力。

但過去一年多以來，隨著一些產品在SPC-1測試中締造了讓人難以置信的驚人成績，但使用的測試架構卻存在疑慮，以致儲存業界出現了對 SPC-1測試架構合理性與防弊機制的質疑。

漸進提高的SPC-1成績

隨著技術的進步，各廠商儲存產品的SPC-1成績也隨之攀高，舉例來說，在2012年以前，只有Kaminario的K2D能在SPC-1中取得100萬以上IOPS的成績，而到了2017年初的現在，至少有6款產品在SPC-1測試中，擁有超過100萬IOPS的表現。

就一個較長的時段來看，各廠商的SPC-1測試數值隨著時間而有顯著進步，但就同世代、同等級的產品來說，彼此間的SPC-1效能表現固然會有差距，但落差並不會太大，除非遇到儲存技術架構的根本性變革，否則SPC-1的紀錄更新總是漸進的，不會有一次提高幾倍的大幅度進步。

上一次SPC-1出現大幅度跨越的紀錄更新，正是發生在固態儲存產品開始成熟的時期，在2012～2013年間，Kaminario先後以基於DRAM的K2D，與基於Flash記憶體的K2兩款固態儲存陣列產品，率先在SPC-1測試中突破了100萬IOPS紀錄。在此之前，SPC-1測試紀錄的領先者均屬於傳統硬碟式儲存陣列，達到的成績不過只有40～50萬IOPS，而Kaminario則一舉將紀錄提高了2倍以上。

繼2012～2013年的效能大突破後，接下來的3、4年間，SPC-1的最高紀錄排行榜成了固態儲存陣列的天下，最高紀錄也逐漸成長到200萬IOPS左右，HPE的XP7與HDS的VSP G1000等兩款產品，都在2015年先後達到了200萬IOPS的SPC-1測試表現。

不過到了2016年時，短短一年時間內，SPC-1測試成績又出現了成倍的跨越式進步，DataCore的平行架構儲存伺服器，創造了驚人的512萬IOPS紀錄。

DataCore異軍突起，締造驚人增長的測試成績

2016年是SPC-1測試史上值得註記的一年，先是華為OceanStor 18800 v3締造了300萬IOPS的新紀錄（測試編號A00163），但保持了不到半年，在同年就被DataCore以512萬IOPS所刷新（測試編號A00179）。

DataCore所創造的SPC-1佳績，讓人訝異的有這兩點：

首先，是512萬IOPS這個驚人數值，這堪稱SPC-1史上最大幅度的紀錄更新，比一年前最高的200萬IOPS紀錄足足提高了2.5倍。如同前面提到的，上一次SPC-1紀錄有這種幅度的進步，是依靠固態儲存技術帶來的革命，但這一次，卻是發生在儲存技術與架構沒有出現革命性進展的情況下。

其次，是DataCore只投入非常少的硬體資源，就創造了超過500萬IOPS的成績。

華為所達到的300萬IOPS表現雖然也相當驚人，不過這是投入了極龐大資源的成果—一共投入了16臺控制器與512臺SSD，以這種空前高檔的硬體組態，獲得極高的SPC-1測試數值，可說是理所當然的結果。

但DataCore只投入2臺安裝SANsymphony軟體、作為儲存控制器的伺服器，加上4臺外接的SAS JBOD磁碟櫃，一共72臺SSD的規格，就在SPC-1測試中達到超過500萬IOPS的成績。

由於DataCore透過SANsymphony軟體的儲存架構，只需極少資源就能達到極高的效能表現，所以，他們同時在SPC另一項測試——以每單位IOPS成本為基準的性能價格比測試，也創造了新紀錄。

原本Dell曾在2015年初時，以SC4020創造了SPC-1性能價格比新紀錄，每IOPS只需0.37美元。稍後國內的普安公司，則在2015年中以EonStor DS3024B將這個紀錄更新到每IOPS 0.24美元。但DataCore在2016年初，以搭載SANsymphony軟體的儲存伺服器，進行的一項SPC-1測試（測試編號A00164），得到每IOPS只需0.08美元的驚人性能價格比紀錄，一口氣就將數值拉低了3倍。

SPC-1效能測試Top 10排行榜

DataCore以512萬IOPS高居榜首，遙遙領先其他受測者，但造成爭議之處在於，DataCore的測試架構存有疑慮。

資料來源：SPC

SPC-1性能價格比測試Top 10排行榜

目前已有兩家臺灣廠商捷鼎（Accelstor）與普安（Infortrend），登上了這個排行榜。不過占據第1的DataCore與第3名的Accelsoor，都是以單控制器組態執行測試，其餘廠商則都是雙控制器，這樣直接對比成本有些不公平。

資料來源：SPC

令人質疑的測試架構

DataCore在SPC-1測試中的驚人表現，也引發了外界一連串對其測試架構的議論，認為其中恐有取巧之虞。

對500萬IOPS測試成績的質疑

DataCore只用了2臺控制器（執行SANsymphony軟體的伺服器）與72臺SSD，就得到比華為動用16臺控制器與512臺SSD還高出60%的500萬IOPS效能表現，這樣驚人的成果，DataCore CEO宣稱是他們啟用了所謂的平行處理技術所致，但外界懷疑DataCore的測試架構另有玄機，存在這幾個疑點：

●極度依靠寫入快取來拉高效能

DataCore在SCP-1測試中使用的伺服器，搭載了高達1.5TB的DRAM記憶體，其中SANsymphony軟體使用了1.25TB，而且從其極低的回應時間表現來看（僅0.3ms左右），外界質疑寫入I/O都是由DRAM快取承擔，沒有實際落入底層SSD。

但太過依賴DRAM作為寫入快取，但這在實際環境中會帶來資料可用性方面的問題。DataCore的SPC-1測試架構中，雖然納入了UPS，來確保斷電時維持DRAM資料的可用性，但如果遭遇的是UPS失效這種意外，這種架構便不可行了。

●犧牲資料一致性與可用性

懷疑者們認為，DataCore之所以能有500萬這樣高的IOPS數值，一個原因是省略了在2臺控制器之間進行快取鏡像，沒有跨節點的資料保護能力。這樣的架構，將能省略在兩臺控制器之間進行大量的內部傳輸工作，從而拉高IOPS效能，但這在講究可用性的實際環境中，是不可接受的。

實際上，DataCore還有另一份採用了HA高可用架構的SPC-1測試（測試編號A00178），顯示DataCore若和正規儲存陣列一樣，採取雙控制器鏡像架構，他們的IOPS表現便只有120萬，雖然也是相當不錯的數字，但與500萬IOPS相比，就不那樣讓人震撼了。

DataCore的SPC-1 500萬IOPS測試架構

DataCore以這個架構，在SPC-1測試中締造了空前的512萬IOPS成績（測試編號A00179），而且只使用了2臺執行SANsymphony軟體的Xeon E5伺服器、4臺外接JBOD磁碟櫃與72臺SSD，相較下，位居第2名的華為，在SPC-1測試中耗用了16組控制器與512臺SSD，得到的成績不過是300萬IOPS。

但懷疑者批評DataCore這個測試架構，恐怕是極度依靠寫入快取來拉高效能，2臺充當儲存控制器的Xeon E5伺服器分別配置了多達1.5TB的記憶體，並啟用了寫入快取。另外，DataCore的2臺儲存控制器之間，也沒有執行快取鏡像複製，因而省下了控制器之間的I/O負擔，這雖能相當程度地提高I/O效能，但也因此不能確保2組控制器的資料一致性，也沒有跨節點保護能力。

換句話說，懷疑者們認為，DataCore這個架構是專為衝高SPC-1 IOPS效能所設計，與真實環境存在很大落差，測試成績雖然驚人，但對實際環境的參考價值有限。

資料來源：SPC

DataCore啟用高可用性的SPC-1測試架構

DataCore在另一項SPC-1測試中（A00178）測試編號，以啟用了鏡像複製的組態接受測試，與締造了512萬IOPS的A00179測試相比，兩者測試架構大致相似，但A00178啟用控制器之間的鏡像功能，具備跨節點高可用性能力，而且儲存伺服器安裝的DRAM記憶體數量也縮減一半（從A00179的1.5TB減為768GB），比較沒有依靠寫入快取衝高效能的疑慮，配備的SSD數量也較少（從72臺減為36臺），但如此一來，獲得的IOPS數值也從A00179的512萬降為120萬。

雖然以這樣的組態，跑出120萬IOPS的SPC-1成績，已經是相當不錯的表現，但就沒有512萬IOPS那樣的震撼力了。

資料來源：SPC

對性能價格比測試的質疑

DataCore締造SPC-1性能價格比新紀錄的A00164測試，同樣也存在失真的疑慮。

首先，測試中前、後端都在同一臺伺服器上，沒有透過儲存網路，等同於伺服器自己的本機I/O測試。這雖然可以解釋成一種用戶端與儲存端合一的「超融合型式」架構，不過和一般常用環境顯然是不同的。

其次，只使用1臺儲存伺服器，也就是單控制器，沒有跨節點資料保護能力。

第三，前述測試架構同樣也有大量依靠寫入快取的疑慮，控制器安裝了多達544GB DRAM記憶體，但架構中卻又沒有UPS，可用性堪慮。

換言之，DataCore這種做法，一方面是利用沒有獨立前端伺服器、且大量依靠寫入快取的方式來縮短延遲、拉高I/O效能；另一方面又犧牲了可用性，透過單控制器架構來壓低成本，從而取得性能價格比方面的優勢。

與其他採用雙控制器組態、擁有完整可用性機制、且採取儲存網路測試架構的受測產品相比，DataCore的SPC-1性能價格比成績，恐有不公平比較之嫌，也與現實環境脫節——畢竟，單控制器架構比雙控制器省錢是理所當然的，但稍微有高一點可用性要求的使用者，都會要求採用雙控制器，因此單控制器組態所取得的SPC-1性能價格比成績，參考價值便相對有限。

也就是說，如果DataCore在這項測試中也依照正規標準，採取雙控制器、跨節點資料鏡像、納入UPS配置、且透過儲存網路存取，恐怕就不會有這樣驚人的性能價格比了。

DataCore的SPC-1性能價格比榜首測試架構

DataCore以這個測試架構，在SPC-1效能價格比測試中(測試編號A00164)，締造了每IOPS只需0.08美元的驚人成績。相較下，在此之前，位居SPC-1效能價格比榜首的普安EonStor DS 3024B，也不過是每IOPS 0.24美元的表現。

但觀察測試架構可發現，這個架構沒有獨立的前端伺服器，且只有1臺執行SANsymphony軟體的儲存伺服器。所以在這個測試中，前、後端都是位於同一臺伺服器上，而沒有透過儲存網路存取，自然有助於縮減延遲、提高效能；此外測試架構只包含1臺儲存伺服器，也有利於壓低成本，因而取得好的性能價格比成績，也是理所當然的。

但這樣的測試架構，和真實環境需求明顯有落差，對企業環境來說，透過儲存網路存取是常態，而且基本上都會要求雙控制器高可用性架構。

資料來源：SPC

參考價值失效的效能指標

總的來說，DataCore在SPC-1測試中所採取的做法，雖然不至於算是作弊，只是利用了SPC-1測試的規則，卻也造成測試結果參考價值的降低。

由於SPC-1測試規則中，並沒有要求系統可用性的門檻，可以接受廠商以單控制器組態送測，所以透過降低可用性方面的標準，來達到拉高I/O效能與性能價格比表現，是符合SPC-1規則的合法手段。但這樣的做法，在實際環境中是無法接受的——企業用戶不僅要求高效能或便宜，同時也要求系統可用性與資料一致性，所以如果廠商在這方面「取巧」而取得較佳的SPC-1成績，將會造成SPC測試環境與實際用戶需求產生落差，從而失去參考價值。

而且相對於其他擁有完整高可用性機制的儲存產品，DataCore這種犧牲可用性所取得的SPC-1佳績，恐有不盡公平、以致無法直接互相比較之虞。

對於傳統的企業級儲存陣列產品來說，硬體上必然會擁有完整的可用性機制設計。但是在軟體定義儲存時代，控制器硬體配置是彈性的，因而出現了利用犧牲可用性標準，來提高測試成績的取巧法門，而這也對SPC-1測試的可信度，帶來了的挑戰。

事實上，在DataCore帶頭做了「示範」後，近日Accelstor（捷鼎）也仿照這個先例，以單控制器/單機組態方式，締造了SPC-1性能價格比的佳績（位居僅次於DataCore的第3名）。但如同前面所述，這種方式雖能在「測試環境」取得好成績，但對現實環境的參考價值有限，而且也是不公平的比較——在整個SPC-1性能價格比排行榜中，就只有DataCore與Accelstor是採取單控制器的壓低成本取巧作法，其餘所有廠商則都是規規矩矩的雙控架構。

捷鼎的SPC-1性能價格比測試架構

今年年初捷鼎以這個架構，在SPC-1性能價格比測試中取得佳績（測試編號A00183），每IOPS只需0.20美元，在SPC-1性能價格比排行榜中位居第3。但問題是，捷鼎在測試中，只使用1臺NeoSapphire 3602全快閃儲存陣列，也就是一個單控制器組態，這雖然有利於壓低成本，但與真實環境需求有所落差。就實際環境來說，會在這類全快閃儲存陣列上運行的應用，大都是講求可用性的關鍵應用，雙控制器高可用性是必要需求，因此這種單控制器測試組態的參考價值相對有限。

資料來源：SPC

來自原廠的回應

捷鼎(Accelstor)向我們回覆了關於他們參與SPC-1測試（測試編號A00183）的考量過程，與測試結果的進一步說明：

1.關於送測時間與送測機種選擇

捷鼎表示，在參與測試時，他們產品線只有單控制器機種，雙控制器機種尚未推出，所以便以單控制器的NS3602參與SPC-1測試。

2.關於測試重點

雖然捷鼎的測試登上了SPC-1性能價格比排行榜，但捷鼎表示當初NS3602 受測時，捷鼎是以提升效能為主要目標。

3.關於未來測試機種選擇

捷鼎表示，他們明白SPC-1排名大部分廠商都是雙控架構，其實捷鼎去年也注意到高可用性機種的市場，因此於 2016 年 7 月推出我們的第一台高可用性機種 NeoSapphire 3706-ES1，不過SPC-1審查與測試需要投入相當人力、時間與資源，同時也有測試工具版本更新等相關考量，因此內部還在研議當中。