iThome

在當前企業儲存應用的資料縮減技術中,重複資料刪除是效果最卓著的一種,可說是這類技術發展的指標,也是我們觀察這領域的重點。

重複資料刪除技術問世至今,已有超過15年時間,從最初的特定領域的專屬應用功能,逐漸擴散為一般環境的通用功能,我們可將這個過程分為3個階段:

第一階段:備份應用時期

大約在2003~2004年間,Avamar、Data Domain、ADIC等廠商,率先推出應用了重複資料刪除技術產品,都是用於備份領域,包括備份軟體、備份儲存伺服器與虛擬磁帶櫃(VTL)。

接下來的2、3年內,又有更多廠商推出含有重複資料刪除功能的產品,而其應用的形態亦大致不脫前述的範圍,不過,此時,也開始出現其他領域的重複資料刪除應用,例如,NetApp用於FAS與NearStore儲存伺服器的A-SIS重複刪除,以及Riverbed內含重複資料刪除處理能力的Steelhead網路閘道器。

到了2009年,這項技術在備份應用上,迎來一波高潮,在CA與CommVault帶頭下,重複資料刪除開始整合到主流備份軟體,而Acronis與Symantec(Veritas)等備份軟體大廠,也緊隨其後,重複資料刪除從此成為備份軟體的一項基本功能。

第二階段:進入全快閃儲存應用

在2010年,備份領域完成了重複資料刪除技術的普及,與此同時,這項技術也開始被應用到一個新領域,也就是當時相當熱門的全快閃儲存陣列。

有別於早先的全快閃儲存陣列廠商,在2010年的前後,以Pure Storage、SolidFire、XtremIO為首的新創公司,在他們發展的全快閃儲存陣列,引進重複資料刪除功能,訴求藉此減少昂貴的快閃記憶體容量耗用與寫入損耗。這樣的作法獲得了市場肯定,於是一線大廠也陸續跟進,到了2015~2016年以後,重複資料刪除開始成為全快閃儲存陣列領域的標準功能。到了今日,甚至可以說,全快閃儲存陣列必須要有這項功能,才會被視為擁有足夠的競爭力。

第三階段:邁向通用環境應用

重複資料刪除的應用,在2016年以後又跨了一大步,開始進入一般通用應用領域。以往,只有用於備份、全快閃儲存系統的專用平臺才會提供重複資料刪除,而在此之後,通用的作業系統與應用平臺也開始內建重複資料刪除功能。

事實上,很早就有通用作業系統提供重複資料刪除功能,但應用上一直不能打開局面。如微軟的Windows Storage Server 2003 R2,就有稱作單實例儲存(SIS)的檔案級重複資料刪除功能,但局限較大,無法發揮縮減資料的潛力。

後來在2009年初,昇陽(Sun)Solaris提供ZFS檔案系統,成為第一個擁有完整重複資料刪除功能的通用作業系統,但Sun於2010年為Oracle併購後,Solaris與ZFS的發展便陷入低谷。接下來,到了2012年,Windows Server 2012也導入了重複資料刪除功能,但限制頗多,且只適用於NTFS,而不適用於新的ReFS檔案系統。稍後的Windows Server 2012 R2,也只略微升級了重複資料刪除。

這樣的情況,到了2016年以後有了變化,代表性的事件,是VMware在vSAN 6.2中,提供了包含重複資料刪除在內的完整資料縮減功能,讓vSphere平臺藉此得到重複資料刪除技術應用。

Windows平臺也有新發展。在2016年推出的Windows Server 2016,對重複資料刪除作了顯著改進;隨後,2017年發行的新版Windows Server(1709版),搭配的ReFS 3.2版檔案系統,也終於新增支援重複資料刪除,讓Windows平臺的重複資料刪除功能趨於完整。

在Linux平臺方面,過去我們若要取得這項服務,雖然可以透過所謂的使用者空間檔案系統(Filesystem in Userspace,FUSE),來掛載ZFS、Lessfs之類具備重複資料刪除功能的檔案系統,但遠比不上原生支援來得方便與高效。

直到2018年,RedHat在RHEL 7.5當中,導入併購Permabit後取得的VDO虛擬資料最佳化工具 (Virtual Data Optimizer),可透過整合在儲存服務底層的VDO層,提供壓縮與重複資料刪除服務,而這也讓Linux平臺終於擁有完整的原生資料縮減技術。

至此,VMware vSphere、Windows與Linux等3大主流通用平臺,都擁有了重複資料刪除功能,讓這項技術的普及進入一個新階段。綜觀目前的主流通用平臺中,重複資料刪除技術應用尚未進入的領域,也只剩公有雲平臺而已。

 相關報導  企業儲存瘦身術邁向新境界


Advertisement

更多 iThome相關內容