重複資料刪除技術走進備份軟體

從iThome在2006年初第一次報導重複資料刪除（Data de-duplication，De-Dupe）技術產品起算，至今我們對De-Dupe技術的發展與應用已累積了4年多的觀察，在這段時間內，De-Dupe的應用也有了相當大的轉變。

早期的De-Dupe產品主要是專用於備份的磁碟設備，藉以縮減備份資料占用的儲存空間。後來De-Dupe技術又陸續被引進虛擬磁帶櫃（VTL）、廣域網路加速設備，以及遠端備份解決方案等產品中。

從去年年初起，在CA與CommVault的帶頭下，De-Dupe開始被整合到備份軟體中，成為備份軟體的一項附屬功能，稍後Acronis也隨之跟進，到了今年年初，備份市場的龍頭Symantec，在最新一版NetBackup與Backup Exec上，也納入了De-Dupe功能，這也代表著，De-Dupe已被主要備份軟體廠商視為一項必備功能。

主流備份軟體De-Dupe整合現況

當時間進入2010年以後，幾乎所有主要的備份軟體廠商都為他們的產品導入了De-Dupe機制。依導入方式可分為兩種類型，一是直接整合在備份軟體中，成為一項附屬功能，管理者可直接透過備份軟體的控制臺啟動De-Dupe功能，或建立De-Dupe磁碟區、設定相關參數等。CA的ARCserve Backup 12.5、CommVault的Simpana 8、Symantec的NetBackup 7與Backup Exec 2010都是屬於這種方式。這些產品的De-Dupe功能都是「嵌入」在主系統中，無法獨立運作。

另一種方式則是與另外的De-Dupe產品緊密結合，備份軟體可辨識這些De-Dupe產品，並運用這些產品的De-Dupe能力，但兩者仍是彼此獨立、各自進行建置管理的不同產品。如EMC新版Networker與該公司Avamar的搭配，以及Bakbone的NetVault Backup與SmartDisk的組合等，都是屬於這種方式。在這些組合中，負責提供De-Dupe功能的Avamar與SmartDisk，都是獨立建置與運作管理的產品。

備份軟體De-Dupe架構類型

按備份環境中是由哪個環節來執行De-Dupe，可將De-Dupe的運作架構分為「來源端」、「備份伺服器端」與「儲存端」三種類型。

來源端重複資料刪除

指由安裝在前端被保護伺服器上的備份軟體代理程式執行De-Dupe，前端的備份資料在送上網路前，就會先由代理程式進行De-Dupe處理，所以不僅可以縮減最終占用的儲存媒體容量，也有縮減網路頻寬占用的效果，不過副作用是，代理程式執行De-Dupe會增加前端被保護伺服器的負擔。

來源端De-Dupe另一個要注意的地方，在於是否具備「全域De-Dupe」能力。一般來源端De-Dupe的代理程式只能比對自身安裝的這臺主機資料是否重複，而無法比對備份環境中其他主機上的資料，是否與自身重複，所以無法刪除位於不同主機上的重複資料。而具備「全域De-Dupe」能力的產品，前端主機上的代理程式可透過與後端De-Dupe資料庫的連結，橫跨整個備份環境比對來自不同主機資料的重複情況，進一步提高De-Dupe效果。

Simpana 8、NetBackup 7與Backup Exec 2010，以及Acronis Backup & Recovery 10都支援這種架構。而一些專門針對遠端分支辦公室備份的產品，如Symantec PureDisk與EMC Avamar，也都採用這種可以節省網路頻寬的架構。

備份伺服器端重複資料刪除

即由備份伺服器、媒體伺服器或儲存節點來執行De-Dupe。在這種架構下，備份軟體可以在備份伺服器控制的磁碟區，建立一個De-Dupe儲存區域，當代理程式將備份資料送到備份伺服器上後，由備份伺服器執行De-Dupe作業，並存進De-Dupe儲存區域。

備份伺服器De-Dupe架構的優點是前端主機的負擔輕，而且可以確保去除來自不同主機的重複資料。缺點則是備份伺服器的負擔將會因此加重，另外，這種架構也不具備縮減占用網路頻寬的效果。

目前主要備份軟體中，幾乎所有提供De-Dupe功能的產品，都能支援備份伺服器De-Dupe架構。

儲存端De-Dupe

由最末端的儲存設備來執行De-Dupe。目前內含De-Dupe功能的儲存設備分為儲存伺服器與VTL兩類。

在這種架構下，De-Dupe實際上是由儲存硬體執行，而與備份軟體無關，所以任何備份軟體都能支援這種架構（正確的說法是這類De-Dupe儲存硬體可支援任何備份軟體）。不過若備份軟體能與這些De-Dupe設備更緊密地連結，則還會有額外的效益。如NetBackup 7與Backup Exec 2010，便能透過Symantec OpenStorage API與後端支援這種API的儲存伺服器溝通，從而達到加快備份速率、簡化管理，以及提供遠端複製應用的效益。

支援多重架構，提供彈性選擇

從前面的介紹，我們可以發現某些備份軟體可以支援多種De-Dupe架構，如Simpana 8、NetBackup 7與Backup Exec 2010，以及Acronis 都能讓用戶選擇使用「來源端De-Dupe」或「備份伺服器端De-Dupe」。相對的，ARCserve 12.5只支援「備份伺服器端De-Dupe」。

雖然越多的選擇，並不一定代表在技術上更優越，不過總是能提供用戶更大的彈性。

帶來更經濟的De-Dupe解決方案

當備份軟體紛紛整合De-Dupe功能後，給有興趣導入De-Dupe的用戶提供了更多的選擇。市場上既有的De-Dupe硬體產品售價經常在數十萬到百萬元以上，以致讓有興趣的用戶感到十分躊躇。而備份軟體幾乎是任何企業都已導入的產品，因此透過升級新版備份軟體同時引進De-Dupe，相形下便是一種更經濟實惠的導入方式。

 備份中的重複資料刪除應用架構 

相關報導請參考「新世代備份軟體採購大特輯」