重復(fù)數(shù)據(jù)刪除技術(shù)使數(shù)據(jù)歸檔時(shí)盡可能緊湊、簡潔，不僅節(jié)省了存儲空間，削減了企業(yè)成本，還可以降低能源消耗。

由于二級存儲卷的不斷增加，企業(yè)需要一種方法可以極大地減少數(shù)據(jù)卷。而很多法律法規(guī)的變化，也使得企業(yè)面臨更大的挑戰(zhàn)，被迫不得不改變他們原有的數(shù)據(jù)保護(hù)方式。通過重復(fù)數(shù)據(jù)刪除，使數(shù)據(jù)歸檔時(shí)盡可能緊湊、簡潔，不僅極大地削減企業(yè)成本，同時(shí)企業(yè)還可以將更多的數(shù)據(jù)在線保留更長時(shí)間。很多企業(yè)都希望將數(shù)據(jù)存儲環(huán)境的成本效益和性能發(fā)揮到最優(yōu)，而重復(fù)數(shù)據(jù)刪除正是這樣一種技術(shù)，因此很快吸引了企業(yè)IT主管的眼球。

人們對物理搬運(yùn)磁帶的方式所面臨的風(fēng)險(xiǎn)（損壞、被竊、丟失等）早已非常明了，而企業(yè)在進(jìn)行遠(yuǎn)程存儲時(shí)又特別重視關(guān)鍵信息的保護(hù)和風(fēng)險(xiǎn)最小化的問題，電子化傳輸無疑成為遠(yuǎn)程傳送的最佳選擇。在將備份數(shù)據(jù)以電子傳輸方式傳送到遠(yuǎn)程站點(diǎn)進(jìn)行歸檔時(shí)，重復(fù)數(shù)據(jù)刪除能夠使所需的帶寬需求最小化。

當(dāng)用戶在評估重復(fù)數(shù)據(jù)刪除解決方案時(shí)，可以將下面的八條標(biāo)準(zhǔn)作為主要評估標(biāo)準(zhǔn)。

能解決關(guān)鍵性問題：有效刪除重復(fù)數(shù)據(jù)

重復(fù)數(shù)據(jù)刪除解決方案是否能夠真正解決關(guān)鍵問題所在：有效的刪除二級存儲上的重復(fù)數(shù)據(jù)，是我們首先要考慮的問題。重復(fù)的備份數(shù)據(jù)會(huì)造成多次儲存需求，只要重復(fù)數(shù)據(jù)不被刪除，儲存需求就會(huì)繼續(xù)。

ESG集團(tuán)2007年發(fā)布的報(bào)告用圖表方式說明了備份向新技術(shù)發(fā)展的必要性。相對于一次全備份來說，增量和差異數(shù)據(jù)備份也可以減少備份的數(shù)據(jù)量。

然而，即使是增量備份，在保護(hù)基于文件級變化的數(shù)據(jù)時(shí)，還是會(huì)備份很多重復(fù)的數(shù)據(jù)。當(dāng)需要跨越多個(gè)站點(diǎn)的多臺服務(wù)器進(jìn)行備份時(shí)，通過部署重復(fù)數(shù)據(jù)刪除解決方案減少存儲才是更好的選擇。

能夠與當(dāng)前環(huán)境相整合

一個(gè)高效的重復(fù)數(shù)據(jù)刪除解決方案應(yīng)該對當(dāng)前IT環(huán)境的影響/中斷越小越好。許多企業(yè)都選擇利用VTL備份來避免影響/中斷，以在不改變企業(yè)當(dāng)前備份策略、處理或軟件的情況下提升備份質(zhì)量。因此，基于VTL的重復(fù)數(shù)據(jù)刪除技術(shù)在部署時(shí)對環(huán)境影響也應(yīng)該是最小的。它將更多的注意力集中在了備份這個(gè)巨大的重復(fù)數(shù)據(jù)存儲池上。

基于VTL的重復(fù)數(shù)據(jù)刪除解決方案通常要求使用專用設(shè)備，但這并不影響部署的靈活性。一個(gè)充分靈活的重復(fù)數(shù)據(jù)刪除解決方案應(yīng)該是既可以以軟件包形式提供給用戶，也可以提供給用戶整體的解決方案（Turnkey Appliance），從而最大限度地使用戶的現(xiàn)有資源得以利用。

VTL容量

如果重復(fù)數(shù)據(jù)刪除技術(shù)的部署是圍繞著VTL進(jìn)行的，那么VTL自身的容量就必須作為評估的一部分來考慮。重復(fù)數(shù)據(jù)刪除節(jié)省下的容量是不能解決由于使用不夠規(guī)格的VTL所引發(fā)的問題的。因此，既要全面考慮VTL的功能性、性能、穩(wěn)定性以及支持能力也要充分考慮重復(fù)數(shù)據(jù)刪除的擴(kuò)展能力。

重復(fù)數(shù)據(jù)刪除對備份性能的影響

在哪里、什么時(shí)候進(jìn)行重復(fù)數(shù)據(jù)刪除是關(guān)系到備份處理性能的非常重要的問題。有些解決方案試圖在數(shù)據(jù)進(jìn)行備份時(shí)刪除重復(fù)數(shù)據(jù)，這會(huì)使VTL的性能降低多達(dá)60%以上，直接造成備份過程太慢和備份窗口太大的嚴(yán)重性能影響。

相比之下，在備份任務(wù)完成之后進(jìn)行重復(fù)數(shù)據(jù)刪除的解決方案則不會(huì)出現(xiàn)這些問題，而且不會(huì)對備份性能帶來任何影響。另外，為了最大限度的發(fā)揮易管理性，解決方案允許用戶依照多種不同的因素，如資源利用、生產(chǎn)進(jìn)度、創(chuàng)建時(shí)間等進(jìn)行精細(xì)（磁帶級或磁帶組級）的基于策略的重復(fù)數(shù)據(jù)刪除。這使得存儲經(jīng)濟(jì)性輕松實(shí)現(xiàn)，同時(shí)，也將系統(tǒng)資源的利用發(fā)揮到最大。

具備可擴(kuò)展能力

由于重復(fù)數(shù)據(jù)刪除解決方案是用于長期的數(shù)據(jù)儲存的，在容量和性能方面的可擴(kuò)展能力也是非常重要的考慮因素，而且至少要考慮未來五年甚至更長時(shí)間的增長計(jì)劃。那么，在保證快速訪問的前提下，你希望有多少數(shù)據(jù)保存在磁帶上？你需要怎樣的數(shù)據(jù)索引系統(tǒng)呢？

優(yōu)秀的重復(fù)數(shù)據(jù)刪除解決方案提供的架構(gòu)，無論是在初始部署時(shí)，還是面對未來系統(tǒng)的長期增長，都應(yīng)該能保證最優(yōu)化（Right-sizing）、最經(jīng)濟(jì)的架構(gòu)規(guī)模。集群可以幫助用戶滿足不斷增長的容量需求——即使是N多Petabyte數(shù)據(jù)增長的環(huán)境——而且不會(huì)降低重復(fù)數(shù)據(jù)刪除的效率或系統(tǒng)的性能。

這個(gè)架構(gòu)還為存儲庫保護(hù)的部分提供了故障切換（Failover）功能。

支持分布式應(yīng)用

重復(fù)數(shù)據(jù)刪除技術(shù)，不只是能為單個(gè)數(shù)據(jù)中心帶來利益，對于具有多個(gè)分支機(jī)構(gòu)或多個(gè)站點(diǎn)的大型企業(yè)來說，它可以讓整個(gè)企業(yè)的分布式應(yīng)用受益無窮。一個(gè)包含復(fù)制和多級重復(fù)數(shù)據(jù)刪除的解決方案可以將這一技術(shù)的優(yōu)勢發(fā)揮到極致。

舉例來說，一個(gè)企業(yè)由1個(gè)總部和3個(gè)區(qū)域代表機(jī)構(gòu)構(gòu)成，可以在區(qū)域代表機(jī)構(gòu)部署一臺具備重復(fù)數(shù)據(jù)刪除功能的容災(zāi)設(shè)備，使本地存儲及向遠(yuǎn)程中央站點(diǎn)的復(fù)制更為高效。這種解決方案使數(shù)據(jù)復(fù)制到中央站點(diǎn)的帶寬需求降到最低，它只不過是用來確定遠(yuǎn)程的數(shù)據(jù)是否已經(jīng)包括在中央的存儲庫中。所有站點(diǎn)中，只有唯一的數(shù)據(jù)會(huì)被復(fù)制到中央站點(diǎn)或是容災(zāi)站點(diǎn)，否則所需的帶寬就會(huì)增大。

能夠?qū)Υ鎯焯峁?shí)時(shí)保護(hù)

保證對刪除重復(fù)數(shù)據(jù)的存儲庫的訪問是非常關(guān)鍵的，因此它不能允許有單點(diǎn)故障發(fā)生。一個(gè)優(yōu)秀的重復(fù)數(shù)據(jù)刪除解決方案應(yīng)該包括可以在本地存儲故障發(fā)生時(shí)提供保護(hù)的鏡像功能，同時(shí)也應(yīng)該具備復(fù)制功能以在災(zāi)難發(fā)生時(shí)提供保護(hù)。這種解決方案還應(yīng)該在出現(xiàn)節(jié)點(diǎn)故障時(shí)具備故障切換能力，即使是一個(gè)集群中的多個(gè)節(jié)點(diǎn)出現(xiàn)故障，企業(yè)也必須能夠及時(shí)恢復(fù)數(shù)據(jù)，同時(shí)還要保證業(yè)務(wù)持續(xù)運(yùn)營。

效率及有效性

與基于文件的重復(fù)數(shù)據(jù)刪除方式相比，在SUBFILE或數(shù)據(jù)塊級分析數(shù)據(jù)的方式刪除的冗余數(shù)據(jù)會(huì)更多。比如，一個(gè)4MB大小的文件被修改了一行內(nèi)容，如果是文件級解決方案，整個(gè)4MB的文件都必須再被保存，而存儲上就需要保存兩遍。如果這個(gè)文件被發(fā)送給多個(gè)人（這種情況非常普遍），這種負(fù)面的效應(yīng)也會(huì)隨之倍增。

大多數(shù)SUBFILE重復(fù)數(shù)據(jù)刪除處理是通過將大量的數(shù)據(jù)分割成“塊”，就像虛擬磁帶匣一樣，在相對小尺寸的數(shù)據(jù)塊中搜索重復(fù)數(shù)據(jù)。分割成大塊的數(shù)據(jù)處理速度更快，但發(fā)現(xiàn)的重復(fù)數(shù)據(jù)也比較少；而分割成小塊的數(shù)據(jù)可以更輕松地發(fā)現(xiàn)更多重復(fù)數(shù)據(jù)，但它在掃描數(shù)據(jù)時(shí)所需的開銷也會(huì)更高。

如果數(shù)據(jù)在磁帶（或其他應(yīng)用的數(shù)據(jù)流）的時(shí)候就被分割成“塊”，重復(fù)數(shù)據(jù)刪除處理在備份軟件創(chuàng)建的元數(shù)據(jù)上就能進(jìn)行。優(yōu)秀的解決方案可以分離元數(shù)據(jù)，從而在分割成“塊”的實(shí)際數(shù)據(jù)文件中發(fā)現(xiàn)重復(fù)數(shù)據(jù)，這種方式使找到重復(fù)數(shù)據(jù)的機(jī)率更高。有些重復(fù)數(shù)據(jù)刪除解決方案甚至可以按照所掌握的數(shù)據(jù)格式來調(diào)節(jié)分割的“塊”的大小。如果能將這些技術(shù)結(jié)合應(yīng)用，將使發(fā)現(xiàn)的重復(fù)數(shù)據(jù)數(shù)量大幅增加。這在重復(fù)數(shù)據(jù)刪除解決方案的經(jīng)濟(jì)效益標(biāo)準(zhǔn)方面影響重大。