了解重复数据删除

　　基本而言，重复数据删除就是减小存储空间的一种方式。它通过删除冗余数据，确保只将单一的数据实例保存在存储介质中，比如，磁盘或磁带。删除的冗余数据将被一个指针替而代之，指向保存的单一数据。有时候重复数据删除也被称为智能数据压缩或者单一实例存储，通常是和其他的数据删减技术一起使用的。传统的压缩方式已经使用了将近三十年，它将数学算法应用到数据，以简化大容量或重复的文件 --有效地将文件压缩变小。与此相似的是，差分delta减小存储总量是通过比较重复的新旧文件，只存储修改过的数据。将二者合二为一，就能非常有效地优化存储空间的使用。

　　如果施行恰当，重复数据删除可以降低对存储空间的大量需求，从而减少在磁盘上的花费。更有效地利用磁盘空间，就能够延长磁盘保存期限，这样，提供了更好的恢复时间目标(RTO)，更长的备份时间，并降低了磁带备份的需求。同时，重复数据删除还可以缩减必须通过无线网络传送来实现远程备份、复制和灾难恢复的数据。

　　重复数据删除主要是基于文件、块甚至是位进行操作的。相对而言，文件的重复删除较易于理解--如果两个文件完全相同，其中的一个文件备份将被保存，而随后与之重复的文件将获取指向保存文件的指针。不过，文件重复删除并不最有效，因为哪怕文件只更改了一个字节，也会被作为另外一个不同的文件全部保存下来。基于块和位的重复删除通过对文件进行比较，只保存每一块的单一重复部份。如果文件更新，那么只有更改的数据才会被保存。这样，基于块和位的重复删除可以发挥更为有效的作用。GlassHouse Technologies公司主管数据保护的副总裁W. Curtis Preston说，"在典型的存储环境中，它(块重复删除)所节省的存储空间带来了巨大的差异"。其他的分析家指出重复删除技术的压缩比能够达到10:1 到50:1。不过，基于块和位的重复删除增加消耗，并且需要建立一个更大的索引库去追踪独立的块。

　　重复数据删除平台必须解决"散列冲突"(hash collisions)的问题。每一个数据块通过散列算法(例如MD5或者SHA-1)，为每一个数据产生一个特定的散列值。然后，将这个散列值与现有的散列值索引进行比较。如果它已经存在于索引中，，那么这个数据就是重复的，不需要进行存储。否则，这个新的散列值将被添加到索引中，这个新的数据也因此被存储。一般而言，散列算法很少会将两个不同的数据块产生出相同的值。当这样的"散列冲突"发生时，系统就不会存储新的数据，因为系统看到同一个散列值已经存在。这被称为"false positive"(错误的确定)，会导致数据丢失。一些厂商结合不同的散列算法，以降低散列冲突的可能性。另一些厂商还会检查元数据来确认数据，避免散列冲突。

　　实施重复数据删除

　　一般情况下，重复数据删除过程是在实际存储系统的硬件中施行的，不过也可以在备份软件中应用。基于硬件的施行往往更容易部署，主要是针对设备或存储系统的磁盘层面缩减存储空间。基于软件的施行也可以缩减数据，但这种缩减是在备份服务器上完成的。这使备份服务器和备份系统之间的带宽最小化，如果是远程的备份系统，效果其佳。Enterprise Strategy Group的分析师Lauren Whitehouse说："当重复数据删除工作在数据源时-使得更少的数据在广域网、局域网和SAN之间传输，这可以使用户得到‘端对端'的便利"。然而，在一个新的备份应用中部署重复数据删除会使系统受到更多的干扰，因为除了要安装新的备份引擎外，还要在必须备份的系统中安装一个轻型的代理。

　　如何部署重复数据删除还没有一个普遍的方法，由于环境和选择的产品不同，你得到的结果也不同。必须注意的是，只有在涉及到长期保留，通常用于备份和归档工作时，重复数据删除技术才有作用。短期的保留是毫无意义的，因为几乎没有重复的信息可以被删除。Preston警告说重复数据删除厂商不应误导用户，他建议应该着重于产品的性能、容量和成本等关键性问题上。根据你特定的环境，可以找出潜在的性能和压缩问题。他说："比如说如果你正在备份地震资料或者医学影像资料-这些数据可能很少存有重复。"通过不同的备份和恢复方式，对重复数据删除平台进行相应的测试，就可以知道在现实环境中重复数据删除是否有效。

　　可扩展性是另一个令人关注的问题，特别随着重复数据删除不断增长性能方面的扩展。随着之前的散列索引库逐渐变大，查询每一个块需要更多的时间时，性能的扩展可能成为一个问题，不过Preston称之为FUD(弄糟数据)市场手段。他说，"我所注意到的所有厂商，目前或多或少都正在解决或将解决这个扩展性问题。"不过，他仍然建议客户自己必须就这一问题与重复数据删除技术的销售商商讨，看看是否能解决关注的扩展性问题。

　　从管理的角度来看，重复数据删除应该不会造成明显的额外支出。"管理应该和一个标准的VTL[虚拟磁盘库]旗鼓相当"。但如果需要安装多个重复数据删除设备，可能管理方面的支出会相应增加。

　　重复数据删除的影响

　　阿巴拉契亚和沿海地区的南卡罗来纳州的美丽景点吸引了旅游业和本地商业的发展。广告、通信和宣传册已经新兴为主管公园、娱乐和旅游部门的重要资产。该部门由一家代理公司负责促进旅游业的发展并维护一个贯通全州的、全面的公园系统。该公司原来使用EMC的SAN(存储区域网络)，总容量为 4TB，其中的1.2TB的容量用于数据库和文件的实际工作数据集，2TB在采用DLT技术之前用于磁盘的备份。像许多IT公司或其他机构一样，该公司寻求多种方法想减轻其日益增加的存储介质和其他数据的要求。

　　在比较若干重复数据删除厂商后，该公司最终选择了Data Domain公司的430产品担任磁盘备份的任务。430产品将原来SAN网络中放置一旁的2TB取而代之为2TB的板载存储。这种基于位的重复数据删除节省出了巨大的存储空间。该公司的系统管理员兼安全员Bernie Robichau说："经过压缩和重复删除之后，我们大约只使用了900MB的磁盘空间。"节省的空间大大节约了成本，而且也延长了备份在磁盘上的保留时间。"以前，如果有人需要一个两周前的文件，我们很难从基于磁盘的备份中提供该文件，因为，我们无法在分配容量为2TB的硬驱动器(SAN)上保存两组备份。"Robichau说，"但现在，如果有人需要三周前或六周前的某个文件，即刻可取"。