以“备份到有用的数据”为宗旨的重复数据删除技术，成为存储厂商今年度的诉求重点。
相较于去年大谈磁盘备份的优点??可为企业节省搜索恢复近期文件的时间，进而达到数据生命周期管理（ILM, Information Lifecycle Management）的希望；今年存储厂商对于磁盘备份技术的看法显然更为实际，在今年企业数据量首度超越存储空间之际，包括了EMC和NetApp两大存储厂商，都提出重复数据删除（Data De-duplication）技术的重要性，并表示其最大优点，即在于缩减备份窗口时间以及节省后端的磁带备份空间。
所谓的重复数据删除技术，就是指扫描生产数据服务器（production）磁盘数据，判断数据是否为“重复”或“冗余”。原理是以算法切割磁盘里的数据成为区块（Block）或是区段（Segment），并为每一个分割单位求出一个特征值（unique ID），即可以代表此区块的数据。
通过这个特征值，系统就可以比对硬盘中已有数据新写入数据之间，是否具有相同之处。若是一致，即代表这笔数据为重复写入，系统便只会为这份数据留下一个索引（index），而不会重复存储占有磁盘空间。换言之只有特征值不同的数据才会被实际写入硬盘。
有趣的是，由于重复数据删除技术为新兴技术，因此提供这些技术的反而都不是业界的领先存储厂商，而是诸如Asigra、Avamar、Data Domain与Rocksoft等这类新兴公司。
不过通过收购Avamar，EMC也取得了这项技术，并表示为该公司今年重点，EMC资深产品营销经理李百飞说。该公司指出，前者能将每日备份资料量减300倍，备份时间则可减少至十分之一。对于拥有5TB以上的备份数据量、集中在档案等非结构性数据的企业尤其适用。
Avamar强调的是全局性的重复数据删除，也就是在数据产出时，即比对前者是否已经存在备份磁盘中，仅备份差异部分。即使企业的远程办公室的存储数据，也可以进行对比。
“这对目前企业已经有将近七成的数据并非存在数据中心的现况，特别适用，”李百飞说。
不过Avamar的价格比较昂贵，通常需要花费几百万。因此EMC目前针对的目标用户都是一些大型企业或机构，诸如医疗、IC设计业者。
NetApp也在日前宣布推出重复数据删除技术 ?NetApp A-SIS （Advanced-Single Instance Storage；不重复单元存储系统），适用于其NetApp NearStore和FAS存储系统。表示前者让用户能比传统模式节省高达20倍的空间，而且随着时间的推移可能达到更大的压缩比。
“重复数据删除技术能让企业用户正视到磁盘备份的价值所在，”NetApp资深技术顾问姜群说。他表示虽然磁盘价格已经大幅下滑，但是由于成本仍和磁带有一段差距，导致迄今部分企业用户仍未大举采用磁盘。数据重复删除技术则能凸显磁盘备份较磁带备份的强项。
