DoSTOR专家观点：本文作者为George Crump，他是Storage Switzerland 及 Storage Switzerland Events的创始人兼主席。
在过去几年，数据精简技术，如压缩和最近的重复数据删除，开始流行起来，尤其是在备份和存档中使用。这一趋势是否会延续到主存储？
在备份中，特别是有大量的冗余数据时，有一个广泛采用的数据精简技术——重复数据删除。短短几年中，在数据中心里，重复数据删除已经从一个晦涩的术语变成了一个人所共知的词。重复数据删除消除多余部分数据的能力为备份储存和某些类型的档案存储带来了很大的好处。在备份数据方面，假设每周进行一次全备份， 120倍的存储效率并不鲜见。
主存储是不同的
不幸的是，移动重复数据删除到主存储并不是转移其位置这么简单。下面的提纲是主存储规划重复数据删除的特别要求：
1、主存储性能敏感。主存储是积极的，如因执行重复数据删除而影响了生产环境的性能表现，是不能接受的。重复数据删除技术必须是高效快速的，它不能影响性能，或者它必须这样做出来的波段上的文件不会立即活跃。
理想状态是：在近线存储产生数据备份时进行重复数据删除，消除了任何可能的性能影响。这种技术重复数据删除和压缩水平不同，所提供的效率也不同–重复删除的水平越高，数据读回时对性能的影响越大。如果能有一个足够快的内置系统–既能减少数据，又不不影响性能–是很好，但这种技术现在还不存在。
2、主存储是独一无二的。缩减主存储的另外一个挑战是，数据是独一无二的。这和备份的情况完全不同。备份，特别是每天或每周一次的全备份，有较多数据冗余。而生产数据，尽管可能会有一些重复–比如同一个数据库的"额外"副本，但大多数情况下，数据冗余并不像备份或归档那么多。
随着基于磁盘的归档和磁盘备份变得更加普遍，主存储的冗余数据更少了。过去，保存数据库或文件的额外副本的价值是 "以防万一"。现在这些副本，可以很容易地发送到磁盘归档或磁盘备份设备当中。（这是一件好事！ ）
注意：当前用户期望看到的存储效率提升20倍或更多，在主存储就不要想了。一个更现实的目标可能是3倍，最多5倍。
3、主存储已经压缩过。此外，大部分的主存储的数据已经是预压缩格式。文件，如图片，媒体文件，和特定行业的数据集，是已经预先压缩过的。即使最新版本的流行的office应用也是预先压缩的。这些预压缩文件，往往代表了企业增长最快的最大的数据集。
为应对生产数据的"独特性"和"预压缩"，一个成功的主存储精简技术需要"挖的更深" 。内置的数据精简在备份和存档有明显的优势，但生产存储中，带外管理会更有效。
在没有数据精简时间压力时，可以花时间研究复杂的复合文档，并从数以百万计的文件中找出相似的一个文档。这种方式可以花时间了解具体的格式–如J PG格式是如何存储的，如何嵌入到另一个文件的（例如，P o werPoint简报）;数据精简如何对原始数据及其嵌入状态进行最佳优化的。
4、主存储越来越便宜。重复数据删除的最后一项挑战，就是不断降低的磁盘价格。最后终结HSM 和ILM的可能会是主存储数据精简的落实。随着顶级存储制造商开始生产1T的SATA硬盘，购买大容量的存储空间越来越容易。
从精简主存储获益
首先，精简主存储的价值体现，一个前提就是：正在处理中的数据量一定要大，可能得大于20 T ，才能看到一个不错的投资回报率。举例来说，将50T减少到10T ，比从10T减少到2T更有吸引力。
第二，不仅仅是物理存储成本，其他因素也都必须要考虑到。通过提高存储效率，能源和空间效率将会减少。许多数据中心最大的挑战就是空间和能源问题。
此外，特别是一个带外解决方案，如果可以选择带外读数据，对备份存储和网络带宽利用率可能都有显着的积极影响。
存储系统大量应用压缩或是继续进行数据优化应在备份窗口以及备份存储系统上确定一个可测量的缩减。数据还可以发送到基于磁盘的可以消除重复发生的压缩数据（多个每周完整备份）的重复数据删除技术上。以这种方式进行数据压缩使数据变得更加便携，更有利于在在WAN发送。
理论上讲，如果你可以作出一个500 GB的外接式磁盘存储2 Tbytes的价值数据，这对于那些需要从一个工厂到另一个发送大项目的公司来说是很理想的选择。最终，出于同样的原因，这个数据能够迅速的恢复，在整个网络中，压缩数据将消耗较少的带宽。
此外，要执行这项操作的技术不能由单一的数量或仅限于一个单一的阵列控制器加以限制。它将在多个厂商的多个阵列控制中起到杠杆作用，以便来增加多余竞赛的机会。
实施办法
鉴于我们已逐项列举的因素，下面让我们看看主存储数据减少的各种可能的方法。
主要存储供应商将要尝试以存储系统为基础实施办法，如背景数据检索。此外，产品还可能具有内置实时数据缩减的功能。一些这样的方法将在比较数据的卷级别上被限制。由于有一个有限的样本集作为校对标准，这限制可以发现的数据冗余，可以发现以来，有一个有限的样本集的比较对（当进行重复数据删除时，数据集越广泛，存储效率越高的可能性越大，这种能够重复数据删除的方法是由NetApp在今年年初时宣布的。）
与那些较大的存储供应商不同，独立供应商将尝试这种内嵌压缩方法。这种做法的挑战性将是一个重点。如果这种压缩产品涉及到每个磁盘I / O处理，并企图压缩一切，那么将会产生潜在问题。此外，如果一个系统是内嵌的工作方式，它未必能看出预压缩的数据，并能找到进一步优化它的方法。如果一个系统忽略了预压缩数据，它可能忽略最大并且增长最快的数据部分。初创公司storwize就采用了这种做法。
混合模式优化也将由第三方带入市场。应用混合模式系统，一个禁止入内的 "系统通道"将为缩减确定合适的数据。这样将为每个数据确定具体的数据类型和适合的数据缩减水平。这种方法同样能够跨越多个卷和存储系统来搜集数据，即使是由不同的制造商制造的存储系统。而且混合模式系统将能够根据访问模式提供不同程度的数据缩减，旧档案的工作效率将会提高。
混合模式系统也将给内部读者带来好处，当一个文件需要访问时，如果这个文件来自删除的数据集中，那么读者将能马上获得所要的文件。
混合模式架构也能够将压缩数据移动到同一存储系统或不同系统的预备卷上。这种能力允许了用于优化近生产数据存储效率的工具的应用，这种工具将把杠杆作为主要动仪数据归档到一个较便宜的层上。这样就产生了一个高度优化的数据管理策略，这个策略不仅把数据移到较便宜磁盘层上，而且还减少了数据存储，优化了这个层。
如果将数据50 Tbytes从光纤通道磁盘移至的SATA磁盘的50 Tbytes上很吸引人，那么将50 Tbytes从FC驱动器移至SATA储存的10 Tbytes上则是不可避免的。初创公司Ocarina在这种方法的应用上提供了一个很好的例子。
结论
数据重复删除提供的有意义的投资回报率，它需要跨多个存储系统平台进行配置，在不打扰周边环境的前提下处理生产数据集的具体细小差别。目前，随着技术的作用日益凸现，混合模式优化方法正在向其目标不断靠近。
