数据存储技 倍增储存容量的COS技术（二）
老刘 ◎ 2007-08-10 赛迪网
COS的限制：效能与应用环境
COS虽有大幅缩减储存空间的效果，但其整体压缩的演算显然也是要付出相当的代价，以致限制了COS的应用。主要的限制有2点：
>>效能限制―不支持实时读写环境
由于多了COS的整体压缩演算必然会影响到系统的I/O效能，不过目前Data Domain的COS功能都是透过Appliance的方式来实现，对系统效能的影响较低，以目前实测中的表现来看，COS的压缩演算在Gbps的网络环境下，虽还不至于成为系统效能上的瓶颈，但也因此而不适于实时环境的应用，也就是说不能把COS产品当作一般的磁盘或网络储存装置（NAS）来使用，这并不是COS产品的定位所在。
>>应用环境限制―仅支持备份软件下的作业
除了压缩演算会影响系统效能外，由于COS的整体压缩需要比对已存放在硬盘中的旧压缩数据，因此在DD OS所控制的磁盘空间中，压缩数据都是以Data Domain锁定义的特殊格式排列，以便DD OS进行特征值比对。所以DD OS控制的磁盘空间是不对外开放的，不允许其它程序或档案系统读写这块磁盘空间，因此也不能支持一般档案系统的数据实时读写。
为简化问题，Data Domain将COS的应用范围限制在备份的应用上，只能在备份软件下作业，COS机器也只能做为备份软件下的一个储存媒体，而不能当作一般的磁盘阵列使用。备份软件对COS机器的读写要求都是透过DD OS来进行，也就是说DD OS会把备份软件隔绝在机器外，COS机器对备份软件来说是个黑箱，备份软件并不知道其送给COS机器的数据已经过压缩处理。
不过Data Domain的产品能够支持市场上绝大部分的备份软件，可适应大部分用户的储存环境，一定程度减缓了这个问题。
COS的效益―大幅降低储存空间的消耗
压缩数据、减少储存空间损耗是COS的最大卖点。由于目前SATA硬盘的售价不断降低，就中小企业或个人端来说，对储存空间需求较小，最多不过几百GB到1～2TB而已，硬盘的购置费用还不会成为非常大的负担，因此不能感受到COS所带来的效益。
但对储存容量需求达数十甚至上百TB以上的中大型企业来说情况就不同了，1套8TB的磁盘阵列售价就超过40万元，20～30TB以上的机种售价更超过百万元。若能透过COS以容量较小实体硬盘来满足较高储存容量的需求，无形间也就等同于节省了数十万元的硬盘购置费用。
除了在备份软件下当作一个储存媒体使用外，COS产品也十分适合作为虚拟磁带柜（VTL）之类磁盘到磁盘再到磁带（D2D2T）的应用环境。在 D2D2T环境中，作为前端磁盘与后端磁带缓冲的中介磁盘容量，决定了将数据从磁盘转移到磁带上的频率。显然的，缓冲的中介磁盘容量越小，用户就必须更频繁的执行媒体转移的工作，由于磁带是属于离线作业的媒体，若用户的数据量很大，将数据转移到磁带上所需的作业时间可能过长。因此较理想的做法是把D2T的转移时间挪到周末来进行，但这也就表示：作为前端磁盘与后端磁带设备中介缓冲的硬盘容量必须能满足5日以上的需求，在数据量很大的情况下，用户必须选用高容量的磁盘阵列才能应付，但高容量的磁盘阵列耗费庞大，因此若改用具备COS技术的装置，显然就能在不扩充实体硬盘的情况下，大幅提升中介磁盘的储存能力，节省耗费在扩充硬盘容量上的开销。
为了验证COS的数据压缩能力，我们借用了麟瑞科技的机房进行了Data Domain的COS实机测试。使用的COS产品为Data Domain的DD 430。测试平台为Windows Server 2003，备份服务器使用Veritas NBU 6.0 enterprise，并以SQL Server进行数据库测试。
测试分为档案与数据库两部分，档案部分利用备份服务器直接将6.7GB的数据，透过备份软件的Agent存放到Data Domain DD 430中，不改变数据内容重复备份3次，每次皆为完全备份。接下来改变数据内容作2次备份，记录每次备份的压缩率。
数据库部分则是以备份服务器将SQL数据透过NBU的Agent备份到DD430中，前2次备份不改变数据内容，皆为完全备份，接着于数据库内写入新数据，仿真数据异动后，接着再进行备份，并记录每次备份的压缩率。
由测试结果可以看到，COS确实有压缩的效果，以档案测试而言，第1次档案备份的压缩率可达1.8：1左右，而在作5次备份后，我们更动了原先资 料70%的内容，大约新增了4.7GB的数据，但经COS的整体压缩后，这4.7GB的新增数据实际上只占用了DD430 1.2GB的空间。
而数据库测试的压缩率还更高，第1次备份2.6GB SQL数据的压缩率为2：1，大致与一般压缩技术所能达到的压缩率相当，然而当新增了0.8G数据后，在DD 430上却只多占用了100MB的实体空间而已。当然这也显示在一般的数据库数据中，若从底层来看，确实有相当多冗余的部分。
由测试数据另外还可看出一个趋势，在典型的储存环境下，由于数据异动量有限，多次备份间的数据重复之处甚多，因此在使用COS技术作越多次备份时，压缩率就会越高，在某些环境下，经过数十次的备份后的压缩率甚至可达20：1以上。当然实际的压缩率需视储存环境而定。
COS产品简介―DD200/400与DD460G
COS是Data Domain的核心技术，目前商业化的产品有磁盘阵列控制器与网关器两类。
磁盘阵列控制器
如前所述，Data Domain的磁盘阵列控制器基本上就是一台应用程序服务器，内含8～15台SATA硬盘，由DD OS负责控制。目前Data Domain的磁盘阵列控制器有发表已2年的DD200与新的DD400两系列，DD200可提供4TB的原生容量，DD400则可提供1.2～6TB的 原生容量。
透过COS技术，可满足相当于15～80TB的实体储存容量要求（视数据型态而定）。DD200为4U机架，DD400则为3U，两者也都具备高 可靠度技术来保护硬盘，DD200支持RAID 0+1，而DD400则支持更高阶的DD RAID，DD RAID可容许数组中的2台硬盘同时失效，功能相当于RAID 6，另外数据在写入DD200/400时也都会经过验证与纠错机制的检验。目前DD200/400均只支持GbE网络，之后将会增加FC接口，用户可透过 浏览器登入DD200/400的管理接口执行管理作业，如检视系统状态、使用状况统计、设定管理密码等。
DD200/400支持市场上绝大多数的备份软件，包括Veritas Netbackup、Backup Exec、EMC Legato Networker、HP Data Protector与Bakbone NetVault等，另外还能提供远程复制的应用，经过COS压缩后存放于DD200/400内的数据，可经由网络送到远程的另一台DD200/400上 作为异地备援。由于传输的是经COS处理过后的数据，所以占用的频宽较小，但需放到另一台DD200/400上，才能使用这些数据。
DD460G网关器
多数企业用户都已有自己的磁盘阵列，因此DD200/400内的硬盘对他们来说是多余的，故Data Domain另推出DD460G网关器来满足这类用户的需求。DD460G可配合用户已有的磁盘产品使用，只需分画一块区域出来给DD460G控制即可。
档案测试
数据库测试
＊压缩率=各次备份数据量总合/压缩后占用容量总合
COS虽有大幅缩减储存空间的效果，但其整体压缩的演算显然也是要付出相当的代价，以致限制了COS的应用。主要的限制有2点：
>>效能限制―不支持实时读写环境
由于多了COS的整体压缩演算必然会影响到系统的I/O效能，不过目前Data Domain的COS功能都是透过Appliance的方式来实现，对系统效能的影响较低，以目前实测中的表现来看，COS的压缩演算在Gbps的网络环境下，虽还不至于成为系统效能上的瓶颈，但也因此而不适于实时环境的应用，也就是说不能把COS产品当作一般的磁盘或网络储存装置（NAS）来使用，这并不是COS产品的定位所在。
>>应用环境限制―仅支持备份软件下的作业
除了压缩演算会影响系统效能外，由于COS的整体压缩需要比对已存放在硬盘中的旧压缩数据，因此在DD OS所控制的磁盘空间中，压缩数据都是以Data Domain锁定义的特殊格式排列，以便DD OS进行特征值比对。所以DD OS控制的磁盘空间是不对外开放的，不允许其它程序或档案系统读写这块磁盘空间，因此也不能支持一般档案系统的数据实时读写。
为简化问题，Data Domain将COS的应用范围限制在备份的应用上，只能在备份软件下作业，COS机器也只能做为备份软件下的一个储存媒体，而不能当作一般的磁盘阵列使用。备份软件对COS机器的读写要求都是透过DD OS来进行，也就是说DD OS会把备份软件隔绝在机器外，COS机器对备份软件来说是个黑箱，备份软件并不知道其送给COS机器的数据已经过压缩处理。
不过Data Domain的产品能够支持市场上绝大部分的备份软件，可适应大部分用户的储存环境，一定程度减缓了这个问题。
COS的效益―大幅降低储存空间的消耗
压缩数据、减少储存空间损耗是COS的最大卖点。由于目前SATA硬盘的售价不断降低，就中小企业或个人端来说，对储存空间需求较小，最多不过几百GB到1～2TB而已，硬盘的购置费用还不会成为非常大的负担，因此不能感受到COS所带来的效益。
但对储存容量需求达数十甚至上百TB以上的中大型企业来说情况就不同了，1套8TB的磁盘阵列售价就超过40万元，20～30TB以上的机种售价更超过百万元。若能透过COS以容量较小实体硬盘来满足较高储存容量的需求，无形间也就等同于节省了数十万元的硬盘购置费用。
除了在备份软件下当作一个储存媒体使用外，COS产品也十分适合作为虚拟磁带柜（VTL）之类磁盘到磁盘再到磁带（D2D2T）的应用环境。在 D2D2T环境中，作为前端磁盘与后端磁带缓冲的中介磁盘容量，决定了将数据从磁盘转移到磁带上的频率。显然的，缓冲的中介磁盘容量越小，用户就必须更频繁的执行媒体转移的工作，由于磁带是属于离线作业的媒体，若用户的数据量很大，将数据转移到磁带上所需的作业时间可能过长。因此较理想的做法是把D2T的转移时间挪到周末来进行，但这也就表示：作为前端磁盘与后端磁带设备中介缓冲的硬盘容量必须能满足5日以上的需求，在数据量很大的情况下，用户必须选用高容量的磁盘阵列才能应付，但高容量的磁盘阵列耗费庞大，因此若改用具备COS技术的装置，显然就能在不扩充实体硬盘的情况下，大幅提升中介磁盘的储存能力，节省耗费在扩充硬盘容量上的开销。
为了验证COS的数据压缩能力，我们借用了麟瑞科技的机房进行了Data Domain的COS实机测试。使用的COS产品为Data Domain的DD 430。测试平台为Windows Server 2003，备份服务器使用Veritas NBU 6.0 enterprise，并以SQL Server进行数据库测试。
测试分为档案与数据库两部分，档案部分利用备份服务器直接将6.7GB的数据，透过备份软件的Agent存放到Data Domain DD 430中，不改变数据内容重复备份3次，每次皆为完全备份。接下来改变数据内容作2次备份，记录每次备份的压缩率。
数据库部分则是以备份服务器将SQL数据透过NBU的Agent备份到DD430中，前2次备份不改变数据内容，皆为完全备份，接着于数据库内写入新数据，仿真数据异动后，接着再进行备份，并记录每次备份的压缩率。
由测试结果可以看到，COS确实有压缩的效果，以档案测试而言，第1次档案备份的压缩率可达1.8：1左右，而在作5次备份后，我们更动了原先资 料70%的内容，大约新增了4.7GB的数据，但经COS的整体压缩后，这4.7GB的新增数据实际上只占用了DD430 1.2GB的空间。
而数据库测试的压缩率还更高，第1次备份2.6GB SQL数据的压缩率为2：1，大致与一般压缩技术所能达到的压缩率相当，然而当新增了0.8G数据后，在DD 430上却只多占用了100MB的实体空间而已。当然这也显示在一般的数据库数据中，若从底层来看，确实有相当多冗余的部分。
由测试数据另外还可看出一个趋势，在典型的储存环境下，由于数据异动量有限，多次备份间的数据重复之处甚多，因此在使用COS技术作越多次备份时，压缩率就会越高，在某些环境下，经过数十次的备份后的压缩率甚至可达20：1以上。当然实际的压缩率需视储存环境而定。
COS产品简介―DD200/400与DD460G
COS是Data Domain的核心技术，目前商业化的产品有磁盘阵列控制器与网关器两类。
磁盘阵列控制器
如前所述，Data Domain的磁盘阵列控制器基本上就是一台应用程序服务器，内含8～15台SATA硬盘，由DD OS负责控制。目前Data Domain的磁盘阵列控制器有发表已2年的DD200与新的DD400两系列，DD200可提供4TB的原生容量，DD400则可提供1.2～6TB的 原生容量。
透过COS技术，可满足相当于15～80TB的实体储存容量要求（视数据型态而定）。DD200为4U机架，DD400则为3U，两者也都具备高 可靠度技术来保护硬盘，DD200支持RAID 0+1，而DD400则支持更高阶的DD RAID，DD RAID可容许数组中的2台硬盘同时失效，功能相当于RAID 6，另外数据在写入DD200/400时也都会经过验证与纠错机制的检验。目前DD200/400均只支持GbE网络，之后将会增加FC接口，用户可透过 浏览器登入DD200/400的管理接口执行管理作业，如检视系统状态、使用状况统计、设定管理密码等。
DD200/400支持市场上绝大多数的备份软件，包括Veritas Netbackup、Backup Exec、EMC Legato Networker、HP Data Protector与Bakbone NetVault等，另外还能提供远程复制的应用，经过COS压缩后存放于DD200/400内的数据，可经由网络送到远程的另一台DD200/400上 作为异地备援。由于传输的是经COS处理过后的数据，所以占用的频宽较小，但需放到另一台DD200/400上，才能使用这些数据。
DD460G网关器
多数企业用户都已有自己的磁盘阵列，因此DD200/400内的硬盘对他们来说是多余的，故Data Domain另推出DD460G网关器来满足这类用户的需求。DD460G可配合用户已有的磁盘产品使用，只需分画一块区域出来给DD460G控制即可。
档案测试
| 次数 | 每次备份的数据量 | 未压缩数据量 | 压缩后新增数据量 | 压缩率＊ |
| 1 | 6.7GB | 6.7GB | 3.7GB | 1.8 |
| 2 | 6.7GB | 6.7GB | 100MB | 3.4 |
| 3 | 6.7GB | 6.7GB | 200MB | 6 |
| 4 | 10.1GB | 10.1GB | 800MB | 6.4 |
| 5 | 11.4GB | 11.4GB | 100MB | 8.4 |
数据库测试
| 次数 | 每次备份的数据量 | 未压缩数据量 | 压缩后新增数据量 | 压缩率＊ |
| 1 | 2.6GB | 2.6GB | 1.3GB | 2 |
| 2 | 2.6GB | 2.6GB | 0 | 3.7 |
| 3 | 3.4GB | 3.4GB | 100MB | 4.5 |
＊压缩率=各次备份数据量总合/压缩后占用容量总合
相关文章
热点文章
最新更新
互动精华
