所谓的冷热数据分离,就是将热数据剥离出去,核心保证其性能,而相对来说冷数据访问量少,服务等级减低,也可以想象能节省多少的容量。业界现在普遍认为不同的数据“带有不同的温度”,在一定周期内预期将被频繁访问、改写的数据被称为“热数据”,而在很长时间段内访问频率相对较低的数据,则被称为“冷数据”。
当然,冷热数据的划分并非如此简单,首先,这个“一定周期”和“访问频率”就存在不同的划分方式,比如说,有的企业将90天内每周都需要访问2-3次以上的数据,称为热数据,而有的企业,则认为180天内需要访问的数据都是热数据;其次,热数据和冷数据的划分并非完全以线性时间来决定,对于一些以周期性的工程项目为核心的企业来说,往往在某个项目开始时,数据被频繁访问,而这些数据有可能是180天甚至365天之前的数据,另外的一种可能是,企业的这些数据在项目完成后就不再被访问,甚至被丢弃。
但总的来说,按照企业的数据以90、180、365天为周期,以数据在这一周期内的访问频率,按照30%-30%-40%的比率来划分数据热还是冷,是比较常用的方式,也就是说,如果一部分数据在90天内要被访问,那么其可以按照其在这90天的访问次数,再进行划分,也就是为每个时间周期内,以三级访问频率划分数据。
与此对应,我们现在会看到数据中心内包括:SSD固态硬盘、15K转SAS或FC硬盘、10K转SAS或FC硬盘,以及7200转SATA硬盘,这些硬盘的速度由高至底,但在可接受的成本下的可用容量则越来越大,相比只有数百GB的SSD,SATA盘的原始容量已经高达3.0TB,而且很有可能会继续攀升。
对于这些不同的硬盘,我们可以简单的理解为:性能越高的硬盘我们花钱买的是性能,而容量越大的硬盘我们花钱买的是容量——但数据的增速越来越快,其所需要保持的性能却从未被降低要求。我们可能花费一定资金保证了存储性能,但容量显然有很大的差距;而容量采购完成之后,7200转的SATA盘显然无法提供同等盘数SSD的IO性能。
所以,关键的问题是:如何花更少的钱,既保证性能又保证容量?答案很简单,以数据的热度降低为梯度,依次将其放在SSD固态硬盘、15K转SAS或FC硬盘、10K转SAS或FC硬盘,以及7200转SATA硬盘的顺序中,当然,先要做的是分辨出数据的冷热度,确定硬件基础架构中不同盘的数量、类型,再以此划分。
不过,这只是理论上的策略,落实到实际上,显然完全依靠手动是不太可能的,这必须依靠磁盘阵列自身的功能——自动分层存储技术——来实现自动化、智能化的冷热数据划分,这一过程应当是无需干扰的,只需要根据其范式确定一些对冷热数据的划分要求即可;另一方面,仅有SAN——也就是块数据——的自动分层是不足的,在非结构化数据飙升的今天,我们还需要文件系统的自动分层。
戴尔流动数据解决方案的起源
戴尔大力发展存储业务始于2007年对EqualLogic的收购,其后又于2010年收购了专注可扩展文件系统的Exanet、专注重复数据删除和压缩领域的Ocarina Networks,2011年收购了专注多协议、自动分层企业级存储领域的Compellent、专注内容虚拟化领域的RNA Networks,直到2012年刚刚收购了专注新一代数据保护软件的AppAssure。
以EqualLogic和Compellent为开端,戴尔开始涉足自动分层技术,“流动数据(Fluid Data)”这一话题即是从戴尔收购的Compellent公司而来的,流动数据解决方案不仅仅是戴尔自动分层技术的代名词,其包括了一系列戴尔的存储产品、技术和管理范式,比如说,其核心是EqualLogic和Compellent所提供的自动分层技术,但自动分层的数据流动设计、管理与运维,则是来自于戴尔的“智能数据管理(IDM)”中。
在最开始起源阶段,戴尔流动数据解决方案最重要的话题,是戴尔存储的“不断代升级”,EqualLogic和Compellent存储系统都是业内领先的横向扩展系统,每次升级只需要在扩展中增加新的节点即可,无需破坏原有的数据结构,这也就为流动数据解决方案提供了最佳实践的基础。
数据在戴尔的智能数据管理解决方案下,以不断代的方式在存储系统中存在,用户也就有了更多的样本来分析数据的冷热规律,戴尔的流动数据解决方案根据用户对数据的需求进行跨平台、跨系统的无缝数据迁移,甚至可以在物理和虚拟环境之间进行数据迁移。
简而言之,就是在正确的时间用合理的成本将正确的数据放在合适的地方。
流动数据解决方案是围绕戴尔流动数据体系结构、先进的行业技术和戴尔的存储愿景打造而成的,提供一系列的创新产品、专业技术支持和服务,主要包括:统一、基于IP的智能虚拟化存储,专为不断增长、多样化的工作负载而优化的EqualLogic系列、面向虚拟数据中心和云计算的企业级存储的Compellent系列、简化存储整合,适合部门级、中小型企业和远程办公室项目及新一代的传统备份/恢复和灾难恢复解决方案的PowerVault系列、专为动态高效的数据归档而设计的智能数据管理的DX对象存储平台等等。
戴尔流动数据管理可以为现代的虚拟数据中心带来更高的生产力和效率,帮助企业实现存储架构改革以迎接虚拟时代的挑战。
戴尔流动数据解决方案的发展
总体来说,戴尔提出流动数据架构的概念,源于八大创新原则即动态分层、完美互补、原生的云集成、最大化的效率、创新的许可模式、横向扩展的设计、自我保护和最佳拥有体验。这些原则,贯穿戴尔工程师对产品以及解决方案的研发和设计过程,并且进一步延伸到面向客户的项目交付中去。
以马自达汽车为例,马自达的基础设施架构服务采用了一个Dell Compellent 存储架构来管理三层存储容量。第1 层包括9 个固态硬盘(SSD),用于运行VMware 和高性能数据库。像
Windows 页面文件这样的系统级功能,以及SAP 会计模块,也由第1 层存储来满足,其I/O 直接写入固态硬盘。第2 层存储包括15K 光纤通道驱动器,用于性能低一级的数据库。不过其性能还是足够高效,可支持一些SAP 应用程序和将I/O直接写入第2 层,且性能不会降低。第3层包括7,200 RPM的驱动器,用作只读存储。
最终,第3 层存储的并发读取性能与第1 层中较昂贵设备的读取性能一样高。
利架构,马自达能够优化所有存储设备以节省电力和空间占用。由于信息可以跨越Dell Compellent SAN 和在SAN 内部智能地移动,所以企业可以无缝地进行纵向和横向扩展。
随着戴尔将Exanet的横向扩展文件系统技术吸收整合,戴尔历经整合发展,在文件系统上实现了进一步的融合、流动的冷热数据管理,如戴尔近日发布的面向三大产品线的流动文件系统解决方案,包括Compellent FS8600、EqualLogic FS7600(1GbE版本)及7610(10GbE版本)、PowerVault NX3600(1GbE版本)及3610(10GbE版本),这些文件系统不仅与原有的戴尔块存储产品线整合,为三条块存储产品线提供了全面的块与文件数据的统一存储能力;而且其也拥有流动数据的进一步特性。
在这些文件系统产品的推出背后,是他们完全相同的可横向扩展硬件平台,虽然软件有所不同,但相同的硬件已经是戴尔在更为融合的流动数据解决方案上的进一步发展,这些解决方案与原有的EqualLogic和Compellent SAN结合后,将拥有从块到文件的流动数据解决方案,数据可以在块或文件存储系统内,因冷热不同,而流向不同的SSD、磁盘或是存储系统。
流动数据的愿景:八大原则指导
随着大数据时代的到来和对存储基础架构应需而变的要求,提高存储效率的需求将会不断增加。基于戴尔流动数据体系架构的存储解决方案,它能够提供智能的端对端数据管理,根据客户需求进行跨平台、跨系统的无缝数据迁移,甚至可以在物理和虚拟环境之间进行数据迁移。流动数据存储,成为数据管理未来发展的趋势。
“流动数据架构的优势所在就是它能够迅速、敏捷、准确得为终端用户带来价值。我们可以打造一个系统,帮助你按你自己选择的最喜欢最高的方式运行你的存储设备。在未来,如果你想把你的存储设备从EqualLogic或者Compellent换成其他设备都是可以的,由于采用了统一的压缩算法所以在戴尔家族中所有的产品都是无缝隙的支持数据跨平台调用。你可以把数据从EqualLogic转移到Compellent,从Compellent转移到DR4000,从DR4000转移到DX,从DX转移到云端,从云端转移到任何你希望的地方,一切自动完成无需干涉。这在业界无人能够比肩。” 戴尔企业级存储业务部副总裁兼总经理Darren Thomas在2012年的戴尔存储论坛上表示,戴尔的流动数据解决方案会有进一步的发展。