华为OceanStor V3:为用户描绘一副数据自动流动的优化画卷
月之暗面 发表于:15年01月10日 14:39 [原创] 存储在线
存储经过多年的发展,存储性能和数据管理是不可回避的两大话题。存储性能问题随着闪存在存储系统中得到使用而逐渐得以解决,不过数据管理依然是横跨在广大用户面前的难题。尤其是随着闪存技术日渐开始走向普及,用户数据中心的存储环境变得更加复杂,异构存储、混合存储、数据备份等问题持续困扰着用户,数据走向智能化和流动化的方向已经势在必行,这也是存储厂商们多年来一致努力的方向。华为新一代融合存储OceanStor V3自推出以来,主打的理念就是让数据自动流动起来,通过闪存与硬盘的融合让数据能够更具应用需求来回自由移动;而主存储与备份的融合则让用户大幅简化过去传统的备份体系结构,实现了数据从主存储到备份系统的自动化流动;异构存储管理功能则完美简化了数据中心异构存储之间的互通难题,实现了数据在异构存储之间的管理与流动。用户通过华为OceanStor V3可以在数据中心描绘出一副数据自动流动的优美画卷。
自动分级让数据自由流动
毫无疑问,随着闪存在存储系统中得到越来越广泛的应用,闪存与传统机械磁盘之间的数据移动成为存储系统中技术含量较高的领域。当前闪存成本仍然处于较高水平,全闪存阵列这类型的产品仍然是少数用户的“专属”,混合阵列仍然是广大用户的首要选择。因此,在混合阵列中的不同存储介质之间的数据来回流动就显得非常重要。因为,用户应用随时都是在变化的,所以不同类型应用的数据随着时间变化它的热度也会产生一系列的变化,只有通过自动分层技术根据数据的热度而合理的分布在不同的介质上,才能发挥在性能和成本直接达到最佳的效果。
事实上,自动分级的存储技术也已经出现多年,市场上的技术也是良莠不齐,在目前来看,自动分级技术是否出色主要体现出对数据热点的判断、数据迁移颗粒度大小、数据迁移模式等。华为OceanStor V3系列存储的自动数据分级功能SmartTier是对存储系统LUN级别的智能数据分级,数据迁移颗粒度达到了512K-64M,SmartTier自动分级功能主要分为性能统计、性能分析以及数据迁移三个阶段。
图一:华为SmartTier处理数据的三个阶段。
V3存储系统的性能由存储系统的IO监控模块完成。SmartTier允许自定义IO监控的时间段。而性能分析则是由V3存储系统的数据排布模块完成,性能分析阶段使用性能统计数据进行性能分析,分析结果会对存储池中的每个迁移颗粒排名, _排名由高至低,从同一个存储池中的最热颗粒开始,直到最冷颗粒(排名仅在同一个存储池中进行),最终生成数据迁移方案。
数据迁移则是由V3存储系统的迁移模块完成,SmartTier拥有两种迁移模式::手动触发迁移模式和定时触发迁移模式。手动触发的优先级高于自动迁移。手动触发迁移模式可以根据需要立即触发迁移,定时触发迁移模式是根据事先设定好的迁移开始时间和持续迁移时段来自动触发迁移,可以事先设置每周的哪些天的什么时间开始触发迁移及迁移允许持续的时长。此外,SmartTier 可设置高中低三档迁移速度,进行迁移的动态控速。其中,低档迁移速度上限为10MB/S,中档迁移速度上限为20MB/S,高档迁移速度上限为100MB/S。 _
V3存储系统的自动分级技术非常符合当前数据存储的需求,尤其是闪存与传统硬盘融合的趋势下,V3很好地满足了对于数据分级的自动化、颗粒度细化、智能化的要求,已经成为当前市场有着很强竞争力的存储优化技术。
主存储与备份融合:实现数据备份自动化
数据保护与数据备份在数据中心中是不可或缺的一环,而在传统数据中心架构中,备份服务器、备份软件以及备份存储组成的传统备份网络体系往往是复杂和昂贵的。改变过去复杂备份体系架构已经是大势所趋,我们也可以看到从2014年开始,主流存储厂商的存储系统产品中都加强了与备份系统的直接联系,主存储与备份的融合被认为是解决传统备份过于复杂的办法之一。在华为OceanStor V3存储系统中我们也看到了这种趋势。
图二:OceanStor V3实现了从主存储直接将数据备份到备份系统。
众所周知,随着数据增长呈现出爆炸性的增长,传统存储备份体系架构的压力也是越来越大,备份路径和备份窗口时间过长使得传统备份体系架构在当前备受诟病。华为OceanStor V3存储系统跳过传统备份体系架构,通过主存储操作系统OceanStor OS中的备份模块直接以快照的形式将数据备份到备份存储中,实现了从备份数据的自动化,大幅降低了数据备份与保护的复杂度以及成本,很好地实现了从主存储到备份存储的数据流动。
异构存储管理:让异构环境下的数据自由流动起来
在存储管理中另外一大难题就是对于异构存储的管理,不同存储厂商的存储系统对于SCSI协议理解和遵从都不一样,造成了异构存储在兼容性和数据管理方面具有巨大挑战。甚至同一厂商,由于高中低段存储产品线不是同一套操作系统而也会出现不兼容的情况。而且,用户数据中心不可能只存在某一家存储厂商的产品,异构环境是用户们的普遍状态。因此,让异构环境下的数据管理能够自由化、智能化就成为当前存储系统的发展趋势。
华为OceanStor V3异构虚拟化技术通过针对不同的阵列做兼容性的差异化处理,能很好的识别和处理与异构设备间的各种兼容性问题,如及时识别和处理异构设备的LUN PATH 故障,以此达到与异构阵列间高可靠的兼容。异构虚拟化技术通过后端多路径软件支持以多路径冗余方式连接异构阵列,防止与异构阵列间的物理链路连接出现因为单个链路故障而导致业务中断。
图三:典型的异构存储环境。
目前来看异构存储环境下的数据管理非常有必要。首先,用户通过长期的数据中心建设,存在着大量不同品牌的存储系统,利用好这些异构存储系统资源势在必行,如果不能很好地实现异构存储管理的话,则不能够让数据中心存储资源得到有效使用;其次,随着存储系统服役时间的推移,在某个时间点可能不能再满足业务发展的需求,异构存储系统之间的数据搬迁就成为首要问题,华为OceanStor V3可利用异构虚拟化LUN在线迁移功能实现异构存储系统之间的LUN数据迁移;第三,用户数据中心可能由于数据站点的阵列来自于不同的异构厂商,导致异构阵列间的数据无法做到互为备份。华为OceanStor V3的异构虚拟化提供的异构同步和异步复制功能,可以使异构阵列间的LUN 数据做到互相备份,做到站点间的数据容灾;第四,异构阵列可能存在LUN被病毒或者其他原因造成的数据损坏情况,华为OceanStor V3异构虚拟化能够提供异构快照技术,可以为异构存储系统提供快照备份,实现异构环境的数据保护。
总体而言,华为OceanStor V3系列存储系统在数据管理方面代表着当前主流存储系统发展的方向,通过融合闪存与硬盘、主存储与备份、异构存储等,实现数据中心存储层的数据管理高效化与简单化,用户能够实现数据的自由流动以及IT架构的简化,可以说以华为OceanStor V3为代表的存储系统将来会给整个数据中心的数据管理带来革命性的变革。