数据管理的智能趋势(1):
在数据世界迎接智能数据管理理念


  数字化世界的发展让越来越多的企业认识到,IT系统是通过数据来帮助企业完成业务的,在竞争激烈的市场中要想获得竞争的优势,企业必须以实现良好的数据管理能力为前提,将数据管理列为企业IT信息系统建设的核心,并善于利用企业自身所产生的宝贵数据。
  这就为所有的企业带来了针对数据管理的挑战:企业中的数据管理模式,是否能够面向未来数字化世界的发展挑战?数据管理是可持续的、简单的并能够符合现实的要求?IT投资所产生的数据资产是否得到了其作为IT系统核心所应当受到的保护与重视?
  评价是否能够达成数据管理的趋势目标,只需要五分钟的时间并完成下面的一个简单的测试,在看完以下的问题之后,您只需要在心中默念是or否,很快就将得知您的数据管理是否能够面对未来的数字化世界的发展挑战:
  第一个问题:你的企业能否准确的预测未来3个月的存储需求?
  第二个问题:是否能够控制数据存储的成本或容量激增的问题?
  第三个问题:数据管理、存储、迁移的效率,是否满意?
  第四个问题:是否在过去18个月内,很好的控制了存储成本和数据量激增?
  第五个问题:IT投资不再是负担而是能够投入即立竿见影获得效果的?
  如果你的答案中,有超过3个"否",那么恭喜你,你并不孤单,你正身处于成本、效率、数据量激增的数据世界与IT资产环境中,IT投资——数据资产——正在成为负担,IT系统无法将无形无序的信息转变为具有高附加价值的数据资产。
  如果你的答案中超过3个"是"甚至于您全部选择了"是",我希望您能够告诉我,您是如何做到这一切,但在此之前,您或许也会感兴趣我即将与您分享的我的想法及方法。
  传统存储的弊端:无法面对当前挑战
  数据的发展正在以前所未有的速度增长,来的太突然让我们有些措手不及。
  根据IDC的报告显示,现在全球数据量每18个月就要翻一番,每年全球产生的数据量已经高达40EB(1EB=1000PB),与此同时,自2010年开始,全球出货的存储系统容量已经低于当年新增的用户对于存储容量的需求,更为严重的是,这种趋势正在逐步"恶化"。
  仅以中国为例,IDC预测,2011年中国企业级外部存储市场将继续保持超过15%的同比增长,市场总规模有望突破13亿美元,存储总容量有望达到950PB1——这些数字都远远超过过去几年的发展情况。
  但在现有的存储架构及数据管理模式下,有效的掌握数据世界正在变得越发困难,您或许已经发现,存储系统正在变得臃肿而毫无效率可言,数据管理的模式变得难以为继,变成为一件困难、复杂甚至是难以实现的事情。
  这是因为数据量的激增不仅仅带来了对容量的大幅度提升需求,也带来了一系列的关联问题。随之而来的是存储系统的成本居高不下、效率持续降低且数据量的激增几乎难以被遏制,企业必须面对十分实际的问题:如何应对性能与成本的博弈,如何提高数据管理效率,又如何为激增的数据量提供足够的数据管理能力?
  需要指出的是,由于数据存在于包括软件、硬件和管理策略在内的各个环节——在此数据管理并不仅仅包括数据策略、软件管理同时也包括存储架构与硬件体系所构成的"完整概念"——当无法应对挑战的时候,数据孤岛开始形成,企业难以跟上虚拟化时代的脚步,并同时开始面对数据丢失和损坏,严峻的数据管理及更为重要的数据保护体系开始在你的业务中土崩瓦解。
   image
                图释:企业所面对的数据管理挑战在不断增多

  而更为严峻的现实是,我们不仅在面对传统的——有关容量和性能——数据管理和存储方面的挑战,一些新的问题也开始摆在我们面前,如非结构化数据大量出现就是其中最严峻的问题之一——据IDC统计,2011年将产生的数字信息量总计预计会达到接近1,800 EB,是2006年所产成的10倍,该数据中的95 %将是难以管理的非结构化数据 - 电子邮件、Word文档、视频等等2——大数据与文件系统正在改变传统的存储模型,背离以结构化数据,如数据库为主的传统FC SAN架构。
  与此同时,云计算、虚拟化、软件即服务等概念出现也开始冲击我们的数据管理体系,数据存储的需求开始增添新的元素,这导致了传统的存储管理模式——软件和硬件——无法适应新的时期的数据管理需求,对于传统的存储管理模式来说,其仍然停留在上个世纪——机械且无序——只是通过性能、容量的不断提升徒劳的追赶数据管理的变化趋势,难以掌控全局。
  最终,摆在我们面前的结局是,一方面,我们不得不面对现有数据管理问题朝纵深化发展,现有存储系统与数据管理体系已经难以为继;另一方面,非机构化数据、云存储、虚拟化等概念又对我们的数据管理提出新的要求和挑战。
  因此,我们所面对的情况,要求我们抛弃传统的数据管理理念,从机械的、复杂的数据管理模式,摒弃具有无法解决的弊端的传统存储系统和数据管理模式,走向智能的数据管理——它将是虚拟化的、自动化的、整合的未来趋势。
  什么是智能数据管理:定义与愿景
  首先必须明确的是,智能数据管理(Intelligent Data Management,IDM)不仅仅是软件和管理策略的制定,在新的数据管理理念和发展趋势下,数据管理开始融合软件和硬件,软件功能、管理策略与硬件平台的特性、功能相融合,才能成为一个完整的数据管理战略,无论是磁盘阵列还是磁带系统,或者是整个存储网络,一切承载数据并为了让数据更高效的存储、利用和保护的系统,都包括在数据管理的概念之内。
  因此,从这个角度来说,意味着智能数据管理不仅仅是强大的软件和管理能力的体现,其包括在一套智能的、面向未来的、消除了管理风险的体系下,实现软件和硬件相结合,利用硬件特性和优势更好的、更智能的管理数据的过程。
  从定义角度来说,智能数据管理是"基于消除成本与数据存储的两难取舍的、减少甚至降低为0的数据管理风险的、制定的面向未来企业与数据发展的存储策略。"
  其愿景是:以合理的成本,将正确的数据,放在最适合的存储位置上,包括:创建一条走向高效数据管理的存储优化之路:提供业务敏捷性、服务水平管理及经济节省,并为向下一代存储系统及云计算应用模式提供无缝的扩展能力。
  总之,智能数据管理目前已经成为趋势,企业用户正在抛弃老旧的上一代FC SAN及无法验证的数据保护机制,智能数据管理目前可以概括为五点:
  1、 通过智能存储管理方法来帮助客户分析和优化数据管理效率
  2、 智能数据管理包括软件应用、管理策略和硬件平台
  3、 自动化:与虚拟环境集成,按策略自动迁移并轻松找到数据
  4、 优化:抛弃传统存储架构、提供更好的SAN、可验证的数据保护
  5、 无缝扩展:按需购买,并为升级未来存储及云计算模式提供无缝扩展能力
  根据Forrester的2010年度报告《在高增长中控制存储成本》3,存储预算已经从2007年占 IT 硬件预算的10%上升到了2009年的占 17%,且根据分析机构ESG的调查结果,大部分用户的存储预算,将投入到"增加虚拟化的使用、信息安全计划、改善数据备份和恢复、升级网络基础设施、以及管理数据增长。"上,实现更为智能、高效和可靠的数据管理解决方案。
  企业用户不仅已经接受智能数据管理的概念,而且已经开始在其IT投资中进行相应的计划和配比,这说明,在企业用户心中,智能数据管理不只是一句口号,而是一个实实在在的正在发生的趋势。
  IDM框架下的戴尔存储
  智能数据管理并非一种虚无的概念,或是"无法琢磨"的趋势,在智能数据管理的落地方面,已经形成了自身的解决方案体系,以及一整套基于创新存储与数据管理技术的方法论。
  在智能数据管理的框架下,将包括五类存储解决方案,他们是:存储虚拟化和整合、应用整合和优化、高级的数据保护和恢复、数据分层及归档和法规遵从以及面向分布式企业的解决方案,针对这五类的存储需求,智能数据管理显著的超过了传统的数据管理体系。
  作为一个目前提供全面存储能力的企业级供应商,戴尔在智能数据管理的体系下形成了全面的软硬件产品家族,提供了广泛的、经过业界认证的技术提供能力。
   image
                图释:IDM的愿景实际上就是寻找数据管理的成本与效益的合理结合点

  在针对传统存储的低效率与高成本方面,戴尔提供基于Compellent技术的更好的分层与虚拟化存储,形成更具成本效益的FC SAN环境,保护用户投资与原有存储架构;创新存储解决方案——Ocarina、Exanet及DX对象存储——则解决目前遇到的大数据量、非结构化数据与长期归档对象存储的需求;此外,戴尔提供的PowerVault DL2200磁盘备份解决方案以及高性价比的PowerVault MD3200i与3600i系统,提供了基于低成本的高效的数据保护与高性价比存储。
   image
                图释:戴尔提供全面的面向智能数据管理的产品与解决方案

  最重要的,是戴尔基于未来更为广泛的云需求(包括公有云、私有云和混合云),提供已经Cloud Ready的IP SAN架构EqualLogic存储,与Compellent一起提供虚拟化存储、无缝扩展、自动化、分层及按需定价,形成了一个"真正虚拟的、能够面向广泛应用且自动调优"的存储平台,并为未来的无缝升级——基于虚拟化技术——实现了可延续的能力。
  但仅从产品(Compellent或EqualLogic为核心)、技术(存储虚拟化、自动分层、无缝扩展)的角度去实现智能数据管理仍然是存在困难的,企业的IT人员作为业务的管理者,更熟悉自身的业务,而不是供应商的产品,因此,实现智能数据管理还需要方法论的具体培训与实施过程。
  如何一步步实现智能数据管理
  无论是CIO、IT主管还是普通的管理者,即使有了成体系的智能数据管理定义、愿景和方法论,以及技术、产品和解决方案,实现智能数据管理仍然是需要过程的。
   image
                图释:IDM的实施是成体系的、渐进的过程,在这其中,戴尔扮演着重要的角色

  以戴尔为例,我们会看到一个包括研讨会、评估、设计、实施和管理/支持在内的发展阶段,其主要包括用户实现以下几个目的:
  1、 了解需求:明确自身存储架构痼疾,明确技术挑战
  2、 做出明智决定:下决心实现并了解到适合自己的实现方法
  3、 铺设成功之路:开始进行设计与项目筹划阶段
  4、 捕捉价值:在实施阶段不断发现智能数据管理的优势
  5、 持续成功:建立长期的智能策略与发展道路
  总结:利用IDM来掌控数据世界
  总的来说,智能数据管理可帮助您对存储的内容进行分类和确定优化级,并更加高效而安全地将其存储到适当的存储资产中,而在这其中,戴尔起到了非常重要的作用,并率先提供了实现智能数据管理的切实可行的解决方案与实际步骤,帮助企业快速实现智能数据管理的愿景。
  在下一篇文章《数据管理的"智能趋势(2):如何实现高效的数据管理"》中,我们将为您介绍如何通过智能数据管理理念的实施,提高数据管理及存储系统的效率,在保证服务水平质量、保持业务敏捷性、具有较高经济性的前提下,实现数据管理与业务的高效结合。
  相关资料:
  1 戴尔智能数据管理:加速您的数据管理策略 http://www.dell.com.cn/idm
  2 《从云计算到对象存储 戴尔全新企业计算产品解析》,
  崔昊,http://www.doserv.com/article/2010/0420/7003078.shtml
  来源:
  1 《中国企业级外部存储市场季度跟踪报告》,IDC,2011年
  2 The Expanding Digital Universe(《不断扩展的数码宇宙》),IDC,2008年
  3 《在高增长中控制存储成本》,Forrester,2010年

 戴尔PowerVault NX3500统一存储白皮书
 案例分析-戴尔虚拟化实践
 白皮书:虚拟化的iSCSI SAN
 白皮书:SAN2.0存储的黎明
 EqualLogic PS系列存储阵列内部揭秘
 Compellent让戴尔存储产品愈加出色
 使用戴尔EqualLogic存储器自动分层技术
 戴尔PowerVault NX3500统一存储白皮书
 iSCSI、FCoE 和 FC 的性能比较
 基础知识:存储设备与技术

数据管理的智能趋势(2):
如何实现高效的数据管理

  
  通过上一篇文章《数据管理的智能趋势(1):在数据世界迎接智能数据管理理念》,相信您已经了解了"智能数据管理"的定义与愿景,以及以戴尔为代表的供应商如何帮助企业用户实现智能的数据管理架构,甚至于,您已经开始筹划实现智能数据管理的计划——抛弃传统的数据管理理念,从机械的、复杂的数据管理模式,摒弃具有无法解决弊端的传统存储系统和数据管理模式,走向智能的数据管理——它将是虚拟化的、自动化的、整合的未来趋势。
  作为您的实现智能数据管理计划的目的之一,高效的数据管理是您和戴尔共同关心的,企业用户希望提升数据管理和存储系统的效率,并获得高效的数据管理,而戴尔存储的发展目标,就是帮助企业用户"创建走向高效数据管理的存储优化之路",但在此之前,我们还需要了解,到底什么样的数据管理,才能称得上"高效的数据管理"?高效的数据管理又有哪些基本要求并通过什么样的手段来完成?
  高效数据管理的着眼点
  对于企业运维人员来说,高效数据管理的一般理解意义是"在较短的时间完成最多的工作",更多着眼于管理效率和管理的时间成本,但随着企业数据管理要求的不断革新,原有的传统概念已经落伍,无法满足用户对数据管理的真实需求,在智能数据管理的范畴内,高效数据管理被赋予了全新的含义。
  高效数据管理的着眼点包括四个方面,分别是:经济节省、服务水平管理、业务敏捷及系统与业务相结合,只有同时从这四个方面入手,数据管理实现高效,换句话说,高效数据管理包括这四个不同层面,缺一不可。
  无论是CIO、CFO还是CEO,经济节省一定是高效数据管理的基础,只有总拥有成本降低之下的效率提升才有实际意义,企业应考虑"效率/成本"比值,在有限的甚至是减少的成本下提高效率才是有意义的高效;其次,IT运维需要基本服务水平的保证(SLA),无法满足IT运维SLA的数据管理,即使效率再高,实现的也只是千疮百孔的IT运维;第三业务敏捷性和数据系统与业务相结合,意味着数据管理——在高效的基础上——能够为企业真实发生的业务,如创新开发、产品销售、客户管理、市场运维、企业管理等工作,提供发展动力与创新基础,高效的数据管理才能够被企业所认同。
   clip_image002
                图释:业务水平要求的发展

  综上所述,高效数据管理的理念已经并非传统的"效率"一元话题,而是综合包括以上几点的"经济性-服务水平-数据敏捷-服务业务"在内的四元架构,因此,我们需要从这个四元架构去考虑如何构建真正的高效数据管理。
  利用虚拟化、应用整合、IP-SAN提升存储经济性
  作为高效数据管理最基本的着眼点,我们必须明确一个概念:高成本的效率是无意义的,只有"效率/成本"比值合理的效率才是企业所期望和承担的起的,而对于成本来说,开放、实用和高性价比是其考量的基本标准。
  如今提升存储经济性的方法最为基础的方法来自两个方面:一是进行整合,获得更高的系统利用率,间接提升数据管理的性价比;二是利用更加开放、实用且具有经济效益的数据管理-存储系统架构,直接降低数据管理的成本。
  虚拟化技术是与应用整合密不可分的,利用虚拟化技术——包括服务器虚拟化和存储虚拟化——能够将不同的服务器和存储系统融合,形成计算池(Computing Pool)和存储池(Storage Pool),将计算与存储资源充分利用起来,更高的系统利用率,提升了单位成本的系统价值,直接提升了存储经济性。
  通过虚拟化技术,应用与系统整合实现了更高的系统利用率,将计算资源与存储资源充分利用起来,据分析机构IDC的报告显示,通过进行虚拟化,企业的IT基础架构效率变得更高,而成本更低,且响应速度也更快。从2009年下半年开始,中国服务器虚拟化渗透率(即运行虚拟化软件的服务器占所有服务器出货量的比例)超过了10%,跨过了一个重要的里程碑1。存储虚拟化市场也进入了高速发展的阶段。
  IP-SAN方面,随着以太网市场的快速发展,以及FC-SAN的成本居高不下,IP-SAN所拥有的高性能、低成本、易于部署的优势正在逐步显露,同时,已经有戴尔的工程师通过EqualLogic的实际情况及iSCSI协议的技术原理,证明了"iSCSI 作为 SAN 协议与 FC 或 FCoE 相比并非"低性能"或"低效率"。"2 IP-SAN的经济效益非常显著,这也让越来越多的客户选择了IP-SAN而非传统的FC-SAN。
  从技术角度而言,IP-SAN有四点天然的成本优势,能够提高存储经济效益:1、由于TCP/IP协议的广泛利用,减少了聘请专业人员的需要,所以安装和维护成本较低,使用iSCSI创建SAN架构,企业总体拥有成本更低;2、由于减少了不同的网络和布线,使用常规以太网交换机而不必专用光纤通道交换机,很大程度提高了互操作性和成本;3、传播更为便捷,可以在全球IP网络上进行以太网传输,实际传播距离没有限制;4、速度已经提高到10Gbit,将可以和FC网络速率相媲美,甚至更快。
  据IDC预计到2013年前,IP SAN存储硬件市场收入将以平均每年20.8%的速度增长,出货量的增长也将同时超过45.4%。IDC认为,未来IP SAN存储市场,以iSCSI和FCoE为主导,将会超过40%的市场份额3。
  实现更高级的数据保护与恢复
  作为保证服务水平协议的基础,企业需要实现更高级的数据保护与恢复,建立可以简单创建、高成本收益地存储和快速恢复的数据副本,避免数据丢失和灾难。这同样表现在两个方面,一是综合的业务连续性;二是高效的灾难恢复。
  首先,综合的业务连续性意味着可靠的系统、在线可扩展的存储系统,企业必须采购在可靠性和可扩展性方面都具有业界领先水平的存储产品及管理套件,以戴尔EqualLogic和Compellent存储阵列为例,这两个系列的产品,不仅都基于完全冗余的架构,而且都能够实现在线的扩展能力,尤其是EqualLogic的部分产品,能够扩展到超过8个节点,同时每个节点都可以有自己特定的RAID,满足对不同的业务连续性需求的需要。
  而Compellent拥有不影响业务的SAN扩展——没有"推倒重来"的升级——与EqualLogic一样,无需离线即可完成系统的扩展与升级。
  最后,高效的灾难恢复是服务水平管理的最高要求,虽然我们无法预知灾难的发生,但灾难来临之后,我们应该有能力去实现数据的良好保护与系统的可用性恢复,因此,企业需要一些长期的、成本较低的数据保护方式,如基于虚拟磁带库技术的产品及基于对象存储技术的DX存储系统,这些产品通过MAID(Massive Arrays of Idle Disks)等技术实现了低成本的长期数据保护。
  创新技术优化数据存储提供业务支持
  业务的敏捷性是与系统与业务的紧密结合不可分割的,只有IT系统——数据管理与存储架构——与业务系统紧密结合,形成高可扩展及线性增长的关系,业务的敏捷性才能够依靠企业在IT层面上的投资实现良好的回报。
  与之前几点不同的是,业务敏捷性的达成是个双向的工作,不仅要求数据管理利用其特性满足企业业务的需求,也需要企业业务在不断调整的过程中,动态的告知数据管理如何进行调整和变换,从而实现双向的互补——经济节省、服务水平管理的需求是自上而下的单向要求,而业务敏捷性的要求是业务与数据管理不断互动的过程。
  于是,服务于敏捷业务的高效数据管理,需要不断地调整策略和结构,并根据业务不断变换这一特性,构建相应的存储架构。而除此以外,数据管理能否为自身减负,实现数据管理自身的"轻装上阵",也是敏捷业务的基础。
  因此,在高效数据管理理念中,业务敏捷性意味着不断调整和优化存储,
  而目前像戴尔这样的供应商所提供的技术,产品及解决方案已经能够满足绝大部分的优化存储服务业务敏捷性的要求。
  在数据管理中——包括硬件和软件——如戴尔的产品体系中就已经提供了自动数据分层、重复数据删除及面向法规遵从的归档能力,Compellent、EqualLogic、Exanet、Ocarina及DX对象存储,满足了企业业务根据数据重要性进行不同级别的存储系统分层、删除冗余的重复数据、提供可靠的法规遵从并将静态数据转移到较低成本的归档系统的工作。
  以EqualLogic所提供的自动分层技术的实践为例,测试结果表明,在 TPC-C 基准环境中,在相同的应用反应时间里,EqualLogic PS6010XVS 阵列支持的并发用户数和每分钟完成 TPC-C 交易量比 EqualLogic PS6010XV 多 170%。相同的测试结果也表明,在 TPC-C 环境中,EqualLogic PS6010XVS 在保持读取和写入 IO 延迟低于或等于 20 毫秒的情况下,提供的 IOPS比 EqualLogic PS6010XV 多 360%,而这一切都有赖于EqualLogic的智能分层技术,同时,Compellent产品也拥有同样的自动分层能力。
   clip_image004

  但最重要的是,高效的数据管理体系一定是面向下一代、面向虚拟化的,上面已经说过,虚拟化的趋势无可避免,如果数据管理不能够面向下一代的虚拟存储,那么就无从谈起构建高效的数据管理,而无法面向虚拟化、面向下一代应用需求的数据管理架构-存储体系架构,也同样不可能时高效的架构。
   clip_image006
                图释:Compellent与EqualLogic存储系统,在虚拟化方面的支持自然无须赘述,在体系结构方面,Compellent是采用"流动数据"( Fluid Data )架构的高级自动化分层技术的存储系统,而EqualLogic则不仅是横向扩展(Scale-Out)技术的开创者,更代表了IP-SAN的未来。

  不过,在高效数据管理的体系结构下,软件和硬件的话题还有一个重要的组成部分,那就是是否能够长期的使用并获得不断的升级支持,而这一问题的重要性,越来越被企业用户所看重。
  降低成本:多代保护应与存储技术整合
  在选择数据管理体系架构的时候,什么才是最重要的?什么才是核心?或许你会认为上面提到的问题都能够排在答案列表中优先级的第一位,但实际情况是,越来越多的用户发现,系统的延续性——保护投资,尤其是断代保护投资——更为重要。
  企业的数据自企业诞生开始就一直存在——无论你是否对他视而不见——业务在不断发展,数据也在不断增长,而IT系统,尤其是管理数据的数据管理体系架构会变的越来越重要,数据需要长期保存和不断的扩容存储系统,上面已经说过,对象存储等提供的归档能力可以长期的保存数据,但你是否考虑过当在线的数据变的越来越多,业务越来越繁忙,一切都必须运行在在线存储系统的时候,你会怎么办?
  是的,你一定会扩展或升级、甚至是替换现有的存储系统,但你能否保证数据可以平滑迁移到新的存储系统上,而数据管理能力又能够轻松的在新的系统上实现?如果你需要花费大量的资金、物力和人力解决系统升级甚至是系统从此断代的问题,如何称得上高效存储?
  这就像如果有一天,当新版本的纸钞——比如说人民币——印刷出来并让你转而使用新的纸钞的时候,你发现你在银行原有的存款——那些包括的数字组成的真金白银——以及你钱包里的人民币无法流通,无法与新版本的纸钞兑换,你会如何反应?
  因此,高效数据管理的重要组成部分之一,就是多代保护应与存储技术整合,存储系统、数据管理体系能够实现多代保护,不断代、不浪费、能够利旧、能够平滑迁移。
  于是,让我们以戴尔数据管理体系下的EqualLogic和Compellent来看看这个话题,我相信以此为例能够更好的说明如何才是标准的、可用的多代保护。首先必须说明的是,这两个产品家族都提供无缝的扩展,不需要断代升级,五年前购买的存储架构与如今的系统能够融合在一起,沟通统一的SAN存储区域网络,新系统可以不断加入到旧的体系中,甚至不需要手动——只需要静静等待自动过程的发生——数据便可以均匀分布和自动分层。
   clip_image008
                图释:EqualLogic采用不影响业务的对等扩展架构,不再是推倒重来的断代升级,同时提供全套的软件,即使在扩展或升级时也没有附加的许可或隐藏成本;而Compellent不仅在一个SAN中支持FC、iSCSI 和 FCoE……并且适应新的协议而无需推倒重来,同时其提供永久的软件许可与架构扩展能力,同样SAN的扩展不会影响企业的业务。

  因此,凭借两大产品线的出众能力,加上戴尔一直给予二进制可兼容设计的数据管理软件及管理工具,多代保护应与存储技术的整合成为可能,多代保护技术已经形成并深深植根于戴尔的主要存储系统中。
  总结:高效数据管理不止是效率
  综上所述,实现高效的数据管理并不仅仅意味着提高效率,它包括从成本经济性、服务水平管理、业务敏捷性等方面对数据管理所进行的要求和改变,高效数据存储的概念早已经超越传统的效率话题,成为数据存储的基础需求,并作为智能数据管理的重要组成部分,担当起最基础的重担——智能数据管理首先应当是高效的数据管理。
  在本系列的下一篇文章《数据管理的智能趋势(3):存储虚拟化与虚拟环境下的数据管理》中,您将了解到,在虚拟化成为必然发展方向的态势下,如何在虚拟化的环境里,实现智能数据管理,以及存储虚拟化是如何帮助数据管理变得更加智能的。
  相关资料:
  1 IDC中国服务器虚拟化市场季度跟踪报告(2010年第二季度),IDC,2010年
  2 《iSCSI、FCoE和FC的性能比较》 ,Ujjwal Rajbhandari ,2011年
  http://zh.community.dell.com/techcenter/b/weblog/archive/2011/01/11/comparing-performance-between-iscsi-fcoe-and-fc.aspx
  3 《IDC分析师观点:IP SAN -- 中国存储市场的新兴力量》 , IDC分析师李子奇,2009年
  4 《使用戴尔EqualLogic存储器自动分层技术,提高OLTP数据库应用性能》 戴尔市场高级技术经理Chhandomay Mandal,2011年
  http://zh.community.dell.com/techcenter/b/weblog/archive/2011/04/20/improving-oltp-database-application-performance-with-equallogic-automatic-tiering.aspx

 部署微软SQL Server参考架构
 部署Oracle数据库参考架构及配置
 白皮书:虚拟化的iSCSI SAN
 戴尔PowerEdge R910服务器白皮书
 戴尔PowerEdge M915刀片式服务器白皮书
 EqualLogic将桌面虚拟化发挥到极致
 虚拟化的iSCSI SAN
 云计算模式和 Dell 的虚拟集成系统架构
 戴尔EqualLogic存储与VMware的伸缩性
 针对VMware的EqualLogic新特性及改进

数据管理的智能趋势(3):
存储虚拟化与虚拟环境下的数据管理


  相信您已经了解到实现高效的数据管理并不仅仅意味着提高效率,它包括从成本经济性、服务水平管理、业务敏捷性等方面对数据管理所进行的要求和改变,高效数据存储的概念早已经超越传统的效率话题,成为数据存储的基础需求,并作为智能数据管理的重要组成部分,担当起基础的重担——智能数据管理首先应当是高效的数据管理。在上一篇文章中,我们也给出了部分实现高效的数据管理的要点和方法。
  着手实现高效数据管理,达成智能数据管理的过程中,外部环境的变化影响甚至决定着我们所采用的手段和方式,因此,我们必须要同时注意IT系统的建设、运维和优化所处的整体环境与氛围的变化,否则,我们将难以根据不断变化的实施情况,实现真正的高效的、智能的数据管理。
  信息技术行业往往按发生重大技术创新的时代来定义,例如PC时代、移动计算时代和互联网时代。随着虚拟化技术的日趋成熟,我们已从互联网时代的随时随地连接,前进到了虚拟化时代。
   image
                图释:我们已经进入了虚拟化时代,未来的IT基础架构,大部分将是基于虚拟化的。

  充分挖掘虚拟化时代这一新时代的全部潜能,正在成为IT系统的发展目标之一,但在这一目标之下,又会对数据管理产生什么样的影响?虚拟化技术、虚拟化的数据中心,又是如何深刻的改变着数据存储?在数据存储领域,存储虚拟化的出现,会对虚拟化环境下的数据管理产生哪些影响?又如何应对?
  虚拟化数据中心对数据存储的挑战:I/O、管理、自动化、数据中心架构
  虚拟化的收益显而易见,原有分散的系统被聚集起来,统一管理并充分利用硬件资源,因此,虚拟化技术首先在服务器系统上应用,数据中心内的服务器被快速的通过虚拟化进行整合,减少了资源浪费,并能够以庞大的资源池运营较大的业务系统,或快速建立、消除和迁移业务系统——在虚拟化的平台上。
   image
                图释:存储虚拟化(Storage Virtualization)让数据从物理设备上进入虚拟空间,虚拟磁盘(Virtual Disks)可以加快配置磁盘、卷的速度,但正如图示,通过服务器虚拟化(Server Virtualization)少量的物理服务器被虚拟出大量的虚拟服务器(虚拟机,Virtual Machines),带来大量复杂的I/O需求。

  但虚拟化并非没有问题——即使是只在服务器系统上进行虚拟化,服务器虚拟化通常会增加连接到每台物理服务器的存储环境的I/O资源需求。在虚拟化之前,大多数服务器在运行一个应用程序时,常伴有大量的处理和存储I/O资源分配。通过服务器虚拟化,我们将许多应用程序负载到一个主机上,并各自运行在自己的虚拟服务器上。我们将增加比过去乘以10倍或更多的潜在存储I/O1。
  同时,由于虚拟化资源池内所运行的业务种类增多,I/O 类型开始出现差异,且I/O资源是大量随机的,所有这些应用都独立的运行在共享物理主机的虚拟机上。应用程序很少会检查是否有其他应用正在占用存储资源,它将跨过虚拟化管理程序去获得所需要的带宽,而虚拟化管理程序需要调整这个应用到确定的端口运行并获得可靠的带宽。
  接下来,管理和紧接而来的自动化成为难题,虚拟化系统的管理与传统的物理系统不同,我们无法利用在物理世界所积累的经验,去解决绝大多数虚拟世界所遇到的问题——仅虚拟化系统就包括有VMware、微软Hyper-V、Citrix虚拟化与Red Hat等虚拟化平台,每种独具特色,与物理世界统一于X86或RISC不同,拥有不同的管理和自动化适应性界面。
  数据中心的架构也随之转变,我们会逐步发现,数据中心的核心开始由服务器——计算设备——转向I/O设施,其中包括存储系统和网络交换架构。当I/O设施成为数据中心的核心,数据中心的重点也就继而转向了管理I/O设施的智能数据管理平台,因为我们需要利用智能的、高效的数据管理平台管理存储着的静态的数据或是流动的在网络交换设备中的动态数据。
  虚拟化的发展还有一个潜在问题,那就是"虚拟机蔓延",为了临时业务应用所建立的虚拟机,以及应用之后被停止但长期未删除的虚拟机,将造成数据中心被大量的虚拟机所填满,也带来存储容量的极大浪费。为了应对这个问题,按照传统的方法只能够在初期采购时,购买远超当时需求的存储容量——更多的磁盘意味着更昂贵的价格,但谁都知道磁盘价格的下降速度正在不断加快——虚拟机的"蔓延"的问题,需要更好的、更智能的数据管理,具有极大的根据虚拟化要求而弹性应变的能力。
  智能数据管理作为一种趋势的重要性被再度加强,我们需要智能数据管理来承载静态的或动态的数据,由于负责传输动态数据——有一种观点认为网络交换设备也是存储系统——的网络交换设备相对而言负责更为简单的过程,单个数据存在其上的时间较短,因此,重点也就落在了存储系统上,其必须要针对虚拟化的外部环境做出及时的响应。
  什么是合格的虚拟化存储:自动化、简化管理、虚拟化管理程序与应用整合、利旧
  如何评价虚拟化存储合不合格呢?根据性能还是别的什么?为什么我们会看到在高性能的存储系统加入数据中心之后,存储基础架构仍然会成为制约服务器虚拟环境发展的障碍——事实是,至今,许多IT专业人士还没有找到根本解决服务器虚拟化所带来的存储问题的解决办法。
  存储系统的性能、容量和价格已经不再是制约存储系统应用的桎梏,在单位容量或单位性能上所需要花费的成本随着IT技术的发展已经越来越低,摩尔定律很好的诠释了这一切,但是,这些更大容量、更高性能、更便宜的存储仍然难以满足虚拟化对存储的需求。
  按照虚拟化对I/O设施所提出的新需求,合格的虚拟化存储应具有以下特征:
  1、 自动化:虚拟机的数量、I/O吞吐量、部署及迁移需求都是巨大的,虚拟化存储需要自动化的管理而非传统机械式的人工干预。
  2、 简化管理:随着服务器虚拟化带来的虚拟机的增多,以及多种虚拟化平台互不兼容的问题,一个简单、易用的虚拟化存储部署、配置界面将极大地简化不同虚拟化平台接入存储系统的复杂性
  3、 虚拟化管理程序与应用整合:应用不再基于物理设备,而转向虚拟设备,无法与应用整合,仍然以物理方式管理虚拟化架构的管理程序对于系统管理将是低效率的。
  4、 利旧:虚拟化的重要性之一在于不同类型、不同年代的IT设施可以被很好的利用起来,虚拟化存储需要拥有非断代升级、对旧有设备的融会贯通的利用能力,而非"喜新厌旧"需要"替换"而非"整合"旧有的设备,造成IT投资的浪费。
  5、 精简卷:自动精简配置将解决虚拟化"蔓延"的窘境,在虚拟机被停止进而删除后,回收空间,或在虚拟机激增时快速按需扩容。
   image
                图释:以Compellent的高级精简配置*为例,数据被预先配置,随后根据需求扩充卷容量(如为不断膨胀的虚拟机),而一旦需求缩小,容量可以被回收(如虚拟机被删除后,之前所占用的容量可以被回收)。*该技术的理念是:在初始配置存储系统时,配置较少的实际容量,但为数据卷虚拟配置远超于此的容量,在数据量激增后,虚拟配置新的物理空间到卷中,满足用户需求;同时,当用户不需要部分容量后,可以将物理空间分配给其他的卷或应用程序。从而减少初期的容量购买,并避免容量浪费。
  
  虚拟化数据中心与云基础架构的要求:流动的虚拟化
  虚拟化带来了三大受益:提高系统利用率(多个物理系统整合成统一的资源池,提升利用率)、整合异构环境充分利旧(多种不同的异构环境形成统一资源池,利于资源调配和利用旧设备)、快速的部署和迁移虚拟机/应用(部署上线虚拟机和将虚拟机在不同的但已经统一在资源池中的设备间进行迁移)。
  在这三大受益中,虚拟化的用户们在享受了前两点带来的好处后,正在进入快速的部署的新阶段,同时开始从物理设备上迁移系统平台与应用,而这也正是目前最为热门的话题。
  快速的部署与迁移虚拟机/应用解决了困扰企业IT系统应用的一个老大难问题:如何根据业务灵活、动态、随需而变的设计、部署和分配企业IT计算和存储资源,而也因为虚拟化的这一优势,大量企业将虚拟机迁移作为重点应用开始尝试,根据不同的业务负载和响应速度,虚拟机及其所承载的业务在不同资源池上迁移流动,形成了流动的虚拟化。
  随着流动虚拟化的深入,虚拟化的数据中心必然走向私有云、公有云或是混合云,这三大云的形态代表着很多用户虚拟化进程的终极目标,意图实现IT架构即服务、按需付费、多租户、灵活异构平台多应用等不同的应用模式,但用户需要从现有虚拟化架构,平滑迁移到私有云、公有云或是混合云的能力,尤其是针对数据、信息,没有数据与信息的平台架构无法直接支持业务发展,只是承载测试数据进行模拟的平台注定只能作为企业业务的陪衬。
  总的来说,在满足虚拟化存储的需求之后,虚拟化数据中心与云基础架构提出了新的要求,需要Ready for Cloud而数据也要流动起来,我们必须要看到,如何管理从虚拟化平台、虚拟化数据中心,到私有云、公有云或是混合云的数据,将是智能数据管理所面对的下一步挑战。
  戴尔新一代SAN存储:Compellent、EqualLogic为虚拟化时刻准备着
  为虚拟化而做的准备中,改变存储架构是你能做的最快的事情,但是否只是简单的更新换代?比如说,在光纤通道(FC)环境中,这意味着可以升级到8Gb/秒光纤或10Gb/秒以太网光纤通道(FCoE)。对NAS或IP-SAN环境来说,这通常意味着从多个1Gb连接升级到10Gb以太网。如果用户还在进行融合项目的话,也可以选择FCoE方案,它可以提供性能升级以外的其他好处。
  但这是可行或是能够持久的解决之路么?事实上,单纯通过带宽上付出的开销所获得受益已经越来越少,而选择面向未来的流动虚拟化、流动数据(Fluid Data)的Compellent 多协议SAN存储和已经为云准备就绪(Ready for Cloud)的IP-SAN EqualLogic存储系统,或许是你可以借鉴的方式。
  虽然Compellent与EqualLogic身处FC-SAN与IP-SAN的不同领域,但是他们"同是游戏规则的颠覆者",在分层管理、横向扩展方面都具有优异的性能,帮助每个存储管理者能够管理更多额的存储容量,并打破了传统的破坏性及"断代升级"式的扩展与升级方式,减少了企业对存储的管理及总拥有成本(TCO)。
  作为戴尔存储的"左膀右臂",Compellent和EqualLogic拥有惊人的共同点,这两者共同拥有的自动精简配置(精简卷)和自动分层存储彻底解决了虚拟机"蔓延"的情况。
  事实上,虚拟机"蔓延"的情况将在自动精简配置应用后将得到极大的缓解,自动精简配置将为快速增长的虚拟机动态扩容卷容量,同时Compellent还可在虚拟机被删除时回收已经不再利用的空间,从而节省大量的,因临时生成的虚拟机及虚拟机"蔓延"所造成的容量浪费。
  自动分层存储则为戴尔的两大存储系统实现了高效的"流动数据(Fluid Data)体系结构"——在合适的时间将数据放在合适的位置,将已过时的或对性能要求不高、未运行高负载应用或干脆是弃置不用但必须要保留的虚拟机放置在大容量低价格的磁盘上,并调整高负载的活跃虚拟机进入类似SSD的高速空间,从而实现以合理的成本满足最大的需求。
  但这两者也拥有不同的特质:Compellent来说, Compellent Storage Center这一贯穿整个Compellent架构的平台既是其统一管理平台又是其扩展与面向虚拟化服务的保障,其能够在简化虚拟化环境下的存储管理的同时,保证所有的Compellent磁盘阵列系统能够简单的融合到一个单一的存储池中,提供统一的存储I/O、设备连接、容量管理接口,并支持包括:Windows, Solaris, HP-UX, Linux, AIX, Netware, Mac OS X, Tru64, Open VMS, VMware在内的所有的操作系统与虚拟化平台。
  同时得益于这一平台在接口、设计及二进制方面的兼容性,Compellent提供了随用户需求而增长的性能随容量线性增长的模式,同时提供的"永久软件许可证设计",支持断代——从第一代、第二代到最新的一代——产品的融合在统一存储池中,并提供块与文件的混合访问形式与异构操作系统的文件共享,随着虚拟化程度的加深,虚拟机数量的增加,Compellent在容量和性能上都可以获得充分的满足。
  统一管理平台之上所构建的软件组合:自动精简配置、自动分层存储(自动迁移不活跃的数据到低成本的SATA硬盘或近线SAS)、智能自动化(Enterprise Manager软件提供多设备、多资源类型的管理并自动优化性能、容量规划、分配卷、提交报告和设置灾难恢复)等技术以及基于Enterprise Manager软件的智能自动化,让Compellent成为适当的虚拟化数据中心存储系统。
  而具有在磁盘和RAID 组之间实现自动负载均衡及SSD与SAS磁盘分层等自动化分层功能的EqualLogic系统在被戴尔收购之前,作为独立存储系统供应商的建立初衷与市场竞争点就是"为虚拟化而设计(Design for Virtualization)",提供了"1小时内为虚拟机提供网络存储",刚刚获得了InfoWorld(信息世界)2011年最佳存储系统技术奖,被评为"虚拟化服务器环境中排名第一"的存储系统。
  但EqualLogic显然拥有进一步深化的能力,我们知道,云基础架构要求一个真正的"虚拟的,能自动调优的存储"平台,这意味着一个"Ready for Cloud"的存储平台,需要满足至少三个条件:自动分层存储/自动化管理、面向虚拟化以及为云基础架构的连接方式做出准备,甚至已经有报告显示,有部分电信用户主要使用EqualLogic解决方案,来实现存储整合、存储虚拟化和数据保护等用途2。同时,它不仅本身就设计自云基础架构的最广泛的连接方式:IP网络,而且已经支持未来技术DCB(Data Center Bridging)连接及数据中心无损以太网(增强型数据中心以太网),实现了对新一代以太网的支持。
  谁都知道,无论是私有云、公共云还是混合云,以太网从10Gb到40Gb,再到100Gb的高速发展模式让它成为必然的未来垄断的网络连接方式3,事实是,Compellent这一曾根植于FC-SAN环境的设备,现在也已经进化为FC-SAN+IP-SAN+NAS的统一存储系统。
  总结:智能数据管理服务虚拟化时代
  从上文可以看出,虚拟化正在深深的改变数据管理的传统方式,而智能数据管理也必将随着虚拟化的普及与深入,产生更多、更细和更复杂的变化,但万变不离其宗,智能数据管理在四个维度"经济节省、服务水平管理、业务敏捷及系统与业务相结合"的引导下不断的发展和进步,加之与VIS的紧密整合(可以参见 戴尔技术中心社区精彩文章《云计算模式和 Dell 的虚拟集成系统架构》)——相信通过存储虚拟化与虚拟环境下的数据管理,所有的问题都将迎刃而解。
  在本系列的下一篇文章《数据管理的智能趋势(3):保护与成本的两面性》中,您将了解到,数据保护的目标到底何在?是不惜成本的不断冗余数据还是能够用更轻松的方法巧妙地化解数据保护与支出成本之间不断增长的矛盾?保护与成本的两面性又体现在何处。
  相关资料:
  1 《在虚拟环境中的存储性能挑战》,Storage Switzerland创始人George Crump,2011年
  http://storage.doit.com.cn/article/2011/0324/295143.shtml
  2 《ESG实际使用评测报告:Dell EqualLogic企业级虚拟存储设备(中国用户使用评测)》 ,ESG分析师周家术 ,2011年
  http://www.esg-sino.com/research_PDF/chinese/ESG_Field_Audit_Dell.pdf
  3 《IDC 全球每季度企业网络跟踪报告》2010年第二季度:2010年第二季度万兆以太网交换机销售收入同比增长87.9%,季度端口出货量首次突破100万个。万兆以太网的应用是由数据中心、云计算和园区网络建设推动的。
  4 戴尔智能数据管理网站:加速您的数据管理策略
  http://www.dell.com.cn/idm
  5 IDM与VIS的紧密整合 (戴尔技术中心社区精彩文章)
  http://zh.community.dell.com/techcenter/b/weblog/archive/2011/03/14/cloud-computing-models-and-dell-s-virtual-integrated-system-architecture.aspx

 戴尔EqualLogic实现中小企业业务连续性
 戴尔EqualLogic的应用集成及数据保护
 戴尔EqualLogic存储阵列实现灵活虚拟化
 结合微软DPM 2007实施企业数据保护
 戴尔EqualLogic和Backup Exec的结合
 戴尔服务器和存储使用自加密驱动器
 DX 对象存储的提高,让云存储更强大
 使用戴尔技术保护 SQL Server 2008 R2
 安全演变:SecureWorks 简述
 EqualLogic iSCSI存储再次登上巅峰
2011年6月25日第二期
你认为下列哪些选项是实现高效存储的必要条件?
A、虚拟化 B、系统整合 C、IP SAN D、自动分层
更好的数据保护与恢复是否与高效存储有关?
没有
您的数据存储系统是否遇到过多代迁移的问题?
没有
您认为高效存储的重点是存储系统的哪一部分?
A、存储软件 B、存储硬件 C、软硬件结合
姓名:
联系电话:
电子邮件:
职务:
工作单位: