数据存储产业服务平台

[宽频]HDS CTO演讲:创新服务型存储解决方案






      在北京隆重召开中国用户大会。本次大会以“保护与简化—-释放信息价值”为主题,围绕简化存储管理、消除存储孤岛、保障数据安全、确保业务连续性及最高IT投资回报等用户最关心的问题,吸引了全国各地1000多位日立数据系统用户代表、合作伙伴及存储行业精英的积极参与。日立数据系统公司 副总裁兼首席技术官Hu Yoshida 做主题演讲。


      我非常高兴能够来到这里,我在这里是代表日立的总部,欢迎大家参加我们中国用户大会。我想大家非常理解我们对于中国的市场的关注,而且也理解日立公司对于客户的重视。我们也希望真正的了解,我们的客户需求,也希望客户能够成功。因为客户成功了,才会有我们的成功,欢迎大家参加我们的用户大会。


      刚才Michael Cremen跟大家介绍了关于下一轮浪潮的问题,非结构化的数据带来的机会。大家可以注意到它的单位是非常巨大的。它是以TB作为单位的。意味着有海量的数据。那么在这段时期里面,我们可以看到我们的数据和存储,是每年以60%左右的速度增长,这是IDC公司的数据。这是非结构化的数据,这样的数据我们需要和原数据进行整合,我们才可以进行检索,然后可以完成我们的工作,实现这一点的话,我们需要新的存储架构,也就是现有的存储架构需要改变。


      我们谈谈我们今天需要做的改变。有三点我们需要做的,首先我们要改变我们的存储架构,使得它可以升级,我们的控制器可以进行升级来支持以TB为单位的存储。然后支持我们数以十亿计的交易,我们可以支持这样的业务的增长,中国存储每年以两位数的速率增长。我曾经在IBM公司工作过,在丽都假日酒店设立了一个办事处当时中国没有现在这么发达的金融行业、银行行业、电信行业,回顾20年的发展,中国的发展是非常令人吃惊的。那么我们相信五年之后,我们将会看到我们的用户的增长。就像以前我们有一个用户由于它的迅速增长,成为我们非常大的用户,成为世界上数据量非常大的企业。我们需要改变我们的存储架构。第二是进行虚拟化的技术,我们花费很多的时间谈虚拟化的技术,能够让你最大化的你的存储容量的使用率。然后进行这个数据的整合,然后增加一些新的功能。第三要做的是就是需要有以服务为导向的工作方法。存储应该是作为一个服务,而不是作为一个解决方案提供给大家。


      所以这是我们三件事要做的一个新的架构,虚拟化的技术,还有以服务的方式提供存储。这是电子邮件,我们刚才谈到了非结构化数据,我们不能忘记,我们现有的基础性的数据,不光在基础性的数据的海量增长,而且短期而言,电子邮件的数量增长非常惊人,企业都有企业的邮箱。一般达到200MB很快将达到1个G,今天我们看到互联网的邮箱已经达到了2个G,然后2007年将会给大家带来一个2个G的邮箱。所以大家可以看到,每个人的邮箱的容量再增加。对于存储来说,意味着什么呢,需要我们更多的存储方面的工作。然后在进行邮件检索方面,存储发挥很大的作用。这是我自己的电子邮箱,大家可以看到这个里面的有一个标志,表示我的邮件。不光代表一个光盘,可以代表我的电子邮件进行归档,我虽然只有200MB的邮箱,但是我有这样的电子归档,意味着这个邮箱的容量无限的,有了这样的技术,不用每天晚上整理邮箱,可以做一些其他的事情,为明天的工作做准备。所以归档的工作,能够解决在电子邮件当中的数据的整合问题。而且可以把我们这些非结构化的数据更好的进行存储。


      有些数据可以进入这种休眠状态。我们应该有这样的能力,这样的话我们有能力把电子邮件进行归档。然后进行很好的存储。那么我们今天面临的问题是现在的存储架构已经采用了20年了,像刚才Michael说的那样,我们磁盘的容量每年翻一番,我们传统的存储结构没有变化,我们仍然是昂贵的高功能的单片的存储系统,是静态的缓存,每次更改的时候,需要更改这个文件。因为缓存的结构和20世纪80年代的设计一样的。而且20年前的架构是两个控制器控制的,这个成本非常高的,这个可用性不是很理想。那么因为是两班倒式的运营方式,所以一旦有一个控制器需要进行维护的话,那么就会出现很多新的问题。


      在今天的这个世界当中,我们的企业都是以一天24小时,一周七天的运作,这样的系统架构不能适应现在的需求了。像这种直连式的存储,还有两个控制器的运营方式是很不够的。大家想想20年的存储架构一直不变,20年前大家做了什么事情?我20年前第一次来中国,当时的中国和现在不一样,那个时候没有数据的分享和数据的联网。最多的是两班倒式的运营方式,一个班进行维护,还有一个班进行工作。当时出色的存储设施是IBM3330。以的数据量,可以让我们带几个小时内完成对数据的备份和迁移,这是20年前的情况,今天全球化的世界,我们不能做一个完全的静态的更改的时段。我们需要一个新的架构才可以实现现在的要求。现在有一些企业他们提出了一些特别的新的存储的产品,提供特殊的存储应用,比如说D2D,还有归档,还有近线存储,以比较便宜存储设备来存储数据。还有针对数据库的来进行存储。还有S800,那么能够在需要的时候来进行存储。还有MAID,这是带有大型活动磁盘阵列的。所有的这些系统,都是以模块化的存储技术,进行存储解决方案的。但是他们都需要维护的窗口。所以它们没有办法实现24×7的运作,产生了一些存储的孤岛,这些是点式的解决方案。
  
      所以我们应该有一种方法把它们整合到一个平台上来,如果考察我们的数据,还有存储的费用,大家可以看到数据的部分。还有我们需要数据的备份,而且我们的用户还要求空间的分配,他们不知道他们需要多少,但是他们知道他们现在的存储设备不够用的。或者他的数据库的话,需要三到五年的存储能力,我们需要这样的存储空间,很多的分配过去,但是没有合理利用。同时对于分配的空间要做5到20份的备份,这样的话,实现业务保护,业务数据保护。这些备份又分配了空间,又造成了浪费,下面还有闲置的存储,这里有磁盘阵列,大家可以看到有一些应用用不到这些阵列。那么这样的话,他们占用了不必要的带宽,所以说这并不是一个高效的环境。然后大家看一下运营成本,把耗电、空间放在一起的话,然后在看一下做变更的时候,需要宕机的话带来什么成本,以及备份和恢复带来的成本。现在从法规角度来说,要做很多的备份。最后大家可以看到随着我们的系统越来越大,那么我们的系统这块也会越来越厚,所有这些给我们带来成本。如果我们不把这些成本控制住的话,我们就不可能取得足够的增长,迎接下一轮浪潮地带来。
  
      从HDS角度怎么解决这个问题,过去20年当中我们做了大量工作,从1995年开始,我们开始把开放系统和大型机融合在一个平台之上,我们专门部署了导向器,把原数据通过单独的总线和单独的缓存进行处理,这样通过分离数据缓存和控制内存,不扰乱应用的情况实现。在90年代末期,我们联合博科和思科在高速交换的界面方面起到表率的作用。我们可以让不同地服务器附着于不同的存储系统进行交换,我们接受了交换的概念,并且我们在2000年推出我们的Lightning产品,第一个可扩展的全光纤交换的架构,有一个专门控制的单元,今天没有第二家存储厂商像我们一样在控制单元进行交换。那么链接是通过端口实现的,一共有192个端口,那么今天我们大部分的系统只有64个端口,在02年的机器当中除了192个端口之外,还推出了256个虚拟存储端口。这样有了地址空间之后,在同一个空间上可以接多个应用,多个应用彼此看不到对方的数据的。这是一种叫做安全的多用户的模式,不让资源闲置,无所事事。


      这样的话,我们在2002年的基础当中,推出了虚拟存储端口和分离的空间地址,进一步发展我们的管理工具,推出了我们的管理服务。在不同的主机总线适配器之间。在用途当中的时候进行计费我们经常谈数据生命周期管理,在数据的不同的生命周期,用不同的存储系统保存实现成本的最优化。我们推出一个产品,可以把我们的数据迁移到终端的存储系统当中,与此同时不会造成业务的中断,我们工程师可以把我们的存储移动到IBM、EMC,有标准的链接的存储系统之上,这样2004年的时候,我们推出的通用系统平台。进行了大规模的虚拟化,这样的话,04年的时候我们听到了精细化的配置,在需要存储的时候,对存储进行分配,不是预先的加以分配,这样的话,资源的利用率大大提高了。这样的话,在我们的USP平台当中有一层专门的精细化预配制层。这样的不同业务需求,对我们的业务的需求进行的架构的设计,进行了一个演进性的设计,不会对客户的业务造成中断。5月14日我们推出了USPV平台,虚拟化达到了一个新的高度,这样在新的平台当中,通过能够提供通用的存储服务,同时具有了新的动态的配置的能力。这样的话,可以直接解决已经分配却没有得到使用的存储资源,并且虚拟化与精细化配置于一体,使得现有的资产的利用率可以得到提升,其他的产品做不到这一点,HDS存储的性能可以提高,可用性可以进一步的提高,可靠性也可以得到提高。


      现在要想实现增长的话,就要在系统当中,加入越来越多的容量,而我们做的是会把控制单元的重要的一部分,给拿出来与介质加以分离。这样的话,可以采用模块化的存储的构建,可以实现高可用性,把缓存放到USP V平台之外,可以实现更多的功能,我们可以接入遗传的系统,三到五年没有新的能力的加入的话,就会过时,会贬值。这样的话,我们可以在不中断业务的情况下使得存储的环境的性能得到提升,在我们的存储环境中可能来自不同厂商的产品,不同的用户,不同的资源的类型,不同的流程,我们的USPV的平台,可以对这个环境进行同化,不中断的把数据加以迁移。那么这项工作的容量最大可以做到247个PB,我们现在现有的系统只能谈到100个PB,而新的系统可以做到247个PB,这正是我们需要的能够使我们实现增长的架构。如果我们采用模块化的构建,我们采用单片电路拆开不考虑投资的方法,通过模块化的构建,可以用客户已经做出的投资。我们的内部经过了很多的讨论,这样的工作该不该做,要不要做,我们外部存储的方面也是赚钱的,我们做的时候面临失去一些收入的可能性,这样可以造成大家可以买任何厂商的存储。最后我们高管人员认为我们的产品体现了一个自然演进的趋势,是一个存储功能的分离把存储和服务器加以分离。我们现在确实实现了这样的分离,可以做服务器,也可以做存储,我们存储当中做了同样的工作,对于智能化的模块,可以把介质相分离,可以只换介质,不用换智能化的模块,这是下一个可以带来革新性变化的技术,我们会继续强有力的在内部存储当中,融入越来越多的高技术。
  
      那么这样的话,无论在高端的控制器,以及智能单元当中,以及更加商品化的介质当中,实现产品的更高的竞争力。那么在存储虚拟化方面我们看过这张表了。我们推出的USP 的存储平台,是2004年9月份推出的,两年半前推出的,在过去的两年半当中,我们卖出六千多套基于这种平台的机器。那么IBM是七年前推出了他们的平台,在七年当中他们只卖出了两千台。而且我们的系统因为是企业级的,现在进入企业的生产体系当中。那么04年几乎和我们同时,EMC推出了这样的产品,现在开始刚刚交货,现在的统计数据交货量达到100套系统,我们用事实说明是不是能够在市场上带来客户的虚拟化解决的方案。通过六千台的系统,市场认可我们的方案,客户在买我们各种各样的基于平台的解决方案。


      所以我们的虚拟化的思路在我们的行业当中是独一无二的,其他人希望在网络当中实现虚拟化,我们在存储单元进行虚拟化,必须有存储控制的单元做虚拟化。比如说在物理存储当中,缓存当中做虚拟化,我们谈的不是磁盘,通过虚拟化我们可以把多年来发展的功能部署到存储的工作单元当中,存储单元当中部署的各种设备可以享有这种设备。对于内容、虚拟磁带库、对于其他的应用,对于主机来说,只要能够连接到控制单元后面的,只要符合相应的连接协议,可以享受到在存储单元当中的功能。同时我们不限于散网络的连接的,我们可以把功能配置到企业级的当中,我们有可扩展性,我们提供的完全的虚拟化,有一些厂商提供的这种虚拟到此为止,我们可以为存储端口进行虚拟化,可以带来很多的链接,我们对本身的虚拟化,而且对于卷当中的容量可以进行虚拟化,大家可以做精细化预配置,我们是一套完整的虚拟化的解决方案,给大家提供安全的多客户共用,这样的话,对于这些用户可以进行分区,这样不同的用户他们可以共享系统,他们的数据彼此之间看不到的。所以说我们的分区功能是一个可以保证端到端的安全性,有一些协议正在推出,比如在思科和博科的系统当中,叫光纤交换安全协议,在交换端口和服务器端口进行链接。在你的系统和你的应用之间,如果你仅仅是用数据包的代理的话,不能够实现端到端的安全性,我们有了控制端的虚拟化,保证端到端的安全性。可以实现朝向未来功能的无缝的集成,一旦新的功能出现,存储单元的融入可以保证所有的存储单元可以享受所有的功能,可以实现预配置,可以使我们把得到分配,未加以使用的空间可以消除掉。那么我们的数据进行宽条带的处理,可以分到不同的卷当中。只需要占用500兆的带宽的话,我们给他们500兆,如果需要TB级的资源的话,我们给他们TB级的资源。一方面可以根据使用配置资源,第二,如果没有宽条带的话,一次只能用一个逻辑器件,如果有了宽条带的话,可以同时运行多I/O可以提高其他数据库的性能,对于资源的管理优化了,数据的微调的过程加以简化。有了这样的动态预配置,我们可以去避免没有得到使用的空间,备份好多份,我们可以进一步减少碳排放,减少设备的占地,减少耗电。


      通过我们的一个功能,可以五年当中节能50%。而且我们也提出我们能够通过一个单一的控制器引擎可以多管理246倍的容量,因为我们的竞争对手靠的最近的只能虚拟化一个PT的能量。我们可以增加246倍。你像凌志有一款车,使用的一种混合燃料,多用途的运动车。我想自豪的告诉大家,雷克萨斯这款油电混合燃料的车,它的引擎是由日立设计的。大家可以看到直联存储的利用率占到20%,如果可以利用的话,可以上升到30%到40%,但是这样的结果我们没有看到,今天的散网络,进行数据迁移数据的时候可能会中断,如果有精细化的配置之后,存储的利用率达到60%到80%,和过去相比,取得长足的进展。


      我们看一下成本的细分,从数据来说,有了我们的技术,可以把数据放在不同的存储当中保存降低不同的成本。可以RAID 1到RAID 5之间进行迁移,比如说我们需要RAID 1的性能之后,可以从RAID 5迁移到RAID 1,这样话可以把利用率做的之后,从目前的20%提高到60%到80%。有了我们的技术之后,不会闲置存储容量,我们需要一个安全的多用户共享的能力。变更管理,以不破坏不中断的形式,不需要停机可以进行管理。那么我们现在并不是说对于整个的空间进行备份,对于使用的东西进行备份,我们的虚拟磁带库,还有我们的删除技术,可以缩短备份恢复的时间,可以实现非中断的异构中间的迁移,可以在后端进行这样的不对前端的应用产生干扰,这是我们虚拟化的好处。


      服务型的存储解决方案是我们现在正在做的架构。大家可以看到,这是通过虚拟化的技术,然后为所有的块文件和对象服务提供同一个平台,还有文件服务,把文件系统进行虚拟化。还有存储池,我们还可以以文件为单位,进行这样的虚拟化。另外在内容方面,我们可以直接的提供内容服务,然后搜索、索引、检索等等,都可以以内容为基础来进行。在这个平台上我们可以支持不同的物理存储平台,所以这样的话,不需要再买单独的存储解决方案了。在服务方面,我们还有涉及到指标的问题,所以我们有一些软件能够按照用户所要求的指标来衡量你的业务。比方说服务级别协议,还有服务质量等等,还有计费等等。我们还有自己的专业服务,我们有相应的专业人员,能够向大家介绍存储技术,这里就集中显示了我们关键的以业务为中心的咨询服务。所以我们现在已经有了这样全套的服务能够帮助大家明确自己的需求。那么面向服务的架构,在大家的理解当中,这个SOA的概念已经非常普遍了,有了SOA的概念可以应用于存储。基本上是依赖于一些抽象的成像或者WAP的方法,记帐的模块可以在其后创建。任何的利用可以再利用该记帐模块,不需要自己重新构建了,大家可以节省重复创建模块的时间和工作。基于控制器的虚拟的存在位置。最近我们又增加了提供数据管理的服务,同时还有一个公司叫BLueart,可以向高需求量的业务环境提供业务管理。我们的目标就是能够有一个平台来支持所有的数据,无论是企业级的这种结构化数据,还是非结构化数据都是一样。我们关心非结构化的数据,因为是下一轮的数据浪潮。我们现在在做的都是这种集成的技术来进行的。我们有集成的安全性。这是我们关注整个平台的,同时我们还有动态的多层存储。同时我们还有数据保护和搜索。那么这样的话可以在不同的模块之间进行搜索,能够给大家实现信息的价值。


      对于日立的内容集成平台,我们提供集成型的内容服务。我们可以把不同的系统,像医疗、视频,还有像电子邮件,还有主机方面的信息,把它们放在同一个平台进行集成。其他的一些厂商,他们是针对每一个应用提出独特的解决方案,可能一个给电子邮件,一个是给文件的,还有一个给医疗的。比方说搜索一个病人的名字,我们可以把相应的X光的结果,还有有关疾病的电子邮件等等都可以通过我们的平台进行搜索。有一个共同通用的一个搜索能力。
  
      我们接下来再来看看我们有很多的特殊的解决方案,实际上在日立我们可以覆盖所有的特殊的解决方案。不同的模式,像医疗保健、文件等等。我们都有能够来做这些特殊的解决方案。我们可以通过宽条带化,来完成一些需求。但是有一个系统是我今天没有谈到的,就是这个大规模非活动规模磁盘阵列存储,我们考虑怎么来做,请大家继续关注我们这个方面的解决方案。
  
      在中国市场上,我们的用户群非常多的,大家可能已经有了PB的容量。我们的竞争者可以把PB作为旗舰产品提供给您,但是您可能因此购买一个非常大的架构。那么我们看到它从定价而言,从总体拥有成本来计算的话,要比我们贵64%,这个研究是由IT Centers完成的,他们从定价方面来讲,我们的竞争对手的产品比我们日立的要贵64%。我们还可以向大家保证我们可以不停机在存储当中的移存数据,而且不会遗落任何数据。我们可以提供数据保证的供应商,我们可以提供不停机的配置更改、维护和硬件升级。而且我们还有超高性能的微架构,我相信我们其他的厂商,也会朝着我们的方向前进,我们的理念像渠道合作伙伴提供独立的智能虚拟存储控制器,大家可能会问将会是SAS还是什么,究竟是哪一种不重要,只要可以提供标准的界面,可以和我们功能链接,可以实现所有的功能。通过这个虚拟控制器,我们可以要高级的功能,还有中级的功能,还有基本型的功能。唯一的区别是247PB,还是200PB,还是少于1PB,我们可以提供不同的虚拟控制器可以满足不同的需要。我们日立是业务重点非常突出的一个企业地我们关注存储技术,以及相关的软件和管理。我们不会像甲骨文和微软进行竞争,我们只是做存储方面的业务。我们现在就是要来做存储的系统、存储的架构。还有相关的一些存储软件来管理这样的存储环境。我们的策略就是集成化的策略,是通用的存储管理,强调存储安全性,进行数据的保护、数据的复制,还有进行共同的通用的搜索,这将会是我们的业务重点,我们的核心业务。我们并不会关注介质的问题。我们日立公司有其他的部门来做介质方面的业务,但是我们日立数据系统是专门来做存储方面的业务的。


      很多的分析人员跟我们讨论过,他们非常赞赏我们的业务策略,他们认为这个策略非常好的。这个UVM是我们虚拟化的软件,还有我们有相应的一些工具进行集成。在这个方面我们没有竞争对手。这个是Gartner的评论意见,还有一些公司认为我们日立公司在这个方面没有面临绝对的竞争。我们需要做的来应对下一轮的爆炸,我们需要一个可升级的控制器的架构,我们需要地架构要能够应对几百万的I/O的操作,第二我们要有一个虚拟化的平台,进行数据的流动,能够简化管理工作。能够更充分的利用我们的存储容量。第三要做的是要提供一些存储解决方案,当做服务来提供给大家,存储应该是作为一种服务,像我所说的那样我们增加功能的时候,提供给所有相连的存储设备,不是独特的解决方案,专门应对某个领域,某个方面的解决方案,我们需要提供一套共同的解决方案的。谢谢大家!

未经允许不得转载:存储在线-存储专业媒体 » [宽频]HDS CTO演讲:创新服务型存储解决方案