2015年12月10日,由DOIT传媒、存储在线和易会联合主办的2015中国存储年度峰会在北京盛大开幕。作为中国存储界有影响力的年度行业盛会,峰会以“把握数据经济,重塑商业变革”为主题,吸引了上百位存储界的顶级学者专家、数百位产业精英和企业用户出席。
由DOIT主办的中国存储峰会是中国存储产业界最为隆重的年度大会。十一年来紧贴存储产业发展,丰富地记录了存储产业在各个历史时期的变化发展,已成为存储学术界、产业界和企业用户不可错过的历史见证。
英特尔存储事业部技术行销经理胡元国发表了“英特尔在软件定义存储领域的策略布局与实例”主题演讲。以下为演讲实录:
今天要跟大家分享的主题是关于英特尔在软件定义存储领域的策略布局,还有一些实例探讨。我会针对这五个议题做一个介绍:
首先会介绍什么是基于服务器的存储;
第二部分介绍英特尔在软件定义存储领域所扮演的角色,以及提供给客户的服务有哪些;
第三部分会用Ceph讲解一下构建基于服务器的存储,介绍英特尔利用Ceph在软件定义存储方面做出的贡献,以及客户在利用Ceph的时候可以从英特尔得到什么样的支持;
第四部分会对利用闪存技术增强Ceph效能来做一个说明。
上午大家在参加峰会主论坛的时候,英特尔副总裁Bev Crair已经介绍了至强D系列处理器的特点,具有低功耗、高效能的特性,这里就不再做介绍了。
近几年数据在不断的增长,2015年统计已经达到了很大的数据规模。有不同的数据要存储,以及针对这些数据要做的处理,不同的应用对数据的处理要求也都不一样。面对这些挑战,现有存储架构以及传统的NAS都无法支持这样的使用模式。在很多的应用场景里面,,延迟的瓶颈会非常敏感。为了要达到更低延迟,闪存技术在应用场景里面是一个很关键的东西。
我来到大陆,对大陆的电商服务非常的惊讶。在台湾,电商服务还算是蛮落后,大陆这边大家都用大众点评或者支付宝做一些线上的交易。我跟我太太用大众点评去买电影票,我看到现场的柜台基本上是没有人的。利用这些电商服务,他得到的价格大概是实体的一半左右的价格。很多人利用这些电商服务,透过非常和善的界面可以买电影票,买各样的东西。类似电商的这样服务,都属于对延迟要求比较苛刻的使用模式。
关于云的部分,云的蓬勃发展带来很多IT服务业根本性的结构性的改变。近些年50%的创立时间少于10年的公司,都已经采用云端IT服务。使用云首先的好处就是成本的改良。
今天上午,大家都不断听到关于软件定义存储、超融合等等这些技术。这些其实都可以让存储的效能或者是各种的资源使用率得到优化。这也是让软件定义存储在这个时候蓬勃发展的一个很主要的原因。
面对整个大环境的改变,现有传统架构如SAN和NAS都会遇到限制,无论是管理上,还是容量拓展上,都会遇到不可抗拒的一些限制。另外,传统架构上面应用与存储很多都是一对一这样的使用场景,很难让不同的存储服务相互利用,这也会导致整个存储效率非常低下。除了旧有存储架构会面对一些增长的挑战,管理多种存储解决方案也增加企业的成本负担。正因如此,软件定义存储最大的好处就在于其把所有的硬件抽象化,上层的软件可以充分调用下层的存储资源。
天下没有白吃的午餐, 实现软件定义存储也应必须要有一些性能上面的要求。但相对我们在旧有存储架构使用率低下,以及所浪费的资源来说,投资软件定义存储所要增加的成本还是具有比较多的好处。
软件定义的层级主要分为三个层面:服务保障、供应管理和集中的资源。
SDS的关键是用X86商用的一体架构构建成软体的存储系统。传统存储架构软件跟硬件是绑在一起的,构建这样的存储系统,需要的成本非常高。使用基于X86服务器的开源方案构建存储系统,不仅可以适用于不同的应用场景,还可以大大降低成本。在硬件的功能实现上,SDS的功能跟我们传统的存储系统也都没有多大的差别。
这里就SDS的特质来做一个说明。第一个是硬件购置成本比较低,因为采用商用组件。在软体部分,你可以使用私有协议或是开源的东西都没有问题。商用的X86的系统在市面上非常多,各位选择也不会仅限于有几家。在针对各位同时在建构IT系统的过程当中,也都可以根据各位的一个使用的场景来去选择适合的硬件和软件的方案。
其它的话,英特尔除了提供给客户非常好在硬件产品之外,也会在不同的软件层面投入。主要是希望各位终端客户在使用英特尔架构的存储系统的时候可以得到最大的效能。
这里列出一些根据架构、软体、硬件的一些特性来做的大概的分类。最左边是传统的存储厂商,右边是偏向于开源架构。
针对第一个部分不知道大家有没有什么样的问题?顺便问一下在场的贵宾们,你们公司主要是以提供软件的方案吗?你们是存储方案提供者吗?会做硬件和软件搭配吗?是这样吗?
第二部分我会来介绍英特尔在软件定义存储会为大家提供怎样的支持。
首先,硬件是英特尔的基础,针对不同的应用场景,我们都有提供相应的硬件设备。比如在云存储、软件定义存储以及融合架构中,我们提供了闪存等硬件的产品支持。
要让硬件发挥最大的效能,通常都需要软件的优化,我们也有在相关软件部分提供相对应的支持。像DPDK和SPDK,SPDK是相对于是第三方闪存的驱动程序,我们可以提供一个比较好的效能。这个部分在后面也会有一张PPT给大家做一个介绍。
另外我们也有提供Storage Librarie,供大家可以在不同应用场景下加速。我们也有提供在Lustre部分优化相对应的程序,我们有提供所谓的缓存加速的软件。这个部分我会在后面做一个比较详细的介绍。
除了前面提到这些软件跟硬件支持之外,英特尔也有在设计开发做出贡献。另外英特尔通常产品的规划是五年十年,跟合作伙伴接触同时,我们也会将一些往后五年十年我们可能会使用的一些技术跟硬件都跟各位做一个交流。这样各位在做将来的规划的时候,也可以事先将新的技术安排在未来得产品当中。这两页说明英特尔在软件定义存储这个部分可以提供给各位的支持和服务,这个地方各位有什么问题吗?没有问题我们继续往后走。
接下来我们会使用Ceph作为一个例子。这边是一个Ceph的简单介绍,相信大家因为软件定义存储热门大家都看过这张图片不下百次、千次这样子。Ceph为什么会这么流行起来,很大的原因是它是一个开源的解决方案。只要是对于程序写作这个部分有一定的专长,都可以在这个架构底下做一些对应的优化。对程序开发员而言,这是非常吸引人的一点。另外的话,在Ceph的系统下可以实现三种不同形态数据存储,这非常方便。根据不同的存储的类型,它也透过不同的界面来去实现这个存储。
这是一个Ceph集群的示意图,在客户机服务器和存储机服务器都可以以X86作为建构。所谓的SDS就是以商用X86的一体架构作为存储系统,这些硬件设施都是可以采用英特尔商用的这些服务器来去构建完成。所以各位在建构你们的存储系统的时候,这个部分相信在成本上面会是一个蛮大的优势。
Ceph这个部分英特尔做了哪些事情呢?
首先我们与社区合作,基于IA架构来优化Ceph操作的效能。因为这样子的话,客户才更愿意去使用英特尔的产品。
这里做一个调查,各位公司的产品是都至少有一款是英特尔的硬件所搭建出来的?都没有啊,看起来可能英特尔在中国这边行销要改进一下。
另外,在许多企业级的应用上面,英特尔也有投入相当多的资源去做优化。企业应用的部分,还是占我们很大的利润来源。在企业级这边应用的话,有几个比较重要,一个是高速缓存,还有擦除码,我们在这几个方面投入部分,针对IA架构做一个优化。
另外当客户设计完他们的Ceph产品的时候,通常要去了解到底效能怎么样,到底瓶颈在哪边?我们也有提供相对应管理的软件。英特尔跟合作伙伴做合作开发,早上有提过跟雅虎的合作方案,也是一个很典型的例子。所以我们相信,客户有客户的专长,我觉得在英特尔对于终端应用这个部分可能是相对于薄弱的。但是在一些基础硬件,可能更底层的一些软件的部分,还具有一定的能力。所以透过跟客户合作的模式,相信可以去构建出一个最好的存储的方案。
今天是一个存储论坛,我们可能讲的比较多的是存储。但是在其它的应用领域里面,我们也非常乐于跟客户一起合作去思考关于未来我们可以怎么去做,可以让整个生态更好。英特尔未来得发展就是持续扩大Ceph社区,积极贡献我们能够做到的事情。
第四个主题我们谈谈在闪存技术这个部分如何去让我Ceph系统有一个提升。在Ceph的应用场景里面闪存技术其实主要会应用在日志存储以及高速缓存这两个区块。后面也会针对雅虎这个案例去做更详细的介绍。
为什么说NVMe会成为闪存未来的使用方式呢?主要是NVMe适用PCIE软体软件接口,特别是针对新的SSD架构做设计的,整个是一个全新的。它可以让闪存得到最好的效能产出,针对可扩展多核CPU,降低每IO的时钟周期。客户使用NVMe SSD时候软件支持也不会有什么问题。
在Ceph应用场景里面有一些会采用全SSD的应用模式,这样的应用场景通常会有两种使用的方式。一个可能就是全部采用NVMe高速闪存,性能非常好但成本会很高。现有的网络带宽底下,网络会是它的一个瓶颈。我用NVMe搭配比较便宜的SSD使用,这样对整个成本考虑上面会比较经济实惠。在客户端节点的SSD就没有太多的需要。
关于3D Xpoint技术,它是新的技术,相对于NAND SSD可以提供更低的延迟。我们会做成机体上面储存的装置,应用也都是针对需要低延迟的一些应用场景所提供的一个解决方案。这些技术在不久将来会改变整个在资料中心里面整个存储设备的一个配置的状况。
接下来我们就针对雅虎这个例子来做比较深入的一个探讨。雅虎他们所遇到一个问题主要是关于效能的问题。因他们的系统在后端是用Ceph当做存储的系统。雅虎比较大的问题就是如Emial这类服务的存储问题。因为雅虎是利用擦除码构建他的Ceph,资料成长的速度非常快。如果是用一些传统方式做资料备份,比如说是8T的存储空间,实际上只可以用到大概2T来做存储用。但如果是用另外的模式,以8+3这样的方式做资料保护,整个使用率8T的使用空间可以用到5T到6T。面对数据每两年就翻倍的可怕的增长速度,这是雅虎不得不应对的挑战。这样的过程里,速度最慢的存储媒介就会是他的一个瓶颈。以Email当一个例子,一个使用者从前端用网络浏览器看他的邮件,他向网络服务器发出这个需求,这时候网络服务器这边就会往后面的Ceph集群这部分就会去发送这些命令,找他的邮件在哪边。这个过程当中,其实都是小IO,小IO的处理对硬盘会是一个很大负担。
面对雅虎对延迟部分的要求,我们英特尔提供的方案是什么?我们建议雅虎可以采用NVM SSD做Ceph存储,可以搭配雅虎的高速缓存,完成雅虎所需要的整个性能上面的提升。性能上面,雅虎整个吞吐量提升2倍,延迟可以降低1/2。实际上在整个操作过程当中,我们也有达到雅虎所要求的其它部分。
另外为什么采用英特尔高速缓存的软件可以有助于雅虎可以提高吞吐量以及降低延迟?在这个案例上面的探讨里面会发现,其实最大影响是在原资料的存取部分。英特尔的高速缓存软件可以针对不同的资料去设定他缓存的优先级。以雅虎为例,就是提高原资料部分的缓存的优先级可以提高整个效能。对于客户不同的应用场景,针对关键性的资料去做一个缓存优化,就会有效的去提高整个存储系统的一个效能。
如果以旧有方案要去解决雅虎的问题,可能会采用的方式会是利用SSD,这个部分可能他的比例就会达到1:3,整个存储成本上面会是很可观。我们建议的方案就可以将整个投资成本下降到1:2左右。
另外,在于各方面的成本,营运成本,英特尔很大的特性就是面对不同的应用场景都会有一个一致性的表现。这样可以让客户有效的知道他可以在比较精准的成本考量下,去设计出他所需要的整个存储系统。
最后来为各位介绍一下英特尔第一颗至强芯片级的处理器,D-1500系列。至强D-1500是芯片级的产品,设计上面具有在整个板上面占的空间比较小的特性。因为它是至强系列的一个CPU的架构,会有至强常用的功能,非透明桥接等功能。D-1500系列产品也有跟我们其它网通的芯片做一个比较。我们有其它资料发现到,如果单纯利用CPU去做路由功能,用20颗的CPU达到你想要的功能,但是搭配我们网通系列的产品的话,可能可以用两颗搭配网通系列的芯片就可以达到相同的效能。因为英特尔也有交换机,在客户也许有一些交换机设计上面的应用,也可以利用至强D-1500系列来做一个实现。至强D系列不同的产品与我们过去也是芯片级C2750做一个比较,我发现它的效能都有超过接近2倍以上的表现。
要硬件发挥它最好的效能,还是需要软件的优化。我们有英特尔的存储加速库,让各位使用,让各位在不同应用场景英特尔的硬件得到最大的发挥,像压缩、资料保护等等场景。在与第三方的驱动软件来做一个比较情况下,我们增加NVMe的固态盘,它的效能并没有得到一个很有力的提升。但是客户采用SPDK的话效能有很大的提升。为什么英特尔提供硬件的同时不断的致力于在于软件的投入,硬件和软件很像我们大家在走路的两只脚,一边走的很好,其实你并不能够很稳定的往前进,就是硬件和软件要互相搭配才可以让整个效能出来。
总结以上有几个部分:
第一如何采用商用X86硬件就可以构建出存储系统,这对于客户而言整个成本上面会有很大的好处。
第二英特尔与客户合作,一起去开发最好的产品。
第三提到Ceph这个系统它开源,其实很多人都致力于Ceph的贡献。如果各位有一些成本考量的话,也许它是一个不错的选择方案。
第四提到闪存技术部分,针对Ceph的应用场景得到效能提升。在雅虎这个案例上他如何去提升做一个说明。
最后在至强D处理器这个部分,因为它是芯片级的一个处理器,他有至强级的效能之外,同时他也有低功耗的好处。所以在可能某些应用场景底下这样的产品是非常适合的。
以上就是我今天为各位准备演讲的内容。各位有没有什么问题?没关系,有些机密可能不方便在台上直接谈,各位也许有一些合作上面的可能性的话我都可以在另外约时间跟各位详细的讨论。谢谢大家。