8月22日,由浙江省经济和信息化厅、杭州市人民政府指导,杭州市萧山区人民政府主办,萧山经济技术开发区管理委员会、中国计算机学会信息存储专委会、武汉光电国家研究中心协办,北京世纪百易网络有限公司(DOIT)、杭州华澜微电子股份有限公司承办的“2019全球闪存峰会”在杭州国际博览中心(G20主会场)盛大举行。
华为智能数据与存储产品线全闪存领域产品总监谢黎明
华为智能数据与存储产品线全闪存领域产品总监谢黎明,发表《告别机械时代,走向更经济的智能存储》的主题演讲,重点介绍了华为新一代智能存储 OceanStor Dorado V6。
如何定义智能的存储?
众所周知,整个中国经济增长是非常迅猛的,GDP在全球排名第二。其中,数字经济占据三分之一的市场份额。
在整个数字化过程中,出现了非常多的新联接以及新应用。而新联接、新应用带来最大的变化就是数据产生的加速和数据流动的加速。同时,还可以看到5G带来的变化,从人与人之间的联接变成了万物互联,这其中变化的本质是联接数量的增加,包括数据流动加速。很多新的应用,如VR、AR、8K、智能工厂、自动化驾驶等带来的数据量是极其庞大的。
以自动驾驶为例,一辆车每天产生的数据量高达64TB。车子从开发到量产需要经历近100亿公里的驾驶里程,才能达到量产要求。而这个过程中大概会产生50EB的数据,海量数据带给基础设施的挑战同样是巨大的。
面对这样的挑战,在今年6月,华为智能数据和存储产品线发布了面向数据治理的智能数据治理平台——FusionData。透过该平台,大家可以看到,必须将整个数据基础设施进行重新定义才能真正完成在数据治理上的挑战。
首先从底层来看,计算会发生很多变化,使得数据类型发生了比较大的变化。例如在处理统计信息需要CPU能力;处理图片、视频则需要GPU能力;处理机器计算、机器学习可能需要的就是NPU能力,表明未来计算一定是从单一走向异构。
面对多样数据,不论结构化还是非结构化数据,必须满足各类数据的接入。因此在数据接入层需要进行重新定义,包括在存储层,其数据一定是从单一存储走向融合存储。
以前的大数据平台和数据仓从属于不同的烟囱,如今需要进行融合处理,这就出现了很大变化,包括数据使能层可能需要非常强大的调度器,实现所有大数据数仓调度任务分析,生成一些数据主题去消费,都会使数据使能层发生变化,所以从上到下每一层都必须进行重新定义,才可能真正解决数据治理的问题。
今天是闪存峰会,接下来将会重点介绍华为在闪存方面如何重新定义。
华为闪存从2008年开始至今已有10多年的历史。在华为整个闪存的发展历程中,2008年发布了业界第一批闪存,在2014年发布了SAN&NAS融合存储,到2017年发布了业界最高的SPC-1的测试结果,再到2018年率先于业界发布了全系列NVMe架构存储系统。整个发展历程中,华为的创新步伐从未停止。
在今年7月23日,华为在北京发布了OceanStor Dorado V6新一代智能闪存,其在快、稳、智能三个方面有突出表现。
首先是快。对于闪存而言,一定是非常快的,所以上一代华为发布了700万的IOPS和0.3毫秒时延的存储系统。7月23日发布的OceanStor Dorado V6达到2000万的IOPS和0.1毫秒的时延。但这是不是足够快呢?其实华为做存储将近20年的时间,华为深有感触,在生命周期中会经历非常多的过程,因此需要对数据进行保护,需要“大扫除”,做一些垃圾回收,可能还要打一些快照,做一些备份,还包括内部的后台处理。在所有场景之下是否可以保证存储体验的一致以及对性能的影响最小?
OceanStor Dorado V6不仅可以提供高性能指标,还能提供全生命周期性能体验的稳定。好似开车一般,不仅希望加速快,而且在过沟沟坎坎的时候振荡非常小。华为现在能做到的是控制在10%以内,而业界大概在30%,这就是华为理解的快。
其次再谈一谈为什么能这样的快,为什么能做极致性能?其核心在于软件、硬件,而最重要的事情是华为拥有五颗芯片去解决这些问题。
华为自研SSD控制器,华为的控制器能够把读写访问时延降到最低,包括整个控制器单板上面用的板机管理芯片都是华为自己研发的。因此华为能够做到整个板机各种故障识别,包括准确率能够实现业界最佳。同时,华为在整个OceanStor Dorado V6上面还搭载了AI芯片,具备自学习能力,使之能够越用越好。
鲲鹏920处理器就是CPU芯片,这个是存储控制器上面的关键芯片。一颗芯片上面有48个核,大家可以想一想一套高端存储系统如何才能把如此重核的系统性能发挥到极致?这是一个难题。华为需要利用资源分区的专利技术,去协调重核,将沟通冲突的问题解决,否则核数再多也无处可用,这便是快。
在稳方面,OceanStor Dorado V6在业界又实现了哪些超越?我们知道存储控制器是常见的故障,控制器故障在生命周期是很可能出现的,而业界针对控制器的故障能做到什么样的水平呢?坏了一个控制器没问题,两个也能冗余,但是后面再坏更多控制器可能就不行了。华为在新的OceanStor Dorado V6架构里面,就把架构做了解耦,能够实现8个控制器坏了7个情况下还能提供业务。
华为凭什么拥有这样的可靠性架构呢?其核心的架构设计是华为SmartMatrix全互联的架构,这样的架构中间通过RDMA的网络,实现了前端的IO和后端的控制器以及盘控全部解耦,全互联的设计,能够实现这样的架构。而里面最关键的部件就是IO的共享卡,内置了华为自研芯片,把所有的FC芯片、CPU芯片全部整合,这样做带来的好处是,我们看到的OceanStor Dorado V6仅仅只有4U的空间就能把它全部搞定。
讲完可靠,那智能又意味着什么?上半年在与欧洲运营商客户交流过程中,他提了一个很好的概念,即白手套式运维。
每个人进入机房是必须带上手套,主要是为了防止静电损害设备,而客户希望手套永远是白的,永远不会变脏。而手套变脏的核心是要触碰设备、操作设备。但如果不触碰设备、不操作设备,是不是意味着手套不会变脏,而客户所需要的就是这样一种运维方式。
而这背后就要求存储系统拥有足够的自动化能力去解决这个难题,不触碰也能够操作设备,这就叫白手套运维。
白手套运维设计想法得靠三层架构去解决整个自动化的问题,彻底释放。而设备必须要有AI的能力,所以华为在存储中应用了AI芯片,其次在管理上实现全生命周期的过程中都能够自动化,而不仅仅是覆盖某个环节;其次,还得配备一颗云上智能的大脑,必须能够做智慧的算法学习。
目前,存储面临的问题是相同的,当面临非常多的场景去匹配,可能需要不同的配置,不同的性能去满足不同的要求,华为希望打造智能的存储。
未来存储上需要承载的IOPS是千万级的,就意味着我们的IO特征数据可能过亿,面对海量的数据分析,完全依靠CPU承载是不行的,必须要有AI的芯片,而华为恰好有这样的芯片,将该芯片放在存储中,以解决边缘智能问题。
如果将它用在不同的技术中,会带来怎样的变化?华为的客户不再关心这些事情,交给存储自身去学习,去配置,自我优化和完善,这就是智能存储。
除了存储上有AI能力以外,更重要的事情是整个管理上必须能够全流程解决自动化的问题。因为全流程会涉及到设备、规划、部署、分配、维护、优化整个端到端的环节,往往可能要配十几个管理员。
现在华为把整个过程全部实现自动化,通过一个简单的例子,大家或许更为清晰。以前规划存储时,可能并不清楚该采购多少容量,多少性能。而现在这套系统就可以告诉用户,未来在三个月时,系统达到的性能瓶颈,现在应该采购什么样的控制器达到多少性能等等,彻底地解决管理员,这便是全流程生命周期的自动化。
除了这些还够不够呢?还不够,为什么?因为客户得要有一颗大脑,这颗大脑在哪里?就在华为的公有云上。华为在公有云上部署了eService系统,将全球19万台设备接入到这套系统中,积累了将近2个PB的特征值数据,通过这些特征值数据不断地学习算法,来去优化运维过程。
用户能够发现,在全生命周期过程中的任何场景,都能提供很多智能建议,告诉用户可能在两周后某块盘可能会故障,会告诉用户什么时候可能会面临性能的瓶颈,这就是这颗大脑所发挥的作用。
智能化则主要体现在自动化三层架构上面,真正去解放管理员的双手,实现“白手套”运维。除此之外,在华为整个数据生命周期所有的用户一定都会有一个痛点非常的明确,即存储设备这些年大多在英特尔之下,每到三年设备就会过保,可能就会面临数据迁移,这个过程很可能需要终端业务来做,尤其是一些核心业务。
是否有办法实现无需迁移?华为在OceanStor Dorado V6上提供这样的能力,即做设备永新的能力,意味着生命周期内甚至会延长到10年内不再需要再做数据迁移,只需要不断地去更换整个存储系统里面的部件,控制器、引擎等等,便可以实现整个设备不断地更新,这就是设备永新。而这个过程中你就发现不用再做迁移,这样存储的使用体验会相比以往的传统存储会有质的变化。
华为如何把闪存推广出去,如何做普惠,华为在这块也做了非常多的事情。大家知道华为是既做系统也做盘,而华为的SSD盘已经上市销售了10年。现在华为做盘到底是什么程度呢?我们业界NVMe和SaaS的SSD华为是全球第五名,而前四名都是一些老牌的厂家。
华为自己做盘能够带来的就是存储系统跟盘能够做深度的整合,真正把盘的性能、寿命和容量做到最优,同时可以发挥很多数据缩减的软件能力。华为现在在做数据缩减,希望通过数据缩减进一步把SSD应用成本降低。
因为SSD相比机械盘速度是100倍的提升,适合做数据库、数据中心、适合将以前老旧的存储全部整合成一台全闪存。这样可以发现空间的占用,能耗,运维成本等均会大大降低,这就是全闪存最合适做的事情,这也是为什么这些年全闪存发展如此之快。核心在这里,它不仅仅快,不仅仅稳,还是真正的绿色环保。
这就是本次介绍整个OceanStor Dorado V6,新一代智能存储。我相信它的快、稳,包括智能一定能够将整个产业加速向全闪存推进,去告别数据中心最后一个机械部件、机械盘,为整个数据基础设施提供澎湃的新动力。
谢谢大家!