存储在线 12月11日消息:以“数据造化 智见未来”为主题的2013中国存储峰会在北京盛大开幕。作为一年一度的中国信息产业界领袖级会议,本次大会得到了中国软件行业协会、中国计算机学会 存储技术专业委员会、武汉国家光电实验室和国防科技大学计算机学院的大力支持。共有10位第三方专家和23位业界领袖/专家出席峰会,并发表了25场极具 前瞻性的主题演讲。Gartner和Forrester两家全球知名机构的分析师还与与会嘉宾就大数据浪潮下的存储进化与应对策略进行了两场高质量的高峰对话,现场吸引了超过1200名参会嘉宾,给大家带来了丰盛的存储盛宴,再次引领中国存储产业发展的深度思考。
下午的“中国闪存高峰论坛” 中,"高端存储知识"微信自媒体作者西瓜哥,带来《是友是敌,闪存 VS. 高端存储》的主题演讲。在演讲里,西瓜哥表示,现在闪存的芯片供应能力比不上数据更新的速度。假如,未来增长的数据全部用闪存来满足,闪存的芯片工厂根本生产不过来,生态链上也不太可能。我个人的观点是,以后闪存与高端存储混合的情况,可能还会长期存在,而不是全闪存的数据中心。
"高端存储知识" 微信自媒体作者 西瓜哥
以下是西瓜哥精彩演讲的内容:
我喜欢研究高端存储。大家都知道存储是比较窄的领域,存储媒体就两三家,也不是特别多。存储用量是客户后台,原来没有专门管存储的,现在有管存储的,一般都不是专业的东西,在后台里面。而且我只讲存储里面的高端存储,这个就更篇了。一般中小企业用不到高端存储,大企业可能会用到。为什么我要研究高端存储呢?主要有一个小小的想法,因为我在海外工作的时间,我看了一个报告。
虽然高端存储占的比例很少,但是研究的人太少了,所以大家花了很多冤枉钱,你可能不需要买高端存储,但是你买了高端存储,你为了面子就买了。其实你相当于送给厂商很多钱,并没有达到你的目的。高端存储比中端存储好在哪里也说不出所以然来。普通的工程师很难有机会接触到高端存储,如果企业不大根本见不到,大企业能见到的就是管理那几个人。我想把这个东西写一写。虽然比例很少,大家也有人想了解的,而且有一些技术是相通的。高端的东西中低端的可能也有,但是高端能做的东西的话,也是业界比较高的技术。
我讲一下我自己人为的高端存储的领域。这是Ban的报告,以前讲高端存储是多控的,支持驾机的,存互联网状态变化很大,小机已经用的很少了,大机也在用。云出来了以后就有高端存储的作用了。现在已经定义不出来高端存储了,干脆拿钱说话。平均每套的成本,出厂价大于10万美金,这样的存储就是高端存储。大家看一下比例,只占不到四分之一的份额,而且这里面还包含了很多别的东西,我还不研究那些东西,我研究里面多控那部分,就是说我研究的范围更窄。高端存储SAN里面的一点东西。
高端存储的范围就是几款产品,大概六个厂商,七款产品是我目前跟踪研究的范围,每更新一个版本我都会去看的。为什么只研究这些东西呢?因为像云和大数据都很火了,很多人都已经研究了,包括企业都会用得上,而且讲起来都很有噱头,高端存储没有什么可讲的,代表古老、死板、专业形象,没有什么太多可以娱乐的东西,也不像云大数据0很多都是娱乐,而且有很多人已经研究了。
在一个企业里面,你会发现你最有价值的数据是放在这些设备上的,比如说金融里面的,信用卡的余额会放在大数据系统里面吗?不会的。数量不是很大,但是它代表了我们中国国产化的最后,最难的一个地方。因为它有非常高的可靠性,当然性能也是很重要的。大数据100T的数据,丢了一个月的数据也没有关系,因为趋势不会变的,没有什么大问题,但是高端存储丢了一部分,可能就丢了好几亿的美金,所以理论上来都不一样的。
我们简单回顾一下高端存储的历史。高端存储的发展不如闪存长。你看TMS说有35年历史了。高端存储到现在也就20多年的历史,没有闪存历史长。大家怎么看呢?因为高端存储刚开始跟大机配套的,刚才IBM发明大机的时候就有存储的介质,但是当时这种存储只是IBM自己做的,包括日立会做一些兼容IBM存储的存储,市场份额80%都是在IBM手里。直到90年代,EMC推出了一个坦克军官(音译)这个推出来以后,才真正开创了高端存储的市场,所以也就20多年的历史。也就是说我们这个行业先有高端才有中端的,现在势头反是了,因为很多技术高端不敢用,中端先用,中端用了以后高端才用。
我们回顾一下历史就是这样的。从EMC发布第一代产品以外,后来日立看到了这个机会,日立就发布了采用EMC的架构用ketch技术做的真正意义的高端存储。IBM用的硬盘,用的是自己的大硬盘,都没有用传统的PC硬盘,所以说从EMC产品开始,才真正用了普通的硬盘,是现在真正意义上的高端存储。日立加进来就是两个了。最后日立把EMC的份额抢的差不多了,IBM没办法就抛弃了原来的技术,推出了列的方式的技术,重回杀会高端存储的领域,现在形成是三足鼎立的格局,现在这个领域也就这三个厂家。这三个厂商各自往来外国发展了,一代一代往前发展,日立也是一代一代往前发展。这些厂家都在发展,到后来的有一个施德怕(音译)高端价格也是10万美金以上,也是我们研究的范畴。06年的时候,富通(音译)也发布了高端存储,2012年华为在上海CC大会也发布了中国人自己造的国产的存储。我研究的领域就是这6个厂商,7款产品。因为IBM有两款产品,DS8000和SSIB(音译)。因为今天不是高端存储的沙龙,我就不讲高端存储了。我想讲高端存储和闪存竞争合作的关系。
这是我自己统计的数据。我们看高端存储的分布,中国只占了5%,也就是说这是我每天有动力写微信跟大家分享的原因。我想把蛋糕做大,把中国高端存储的市场做,美国占了45%,我们是美国的零头。我们的经济地位已经是第二位了,但是从高端存储来看,我们定位上还是差很多的,高端存储主要用在金融里。
我从这个数据里面我也分析出来。高端存储里面金融占43%,所以说这个市场是最难做的市场,金融对可靠性、稳定性、性能的要求,所以说我关注这些方面的话,也是普及一下这方面的知识,大家不要觉得太神秘了,看一下自己的企业是不是需要高端存储的东西。
现在问题来了。我应该回去卖西瓜了,因为高端存储要灭亡了,因为我是西瓜哥嘛。因为厂商推了很多闪存战略,高端存储不是性能高嘛,用不着了。EMC这么多柜,现在这么小的盒子搞定,性能和你一样,体积小多少倍。英国register的网站也登了很多信息。大家都觉得高端存储是不是没了?快没了,没必要存在了,性价比太差。为什么叫高端存储?一个是贵,贵就叫高端存储。有人说我没必要了。我不光是贵,我性能也好,闪存性能也好。
现在还需不需要高端存储?我想分享一下我自己的观点。现在我们先看一下闪存适用的负载,刚才前面的许先生已经说过了,到底哪些负载比较适合闪存,索引是比较适合。索引的趋势现在是峰值,以后占的比例会小一点。闪存发挥得特性就是读,特别是随机读。只要是随机读很高的地方就是闪存的应用之地。这些读,这些应用排在哪些位置。这些位置就是用的比较多的地方。我们看到有一些很奇怪的地方。比如说绿颜色VDI,其实很多闪存公司都把它当成是最主要的场景,但是在IO负载模式里面,其实很多都是顺序的,也不是随机的,读写也不是最高的。闪存还有另外一个问题就是时延。VDI最大的痛苦就是启动风暴,这个模式没有体现时延的要求。
用户的数据存在闪存上可能受不了,但是启动数据可以存在闪存上。从行业来看,行业也很多,高端存储是金融和电信应用比较多。前面我讲了很多胶片都是来自于互联网的,我没有任何版权。政府健康和教育是闪存应用最大的领域,目前应用重合不太完全重合,这方面有什么问题吗?金融不需要性能吗?不是,金融里面太谨慎了。前段时间一个日立朋友给我打电话说他有一个金融用户问他是不是可以用闪存?可以用,但是也有担心。
一个产品出来三年才会考虑的,我们闪存也就三五年才出来的。虽然闪存比较可靠,但是你有一个一直用闪存五年以上的案例很难拿出来,这样的案例有,但是很难拿得出来,这就是金融客户担心的。
Purp Storage在跟EMC打官司,因为它里面很多的人员都是从EMC挖过来的。所以现在EMC跟它打官司,用它的客户信息,抢它的市场。我们看它的定位,它自己定位是VIVEL和VDI和数据库加速(音译)。我看了他们的成功案例,大概有16个主要的客户。我看了一下这些客户,应该说大的客户还不说,就是说世界五百强的客户不是特别多,有一半以上都是用VDI的场合,数据库的场合大概有9个,十几个用VDI的场合。不跟高端存储的定位还是有一点点的区别的。
我再回答一下刚才前面金融朋友问我的朋友,到底闪存的可靠性怎么样?我用了一个美国企业调查数据。从目前使用闪存的企业经验来讲,闪存的可靠性比传统的硬盘要强的。这是用户自己的感觉,这是第三方独立公司调查的数据。可靠性基本上解决的差不多了,因为有很多优化的算法。第二我们看一下分析师,我们以后的数据中心是不是全部用闪存呢?我们看一下有两个问题。
一个是成本问题。这是gartner的预测,我们看得见的这四五年,闪存的成本跟大容量硬盘,成本差距保持在20倍以上,就是每GB的差距。如果光从容量来考虑你用闪存确实是不合适的。数据中心真正的数据是多少,我觉得二八原则,20%是热的就不错了很多是老数据,但是老数据不能仍,还得用磁带保留它,全闪存的数据中心是不太现实的。
第二个现在闪存的芯片供应能力比不上数据更新的速度。如果2017年增长的数据全部用闪存满足的,闪存的芯片工厂根本生产不过来,生态链上也不太可能。趋势会增长,但是我个人的观点,以后这种长期混合的情况,可能还是长期存在的,而不是全闪存的数据中心。
我再给大家分享一下美国闪存峰会的关键词,代表我对闪存的思考。首先从介质来讲,现在是芯片两维布局的,现在已经到了极限,容量再增长,再这么布局的话,硬盘容量就上去了,就往3D,三维里面走,各个芯片厂商都在往这上面做。预计2017年有可能代替目前闪存技术的是RERAM,这个趋势是大家比较认可的。第二个是前面讲的NVM和SCSI,NVM走的更快一些。还有一个是flash-aware,现在闪存用起来还不是很顺的,现在我们的文件系统不能很好的利用闪存的特性。它不是flash-aware。因为我们几十年以来,我们的软件都是按照传统的机械硬盘设计的。闪存是尽量少写,尽量不去写,尽量在内存里面把数据整合好,但是现在的系统不懂这个东西,闪存有这个特性,如果操作系统不能很好的配合这个介质的话是没有很好的达到性能。还有Faceboo:cold flash(worm),要求速度很快。还有一个是endurance和retention。一个是寿命,一个是保存的时间。停电以后保存的时间是有限的。比如说企业闪存标准是3个月,三个月不加电数据就丢了。
最后是安全的题。现在闪存标准比较缺乏,虽然技术比较老了,但是比较缺乏标准。普通的硬盘在到高端存储可以做三重操作。我的硬盘归给厂商,为了防止信息泄露,我要对信息写零,物理删除,再返修,但是闪存做不到。因为闪存有一个特性,比如说200G的闪存就布了200G或者300G,你删的时候,超控的快你不知道怎么控制,你不知道怎么删除,由于有置换器,或者垃圾收集,里面可能有用户的数据,这些都是没有标准的。
下来看一下闪存的三个位置,一个是服务器,全闪存阵列,还有混合阵列,越靠近CPU的地方性能越好,但是共享是一个挑战。
混合阵列和全闪存贞烈的趋势。我们看到混合阵列刚开始的时候,可能感觉没有全闪存阵列快,但是慢慢的,当一个全闪存阵列把企业加上的话,企业性能就拉平了,功能和性能要一起考虑。
我们在企业购买的时候,20%是硬件的成本,很多的都是管理人力消耗,这块需要大家考虑。
总结一下闪存大潮是无法阻挡,岁了全闪存阵列很小众,但是成长很快,对高端存储形成威胁,第二虚拟化给闪存带来了机会。虽然历史很久,但是闪存还有很多标准正在完善之中,闪存跟大容量HDD会长期共存,高系统硬盘可能没有了。
EMC,VMAX怎么应对挑战。EMC认为闪存无处不在,根本应用场景去区分,比如说全闪存阵列喜欢用VDI和虚拟化这块,还有数据库的测试,把数据库的应用放在了全闪存阵列上,因为全闪存阵列测试,开发的时候用可能更方便一些。因为企业级的特性少一些。它的策略是收购等于创新,高端VMAX支持全闪存配置,但是优化不多,不主推,还是传统的思路。按照应用场景来区分产品的关系。
第二我们看一下IBM的全闪存,它也收购了一个公司,生产出来了flashsystem。IBM的红皮书里面有一个很奇怪的东西,讲的很清楚,当你需要5个SSD硬盘的时候,他认为这个时候,配它的全闪存阵列是性价比最高的,如果要和大机配合,总双机还是得用XD800接混合阵列(音译)推SVC跟闪存阵列配合起来,满足场景的虚拟。全闪存阵列不存储的时候,要把热的数据放在上面去,外面有一些SVC的部件能把冷热数据拿出来搬过去发挥它的特性。收购+优化,收购TMS,但是SVC只做了catch(音译)。
日立也是高端里面最重要的厂商。日立闪存阵列,也是有点像EMC,也认为闪存无处不在,从控制器到服务器,包括应用都在做,在高端和中端里面推出全闪存阵列了,这是日立的策略。它做了很多软件的优化,比如说做了30多基本软件的优化,专门适合闪存这样的应用场景,硬件也做了优化。推了三个版本讲优化,技术三个版本通过流程优化和外部数据DXBF的应用,时延很好。观点是再造等于新建。很多summary公司打击他们全闪存公司一定要优化,不优化是不行的。日立是自研加reenging,这是它的思路。(音译)
惠普有自己的芯片,有自己的介质。但是在高端里面没有推出全闪存的版本,只是在中端推出了试水全闪存的版本。收购改造,中端先行。
富士通转售VIOLIN,高端也没有全闪存的配置。
华为认为闪存是第一位的。他们也做闪存硬盘,也在闪存cache进行了优化,也把RAID2.0和闪存做了配合。提出全局磨损均衡和反磨损均衡。闪存磨损均衡,闪存同一天同时坏了,整个数据就没了,后期就有反磨损均衡,闪存是一块一块的。因为我们只能同时换两块盘,有反磨损均衡,让闪存一块一块的坏。华为的观点是自研+融合+独立,推出全系列全闪存阵列。
闪存跟云是融合的,闪存在云的状态下,闪存有很大的机会冲入高端市场,但是也有避雷针,支持SSD。对高端存储厂商推全闪存是一个噱头,以后高端存储厂商推闪存优化的混合阵列是高端主流形态。我买一个车以后我爬山有爬山模式,雪地有雪地模式,不能买一个雪地车,买一个爬山车。阵列工作模式自动或手动切换,全闪存闪存优化传统分层。
闪存的必经之路,我们通过试用闪存了解这项技术评估给企业带来的价值。综合评估性能和功能,目前阶段鱼和熊掌较难兼得,全闪存阵列需要外部智能部件对热点数据识别和迁移,真正闪存优化的混合阵列可以简化管理。
我的分享就这么多谢谢。