存储专栏:人多钱傻?谈谈华为40PB单一文件系统验证的意义
西瓜哥 发表于:14年05月14日 21:00 [原创] 存储在线
存储在线 专栏文章:今天我们来解读一则新闻,也就是华为验证40PB单一文件系统的新闻《华为大数据存储实现统一管理40PB文件系统》。
华为上周发布这个新闻后,在业界引起了较大的反响。但我也听到有人说,华为有必要这么折腾吗,感觉这么做不就是人多钱傻吗?(西瓜哥没敢用人傻钱多这个词,怕被西瓜扁,O(∩_∩)O哈!)
大家知道,存储厂商一般宣传自己的性能强大,为了证明这点,都会通过第三方机构进行性能的PK测试,比如华为的OceanStor 9000去年就在SPEC(Standard Performance Evaluation Corporation,标准性能评测机构)测试,创造了一个500万OPS的世界最快NFS记录。
这个性能的PK是有意义的,因为是第三方机构,客户容易认可,在市场竞争中有非常大的意义。
但极限容量验证,真的有必要吗?HDS VSP号称可以虚拟化256PB的第三方存储,好像没有看到类似的验证。而且容量的验证可是没有第三方的验证机构,你就说支持这么大容量就可以了,反正客户一般也用不了这么大容量。再说了,就算你验证了,客户也未必信啊。因为没有第三方验证。
那么,华为做这个吃力不讨好的极限验证有啥意义呢?西瓜哥开始也以为是否华为人多钱傻,但这两天咨询了一些业内人士的意见,发现其实不是这么简单。
我们知道,华为OceanStor 9000号称支持288个节点,40PB的容量。而且支持单一文件系统。要验证这个容量的极限,物料的成本肯定是很高的。
为了给大家一个直观的印象,我们看一下其中一个华为CE12800交换机上的网线,就知道这是一个多么庞大的工程。
再用数字来阐述一下硬件配置:每个节点配置35块4TB SATA硬盘,1块200GBSSD,两张10GE卡,48GB内存,2颗IntelXeon E5-2420-6Core CPU,共计10080块4TBSATA硬盘,288块200GB SSD,13824GB内存,576颗CPU(共3456核)。
再说一下网络:如果采用非标准组网,后端和前端分别使用了一台华为CE12812 10GE交换机,每台交换机包含576个10GE端口。每个节点出两根光纤连接交换机,作为后端通道,288个节点共计576根光纤。另外出一根光纤连接交换机作为前端通道,288个节点共计288根光纤。客户端采用72台压力机,每台压力机出4根光纤连接交换机,共计288根光纤。整个组网前后端共计1152根光纤,其中576个为后端,576为前端。如果采用标准组网,那么网络的规模还需要翻翻。(这里一根包含收发,其实就是一对的意思)
不知道这10000块硬盘有多少耗电量,不过,光这1000多对光纤,估计就可以把西瓜哥压死了。
为什么华为愿意去做这种好像是人多钱傻的事情?问了一下业内的人士,总结了几点原因:
1. 华为OceanStor 9000的主要竞争对手是EMC ISILON,虽然现在华为的产品性能上已经胜出,容量上华为宣传40PB,而ISILON宣传20PB,大家都是单一文件系统。但据说ISILON验证过15PB的容量,而且ISLION业界应用很多。华为的是新产品,需要验证一下,给客户以信心;
2. 客户的数据增长很快。现在很多客户虽然没有40PB的数据,但预计3-5年内超过20PB数据的客户很多。因此,客户也非常关注系统的扩展能力;
3. 验证40PB下解决方案的能力。大家知道,几十个节点和几百个节点对系统的要求是不一样的,有一个量变到质变的过程。比如你28个节点自动部署很简单,288个节点部署可能就不成功,就像VDI的启动风暴一样。这个只有在极限的情况下,才能暴露很多小规模场景下不会出现的问题。
4. 除了验证40PB的单一文件系统的容量极限外,其实也同时可以验证大规模系统的稳定性,故障修复的快慢,节点增删对系统的影响,性能是否线性增长,可维护性和可服务性,大规模系统在线升级,甚至可以跑具体的应用,验证超百亿文件的支持情况等等。其实,由于Oceanstor 9000采用的是通用的硬件构造的一种全分布的大数据平台,因此,这种大规模的验证更多是验证软件的健壮性。
由于这是一种内部的验证,华为比较聪明,找来了CPU厂商英特尔、硬盘厂商希捷以及NVDIMM厂商AgigA Tech来共同见证,增加可信度,并且可以得到厂商的技术支持。INTEL和希捷大家都比较熟悉,而AgigA Tech是提供非易失内存的厂商,也就是系统掉电后,内存的数据可以保留。由于OceanStor 9000采用分布式元数据的架构,因此,每个节点上都有元数据,未来提高可靠性,节点掉电后,内存的数据需要得到保护。而AgigA Tech采用最新的NVDIMM技术,不需要电池(维护麻烦,有充放电次数问题),采用超级电容的方式,掉电后内存的数据会快速写入板载的闪存芯片里,大大提高系统的可靠性。
综上所述,华为的这个40PB单一文件系统验证意义还是很大的,也只有大厂才有能力做这种极限测试,毕竟这个是非常劳民伤财的事情。但这个也会给客户一些信心,特别是在现在这个宣传指标虚高的社会环境。据说华为以后还要搞100PB,200PB甚至EB级别的极限验证。
不知道各位亲是否也认为华为这些极限验证也是人多钱傻的事情呢?
希望大家积极反馈你的意见和建议,微信扫描如下二维码,关注微信公众号“高端存储知识”,与作者微信互动。通过掌上DOIT移动客户端,您可以订阅西瓜哥专栏,第一时间获得知名专家和业界领袖的深度剖析与趋势分析。