深入分析影响企业存储性能关键因素

这就是我们从测试报告中归纳出的更多内容，接下来的分析将有助于理解不同产品/厂商之间的差异和影响性能的因素。

首先是节点数。IBM SONAS系统中包括接口节点、存储节点及其后端连接的块存储RAID阵列(含控制器);EMC VNX是典型的NAS网关+SAN(相当于原来的Celerra+CLARiiON)的统一存储形式;华为赛门铁克Oceanspace N8500集群NAS前端使用8个引擎处理文件系统，后面也是提供块访问的S5600阵列;EMC Isilon和NetApp Data ONTAP 8.1集群模式分别使用的是对等的140节点/24控制器，不过前者的硬件专门为集群NAS而设计;Avere的产品则比较特别，严格的说它应该属于文件系统加速器，44个FXT 3500节点放在4台运行OpenSolaris系统的NFS服务器(大容量存储)和访问主机之间，前后端都通过NFS协议连接并实现缓存加速。

系统内部的互连网络也能反映出各自的特点。首先，IBM SONAS和EMC Isilon这两款专门设计的集群NAS软硬件系统，节点之间(SONAS是接口和存储节点)都使用了高速的20Gb/s InfiniBand网络;EMC VNX的X-Blade和SPE之间通过8Gb/s光纤通道连接;华赛N8500虽然给出的细节较少，但它使用了8Gb/s的FC交换机和驱动器(4Gb/s FC-AL);24控制器的NetApp Data ONTAP 8.1集群模式值得一提，它全部的72个10GbE接口中有48个用来处理节点间的通信(剩下24个连接主机)，可见并行文件系统需要的通信量之大;每个Avere FXT 3500节点和后端大容量存储各自提供1个万兆网口，很容易看出前后端的带宽限制为4*10Gb/s，不过大部分来自主机的访问应该都被缓存处理了。

再来看看驱动器(硬盘/闪存)。传统机械硬盘部分我们觉得不需要多说，下面看看SSD和闪存部分。EMC VNX使用了436个200GB SSD的全闪存配置，性能自不必说，不过考虑到闪存容量价格比的因素，估计没有几个用户会在实际应用的NAS中这样做。

Isilon S200在每个节点上都安装了一个200GB的SSD，它们不是用来存放用户数据，而是以镜像方式保存文件系统的元数据(这里也可以看出 InfiniBand互连的重要性)，NAS系统的元数据处理能力在小数据块IOPS类应用中容易成为瓶颈，SSD的高随机访问能力正是为了解决这一点。

NetApp Data ONTAP 8.1集群模式中每个FAS6240节点上都有一块PCIe接口的PAM II Flash Cache闪存卡(据说已经成为免费的标配)，用于WAFL文件系统的读缓存可显著提升IOPS性能。正是这部分一共12288GB使该系统在前面表格中的内存容量大幅领先。

Avere系统中的4个200GB并不是放在FXT 3500加速节点，而是位于4台后端大容量存储服务器上存放ZFS文件系统的日志(这就是为什么会安装OpenSolaris系统)。

在文件系统/RAID这部分，我们主要关注的是命名空间的数量和驱动器冗余保护的方式。IBM SONAS使用的GPFS、Isilon OneFS、NetApp Data ONTAP 8.1集群模式和Avere FXT 3500都是单一命名空间，但底层的实现方式有所不同。IBM的GPFS文件系统跨越208个RAID 5建立;Isilon OneFS则是自身处理13+1的硬盘Parity(奇偶校验);NetApp每个FAS6240统一存储本地的WAFL文件系统未必整合，而底层是96 个硬盘的RAID-DP(双校验盘，类似于RAID 6);Avere最为独特，每个FXT 3500加速节点上各自配置了15个600GB 10KB驱动器，作为DRAM内存之后的第二层缓存，再加上后端4台存储服务器中88个3TB 7.2K硬盘21+1 RAID 5(通过ZFS文件系统配置的软件RAIDZ)组成分层存储的架构。

这里剩下EMC VNX和华赛N8500特别一些，倒不是说底层为RAID 5还是RAID 10，而是它们在测试中都使用了8个文件系统，也就是说8个单独的NAS命名空间。据笔者了解，EMC从Celerra时期继承过来的UxFS单个文件系统支持的最大容量为16TB，NetApp Data ONTAP 7.x也是如此(Data ONTAP 8支持100TB，而8.1集群模式显然突破了这个数字)，所以我们称它们为传统NAS而非集群NAS产品。

华赛N8000系列产品使用的VxFS(Veritas File System)来自于赛门铁克，华为回购合资公司股份后名称估计早晚会改变，技术上的合作笔者说不好。根据资料N8500单个文件系统最大支持512TB(戴尔收购Exanet后推出的DSFS目前为509TB，二者很接近)，不过在SPECsfs2008测试中可能是为了获得更好的性能，在8个Engine上各自运行了一个文件系统。

最后是CPU和内存。记得有一位同行曾经问过笔者，当今的企业存储系统性能瓶颈存在于哪里?笔者简单思考了一下：介质方面——单个SSD驱动器动辄能够提供数万IOPS，PCIe闪存卡甚至可达数十万;I/O方面——最新的16Gb/s FC HBA和10GbE网卡(FCoE/iSCSI访问)可以实现100万IOPS，那么只剩下CPU了?其实对于传统双控制器阵列或许如此，但从现在Scale-out(横向扩展)的EMC Symmetrix VMAX、惠普3PAR和Scale-up的HDS VSP这些高端存储系统来看，真正影响性能的关键因素应该在于整体架构设计，包括内部I/O互连、缓存算法以及软件内核优化等。

回到SPECsfs2008文件系统测试上，我也曾想过性能结果是否与CPU的处理能力总和成正比?经过本文的分析之后，答案显然是否定的，140个节点的Isilon S200一共在这里拥有数量最多的280颗4核Intel Xeon E5620处理器，而它并没有保持性能纪录到年底。相比之下，EMC VNX处理文件系统的仅有4颗6核Xeon X5660(每个X-Blade上一颗)，SSD却使其曾经处于“冠军宝座”。

需要说明的是，我们列出的有些系统在各种节点中使用了不同数量/型号的至强CPU，华赛N8500后端的S5600甚至采用AMD Opteron，这些都不是重点。内存容量(有的系统没有将NVRAM全部列出来)同样也是仅供读者参考的数字，NetApp Data ONTAP 8.1集群模式拥有庞大的分布式Flash Cache闪存层， Isilon S200的DRAM总量也不低于Avere FXT 3500(只是分散在更多的节点上)，而它们最后还是被超越了。