同步扩展，与中小型企业共成长
如同笔者在前一篇评价DS3300使用方式的文章中所提到的，“中小型企业”（SMB）是每家企业必然要经历的一个发展阶段，同时也是成长速度最快的一个时期。在企业恨不得把所有的资源都用来扩大业务的情况下，需要IT在提供强有力支持的同时，尽可能少地牵扯精力，很有些“既要马儿跑得好，又要马儿少吃草”的意思。
担当信息架构基石重任的存储系统，是IT部门能否达到上述看似不尽合理的目标的关键。原因在于，存储系统的更换，不可避免地要涉及到停机和数据迁移的话题，几乎必然会影响到应用的正常运行。尤其是中小型企业没有足够的人力和物力用于那些不停机迁移数据的解决方案，因此SMB存储系统一定要具有足够的扩展能力，以满足企业在相当长一段时期内高速成长的需求。
可惜，在过去的几年中，存储厂商提供的中小型企业存储产品，对这方面的重视，貌似不是很够。
IBM上一代SMB存储系统System Storage DS3200 Express
SMB也好，SME也罢，我们总是把中小型企业放在一起来说，是有其道理的。不管如何定义中型企业的上限，小型企业和中型企业之间的界限是很模糊的——就算能够清晰的界定，飞速的发展，也能让一家小型企业转眼间就进入中型企业的行列。很显然，企业希望所用的存储系统能够跟上自己成长的步伐，而不是没用多久就必须换台更大的。所以，专门针对小型企业的2U不可扩展入门级存储系统，在热闹了一阵之后归于沉寂：EMC的AX100/150被具有一定扩展能力的AX4取代，而NetApp则干脆放弃了曾经另立门户的S系列。
即便如此，各厂商面向SMB的入门级存储系统，可扩展能力与其中端存储系统里的最低一款，也还是有着明显的差距。仍以EMC的CLARiiON AX4为例，其最多可扩充至60个驱动器，仅相当于最低一款CLARiiON CX4（Model 120）的一半。长远看来，SMB客户将面临着两难境地：以AX4起步，企业发展到初具规模之时，就必须升级到CX4才能继续；一开始即选择CX4，纵然是Model 120，价格也是初创型企业难以负担的……
经过上述讨论之后，我们就不难理解，IBM新一代的SMB存储系统System Storage DS3500 Express，支持的驱动器数量会达到96个。不仅两倍于前一代的DS3200/3300/3400 Express，也直逼DS3950/5020等中端存储系统的112个……
从容量到数量，全面倍增
在深入介绍System Storage DS3500 Express存储系统之前，有必要先简单地温习一下上一代产品System Storage DS3200/3300/3400 Express。看起来是三款产品，其实磁盘柜和主要的控制器技术是一样的：都采用3Gbps SAS驱动器技术，集成双控制器的2U主盘柜可容纳12个3.5英寸SAS或SATA驱动器，并可通过2个x4的3Gbps SAS后端通道（SFF-8088连接器，总带宽12Gbps）连接最多3个EXP3000驱动器扩展单元（扩展柜），将支持的驱动器数量扩展至48个。区别在于前端的主机接口——DS3200仍然是3Gbps SAS，DS3300是1Gbps iSCSI，DS3400则是4Gbps FC。
IBM DS3500与DS3200/3300/3400规格对比表，包括控制器缓存在内的多数参数都提高了一倍，这在性能上也得到了相应的反映，而磁盘持续读取性能更达到了4倍之多
在飞速发展的IT行业，三年就可以磨一剑。DS3500与DS3200/3300/3400最大的区别就是将3Gbps SAS全面升级到SAS 2.0的6Gbps，从内部驱动器连接到前后端通道，单条链路的带宽都成倍增长，从而为支持的驱动器数量翻番打下了坚实的基础。
IBM DS3524（24个2.5英寸驱动器）
IBM DS3512（12个3.5英寸驱动器）
从外观来看，DS3500仍为2U机架双控设计，但是增加了24个2.5英寸驱动器的DS3524——不难想到，12个3.5英寸驱动器的型号为DS3512。两者的控制器是一样的，区别就在于磁盘柜为容纳不同尺寸规格和数量的驱动器而设计。借助每个控制器上的一个6Gbps SAS x4后端通道（仍为SFF-8088连接器，不同的是总带宽24Gbps），DS3500可以连接EXP3512或EXP3524驱动器扩展单元（简称“扩展柜”），从而支持最多96个驱动器。
IBM DS3500（3.5英寸驱动器）满配连接示意图，一共8个盘柜，最上面的是控制器所在的主盘柜DS3512，其余7个是扩展柜EXP3512
从结构上来讲，作为扩展柜的EXP3512和EXP3524，与带控制器的主盘柜DS3512和DS3524基本一样，分别提供12个3.5英寸和24个2.5英寸驱动器，只是把控制器换成了环境服务模块（Environmental Services Module，ESM）。ESM同样有单双之分，但不具备处理能力，是连接控制器与所在盘柜驱动器背板的桥梁。DS3512可以连接多达7个EXP3512，提供96个3.5英寸驱动器；DS3524则可以连接3个EXP3524驱动器扩展单元，提供96个2.5英寸驱动器。
上图中左侧为DS3512阵列柜（上）和对应的EXP3512扩展柜（下），它们之间只在于控制器和ESM的区别；右侧的DS3524（上）和对应的EXP3524（下）也是同样的道理
当然，组合方式绝不仅限于这两种。不论DS3512或是DS3524，都可以自由搭配EXP3512和EXP3524使用，只要驱动器总数不超过96个的上限即可，具有足够的灵活性，能够满足分级存储等需求。
接口随需应变，不止以一当三
相信有些细心的读者在看到DS3500的名称之后会提出疑问——之前根据主机接口不同而划分为三款产品（DS3200/3300/3400），怎么现在合并成一个了呢？
DS3300后视图，可以看到每控制器有2个1Gbps iSCSI端口
尤其是DS3500依然提供了SAS、iSCSI、FC的主机接口选项，可谓以一当三……这里面就更有玄机了。
DS3500每个控制器标配2个6Gbps SAS x4主机端口
奥妙在于，DS3500采用了每控制器标配2个6Gbps SAS x4主机端口，并通过更换主机接口子卡（Host Daughter Card）升级的设计。可选的主机接口子卡有三种，分别提供2个6Gbps SAS x4主机端口、4个8Gbps FC（8GFC）主机端口、4个1Gbps iSCSI主机端口。
DS3500控制器标配示意图，可以看到右侧为主机接口子卡预留的位置
可选的主机接口子卡（Host Daughter Card）
这样一来，在双控制器（端口数x2）的前提下，DS3500可以提供三四种主机接口选择：4或8个6Gbps SAS x4主机端口；8个8Gbps FC主机端口和4个6Gbps SAS x4主机端口；8个1 Gbps iSCSI主机端口和4个6Gbps SAS x4主机端口。
控制器上安装不同（SAS/FC/iSCSI）主机接口子卡之后的DS3500
不难看出，这种设计使DS3500的主机连接性也能伴随SMB用户的规模而成长——确切地说，是可以根据用户规模和应用需求的不同，灵活地做出相应的调整：
DS3500基本SAS主机端口连接示意图
在用户的起步阶段，一台标配2个6Gbps SAS x4主机端口的DS3500，可以直接连接两台服务器——包括刀片式服务器。当然，塔式或机架式服务器需要一块有外部端口的SAS HBA（如LSI SAS 9212-4i4e或LSI SAS 9200-16e），刀片式服务器也要配合SAS交换模块，才能组成直连存储（DAS）解决方案。
DS3500增强SAS主机端口连接示意图
随着服务器数量的增长，用户可以考虑为DS3500增配代码为FC 3610的6Gb SAS 2 Port Daughter Card（2端口子卡）选件，将每个控制器的6Gbps SAS x4主机端口扩充到4个。这样一来，直接连接的SAS服务器或带SAS交换模块的刀片式服务器即可达到4台。
1U半机架宽度规格的LSI SAS6160 6Gbps SAS交换机，提供16个6Gbps SAS x4端口（SFF-8088连接器）
直连存储的好处是服务器主机与存储系统之间没有中间设备（节省成本），但也因此而无法连接更多的服务器。好在，SAS 2.0不仅是速率从3Gbps倍增至6Gbps，还强化了扩展器的连接能力，因此以LSI为代表的厂商得以推出具有实用能力的6Gbps SAS交换机。通过SAS交换机，即使只有标配的2个6Gbps SAS x4主机端口，也可以连接10台以上的SAS服务器或带SAS交换模块的刀片式服务器。
LSI SAS6161 6Gbps SAS交换机扩展了宽度，更适合机架安装
每个6Gbps SAS x4端口的带宽高达24Gbps（2400MB/s），缺点是连接距离太短。IBM为DS3500系列提供1米和3米的SAS线缆，SAS 2.0规范的建议是10米之内，总之都不够长。如果服务器部署地点相对分散，与DS3500相距较远；或者用户希望在现有以太网环境下，无需添置其他设备，便能连接较多的服务器……可以选配代码为FC 3612的1Gb iSCSI 4端口子卡，双控制器就是8个千兆以太网端口，不过总带宽也只有8Gbps，仅为单个6Gbps SAS x4端口的三分之一。
DS3500 iSCSI+SAS主机端口连接示意图
虽然万兆以太网（10GbE）的宣传甚嚣尘上，但IBM没有为DS3500提供10Gb iSCSI的选项，理由是10GbE基础设施在中小型企业环境中尚不完备。若是用户要求较远的连接距离，应用还需要较高的带宽（如高清视频编辑）；或者已有FC SAN环境要增加存储设备……可以选配代码为FC 3611的8Gb FC 4端口子卡——和SAS一样，也是与服务器直连或通过FC交换机均可，区别在于距离更远，代价更高。
DS3500 FC+SAS主机端口连接示意图
总的来看，DS3500提供的几种主机接口选项，不仅涵盖了满足中小型企业IT应用中的典型情境，更重要的是借鉴了DS5000系列的可更换主机接口卡（HIC）设计，可以很好地因应用户的规模和需求变化，让中小型企业在整个成长周期内都无须更换存储系统，而只是对主机接口子卡进行调整即可。
不仅如此，主机接口子卡的设计对IBM的好处也是显而易见的。与DS3200/3300/3400相比，DS3500不需要针对不同的应用需求而同时维护三种控制器设计，代之以一种通用的控制器平台，搭配三种端口子卡选件，便可更好地达到目的，降低成本且灵活性大增。如果将来万兆以太网在中小型企业环境中的普及率提高，IBM只要推出为DS3500开发的10Gb iSCSI端口子卡，并提供给有需求的用户即可。
不过，还有一点不是很容易理解：为何要将2个6Gbps SAS x4主机端口做成控制器的标配，以至于iSCSI和FC也要与之共存，形成混合主机接口的局面？要知道，iSCSI或FC与SAS混合的需求，并不是很多见啊……
要破解此疑问，就必须对DS3500的控制器设计，进行更深入的解读了。
架构决定能力，传承中端精髓
虽然IBM及其OEM合作伙伴LSI并未明确提及，但在观察DS3500控制器的架构图时，还是很容易看到与其DS5000系列中端存储系统一脉相承的影子。
IBM DS3500控制器架构示意，红色圆框内为PCI Express 2.0 x8连接可更换的主机接口子卡
神似之处在于，DS3500与DS5000系列的控制器，都采用PCI Express x8总线连接作为核心处理器的XOR ASIC与可更换的（前端）主机接口子卡。不过，随着时代的进步，DS3500控制器使用的PCI Express规范由DS5000系列的1.0升级到了2.0，意味着可提供4GB/s的单向带宽，完全可以满足8Gb FC 4端口子卡的需求（8.25Gbps × 4，合3.3GB/s），更不要说4个1Gb iSCSI端口。当然，2个6Gbps SAS x4端口4.8GB/s的总带宽超出了PCI Express 2.0 x8总线的能力范围，但后者却并非DS3500控制器的性能瓶颈所在。
DS3500控制器对交换架构的采纳比DS5000系列更为彻底，而不仅限于核心的XOR ASIC。DS5000的后端驱动器接口技术4Gb FC-AL（光纤通道仲裁环路）本质上是一种共享拓扑架构，而DS3500的后端驱动器接口技术则是全交换的6Gb SAS 2.0。这主要体现在一颗36端口的SAS 2.0扩展器芯片（应该是LSISAS2x36），它用24个端口直连24个6Gb SAS驱动器（DS3524和EXP3524，DS3512和EXP3512实际上只要12个就够了），另外12个端口均分成三个6Gb SAS x4连接，分别用于本地控制器和另一控制器的核心ASIC，以及扩展柜所需的后端SAS通道。
DS3500控制器的缓存容量提高到了2GB（③），并借鉴了DS5000系列的USB闪存（④）掉电保护技术
这里必须要指出，IBM介绍DS3500的宣传材料，在提到SAS的环节有失严谨。为了提高互连的带宽，SAS技术在芯片之间和机箱之间（如服务器、磁盘柜及扩展柜）往往采用x4并联，特别是用于机箱间互连基本都使用x4规格的SFF-8088连接器（DS3500也不例外），这意味着每条6Gb SAS连接能够提供2.4GB/s（6Gbps × 4 = 24Gbps）的聚合带宽（单向）。
但是，在IBM公开发布的演示材料中，多次将实际为6Gbps SAS x4的地方标示成“One 6 Gbps SAS port”或“6 Gbps SAS Drive Expansion Port”，很容易让不太了解的人误解为带宽仅为6Gbps（600MB/s）。试想，如果DS3500控制器用来连接其余72或84个驱动器的后端通道只有区区600MB/s的带宽，岂不是个严重的瓶颈？
DS3500控制器连接扩展柜的后端通道（红色方框内）带宽只有600MB/s？从文字描述到图示，类似的“x4疏忽”比比皆是
因此，可以明确的是，36端口6Gbps SAS扩展器与两个控制器的ASIC之间，以及后端驱动器扩展通道，都是x4的连接，单向带宽均为2.4GB/s。这个数值与ASIC前端连接主机接口子卡的PCI Express 2.0 x8（4GB/s）或2个固定的6Gbps SAS x4主机端口（4.8GB/s）相比，依然是瓶颈。也就是说，内部架构决定了单个DS3500控制器的持续访问（读/写）性能不会超过2.4GB/s。
2个红色椭圆框标注的位置分别为“SAS扩展器与两个控制器的ASIC之间”以及“后端驱动器扩展通道”的SAS通道，看起来像是6Gbps单链路（合600MB/s），实为6Gbps SAS x4连接，将DS3500控制器的输出带宽限制在2.4GB/s以内（双控配置理论上可以翻倍）
内部架构的限制也包括作为DS3500控制器核心的XOR ASIC。这个ASIC是个高度集成的RoC（RAID-on-Chip，片上RAID），能够为RAID 5的XOR运算和RAID 6的P+Q运算提供硬件加速，并支持16个SAS 2.0端口，分成4个6Gb SAS x4连接，其中两个分别通向本控制器及另一个控制器的36端口6Gbps SAS扩展器，还有两个表现为前端的SAS主机接口，这也是DS3500控制器标配2个6Gb SAS x4主机端口的原因所在。最关键的还是其800MHz的PowerPC 440处理器内核，据称具有1.9倍的效率，相当于1.5GHz XScale处理器的性能。从IBM提供的数据来看，单个DS3500控制器的持续访问性能最高可达2000MB/s，也表明该XOR|P+Q ASIC的处理能力与后端磁盘通道的带宽大致匹配。
细化分层存储，SAS全代SATA
之前的两页，我们先后剖析了DS3500后面（接口部分）和里面（控制器架构）与DS3200/3300/3400的不同之处，现在有必要回到正面来看看了。
正面是DS3500相对前代产品变动最大的部分——很显然，除了12个3.5英寸驱动器的传统配置（DS3512），还加入了24个2.5英寸驱动器的DS3524。DS3500是一款按照SBB 2.0规范设计的存储系统，2U也是SBB 2.0较为偏爱的一种外形规格。至少，在从前面板插拔驱动器的前提下，2U规格能让3.5英寸和2.5英寸驱动器都能够得到妥善的安置，获得最高的每U驱动器密度。
分层存储早已不是什么新概念，但在只有3.5英寸硬盘驱动器的时候，情况相对简单——无非是按照转速来划分，名义上有四个级别，不过主要是代表高性能的15000RPM（15K RPM）和代表大容量的7200RPM，10000RPM（10K RPM）已趋于消亡，而WD的GP系列（5400RPM）和希捷的LP系列（5900RPM）也多用在以节能为主要卖点的场合。
在2.5英寸硬盘驱动器加入之后，DS3500的选择一下增加到了5个：
— 2.5英寸15K RPM：“单挑”IOPS不逊色于3.5英寸15K RPM，甚至略高，更重要的是每2U机架空间内的数量加倍（24 vs. 12），具有最高的总体IOPS性能，和至少两倍的IOPS密度；
— 3.5英寸7200RPM：最大的容量，较低的能耗；
— 2.5英寸7200RPM：最低的能耗，较大的容量；
3.5英寸15K RPM和2.5英寸10K RPM都是IOPS和容量兼顾，但前者更占优势。3.5英寸15K RPM驱动器的容量两倍于2.5英寸10K RPM（600GB vs. 300GB），IOPS性能也略高，因此：硬盘驱动器总数相同的情况下（如96个满配），3.5英寸15K RPM具有两倍的容量和较高的IOPS性能，但盘柜成本较高（多用一倍的数量）；占用机架空间相同的情况下，2.5英寸10K RPM提供同样的容量和较高的IOPS性能，但单位容量成本较高。
两者的另一共同点是都有自加密的型号（SED，自加密驱动器），当必须为DS3524或EXP3524配备自加密驱动器时，就只能从2.5英寸10K RPM中选择。
总的来说，DS3512、DS3524主盘柜和EXP3512、EXP3524扩展柜都支持不同转速的驱动器混合使用，但为了便于管理，IBM建议分层存储能够以盘柜为单位，即一个磁盘柜里只有一种类型（转速，是否加密）的驱动器。15K RPM硬盘驱动器组成的第一层（Tier 1）存储承载OLTP、ERP、电子邮件等对响应时间要求较高的应用，7200RPM硬盘驱动器组成的第二层（Tier 2）存储满足工程、开发等需求……2.5英寸驱动器还可以进一步降低能耗。
IBM DS3500分层存储示意，不同转速的3.5英寸和2.5英寸硬盘驱动器，以及SED，都各有定位
DS3500与DS3200/3300/3400的另一大区别是仅支持SAS驱动器。换言之，不再通过SAS-SATA桥接卡将7200RPM SATA硬盘驱动器转换为SAS接口，而是直接使用7200RPM的近线（Nearline，NL）SAS硬盘驱动器。作为这种硬盘驱动器的唯一供应商，希捷（Seagate）公司宣称，平均来说，NL SAS硬盘驱动器仅比同样规格的SATA硬盘驱动器贵3～4%，但省去了桥接的中间环节，提高了可靠性，同时在小数据块的I/O上具有更好的性能表现。
不过，NL SAS硬盘驱动器的机械部分毕竟脱胎于7200RPM SATA硬盘驱动器，可靠性仍与15K RPM硬盘驱动器有较大的差距，重建时间也更长，需要RAID 6技术的保护。DS3500控制器提供的硬件辅助P+Q功能可以加速RAID 6处理，缩小与RAID 5的性能差距。
