数据存储产业服务平台

统一背后:日立HUS中端存储设计解析

继前年底NetApp发布中端阵列新品FAS3200系列、去年初EMC推出VNX统一存储(建立在Celerra + CLARiiON上的“概念”)、IBM在2010~2011年相继发布Storwize V7000并更新到V7000U(加入NAS网关)之后,另一家重要的企业存储厂商日立数据系统(HDS),在统一存储的大潮下终于也坐不住了。上周他们推出HUS(Hitachi Unified Storage,日立统一存储)产品家族替代了现有的AMS2000系列中端存储系统,并称其“是首个在单一平台上实现对块、文件及对象数据联合、集中管理的解决方案”。

笔者在本文的标题中将这里的统一叫做“噱头”,可能有人会说这样不准确,但接着往下看您就会知道我们想要表达的意思。

统一“噱头”背后:日立HUS中端存储设计解析

日立统一存储(HUS)100家族规格表

由上表,日立HUS 110、130和150支持的驱动器数量分别为120、264/252(2.5/3.5英寸)和960个,其中HUS 150在上一代中端最高型号AMS 2500的480个驱动器基础上增加了一倍,而HUS 110却比AMS2100的159个有所减少。另外,HUS 100系列除了保持原有的2U 24盘位2.5英寸驱动器,以及4U 48盘位3.5英寸高密度驱动器扩展柜(连接由3Gb/s SAS升级到6Gb/s)之外,还符合潮流的地将3U 15盘位3.5英寸扩展柜替换为2U 12盘位(就像戴尔EqualLogic从PS4000/6000升级到PS6100/4100那样),提高了每个U的密度。

在支持的驱动器类型中,10k和15k rpm高转速硬盘已经全部是SFF(2.5英寸)而不再有LFF(3.5英寸)。根据HDS网站上更详细的资料,这里的SSD有200和400GB MLC(应该是企业级)两种选择。

文件访问通过NAS网关、对象存储依赖HCP?

接着,我们看到Block Module和File Module的规格被分为2个部分。其中块访问单元支持的主机接口现在主要是8Gb/s FC和10GbE iSCSI两种(HUS 110还支持千兆iSCSI),也就是说这款双控制器模块化阵列,如果只作为IP SAN使用其定位也不见得比Scale-out(横向扩展)的EqualLogic、惠普LeftHand等产品低。要知道戴尔EQL目前出货最多的主流型号还是1Gb/s以太网主机接口的PS6100(之前是PS6000)、4100。

HUS 100系列发布时并没有支持16Gb/s FC(光纤通道),不过对于HUS 150来说将来可以通过更换主机I/O模块来对产品升级,就像AMS2000系列从4Gb/s FC到8Gb/s那样。HUS 110和130则是每控制器集成4个嵌入式8Gb/s FC接口加上一个主机接口子卡,130可选FC和iSCSI,而110暂时只支持iSCSI。另外比较有意思的是,据了解HUS 110的光纤通道接口需要可选的license Key才能启用,也就是说如果不买这个的话应该就必须添加iSCSI了。

注:关于主机接口部分,下文中还会有具体的图片说明。

日立HUS支持集群高可用的File Module(文件单元)应该是三款产品通用的,HUS 110和130只支持双节点HA,而150则支持1~4个节点。这让我们联想起戴尔使用收购自Exanet的集群文件系统推出的EqualLogic FS7500统一存储,目前也是最多4个节点,单个文件系统最大512TB,而HUS为256TB。

HUS File Module后端连接Block Module一共使用了4个4Gb/s FC,如果中间没有光纤交换机直连的话容易造成带宽浪费。这里的具体原因我们在后面还会讨论。不过对比前端提供NAS文件服务的2个万兆和6个千兆以太网接口,还是基本够用的,毕竟以太网的实际效率没有光纤通道高。

统一“噱头”背后:日立HUS中端存储设计解析

日立统一存储(HUS)组成单元示意图

根据上图,HUS中端存储系统的组成部分包括Block Module、File Module、2.5英寸驱动器机箱和/或2.5英寸驱动器机箱。块存储阵列加上Active/Active NAS网关的组成形式,与EMC VNX、IBM V7000U和戴尔NX3500/FS7500等没有本质上的不同。根据各方面的信息(也包括我们在下文中要列出的证据),日立HUS使用的了被其收购的BlueArc的集群文件系统技术,但我们没有看到单一全局命名空间功能。

有的读者应该知道,HDS在收购BlueArc之前两家公司就有紧密的合作。HDS将BlueArc的NAS网关搭配自己的AMS2000系列SAN阵列销售,那么今天的HUS统一存储也是类似的形式吧?

到这里不知大家有没有注意到,我们在HUS当前公布的资料中几乎没有看到“对象存储”功能。HDS官方的新闻稿是这样表示的:

“Hitachi Unified Storage通过一个独特的基于对象的文件系统来支持对象数据,该系统可以智能地为每个文件增加元数据并实现自动分层、迁移、对数据快照和复制、在广域网中更快复制以及快速数据搜索。此外,Hitachi Unified Storage支持Hitachi Content Platform(HCP)利用定制的元数据来存储真实对象并提供法规遵从功能。与替代系统的方式不同,HCP可以利用在同一个存储池中的文件和模块应用分享HUS的容量。两者相结合,对于客户来说,这个解决方案比独立的筒仓对象存储设施更加节省空间和成本。”

按照我的理解,HUS所谓的对象存储应该是利用文件系统(File Module上运行的?)的功能为文件添加元数据来实现对象的访问格式?而对象存储真正的特点——海量的对象数目支持和扩展性,看来还是要通过添加HCP(日立内容平台)的元数据节点来解决。

记得笔者在去年9月采访IBM系统与科技事业部磁盘存储CTO Vincent Hsu先生时,他曾经表示:“我们现在正在做对象存储的研发,以后你会看到在我们的SONAS平台上会有对象存储的这种技术出来。”同样是主要针对非结构化数据,文件系统与对象存储设备的整合或许是未来的一种趋势?

需要注意的是,IBM GPFS(通用并行文件系统)支持declustered(分簇)RAID,应该能够有效解决使用3TB、4TB等大容量硬盘组建传统RAID 5、6时故障恢复重建时间长,及由此带来的性能影响和可靠性问题。而笔者在IDF2012大会报道中提到的AmpliStor采用擦除编码(或称纠删码)的对象存储也具备类似特性,同时保证了较好的顺序读写性能。

AMS2000回顾:对称式双控真正的负载均衡

下面我们先简单回顾一下AMS2000系列的控制器设计,为后面对HUS的分析做些预热。

统一“噱头”背后:日立HUS中端存储设计解析

HDS AMS系列中端存储参数对比

如上表,日立数据系统AMS 2100、2300和2500都使用了一颗Intel Xeon CPU用于管理(控制)处理器,其中2500配备了双核。RAID功能是由具备HDS专利技术的ASIC来实现,AMS 2300、2500和再往前一代的AMS 1000的芯片型号都是DCTL-H,而AMS 2100的DCTL-S应该是其精简版。

统一“噱头”背后:日立HUS中端存储设计解析

HDS AMS 2100双控制器架构图(左右两边分别为控制器0、1)

以AMS 2100为例,DCTL-S RAID处理器在整个控制器中的重要性,就好像惠普3PAR阵列中的Gen3/4 ASIC。它使用三条带宽为2GB/s的PCIe x8(1.0)分别连接包含Xeon CPU、控制内存、MCH+ICH在内的管理子系统,前端代号为“DE4”的双端口4Gb/s光纤通道控制芯片,以及后端x8 link 3Gb/s SAS控制芯片。每个控制器中的DCTL-S还连接着2~4GB的数据缓存(带宽4GB/s),同时通过专用通道(应该也是PCIe)来实现同步缓存镜像。

统一“噱头”背后:日立HUS中端存储设计解析

HDS AMS2000动态负载均衡技术示意图

日立动态负载均衡控制器(Hitachi Dynamic Load Balancing Controller)技术,是HDS AMS2000系列产品的一大特色。“几乎无需用户干预,即可让存储系统发挥出最大性能。与传统中端存储系统采用的非对称控制器设计不同,AMS2000可通过监视每一个控制器的利用率并动态平衡工作负载,消除导致I/O响应时间降低的常见瓶颈与热点。”

根据笔者有限的了解,NetApp入门级的E2600(收购自LSI Engenio产品线)SAN阵列,可以选购一个Turbo性能选项来获得将不同LUN手动分配到两个控制器来实现Active/Active(双活动) 提高性能的特性。从E2600 OEM而来的IBM DS3500、戴尔PowerVault MD3200/3600系列等都是如此。EMC CLARiiON/VNX家族的ALUA(非对称逻辑单元存取)设计,则是在创建LUN时根据负载情况分配到一个相对空闲的控制器。在中端双控制器模块化 阵列中,几乎只有AMS2000才是真正能够将每一个LUN的工作负载平衡分配到两个控制器上的对称式处理模式,如上图。

当然,在HP 3PAR、EMC Symmetrix VMAX、IBM XIV,还有被Oracle收购的Pillar Axiom等横向扩展(Scale-out)存储系统中,这样的设计就比较普遍了。

统一“噱头”背后:日立HUS中端存储设计解析

日立动态虚拟控制器(Dynamic Virtual Controller)技术示意图,这个架构看上去不就是AMS 2300吗?

HDS如今随同HUS提出的动态虚拟控制器技术,笔者觉得应该就是将原来的“动态负载均衡控制器”换个说法,因为其中的示意图仍然是用AMS2000系列举例。除了将主机接口控制芯片换成QE8(PMC-Sierra PM8032四通道8Gb/s FC控制器的代号),这里主要是为了表示两个控制器的本地缓存数据之间互相镜像,从而为同一份数据提供“直接”访问和途经另一个控制器的“交叉”访问。与最基本的Active-Passive等写缓存镜像之间的差异,应该是对称式控制器设计的关键。

增加双ASIC还是改用x86 RAID处理器?

统一“噱头”背后:日立HUS中端存储设计解析

位于HUS 150 Block Module的电池模块(从机箱前部插入的一对,互为冗余)

HUS 150块访问单元的机箱高度为3U,前部安装有2个电池模块,用于在电源失败事件中将未保存的DRAM缓存中的数据备份到闪存。根据这个电池的尺寸,笔者觉得它应该能够像小容量UPS那样维持整个控制器供电至少数分钟。

HUS 150 Block Module中的控制器(卡)

HUS 150的两个控制器位于电池模块的上方,可以连同前端的3个散热风扇一同抽出。在上图中我们似乎看到主板上2个对等的CPU和Cache内存模块?一种可能性是RAID处理器ASIC增加到了2颗,就像惠普3PAR P10000 V系列控制器中的Gen4 ASIC那样?另一种可能性就是配置2颗Intel Xeon CPU,而不再区分RAID处理器和管理处理器?当然上图仅供参考,在没有看到实物或者更多资料的情况下,一切只是猜测。

HUS 150 Block Module的主机I/O模块

上图中2个红框的位置,就是HUS 150 Block Module控制器可以更换的主机I/O模块。每个控制器上对应的左/右半边都可以选择安装4个8Gb/s FC以及2个10GbE iSCSI接口的任意组合。在它们左边是2个6Gb/s SAS后端I/O模块,上面各有2个SFF-8088 miniSAS x4 wide-port连接器用于驱动器扩展柜。

HUS 130 Block Module后视图

HUS 130块访问单元的机箱高度为2U,控制器(卡)的宽、高尺寸比较接近SBB 2.0规范设计,尽管在其机箱前端支持24个2.5英寸或者12个3.5英寸驱动器,但控制器的深度仍然相当长。其后面板的空间有限,每个控制器上前/后端I/O接口的灵活性/数量不及HUS 150,控制器的性能配置可能也有所下降。但HUS 110和130的硬件设计应该是相当接近的。

统一“噱头”背后:日立HUS中端存储设计解析

HUS 130 Block Module的电源及其中嵌入的电池模块

由于空间的原因,HUS 130电池模块的位置设在了电源单元中间空出的部分。这个较小的电池作用同样是在供电失败时将未保存的缓存数据备份到闪存。

统一“噱头”背后:日立HUS中端存储设计解析

HUS 130 Block Module的6个系统散热风扇采用了不用打开机箱盖就能从上方置换的设计,由于位置偏向机箱的右侧,不知内部还有什么样的导风设计?

BlueArc:4Gb/s FC受FPGA芯片所限?

统一“噱头”背后:日立HUS中端存储设计解析

HUS File Module的电池模块(同样是从机箱前部插入,每台文件单元上带有1个)

日立数据系统HUS的File Module(即NAS网关)部分,110、130和150三个型号都是通用的。上图为电池模块,它插入到机箱的左前方,用于保护NVRAM中的数据。下面有两个2.5英寸硬盘处于镜像模式,用于存放File Module的微代码(microcode,即操作系统)。

统一“噱头”背后:日立HUS中端存储设计解析

HUS(日立统一存储)File Module的主板

根据上图及文字描述,HUS文件单元使用了一个定制的带有24GB内存,基于FPGA的主板刀片(MFB);它还使用了一块安装了1颗Intel Xeon双核CPU和8GB内存的PC服务器主板。这里的“FPGA”进一步证明HUS统一存储的File Module使用了收购自BlueArc的集群NAS技术。

统一“噱头”背后:日立HUS中端存储设计解析

HUS File Module的后部接口:最右边4个4Gb/s FC端口用于到Block Module块存储的SAN访问

笔者还注意到,File Module的后部接口都集中在3U机箱顶部的“1U单元”——应该是FPGA所在的主板刀片(MFB)上,下面的“2U”PC服务器看来还是主要作为管理平台用途。那么使用4Gb/s而不是今天流行的8Gb/s FC后端接口,有可能就是受BlueArc(现在是HDS下属的部门了)使用的FPGA芯片所限。

在光纤通道接口的左边,依次为5个10/100Mb交换式管理接口、6个千兆文件服务接口、2个万兆文件服务接口和2个万兆集群内部互连接口。

HUS统一存储的NAS网关使用2个专门的10GbE接口用于集群通信,这就使其一下子显示出与“非集群”文件系统的不同,也拉开了与戴尔EqualLogic FS7500等千兆统一存储的差距。当然,像EMC Isilon、IBM SONAS那样的InfiniBand互连网络集群效率应该会更高。

从日立HUS再看中端存储趋势

我们注意到在SAN阵列前端添加NAS网关仍然是今天主流的统一存储形式,基本上只有NetApp FAS和Oracle使用Sun ZFS文件系统的7000系列保持“另类”。

再来看看x86,Intel Xeon(至强)处理器能否在中端存储系统市场一统江湖?根据笔者的了解,即将推出的新一代Infrotrend ESVA(企业可扩充式虚拟化架构)将从PowerPC阵营改投x86,NetApp E7900(对应IBM DS5300)的下一代产品如果推出应该也是x86… 引发变革因素的包括扩展性(I/O带宽上的优势)、灵活性和性价比等。日立HUS的实际情况又是如何呢?

未经允许不得转载:存储在线-存储专业媒体 » 统一背后:日立HUS中端存储设计解析