向“规模”要效益:S2A平台仍是中流砥柱
DOIT原创 崔昊 发表于:11年06月01日 00:46 [原创] 存储在线
向“规模”要效益:S2A平台仍是中流砥柱
高性能计算HPC历来是石油、生物、气象、科研等计算密集型应用中的首要技术问题,随着近几年并行集群系统的发展,中国的HPC产业突飞猛进,像天河一号这样的HPC系统,甚至坐上了全球高性能计算TOP500排行榜的榜首。
但随着HPC系统的发展,其后端的存储系统却“越来越不给力”:在一个32计算节点的叠前处理系统中,如果需要使每个计算节点得到15~20MB/s的带宽,那么集群对后端存储的总体带宽(即聚合带宽)要求大约为500~650MB/s。目前的中端磁盘阵列产品基本都可以达到这一性能指标。如果考虑64个或更多计算节点,后端带宽要求需要达到1~1.3GB/s甚至更大,这一性能是目前单一中端磁盘阵列系统难以达到的。然而通过引入多台存储设备,这一问题也不难解决。
与高性能计算领域同样遇到存储问题的,还有媒体娱乐——主要是新兴的视频网站、高清视频制作等领域——媒体行业时时刻刻都要进行大量信息的搜集、整理和制作,因此对存储的需求在不断增长。由于内容的数量巨大,还要满足随时查询和调阅,因此对存储设备提出了更高的要求。
媒体行业需要大量的信息输入输出操作,其读写通常是以顺序的、大数据包的、视频文件为单位进行,而每个单一的视频文件的码流通常要求具有较高的传输带宽和带宽加载粒度,而多个视频文件码流的同时并发转送就更加使得单一普通的存储端口速率受到极大的挑战。
市场高性能、高带宽、大容量数据的需求,尤其是高性能计算和视频相关行业(像OEM业务为主的LSI在出售其存储系统部门前,视频行业一直是其重点),像DDN这样定位的存储厂商就开始有了用武之地,其提供的存储系统主要服务于大容量和高带宽应用。
因此,在2010年11月发布的TOP500榜单中,排名前100名的系统,有超过50套使用了DDN的存储系统,而HPC的主要用户:美国国家超级电脑应用中心、美国国家海洋和大气局预测系统实验室、美国白沙导弹基地、美国国家大气研究中心、圣地亚哥超级计算机中心、美国陆军研究实验室等也都在DDN的客户名单上。
而在中国,中央电视台以及大量的省市级电视台都使用DDN存储,包括2008年的奥运会转播也用的是DDN存储。
DDN的主要产品平台
DDN的主要产品是硅存储架构S2A平台,目前提供三种常规系列产品:S2A6620,S2A9900和SFA10000,IOPS和带宽是DDN的S2A平台的重要卖点,以S2A6620为例,它的最大容量可达360TB,读写带宽可达2GB/s。
S2A6620的规格表,最大的Cache IOPS能够达到335000,带宽达到2GB/s,这一数据是目前采用3.5寸盘的结果,如果采用2.5寸盘以及加入SSD,可能性能会更好。
S2A9900 拥有极高的性能和极大的容量,该系统只有两层设计,却能够存储高达 2.4 PB的内容,并提供稳定、实时的吞吐量,使每台设备的读取和写入速度均能达到6GB/s,并且他可保证固定带宽(QoS),在媒体行业,特别是电视台,媒体制作得到了大量应用。
DDN方面,宣称S2A9900是“实时的,0延迟的数据的访问(Real-time, ZERO-latency data access)”,提供高性能的DirectRAID 6的能力。不过,过去三年S2A9900并未提供任何升级,仍然采用120TB 4U(2机柜1200块盘)在单盘2TB的情况下2.4PB的配置,但据DDN的总裁兼联合创始人Paul Bloch讲,S2A9900和SFA10000,在今年年底可能会有一次较大的升级。
SFA10000是专为高性能计算而设计的高性能大容量存储单个机柜可提供3.6PB的容量,且读或写可达12GB/s。为了满足带宽需要,S2A9900和SFA10000都不仅支持4GB、8GB FC和10GbE,也都支持Infiniband DDR连接。
2A存储系统具有对应用性能没有影响的实时后台校验检查功能,在使用这一功能时,S2A的实际使用性能不会有任何下降。S2A通过超过20个以上处理器的并行处理能力和高达7200MB/秒的校验引擎解决了CPU资源争夺问题。这正是S2A在跑满主机端口的性能(1600MB/秒)的同时还能有足够的CPU资源(5600MB/秒)去做高速的实时后台校验检查和高速的磁盘数据重建。
S2A平台除了其IOPS和带宽外,D-MAID是DDN很重要的一项技术,据DDN方面表示,其“可以动态降低某个LUN所在盘的转速”:与实施静态的“on/off”MAID相比,D-MAID使所有磁盘积极地服务数据;或使所有磁盘处于节能睡眠模式;或介于这两者之间—可透明访问存储平台中所有数据集。为了优化大型复杂备份、虚拟磁带库和归档应用,D-MAID支持用户设定的磁盘冗余周期以及自动管理磁盘阵列以达到最佳能源效率。
D-MAID的应用在DDN的高密度的产品中具有明显的作用,DDN产品的密度最高时,每平方英尺容量可高达74TB,其数据密度是其它数据存储产品的5倍—相当于业界最小空间具有最高的容量扩展性,如果没有D-MAID技术——可动态降低LUN转速,并按照客户具体参数使系统进入节能模式——那么DDN产品的功耗将是十分巨大的。
去年,DataDiret Networks S2A9900正是惠普在高性能集群(HPC)产品组合中增加的第三个向外扩展系统产品,实际上,在惠普之前,IBM已经在其SONAS产品中纳入了这个存储系统。IBM同DDN有各种各样的OEM(贴牌生产)存储协议。不过,在今年4月,DDN开始慢慢的进入新的市场。
DDN正悄悄地进入原来由BlueArc、Isilon和Panasas掌控的针对媒体密集型和HPC应用程序的向外扩展NAS文件系统市场——文件访问、大数据存储将是DDN在未来一段时间的发展方向,当然,也少不了云计算。