现在我们最熟悉的存储单位当然是MB、GB,以及正在普及的TB,那么再往上一个数量级的PB又是什么样子呢?一家名叫Aberdeen的公司近日推出了一套最大容量可达1PB的商业存储系统“Petarack”(名字不错),而价格“只要”49.5万美元。
该系统包含八个JBOD(磁盘簇),而每个JBOD内有45块近线nearline SAS硬盘,单个容量3TB,因此总共有360块硬盘、1080TB容量。
不仅如此,系统内还有空间放置第九个JBOD和两个HBA卡,容量能因此再增加135TB而达到1215TB,不过默认情况下空闲的PCI-E插槽会留给10Gb以太网卡或者光纤HBA。
大多数硬件RAID控制器都自带处理器,用于存储任务的加速,而多数现代6Gbp RoC都是双核心配置,频率最高大约1.2GHz。虽然它们都宣称可以通过扩展器支持最多256个设备,但是一旦连接上十几个,就会成为性能瓶颈,此外缓存容量也有限,都在256MB-4GB之间,这是大型存储引用必须解决的问题。
Petatrack在每个机柜的两个存储服务器内都使用了两颗六核心的Intel Xeon X5670 2.93GHz,默认各自配备48GB DDR3内存,最高可以扩展到192GB。之所以用双路服务器是出于冗余目的,一个失败了另一个会自动介入,此外还能提供更多PCI-E扩展插槽位。
每个JBOD都包含两个扩展器,各自连接一个存储服务器作为冗余。SAS硬盘的两个端口也是如此,同样是为了冗余。不管哪个服务器或者HBA掉线了,总能有其它数据通道顶上。
震动也是这种大规模多硬盘系统必须考虑的问题,不然就会遭遇性能下滑(Aberdeen声称会有50%)、数据错误、硬盘损坏、寿命缩短等麻烦,3TB nearline SAS硬盘就是目前的最佳选择。如果需要更高的性能,15000RPM SAS硬盘和SSD固态硬盘也都是支持的,甚至能够多种类型共存。
网络连接方面,默认是通过两个10Gb/1Gb以太网控制器来支持iSCSI,而如果你有光纤网络,也可以在不破坏授权的情况下进行使用。
每每说起这种大家伙,肯定会有很多人拿耗电量说事儿。Aberdeen给出的数据是满容量运行大约会消耗7000W。该系统使用了两个40A移动式插座,每个分出两个20A电路,由这四路分担供电。
软件上使用基于OpenSolaris内核的GNU/Debian用户界面来创建RAID阵列,而可选的RAID方案有:Stripe、Mirror、RAID-Z1(类似RAID 5)、RAID-Z2(类似RAID 6)、RAID-Z3,其中最理想的是RAID-Z2。
文件系统选择了128-bit ZFS,其企业可靠性也是久经考验的。
跨平台共享从来都是老大难。可以在Linux系统下创建CIFS,Windows、Mac系统都能访问,不过Linux管理员也通常喜欢NFS共享,并使用访问控制清单来管理用户授权。
VMware管理员也喜欢NFS共享。vSphere 4.1的区块级别存储限制是2TB分区,vSphere 5.0则扩大到了64TB,NFS共享就无此限制。
性能么,持续、随机读写都能超过500MB/s,持续读写也可以接近400MB/s,只有随机写入稍慢,150MB/s左右的样子。
IOPS吞吐性能同样不俗,持续读取接近14万,持续写入也有10万,随机读取超过了12万,随机写入则不到4万。