大数据时代,数据量的爆炸式增长以及数据类型的日益细化,让数据分级和冷热数据分治成为降低单位容量数据成本,提升数据存储效率和密度的有效方式。
而随着政府、军队军工、科研院所、航空航天、大型商业连锁、医疗、金融、新媒体、广电等行业应用层出不穷,海量的数据存储对数据中心存储基础架构也提出了革命性的需求。
如果采用传统磁盘阵列存储这些冷数据,不论是SAN还是NAS,其扩展能力都相对有限,特别是存储成本居高不下,难以满足业务发展的需要。因此,将高性能存储资源提供给热数据,将冷数据转移到成本更低的存储层已成为企业的最优之选。
JBOD 解决企业冷数据、大数据存储问题
JBOD(磁盘簇)是一种被广泛应用的存储方案,JBOD阵列中的每个磁盘,不论是否属于同一设备,都会被视为单独的磁盘。
JBOD存储方案以扩展容量为目的,且具备价格方面的优势,自然引起了有海量冷数据存储需求的行业用户的关注。冷数据,顾名思义是被存储较长时间的数据,例如不需要实时访问到的离线数据和用于灾难恢复的备份数据,或由于要遵守法律规定必须要长期保留的资料。常见的有银行凭证、税务凭证、医疗档案、影视资料等非结构化数据。
JBOD又名“简单磁盘捆绑”,其看似简单的底层设计,实际上市场上同类产品和解决方案的设计水平千差万别。对于HDD特性的利用程度,也直接影响了其产品的易用性。众所周知,JBOD包含多个磁盘总存储容量十分巨大,但在RAID等数据保护方面需要给出合理的解决方案,避免磁盘故障引起的系统故障或者数据丢失。
节能方面,JBOD的某些磁盘可被置于长期下电的状态,因此在节能方面具有很大优势。与此同时,通过冷存储服务,还可以简化、消除企业在灾难中的数据保护流程,从而实现降低成本和复杂性的目的。
另外,磁盘共振也是JBOD无法回避的问题之一。在单一设备48或60块磁盘的高密度磁盘存储系统中,共振问题更加严重。数十块硬盘旋转带来的单盘微小振动会在共振的作用下被显著放大,这种被放大的振动会导致磁盘损坏率大幅度提升。实验显示,系统的随机访问性能也在共振的影响下会有20%的显著下降。对此,硬盘厂商西部数据将其独有的基板震动隔离,冷温区,风扇震动隔离三项专有技术加入到了其通用平台的设计中。显著解决了高密度磁盘系统共振问题,并有效地提高磁盘使用寿命,降低磁盘故障率,最大化降低系统功耗,防止存储系统性能下降。
坚实基础决定上层“建筑”
在大数据的助推下,分布式存储凭借着对海量数据长期保存方面的显著优势,成为支持软件定义存储、超融合的核心存储系统。为了适应冷数据存储需求,存储系统除了要具备高性能、高安全、高可靠等特征之外,还要兼具自动分层、弹性扩展等特点,才能符合诸如视频编辑、医疗影像、科研数据、视频监控等行业应用场景。
“经济基础决定上层建筑”这句话同样适用于一套完美的存储解决方案。根据上层应用的多样性需求,拥有40多年存储设计经验的西部数据公司提出了高可靠的硬件平台设计——Ultrstar Data60(4U60)混合存储平台,并以软件定义存储解决方案的形式交付给客户。
凭借着对硬盘深刻地理解,西部数据软件定义存储整体解决方案从底层硬件到上层应用的融合全部覆盖。这也意味着西部数据正在从单一的硬件提供商向整体解决方案提供商的转变。
Ultrstar Data60(4U60)混合存储平台拥有4U高度标准机架空间,60块磁盘(最多24个SSD)的高密度配置,最高可选容量达840TB,帮助企业发现冷数据存储的最大价值。4U60可被简单理解为一个JBOD系统,然而西部数据的JBOD却并不简单。
基于对HDD、SSD以及数据分层存储技术的深入了解,4U60特别针对冷数据存储提供了独特的设计。用户也可以根据上层应用需求进行混合存储,将SSD用于平台内的独立性能层。或利用自动存储分级技术,将SSD的高性能和HDD的大容量优势发挥到极致。
此外,4U60存储平台提供可用于高可用性应用的SAS硬盘或用于成本优化的SATA硬盘选择,支持采用高级格式化扇区(4K扇区),从而提高数据读取、写入的可靠性和错误纠正能力。
行业案例解析
作为一款通用性极强的产品来说,西部数据4U60存储平台在系统可靠性上提供了多冗余、高质量的产品设计,进一步确保了数据和系统的可用性。4U60适用于多种场景下的数据存储需求,应用案例覆盖基因测序,视频处理以及教育科研等多个行业。
影视行业
在广电影视领域,4U60存储平台这一类的JBOD系统的应用较为广泛,如大容量存储备份、视频/音频(网络共享)存储等领域都被各大电视台、制播机构普遍使用着。
天极影视集团业务涉及大量电影,影视,广告及VR后期制作,以及电影胶卷数字扫瞄等业务。影视作品清晰度越来越高,很快会迎来4K到8K的升级。目前来看,SAN的传输速度已经开始跟不上业务和数据量的增长。天极影视借助4U60存储平台专业的建立共享存储系统,应付日益繁重的影视资料存储压力。
采用4U60存储平台,并结合微软Window Server 2012 R2的 Storage Space技术,软件定义存储(SDS)功能来组建一个多机共享的虚拟集中存储。传输速度方面,较之前的DAS连接方式有了很大提升,工作站通过10GbE或25GbE高速网络连接服务器。
该方案可提供超高的扩容性,单平台最高存储量720TB,使用菊链方式串联 4 台JBOD可实现2880TB。借助Windows Server 2012 R2 SDS或 Window Server 2016 R2 的 S2D,可以实现基本的存储虚拟化及管理,数据保护和存储分层等功能。管理员可将经常访问的数据动态地定位到一个SSD热存储层,而较少访问的数据定位到使用SAS HDD标准的冷存储层,方便管理。
教育科研行业
某高校需要存储实验室所有的科研海量数据,数据容量需要1.5PB的存储空间。希望通过开源软件搭建一套分布式对象存储,然而由于学校机房空间有限,只能提供30U左右的机架位置。
为此,西部数据采用Openstack Swift搭建了一套分布式对象存储,三台Dell R730xd服务器及三台4U60 JBOD存储,每台JBOD配置60块12TB 氦气硬盘,每台服务器分别连接一台JBOD,总共在18U的机架空间内提供了裸容量2.2PB的存储空间。帮助客户节省了初期存储的投入成本,并在有限的机柜空间内实现了最大的存储密度。
未来,更多的创新应用势必带来更大的数据存储需求,用户对存储系统的要求也越来越高。西部数据顺势而变,从底层硬件供应商向整体解决方案提供商转变。有理由相信,不论是现在还是将来,西部数据企业级产品平台产品和解决方案将顺应发展,不断在性能、容量、可靠性、可扩展性、安全性、成本、可访问性等方面继续创新。