集群存储——石油勘探未来存储发展的方向
任新勃 发表于:14年05月12日 16:42 [综述] 存储在线
随着大数据时代的到来,石油勘探行业数据量呈爆发式增长,石油勘探使用大规模高性能计算服务器对采集的数据进行成像、分析等,其后端存储和处理面临着前所未有的挑战。
目前,石油勘探主要使用NAS存储提供的文件共享服务,前端大规模高性能计算集群对处理I/O带宽要求极高,但是NAS集群中机头节点数量是有限的,所以后端存储很难支撑几十上百个并发应用。如一个常规格式转换作业,处理的I/O带宽需求高,每个NAS节点的峰值带宽超过100MB/s,并行处理规模达到48个计算节点以上时,对后端网络带宽的需求超过GB级。所以,存储严重制约着石油勘探行业的高速发展。
集群存储是指将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口访问和利用所有存储设备上的磁盘,充分发挥存储设备的性能和磁盘利用率。数据将按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。
由于近几年科技的高速发展,集群存储技术已经从科技实验室走到人们的生活中,基于聚合带宽、海量容量等特点,集群存储能很好的应用在石油勘探等高性能计算领域。
中博科创集群存储系统是针对海量数据及高并发IO应用而设计,集硬件平台、先进的分布式集群文件系统和智能管理功能于一体的产品。系统颠覆传统的基于机头转发读写数据的模式,应用可直接读取数据,从架构上彻底消除了传统存储系统性能和容量扩展有限的瓶颈,可以支撑石油勘探行业更大规模的应用,更好的为大规模计算服务器提供集中存储服务,是石油勘探行业海量非结构化数据集中存储的最佳平台。其特点如下:
中博科创集群存储系统能够提供比传统存储更大的存储容量,单套设备最大支持400PB海量级的存储空间。尤其在文件数量上,中博科创集群存储单一文件系统支持文件数量可达数十亿级别。
高扩展性
系统采用Scale-out扩展方式,打破了传统SAN架构的扩展限制,性能和容量随存储节点的增加而线性增长,可以很好的满足石油勘探企业未来业务快速发展对存储空间和带宽的需求,避免因用户需求不断增长而带来的数据迁移和应用中断的问题,并可随需求变化动态调整资源、带宽、处理能力和存储容量,所有扩容操作均可在线进行,无须中断应用的正常执行。
高带宽
中博科创集群存储系统采用数据和元数据分离技术,元数据服务器不参与实际数据传输,只用来建立传输会话,会话一旦建立,数据就直接在用户和存储系统之间进行传输,系统带宽最高达到100GB/S的速度,轻松应对大量计算服务器并发访问的需求。
高可靠性
中博科创集群存储系统采用集群架构,系统各个组成模块均采用集群的冗余机制和高效、准确的失效检测算法来保证整个系统的高可用性。系统任一节点故障,都可以智能的进行自我修复,并且不影响前端应用的正常运行。中博科创集群存储系统通过将文件副本复制并且存储在不同的节点上,在某一存储节点或某几个存储节点发生故障时,系统自动将读写指令导向其他存储节点上的文件副本,保持业务的连续性。对终端用户来说,这一过程是完全自动化、透明的,业务端几乎不会受到影响,从而保证了业务的100%连续性。
在石油勘探等高性能计算领域,中博科创分布式集群存储能最大限度的发挥高容量、高带宽、高可用性和高扩展性的特点,推动高性能计算服务器集群向前发展,满足石油勘探领域对存储的需求。
具体产品详情可参考中博科创公司网站。