海量数据的爆炸式增长引发了传统IT架构的变革,一方面音视频、文档、图片等非结构化文件的导入访问需要大容量的数据存储方案,另一方面海量信息的分析处理取决于高速的数据计算资源。由多台计算机并行管理与使用,形成强大处理能力的分布式文件系统,有效的解决了以上大规模数据并发存储与处理的难题,并广泛运用于云计算、大数据技术中。
众志和达(英文SOUL),是中国信息存储、数据安全与应用领域领先的解决方案与服务提供商,拥有超过15年的中国本土市场经验和3000多家最终用户。
SOUL以满足云计算、大数据时代企业客户需求为目标,坚持自主创新,拥有基于自主知识产权的SoC(Storage-on-Chip芯片级存储)技术、SureSave智能化存储与保护管理、分布式存储与计算管理等核心技术,提供海量数据的存储、保护与云计算、大数据等应用解决方案,为现代IT应用提供高速、安全、可靠、弹性的基础架构,将数据与计算的价值充分发挥。
川庆物探公司在石油物探中面临着地震数据处理难题
中国石油集团川庆钻探工程有限公司地球物理勘探公司(以下简称川庆物探公司),创建于1956年。公司是以山地地震为特色、集地震资料采集、处理、解释和科研于一体的地震勘探工程技术服务企业。
石油物探根据地下岩层物理性质的差异,通过物理量测量,对地质构造或岩层性质进行研究,以寻找石油和天然气的地球物理勘探。石油物探需要采用一系统科学勘探手段,通过对于地理信息数据的勘探与大量采集、存储和HPC处理,最终准确发现和定位出含油气构造的地理区域和范围,进而进行实现挖掘开采。
随着石油物探技术与手段的不断改进,川庆物探公司数据采集能力的不断提升,HPC处理能力的飞速发展。在数据采集效率大幅提升的同时,如何实现海量数据的高效存储与快速运算,成为摆在用户面前的新难题。
1、存储系统性能面临瓶颈:高性能计算已经发展得十分成熟,可以通过廉价主机或刀片服务器的不断扩展,实现很高的运算性能。目前川庆物探公司已有数百计算节点同时进行高性能运算,然而由于后端存储的性能制约,整套系统无法处理更多的地震道数,并发运行的客户端数量也仅支持20个左右。用户需要高吞吐高并发的存储系统,以支撑前端更高效的计算。
2、存储系统需要大容量与高扩展性支撑:用户目前数据量约在100TB左右,随着地理数据采集能力、采集精细度的飞速提升,数据量也将随之大幅增长,计算节点对于后端存储的性能要求也将进一步提高。要求存储系统采用高可扩体系架构,支持在线快速扩展,在不影响业务运行的情况,可轻松实现容量与性能的按需提升。
3、数据满足高可靠存储的要求:石油物探过程中,数据采集费时费力,工程量巨大,每一份数据都是无比宝贵的资产。数据存储过程中,一旦出现数据损坏或丢失的情况,会给用户带来巨大的损失。因此存储系统是否冗余可靠,能否周密保证数据的安全,对于用户而言至关重要。
SOUL提供了高效、高可靠、灵活扩展的物探数据分布式计算存储解决方案
SOUL推荐客户采用SureSave DCS1000企业级分布式计算存储系统作为地震作业主存储设备,配置8节点分布式存储集群,每节点提供16块2TB SATA磁盘以及16GB高速缓存,以满足用户在勘探数据计算过程中,对存储系统不断增长的容量、性能、扩展性与可靠性方面的要求。
方案采用SureSave DCS1000分布式计算存储系统8节点集群,通过8条万兆链路接入核心万兆交换机,通过万兆以太网为业务网络提供高容量、并发高性能的存储服务;原始数据通过万兆以太网络,将数据转移到SureSave DCS分布式存储系统;作业客户端集群通过千兆网络连接到核心万兆交换机,实现Omega等地震作业客户端群的数据高效存储与访问。
面对海量大数据的信息存储、数据归档及管理难题,SureSave DCS1000分布式计算存储系统为用户提供了一个功能强大、运维简单且经济的解决方案。SOUL 自主研发的DCSFS文件系统提供了智能横向扩展的核心基础,当用户的业务系统数据激增时,DCS 存储节点以标准化的企业级模块设计,灵活地应对存储性能及容量的急剧扩展需求,同时为用户构建一个高性能、高可扩展、安全可靠的分布式存储基础平台。
SureSave DCS分布式计算存储系统是一个开放的存储平台,提供第三方应用API接口,采用高效专用计算存储节点,计算与存储一体,使计算向数据集中。为地质勘探、生命科学、非线编、媒资管理、动画渲染等应用实现海量数据的高性能计算与存储。
SOUL为现代IT应用提供高速、安全、可靠、弹性的基础架构
通过采用SureSave DCS1000分布式计算存储系统,大幅提升物探地震作业效率,为用户提供了海量、稳定、高效的存储系统。通过多节点集群扩展,在统一命名空间的基础上,实现在海量的存储空间/吞吐性能提供。同时以其数百节点的scale-out扩展能力,可轻松满足用户未来很长时间的存储需求,随时对性能与容量进行线性扩展。
SureSave DCS1000系统具有硬件RAID保护、多副本数据冗余模式等方式、自动数据修复等功能,有效保证存储系统的健壮性。当节点出现故障时,集群系统可实现秒级故障切换,保证业务高可用运行。
由于受地震数据处理作业的类型以及同时处理的客户端数量的影响,一般地震处理作业性能数值稳定在2000至4500/s左右。在部署完成SureSave DCS1000分布式计算存储系统后,总体地震道处理的数值稳定在3000至5500/s之间,峰值最高可达到 20000/s,相比之前的地震道处理能力有了大幅度提升;在线客户端同时并发处理最大数量为64个,作业运行稳定可靠。
川庆物探公司信息中心的负责人表示:“通过SOUL提供的分布式计算存储解决方案,将成熟的分布式文件系统技术应用于高性能地震数据计算领域,大幅提升了数据实时处理与快速分析的性能,同时降低了硬件成本和人员维护成本。”
SOUL为云计算、大数据时代的现代IT应用提供高速、安全、可靠、弹性的基础架构,将数据与计算的价值充分发挥。以智能化、可拓展的开放式系统设计,辅助用户实现从传统IT应用向云计算、大数据应用的平滑迁移,从而帮助用户从容应对日益增长的核心数据,实现传统IT系统的快速转型。