日前一部柴静雾霾纪录片《穹顶之下》引发了人们对环境污染的深刻反响。天津、沈阳、成都2014年的空气污染天数分别是197天、152天和125天;石家庄的污染天数更是达到264天,占到全年的72%以上。这些雾霾侵城的镜头,这些数字,把污染防治的重任推到人们面前。中博集群存储可提供GB级聚合带宽和PB级的存储空间,敏捷吞吐卫星采集的海量监测数据,成为雾霾防治的数据“利刃”。
“看清”雾霾 构筑更快捷、更灵活的海量存储是关键
卫星承担着国家对地观测、资源勘探等重要任务,可提供精准的对以雾霾等异常情况的观测数据,成为政府环境治理决策的数据“智囊团”。
随着决策数据要求的精密性增加、以及卫星技术的不断发展,卫星数据采集器的数据规模越来越庞大,对存储设备的容量扩展、传输带宽、可靠性等方面的要求越来越高。
首先,在数据量方面,一些高分卫星可在距离地面约36000公里的地球同步轨道运行,观测面积大,并能长期对某一地区持续观测,其分辨率在50米以内,每十多分钟便能获取一幅图像。卫星每日生成数据量8TB以上,年数据容量达到2.6PB以上。
其次,在存储性能方面,卫星采集的原始数据主要为非结构化的文件数据,这些原始数据的接收和处理需要占用巨大的写入带宽资源。根据分析内容和侧重点不同,原始数据的加工处理方法也不同,同一套原始数据经常需要反复读取和处理,对存储设备的读写带宽要求很高。而且,卫星采集器的数据库庞大,前端应用系统对数据的调用开销很大,需要通过有效的方式提高数据库的访问性能,减少前端系统的等待时间。
最后,存储可靠性作为一个老生常谈的话题,在卫星数据存储中同样需要得到充足的保障。
海量、快捷、高可靠 卫星大规模数据存储必备的“三板斧”
首先,对于卫星海量数据存储的大容量需求,中博集群存储单套系统可提供PB级的存储空间,并且支持在线扩容,实现系统容量、性能的动态扩展,有效保证卫星数据未来10年以上的存储容量需求。卫星采集数据是海量的,且存储容量和存储性能会随着业务量的增长而增长。通常一套系统在建设初期数据存储和处理量不大,但未来会出现爆发式的增长。如果采用一次性投入的方式,前期会造成较大的资源浪费,当后期存储系统容量及性能不足时又较难扩展,因此,最理想的办法是采用分批建设。中博集群存储系统具有很强的可扩展性,支持在线扩容且无需中断业务的正常进行,做到存储容量和性能的双提升。
其次,对于卫星大规模数据的存储性能需求,中博集群存储基于分布式文件系统,通过先进的并行计算有效提供数百GB的聚合带宽,满足了卫星数据接收、处理的高并发IO需求;同时,中博集群存储的自动分层功能,会根据不同性能的硬盘设定不同的权重,访问较多的数据存储在性能较好的硬盘中,访问较少的数据存储在性能差的硬盘中,保持系统整体最优的性价比;对于热点访问的数据,系统会自动增加数据副本数到其他存储节点,从而提升热点数据的访问性能,应对并发访问压力。当数据访问频率降低,在其他节点上新生成的副本则会自动删除。
再次,对于卫星大规模数据的高可靠需求,中博集群存储采用多级副本技术,副本数量自定义,在数据安全性上比传统raid1
aid5做到更高级别的容错机制,为卫星数据的安全可靠提供强有力的保障。在数据重建上,传统RAID技术全盘都要参与重建,重建时系统性能极大降低,重建速度极慢。而副本技术只需重建丢失数据的部分,重建时对系统性能无太大影响,重建速度也非常快。
洞察行业应用特点 实现更加高效、精准的卫星对地监测
中博集群存储,针对卫星数据采集的行业应用特点,可整合多种类型的存储资源,支持Windows/Unix/Linux等异构平台,存储系统具有大容量、高并发、高带宽、高性能、高可扩展性等典型特征,满足卫星采集器的数据存储和处理分析需求,还通过自动精简配置等方式提高存储资源的利用率、降低投入和运行成本。中博集群存储系统可与数据处理系统、前端应用系统等无缝结合,提供统一的监控和管理平台,使客户获得和使用卫星对地监测的海量数据更加高效,对雾霾等异常环境监测更加精准。一句话,使我们的眼睛更明亮,看得更清楚,使领导者决策更有力。
具体产品详情可参考中博科创公司网站:http://www.zb-kc.com。