穹顶之下,如何向雾霾发起数字攻势?

任新勃 发表于:15年03月13日 15:14 [来稿] 存储在线

  • 分享:
[导读]卫星承担着国家对地观测、资源勘探等重要任务,可提供精准的对以雾霾等异常情况的观测数据,成为政府环境治理决策的数据“智囊团”。
日前一部柴静雾霾纪录片《穹顶之下》引发了人们对环境污染的深刻反响。天津、沈阳、成都2014年的空气污染天数分别是197天、152天和125天;石家庄的污染天数更是达到264天,占到全年的72%以上。这些雾霾侵城的镜头,这些数字,把污染防治的重任推到人们面前。中博集群存储可提供GB级聚合带宽和PB级的存储空间,敏捷吞吐卫星采集的海量监测数据,成为雾霾防治的数据“利刃”。

“看清”雾霾    构筑更快捷、更灵活的海量存储是关键

卫星承担着国家对地观测、资源勘探等重要任务,可提供精准的对以雾霾等异常情况的观测数据,成为政府环境治理决策的数据“智囊团”。

随着决策数据要求的精密性增加、以及卫星技术的不断发展,卫星数据采集器的数据规模越来越庞大,对存储设备的容量扩展、传输带宽、可靠性等方面的要求越来越高。

首先,在数据量方面,一些高分卫星可在距离地面约36000公里的地球同步轨道运行,观测面积大,并能长期对某一地区持续观测,其分辨率在50米以内,每十多分钟便能获取一幅图像。卫星每日生成数据量8TB以上,年数据容量达到2.6PB以上。

其次,在存储性能方面,卫星采集的原始数据主要为非结构化的文件数据,这些原始数据的接收和处理需要占用巨大的写入带宽资源。根据分析内容和侧重点不同,原始数据的加工处理方法也不同,同一套原始数据经常需要反复读取和处理,对存储设备的读写带宽要求很高。而且,卫星采集器的数据库庞大,前端应用系统对数据的调用开销很大,需要通过有效的方式提高数据库的访问性能,减少前端系统的等待时间。

最后,存储可靠性作为一个老生常谈的话题,在卫星数据存储中同样需要得到充足的保障。

海量、快捷、高可靠    卫星大规模数据存储必备的“三板斧”

首先,对于卫星海量数据存储的大容量需求,中博集群存储单套系统可提供PB级的存储空间,并且支持在线扩容,实现系统容量、性能的动态扩展,有效保证卫星数据未来10年以上的存储容量需求。卫星采集数据是海量的,且存储容量和存储性能会随着业务量的增长而增长。通常一套系统在建设初期数据存储和处理量不大,但未来会出现爆发式的增长。如果采用一次性投入的方式,前期会造成较大的资源浪费,当后期存储系统容量及性能不足时又较难扩展,因此,最理想的办法是采用分批建设。中博集群存储系统具有很强的可扩展性,支持在线扩容且无需中断业务的正常进行,做到存储容量和性能的双提升。

其次,对于卫星大规模数据的存储性能需求,中博集群存储基于分布式文件系统,通过先进的并行计算有效提供数百GB的聚合带宽,满足了卫星数据接收、处理的高并发IO需求;同时,中博集群存储的自动分层功能,会根据不同性能的硬盘设定不同的权重,访问较多的数据存储在性能较好的硬盘中,访问较少的数据存储在性能差的硬盘中,保持系统整体最优的性价比;对于热点访问的数据,系统会自动增加数据副本数到其他存储节点,从而提升热点数据的访问性能,应对并发访问压力。当数据访问频率降低,在其他节点上新生成的副本则会自动删除。

再次,对于卫星大规模数据的高可靠需求,中博集群存储采用多级副本技术,副本数量自定义,在数据安全性上比传统raid1 \raid5做到更高级别的容错机制,为卫星数据的安全可靠提供强有力的保障。在数据重建上,传统RAID技术全盘都要参与重建,重建时系统性能极大降低,重建速度极慢。而副本技术只需重建丢失数据的部分,重建时对系统性能无太大影响,重建速度也非常快。

洞察行业应用特点  实现更加高效、精准的卫星对地监测

中博集群存储,针对卫星数据采集的行业应用特点,可整合多种类型的存储资源,支持Windows/Unix/Linux等异构平台,存储系统具有大容量、高并发、高带宽、高性能、高可扩展性等典型特征,满足卫星采集器的数据存储和处理分析需求,还通过自动精简配置等方式提高存储资源的利用率、降低投入和运行成本。中博集群存储系统可与数据处理系统、前端应用系统等无缝结合,提供统一的监控和管理平台,使客户获得和使用卫星对地监测的海量数据更加高效,对雾霾等异常环境监测更加精准。一句话,使我们的眼睛更明亮,看得更清楚,使领导者决策更有力。

具体产品详情可参考中博科创公司网站:http://www.zb-kc.com。
[责任编辑:任新勃]
任新勃
多年来,人们谈到数据存储,想到的都是外企做的事,EMC、惠普、NetApp、赛门铁克等。同时因为不了解,就对企业存储设备可以说是充满敬畏。可以说企业级存储市场就是国外厂商的天下。在中国的外企也就赚个钵满盆盈。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.