变“海量”为“力量”:广电总局释放海量数据价值
佚名 发表于:14年09月17日 17:10 [综述] 存储在线
国家广电总局监管中心肩负着对全国电视节目、互联网等信息网络视听节目、新媒体视听节目播出内容以及全国无线广播节目的监听监看的重任,监听监看任务涉及业务系统数目较多,数据量大,数据统一管理困难,如何整合这些业务系统实现数据存储、管理、共享一直都是监管行业的技术难题。如何破局,不仅关系着解决广电总局大数据存储管理的困扰,更将势必会引起广电行业新的技术革命。
如今这一难题已经被浪潮海量存储解决方案化解。广电总局监管中心的海量数据实现了“放得下”和“取得出”。
“放得下”和“取得出”
国家广播电影电视总局监管中心,拥有广播电视监测中心、收听收看中心、安全播出调度中心、信息网络视听节目监管中心和中视卫星公司5个单位,同时下设全国15个广播监测台,是我国宣传事业的“千里眼、顺风耳”。全国电视节目、互联网等信息网络视听节目、新媒体视听节目播出内容以及全国无线广播节目,全靠其监听监看。
随着机构的整合,卫星电视、网络视听节目和新媒体业务的不断发展,所需的存储系统规模巨大。
大容量是对存储的第一要求,“放得下”是最基本的。
以 IPTV播控平台为例,向下对接各个试点地区集成播控分平台,分发内容、产品、增值业务、EPG信息等,存储系统用于承担接收、存储内容平台提供的内容,并收集试点地区集成播控分平台的运营数据,现在仅仅实现了10个左右播控平台的直播码流录制和点播节目下载内容的数据存储量就达500TB,数据访问带宽达1GB;而后来,广电总局监管中心将2个直辖市、22个省会城市在内的42个城市也将纳入到监管范围之内,如此之大的监管量,自然需要一套处理能力强、数据存储容量大的系统作为支撑。这个“放得下”并不是简单的容量叠加,而是要能真正实现数据的共享,统一的命名空间。
“取得出”是广电总局对存储的另一个基本要求。
随着三网融合进程不断的推进,广电行业经营的业务从传统的有线电视、卫星电视、无线广播这类传统业务开始向互联网电视、IP电视、新媒体等新兴业务发展。数字电视进入到千家万户,节目的质量越来越清晰,这些都使得电视台电视节目数据量成PB级增长的同时,如何取出这些节目、如何高效的进行节目检索与分析等一系列问题接踵而来,成为制约电视节目数字化的“绊脚石”。
用广电总局监管中心张处长的话说,“我们以前50年产生的数据量都赶不上三网融合以来产生的数据量大,怎么存储、怎么管理这些数据是我们未来很长一般时间要思考的事情”。
因此,将媒体内容作为一种资本来进行管理、挖掘和再利用的要求逐渐迫切,实现媒资系统的分级存储、高速检索,建立高效、安全的存储系统势在必行。
图:浪潮海量存储系统
PB级存储,让数据“放得下,取得出”
各省市电视台、总局批准的七大播控平台以及地方新媒体电视运营商相互独立,又遍布全国各地,要实现紧急状态下对全国广播电视传输覆盖网的运行管理、资源调配和应急指挥工作,必须要打破信息孤岛的壁垒,实现所有业务数据的共享,统一管理,这需要具备“海纳百川”精神的兼容性高的存储设备来担纲。
为此,浪潮为广电总局监管中心提供了海量存储解决方案,主要承担广电广播监测系统、新媒体系统、资源共享系统、信息平台业务系统、卫星电视数据系统、收听收看等业务系统的数据存储任务。
首先解决“放得下”
广电总局监管中心的海量存储方案由在线存储系统、数据库系统、备份系统三大部分组成,在最关键的“生产系统”选择上,采用了浪潮AS10000。
AS10000最大支持64PB海量级的存储数据,64PB的数据管理规模,可以“放得下”广电总局所有业务系统1-2年的音频视频数据,这也就意味着监管中心“怎么存储”的这一难题可以轻松搞定。
然而,对于浪潮AS10000来讲,大容量只是小CASE,它更华丽丽的一个特点,则是它强大的整合能力。
AS10000同时支持NAS、IPSAN及FCSAN功能,融合iSCSI、FC、Infiniband及10Gb万兆主机接口,囊括了目前主流的存储网络架构及主机连接方式。它将广电总局目前的存储网络架构进行高效、合理整合,统一部署和集中管理,真正实现了数据的共享,统一的命名空间,从而更好地服务于广播电视事业。
其次必须“取得出”
对于张处长所提到的“怎么管理”即“取得出”这一问题,浪潮海量存储解决方案也不在话下。
随着我国有线电视数字化工作的全面推广,高清数字电视正在逐步普及,高清数字电视节目制作采用非线性编辑方式,这种方式下不同类型的业务对于数据读写的带宽需求有极大的差异,当前无压缩高清视频码率达100MB/s以上,经常使用的高清压缩码率也在100-300Mb/s之间,而标清视频已经达到50Mbps或25Mbps,每个文件的正常请求时间几分钟到几个小时不等,随着音频视频质量的提高以及并发访问,存储设备就要提供更高的传输码流和访问速度。
浪潮海量存储解决方案采用独有的高性能集群架构设计,可提供极高的带宽,其性能、容量随节点数量增加而线性增加,带宽最高达到64GB/S的速度,这堪称存储系统的“高速路”。可支持数千并发访问,满足了音频视频质量的提高以及并发访问的需求,从而为广电总局监管中心提供了更高的传输码流和访问速度。
迎来效率的提升、监管的加强
伴随着数据“放得下、取得出”这一难题的顺利攻破,广电总局迎来的是效率的提升、监管的加强。
曾经,各省市电视台、总局批准的七大播控平台以及地方新媒体电视运营商各自为政,又遍布全国各地,原来这些复杂的音频视频数据都在各自平台上进行存储一段时间,会删除部分数据,重要的才会迁移到广电总局的系统中来。这种存储模式造成了种种的不便——广电总局在紧急状态下数据管理、资源调配时候,常常陷入要么数据已删除、要么需要长时间的调取的窘境。
如今,广电海量存储解决方案只有“一个中心”,所有的数据都围绕着这“一个中心”进行存储,打破了信息孤岛,实现了多业务之间数据共享,提高了数据存储、管理安全性,满足了广电监管行业未来数据PB级增长的需求。如果需要对音视频数据进行查询检索及监管,无需千里迢迢地索要数据,动动鼠标,即可搞定,在64GB/S的高速带宽的支持下,流畅而轻松,效率大大提升。
而且,兼容并包的海量存储解决方案,多种格式介质并存,解决了经常要转换格式而导致质量下降、效率低下,音视频数据查询检索、上载、下载、审核、编目整体系统速度慢的问题。
随着三网融合与数字化电视高清化的进程,海量存储必将开启广电行业数据存储的新时代。