HDS助力新华社构建基于对象的云媒资存储服务平台
佚名 发表于:14年12月29日 12:54 [来稿] 存储在线
HDS针对媒资管理系统的优化方案,保证了媒资管理系统的高性能和高可靠性。通过先进的HCP归档存储系统,在国内媒体行业率先实现了以磁盘代替磁带保存历史资料的目标,为国内媒体行业用户媒资管理系统优化探索出了一条新路。
新华通讯社,简称“新华社”,是中华人民共和国的国家通讯社。新华社的音像资料库系统始建于2003年,目前库中已有音像资料70000小时,其中总社60000小时,条目数近90万条,各分社总计10000小时。随着各地进一步开展视频与新媒体业务,资料量还将进行进一步增长。但由于系统服务能力不足,还有大量的音像资料并未入库管理。然而现有系统核心设备均已老化,故障率逐年提高,同时因为时间跨度大,部分核心硬件和软件的厂商已停止服务。系统已到了一个需要全面更新、提升的阶段。
另一方面,受制于系统处理能力,目前音像资料库仅面向音视频部、新华08视频终端、国际部、对外部等部门提供服务。从2009年至今,累积资料出库已达19万条,共计13000小时。现阶段资料库系统一直处于超负荷运行状态,为保证业务对资料获取的时效性要求,只能强行通过管理手段限制资料的出库量,这在一定程度上也影响了节目制作。在阵地前移的战略部署下,有大量的社内用户希望开放音像资料库的使用,如亚太、拉美、欧洲总分社已提出使用需求,在国内,一些新媒体业务开展比较好的省份也已提出使用要求,但受限于系统运行压力和设计架构,现有资料库系统无法对总社之外的用户开放,难以满足业务对资源的使用需求。
新华社希望能够将音像资料库建成全社性、基础性、公共性的统一音像资料资产管理与服务平台,实现日均120小时各类视频资料加工处理及入出库,满足未来3-5年电视业务视频资料使用需求,并能初步解决分社音像资料的归档需求,实现全社视频资料的统一管理及共享。
根据新华社的具体情况和实际需求,HDS结合自身在媒体行业解决方案的优势,有针对性地提出了基于对象存储技术的云媒资管理平台的方案。该方案分别建设“在线”和“归档”两套存储系统。其中,在线存储系统用于存放热点视频、关键帧图片、低码流视频等需要快速浏览的文件,可供新华社内网数百用户并发进行视频浏览、编辑使用。归档存储则以“私有云”方式建设,用于代替磁带库存放需要长期归档保存的视频文件,可供新华社内外网用户直接访问,消除等待磁带出库的时间。
新华社技术局音像资料部云媒资项目组组长焦璐表示:“借助HDS的HNAS及HCP云存储解决方案,新华社将成为国内第一个改用磁盘介质保存流媒体资产数据的宣传机构。HCP解决方案的对象存储技术及客户化元数据功能,将为流媒体文件提供独立于数据库和应用系统的自我描述能力。同时,HCP提供的HTTP标准访问协议,既能消除磁带出库的访问等待时间,也能够直接为外网用户提供服务,能够大幅提高流媒体文件的读写响应速度。系统建设完毕后,HNAS及HCP云存储将成为新华社电视业务最核心的数据承载平台。”
HDS面向媒体行业优化的解决方案利用先进的对象存储技术和客户化元数据管理功能,实现视频文件的自我描述和自我管理,使其从数据库中脱离出来,成为独立的、可查询、可访问的媒体资产数据。通过这种方法,新华社将能彻底避免曾经发生过的数据库系统失效而导致磁带数据无法读取的情况再次发生。该解决方案主要具有以下五个方面的特点:
第一, 媒资数据“彻底数字化”,永远在线:HCP存储系统采用磁盘介质保存数据,具有极高的系统可靠性。一方面底层采用成熟的RAID数据防范磁盘故障导致的数据丢失,另一方面HCP冗余保护机制也可以避免因部分网关节点故障导致的业务停机,从而保证媒资数据的永远在线。
第二, 历史资料“应用无关”:HCP云存储系统采用先进的对象存储技术设计,并提供客户化元数据管理功能。这就意味着,HCP可以自行对文件对象的内容进行描述,无需依赖任何数据库和应用系统。因此,HDS建议在替换原系统的同时,利用HCP提供的API接口,为写入到HCP中的文件对象额外添加一份元数据,实现元数据双保险的效果。
第三, 归档数据“立等可取”:HCP云存储系统采用的是标准的网络共享协议,包括S3、HTTP、CIFS、NFS等,因此HCP完全可以作为在线存储系统使用,其数据可以直接对外提供服务,无需进行数据出库操作。
第四, 视频文件“外网可达”:HCP云存储系统的S3、HTTP协议可以支持路由,因此部署在总社的HCP云存储可以被内外网用户实时共享访问。经实测,HCP的HTTP协议可以穿透防火墙和网闸等安全隔离设备,从而实现视频文件的外网可达。
第五, 分社数据“自动上收”:HDS建议为新华社各分社配置HDI-VM软件,与部署在总社的HCP云存储平台配合,实现分社数据的自动上收。
HDS针对媒资管理系统的优化方案,保证了媒资管理系统的高性能和高可靠性。通过先进的HCP归档存储系统,在国内媒体行业率先实现了以磁盘代替磁带保存历史资料的目标,为国内媒体行业用户媒资管理系统优化探索出了一条新路。与此同时,HCP提供的云存储服务能力,也帮助新华社解决了文件跨洲际共享访问的难题,为下一步实现视频资料的网络销售奠定了基础。