H3C:MAS多媒体存储访问架构解析
李晓 发表于:10年10月27日 15:30 [来稿] 存储在线
大联网的趋势、越来越高的监控码流要求以及日益丰富的应用,对监控系统的存储功能提出了新的挑战。不仅需要有大容量,而且必须具备良好的扩展性和稳定性。如何面对这些挑战?我们需要从多媒体数据的特点出发进行针对性的设计。
存储是视频监控系统中最为核心的功能之一,视频监控IP化、大联网的趋势对存储系统提出了新的要求。
一路出2M D1码流的视频监控摄像头,一天产生的数据量是21G Bytes。而一个大型监控系统中的摄像头数量往往数以千计,如此海量的数据通过什么格式保存摄像头的录像数据,才能提升后续回放和查找的效率?如何能为数以千计的摄像头同时提供服务器,在大量并发请求的情况下保持存储系统的稳定性,支撑7×24小时服务?
在海量的数据面前,单靠人进行多媒体数据的检索、挖掘明显力不从心 -- 效率低、成本高。随着智能视频技术的逐渐发展和成熟,视频监控系统中也开始出现智能化的需求。然而目前智能系统和多媒体监控系统大多为相互独立的两个系统,数据没有进行整合。成为数据共享以及效率提升的障碍。整合多媒体视频生产系统和智能视频技术,对视频监控的存储系统也提出了很高的要求,要求智能信息和视频监控系统生产的音视频信息要进行有效整合。这种情况下,MAS应运而生。
MAS(Multimedia Attached Storage),多媒体附属存储。是H3C IMOS(IP Multimedia Operation System)多媒体操作系统平台的核心组件之一。MAS是多媒体数据存储的基础架构,其不同于现有的文件系统以及普通块存储方式。它使用了创新的设计思路,以H3C多媒体存储专利技术为设计基础,具备高可靠性和高扩展能力。
一、MAS设计思想
MAS的基本设计出发点是"针对视频监控的专业多媒体存储系统",它以H3C在监控领域成熟应用的块存储技术为基础,并对原有块存储技术进行革新,吸取文件系统中的空间共享可动态调整等特点。吸取文件系统和块存储的优点,又规避了其缺点,并实施针对性视频监控应用的多种可靠性保证设计。
作为适合视频监控的多媒体存储基础架构,MAS设计时详细分析了多媒体的数据特点以及在不同场景下多媒体系统的应用特点,在块存储的基础上进行深层设计。MAS兼具文件系统的空间共享、弹性以及块存储的高效、稳定的特点,对存储核心的元数据区进行了严密的保护和访问限制。针对视频监控应用做了存储空间访问的优化和扩展,具备多媒体数据存储的灵活管理和高可扩展性、高可靠性的特点。
1. 存储资源全局访问 -- IP可达即存储可达
MAS具备存储资源的本地和网络化访问方式,对存储资源的生产者和使用者提供了统一的访问接口。生产者和使用者无需了解存储资源的位置,组网中存储资源可全局访问,所有的存储资源都由MAS接管,并提供全局的存储服务。这种归一化的访问方式可减小后续应用的开发工作量。
对于小型组网中常见的DVR/DVS等方式,MAS可安装在DVR/DVS内提供本地存储服务。
大型组网中分散的数据难以管理,又有信息安全的风险,势必带来数据集中的要求。存储空间的网络化访问是必然的方式,MAS使用的iSCSI协议基于TCP/IP之上,当前IP网络的普及和成熟性为MAS的部署提供了基础保障。通过iSCSI协议无论是媒体数据的生产者还是媒体数据的访问者(如:VOD Server、第三方系统)都可以方便快捷的写入或获取数据,真正可做到IP可达即存储可达。
图1 MAS网络化访问模型
2. 多重可靠性设计 -- "稳定压倒一切"
MAS的设计目标是提供7×24小时服务,因此稳定和健壮是关键指标,MAS在多个层次采用多种手段提升系统的稳定和健壮:
l 底层使用Raid冗余技术
底层使用Raid5技术,保证存储空间的冗余保护。在发生单个磁盘损坏时可利用Raid5技术对数据进行恢复,避免MAS的元数据和多媒体数据遭到损坏。
l 数据区和元数据区操作分离
在视频监控摄像头产生的海量数据面前,普通的桌面级文件系统无论在稳定性还是性能上都将面临极大的问题,频繁、异径且大量并发的文件系统元数据区的访问将会导致其难以承受。MAS系统对多媒体数据的访问和元数据的访问作出了严格的控制,元数据只能由MAS的管理者--MAS Manager Server操作,多媒体数据的生产者和使用者被严格禁止操作元数据。多媒体数据和元数据区的操作分离可以保证MAS Manager Server万一发生故障或宕机,不会影响多媒体数据的正常访问,媒体数据的生产者还可以继续存入数据,媒体数据的访问者还可以继续读取数据。
l 对元数据区进行冗余保护
MAS同时对元数据区进行了冗余设计,当发生不可预料的异常时,系统可根据MAS元数据区的冗余信息找到正确的元数据。例如,由于某种原因MAS Manager Server发生了掉电,其对元数据区的操作可能只是部分完成,此时元数据区中的数据出现了错误,MAS Manager Server重新上电后会自动根据冗余信息找出正确的状态,保证MAS系统的正常运行。
3. 共享块存储 -- 扬长避短
MAS对H3C原有块存储技术进行了扩展设计,使得一个MAS卷可同时为多个媒体资源的生产者使用,空间共享并可按需要扩展或缩小。为了减少对元数据的访问,MAS将基本存储块扩展到适合视频数据的256M Bytes(文件系统通常为几十K~几M),256M的基本存储块可进一步细分为适合图片数据的16M Bytes。媒体数据的生产者和使用者在数据操作时无需访问元数据区,只在存储空间需要扩大或缩小的时候通过MAS Manager Server访问元数据区,极大的降低了对元数据区的访问。
4. 数据关系矩阵 -- 智能应用整合
数据关系矩阵解决的核心问题是多媒体数据本身与其他系统产生的针对多媒体数据的表述信息建立对映关系。比如基于IMOS的监控系统所产生的关于车流的视频和车牌识别系统识别的车牌号。MAS系统中这种对映关系可精确到帧组级别,后续可根据表述信息快速定位到多媒体数据的具体位置,也可以根据多媒体数据快速获取相应的表述信息。
图2 MAS应用整合模型
l 应用举例1 -- 视频标签:
城市重要道路的视频监控中,对于重要路口通常会有民警实时查看,民警可以通过实时监控界面随时为视频添加标签,例如:民警可以描述此路口的交通实时拥堵情况,红绿灯放行情况。事后民警可根据标签信息调取相应视频进行分析,优化车道设置、红绿灯放行时间设置以达到优化交通的目的。
l 应用举例2 -- 智能整合应用:
目前视频智能分析工具虽然很多,但是这些工具基本都是针对某种场景,通过MAS可以将多种智能分析工具整合起来。比如:智能分析工具A为车牌识别系统,智能分析工具B为周界检测系统,如果要在一段视频中找出红色小汽车进入某个周界的视频,目前的智能分析工具是相互独立的,对此无能为力。如果使用MAS系统,可先使用智能分析工具A 分析视频中包含红色小汽车的视频,然后使用智能分析工具B分析包含红色小汽车的视频,从而得到准确符合用户需求的视频。MAS也可以在已经经过多种智能分析工具分析的视频中用组合逻辑查找相应的视频信息,例如:可以查找汽车进入某个周界或/且有红色小汽车的视频。
二、MAS架构
MAS设计秉承IMOS的抽象、开放、分层的设计原则。
抽象:MAS抽象出各种物理存储资源(如:磁盘、CF卡)的共性特征,并将其封装为统一的读、写、查接口。例如:资源的使用者(如:编码器)无需感知物理存储资源,也无需感知是本地还是远程物理存储设备,使用统一的接口即能访问所有类型的物理存储资源。
开放:MAS无论对系统内网元还是系统外网元都提供标准的访问方式,对内为读、写、查接口,对外为标准的RTSP/RTP等访问接口。可以很容易的通过开放接口开发IMOS应用以及和外系统联动扩展。
分层:MAS内部架构的分层设计降低了内部模块之间耦合度,提升了MAS系统的稳定性,以及可移植性。基于这些分层的设计可以便捷的开发基于MAS的应用,以及扩展MAS内部的功能。
MAS架构如下图所示:
图3 MAS架构
l 流媒体应用层
实现标准流媒体协议,如:RTSP/ RTP等,对外展现为标准流媒体接口。提供标准流媒体服务,外部系统可通过标准流媒体方式访问MAS系统内的多媒体数据。
l 生命周期管理
MAS统一管理系统中的所有多媒体数据,可根据用户灵活配置的策略进行生命周期管理,如:留存期管理、抽帧备份、归档等。通过对多媒体数据的生命周期管理,最大限度的利用存储空间以及保留重要信息,为用户有效降低对存储空间的投资。
l 媒体数据直接访问接口层
MAS系统提供多媒体数据的直接访问接口,主要是在多媒体系统中其他网元访问存储资源时使用,多媒体数据对应的特征数据都在此接口进行封装。接口对存储资源的使用者抽象成读、写、查三类接口,简单易用。使用者无需关心存储资源的类型、访问差异及数据组织方式。
l 数据组织层
数据组织层负责多媒体存储格式、维护多媒体数据和智能特征数据之间的关系。关系组织结构如下图所示:
图4 数据组织关系模型
为适应图4所示的数据关系矩阵,MAS对多媒体数据的存储格式进行了针对性设计,多媒体数据区可动态建立扩展索引关系,利用扩展索引可关联到相应的多媒体特征或相关表述信息。MAS中设计的扩展索引非常灵活,通过扩展索引可以关联到数据表格、数据库、URL、文件系统中的文件、甚至是物理地址。
l 存储资源屏蔽层
存储资源屏蔽层的作用是抽象存储资源的访问,屏蔽存储资源的差异。无论真正的存储资源是本地磁盘、CF卡、IPSAN、还是FC SAN存储资源的使用者都不需关心。通过"媒体数据直接访问接口层"为用户提供统一的访问接口。
l 物理资源层
真正的物理资源,如磁盘、CF卡、IPSAN等物理存储资源。
l MAS管理
整个MAS系统的管理者,也是系统中的存储资源和多媒体数据的管理者,负责元数据区的维护。为存储资源的管理员提供各种管理手段,如:动态扩展、缩小存储资源,存储资源的上下线等。
三、结束语
对于视频监控系统而言,存储非常关键。随着视频监控的网络化不断深入,规模不断扩大,智能应用的逐渐实施,传统的普适性文件系统将会越来越力不从心。针对视频监控特点开发专业存储系统是视频监控大联网时代的必然趋势。