“前方二百米有超速违章拍照,限速120公里,请减速慢行!”每当从路口经过,几乎都能看见非常多的摄像头,想必大多数司机朋友对这种语音提示都很熟悉。随着平安城市的不断发展,交通系统建设日趋智能,其中交警卡口承担着车辆行为监控的重要任务,在缓解交通拥堵、提高道路通行效率、刑事案件侦破等方面发挥着重要作用,能有效遏制交通违章现象,消除交通隐患。
交警卡口每天拍摄大量的图片文件,每天需处理的图片小文件高达TB级,这些数据需要保存一定的周期。亿级、十亿级,甚至百亿级的海量小文件给卡口系统带来巨大挑战。而目前市面上的存储系统大多是针对大文件设计的,对海量小文件存储和读取缺乏针对性的优化,在交警卡口这样的海量小文件存储场景并不适用。
业界多家公司致力于解决海量小文件问题。其中,瑞驰公司(vclusters)在对交警卡口特殊场景的研究中发现,海量小文件对卡口系统的主要影响为以下几点:
海量小文件删除慢!
一般的中小型城市,每天拍摄的图片可达到千万量级,这些图片的平均大小约200Kb,而传统存储系统对小文件的删除效率极低,以致于存储空间无法及时释放,常常影响到正常业务数据的写入。
海量小文件读写检索慢!
在交警卡口环境中,存储的文件小、数量多,在进行读写和检索操作时,频繁访问元数据,磁头频繁的寻道和换道,以致于延时非常大。如遇到业务高峰期,高并发量的访问甚至有可能造成系统崩溃。
海量小文件共享难!
卡口采集的重要图片需要上传,供省市各处机构随时读取、快速查找、无卡顿的浏览数据,并针对服务端和用户端设置不同的权限,比如服务端拥有所有权限,而用户端只能读取浏览数据,不能删除和创建。
解决卡口海量小文件问题,瑞驰有招儿!
在解决海量小文件问题上,瑞驰公司(vclusters)有独有的解决方案。公司研究团队经过反复研究与多次测试,专门针对海量小文件进行技术优化,最终推出瑞驰vcluster分布式存储系统和NxCells下一代微集群的解决方案。瑞驰vcluster分布式存储系统能提供数据高吞吐并发写入和多路视频并发读写,解决海量小文件检索和删除的问题。NxCells下一代微集群,能提供比传统存储更小的空间密度和更低的能耗,大大的缩减机房运维成本。
海量小文件极速删除!
从海量小文件的删除问题来看,瑞驰vCluster分布式存储系统可容纳海量的数据,存储系统单卷可支持PB级的存储空间,能高效的管理上百亿个文件,目录可支持百亿级文件数量,可提供20万个/秒小文件的极速删除速度,在竞争测试中远远大于行业内某国外厂商删除速度。
海量小文件高效读写与检索!
在瑞驰制定的海量小文件解决方案中提到,他们的vcluster分布式存储系统本身具备海量数据的分析处理能力。通过小文件合并技术,将多个小文件合并存储到一个大文件中,减少磁盘和网络开销,实现高效的小文件存储。通过高效海量小文件检索技术,在海量小文件写入的同时保持极高效率的检索速度。
数据全局共享,用户权限分级!
通过瑞驰vCluster分布式存储系统采用文件系统全局命名空间,所有计算节点都可看到一致文件系统视图,将所有重要数据全部归档至云端,实现文档的集中管理和协同办公,各级机构可通过终端随时访问档案,实现跨部门和层级的数据资源共享,并可针对各用户角色设定读写权限,方便管理的人员权限设置。
高密度低功耗,降低成本!
另外,瑞驰NxCells下一代微集群功耗低,符合国家发展绿色数据中心的政策。产品的硬件设计创新,使同等机房空间下,NxCells容量比传统X86服务器高一倍;同等存储容量下,能节省50%机房空间。因此,能大幅降低电力、制冷、空间、运维等成本。
“极致·创新”是瑞驰公司(vclusters)一直坚守的企业理念,未来会继续深入研究公安行业,不断追求解决方案和技术的极致、创新,助力公安交警行业高效应用大数据,为市民提供更好的交通服务,用科技力量促进智慧平安城市发展!