美国政府机关收集着庞大的信息数据。但是,对于很多政府机关而言,不仅大数据分析在改善预测和决策方面成效不尽人意,就连大量数据的保存也成为大伤脑筋的问题。
大数据中,蕴藏着变革政府机关业务的可能性。通过大数据分析可以实现:提升预测和决策的效率,大幅度改善其速度和精确度。但是,尽管大数据有以上诸多的优势,但是,大多数美国政府机关在大数据的应用上步履艰难。
美国政府机关信息科技(IT)网络MeriTalk近日公布了调查报告The Big Data Gap。报告中提出,联邦政府机关缺乏在大数据应用中不可欠缺的诸如数据保存和访问管理的技术、电脑程序制作能力以及人才。
此调查报告的赞助商。NetApp(美国网域存储技术有限公司)公共部门总裁Mark Webber说,政府手中正掌握着庞大的大数据这个金矿。需要他们做的事情不过是,从数据中找到有助于提高效率和改善决策的情报而已。各政府机关需要引进大数据的解决方案,以提高数据处理和分析、管理以及访问的效率。
政府机关收集的数据多种多样。根据MeriTalk的报告,87%政府机关所属的IT专业人士回答说自己保管的数据的数量过去2年间有增加,而96%回答估计今后2年会增加(平均增加64%)。而且,政府机关持有的数据中,非构造化数据所占的比例为31%,这个比例也在增加。
现在,各政府机关持有的数据量平均在1·61PB左右。这个规模,在今后2年内预计会膨胀到2·63PB.数据的内容包括其它各级政府机关提出的报告、现场报告、处理业务的数据、科学调查数据、图像和视频、网络关联数据以及非政府机关提出的报告等。
报告说,超过半数的(64%)IT专业人士回答说自己所属的机关的数据管理系统可以根据数据数量的增加实现扩展或提升,但是,中短期的容量倍增预计平均需要10个月。
MeriTalk的报告分析,尽管各政府机关收集着庞大的数据,但回答说这些数据由所属的相关机关分析的IT专业人士只占60%,并且,回答说数据利用在战略决策的不足40%。而且,在大数据的应用方面,即使像美国国防部和各种情报机关这样的地方,也远远落后于民间。在民间超过60%的组织回答说在积极探索利用大数据以改善业务效率,而国防部和情报机关这一比例仅为42%。
Mark Webber指出,阻碍大数据应用的因素很多,而且有多种原因。首先,阻碍的因素是数据的归属问题。这个问题在民间往往很清晰。在多数的企业中,IT部门的数据分析师通常配备在业务部门。虽然在有些企业中,将庞大的数据存入存储器的工作由IT部门负责,但是最终成为数据的所有者并决定使用方法的绝大部分是业务部门。但是,这种模式在政府机关则行不通。
根据MeriTalk的报告,42%回答者说数据的所有者应该是收集数据机关的IT部门,28%说应由数据收集部门,21%说应由C- level的管理人员所有。
在政府机关,往往缺乏对“数据的所有者”这概念的正确认识。有些人认为由谁所有并不是什么问题,这是非常错误的想法。比如,分析数据的工作多数需要在多个部门共同参与下完成。这时就需要有人发出指令,这一点非常重要,只有在这种情况下工作才能顺利进行下去。
此外,政府机关还面临着技术和人才不足的问题。大数据的应用,基础环境建设是非常重要的。目前的准备状况是,数据保存和访问方面49%、电脑程序制作能力为46%、人才方面为44%。并且,有57%的回答者说,现有的管理工具和基础设施无法处理的数据集合有1个以上。
美国的奥巴马政府,为了促进在政府机关应用大数据,今年3月末公布了“大数据研究开发(R&D)提案”,承诺将2亿美元以上投资于大数据的研究和开发上。