2012企业大数据状况调查报告
渠道在线 发表于:12年11月20日 11:52 [原创] 存储在线
在对用户认为云时代下企业数据挖掘面临哪些挑战的问题调查中发现,不管是数据安全性、网络瓶颈技术不成熟服务的水平缺乏相关的法规保障还是其他问题,总体分析来看,在大数据增长的影响下企业数据挖掘面临如下几个挑战:
一是异构数据问题,当前企业用户的网络数据的最大特点就是半结构化,如文档、报表、网页、声音、图片、视频等,而云计算变革所带来的基于互联网方式 提供的各种应用,如何有效掌控这些异构数据就是一个挑战。目前也有提出异构数据库系统,就是相关的多个数据库系统的集合,可以实现数据的共享和透明访问。
二是多源数据问题,随着企业不断适应云计算的变化,企业数据会有部分在公有云上,也有私有云上,面对不同数据来源,这对数据挖掘是一个很大的挑战, 以电力行业为例,随着网络技术在电力系统中的广泛应用,调度中心数据采集渠道多,如何从繁杂重复的信息中得到可靠准确信息,确实是一个挑战。
三是挖掘效率问题,通过分析每个数据,从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示3个步骤。但在云计算环境下,封闭的企业数据挖掘会逐渐不能适用,面对互联网带来的异构数据挑战,哪种数据挖掘算法效率更高,值得进一步研究。
最重要的一项调查中,涉及到企业正在使用的数据分析与挖掘平台,选项设立了5个项目,包括了(A、 Hadoop B、 开源的HBase C、 Teradata D、 Netezza E、Greenplum F、Exadata)从调查结果中分析得出Hadoop占据了一半多的市场,企业正在使用的数据分析与挖掘平台最多的还是Hadoop。可以预见的 是,Hadoop日渐成长引领开源云计算发,“大象很会跳舞。”Hadoop作为企业级数据仓库体系结构核心技术,在未来几年中它将会保持很好的增长。
为此,在2012年英特尔也推出了它的Hadoop发行版,英特尔Hadoop发行版是一套解决方案,针对不同行业客户进行系统整合,根据不同用户 的需求来实现个性化解决方案。长期来看,英特尔致力于打造健康的生态系统,通过ISV、OEM等众多合作伙伴,共同应对大数据带来的挑战,把握时代机遇, 利用大数据深挖价值。
英特尔以至强处理器构建的高效IT基础设施为基石,英特尔还计划在其上的数据组织与管理层,针对大数据的分发和管理需求提供针对英特尔平台优化的 Hadoop产品和服务。在大数据的分析与发现层,提供针对客户端与服务器端算法开发的支持,以满足大数据计算所需的性能与规模要求。在大数据的决策支持 与IT服务层,则将联合生态系统内的合作伙伴,提供更为优化的可视化应用体验。英特尔所有与这些规划相关的具体策略,将随着大数据技术、应用和市场的发展 逐步深化、细化。
相信有了英特尔这样上游厂商的加入,必将对Hadoop的未来增长带来更加积极深远的影响。