大数据所带来的商业机会被越来越多具有技术前瞻性的厂商所重视。商业利润的分布也有了很大变化,据市调机构测算:今年预计总价值50亿美元的大数据市场目前有44%的份额来自服务类产品,31%源于硬件销售,而软件支持则占去了另外25%。这导致传统的IT企业凭借多年的技术积累和客户资源在向大数据领域转型,这个市场也为具有独特解决方案或服务的新兴公司带来了超越前者的机会。
像IBM、惠普、戴尔这样的传统硬件厂商,依靠在软、硬件这样的优势,逐渐向客户提供端到端的解决方案。除了加强自身的研发力度,更在大数据的潜在科技突破点上攻城略地,广泛的合作、兼并动作频频。2010年EMC通过收购Greenplum正式进入了数据仓库市场。并在次年推出了支持大数据分析的下一代EMC Greenplum统一分析平台;同年IBM收购了数据分析公司Netezza,开始拓展商业价值方面的市场;惠普对 Vertica进行收购;去年10月,甲骨文发布了新版NoSQL数据库企业版,这是运行于Hadoop 之上的大数据软件之一;微软宣布与Hortonwork公司建立新的合作伙伴关系,后者致力于Hadoop开发。为了增强非传统数据分析的能力,Teradata收购了Aster Data公司。新兴的大数据企业如雨后春笋般涌现。ClickFox、Cloudera、1010data以前名不见经传的厂商迅速崛起,以“大数据即服务”方案力争在未来庞大的市场需求依靠自身的创新为客户创造出独特的价值。
现在我们扫描一下主要厂商在大数据领域的布局状况:
IBM提供BigInsights、BigSheets和BigCloud
仅仅几年前,IBM开始在其实验室尝试使用Hadoop,但是它在去年将相关产品和 服务纳入到商业版,甲骨文和微软在其之后才宣布各自也将积极接受该平台。IBM在去年5月推出了InfoSphere BigInsights软件。该软件包包括Apache Hadoop发行版、面向MapReduce编程的Pig编程语言、针对IBM的DB2数据库的连接件以及IBM BigSheets,后者是一种基于浏览器的、使用电子表格隐喻(spreadsheet-metaphor)的界面,用于探究和分析Hadoop里面的数据。
IBM随后又在10月通过其智慧云企业(SmartCloud Enterprise)基础架构,将BigInsights和BigSheets作为一项服务来提供。这项服务分基础版和企业版;卖点就是客户不必购买支持性硬件,也不需要IT专门知识就可以学习和试用大数据处理和分析功能。据IBM声称,客户用不了30分钟就能搭建起Hadoop集群,并将数据转移到集群里面,数据处理费用是每个集群每小时60美分起。
Oracle:数据库+大数据机
Oracle的大数据策清晰而直接。NoSQL数据库和Big Data Appliance组合为客户直接拥有处理非结构化海量数据的能力。甲骨文大数据机(Oracle Big Data Appliance)将甲骨文-Sun分布式计算平台与Cloudera的Apache Hadoop发行版、Cloudera管理器管理控制台、R分析软件的开源发行版以及甲骨文NoSQL数据库结合起来。甲骨文还包括连接件,因而让数据能 够在大数据机与甲骨文Exadata或传统的甲骨文数据库部署环境之间来回传送。甲骨文为这套综合的软硬件“工程一体化系统”提供了一线支持;但是即使出 现棘手的Hadoop难题,甲骨文也可以利用Cloudera的专长,它还可以介绍客户使用Cloudera的Hadoop培训和咨询服务。
大数据机通过全机架(full-rack)配置,每个机架配备864GB主内存、216个处理器核心、648TB原始磁盘存储容量,以及节点之间每 秒40千兆的InifiniBand内部连接。软硬件总计售价将达到45万美元,每年收取12%的软硬件支持费。这个价格颇具竞争力,相当于每TB不到 700美元。
微软:面对开放的悬疑
微软在去年推出了基于Azure云平台的测试版Hadoop服务,今年它承诺会推出与Windows兼容的基于Hadoop的大数据解决方案(Big Data Solution),这是微软SQL Server 2012版本的一部分。微软宣布推出了两个基于Hadoop的大数据处理的社区技术预览版连接器组件,一个用于SQL Server,另一个用于SQL Server并行数据仓库(PDW)。该连接器是一个部署在Linux环境中的命令行工具。
SQL Server Hadoop连接器在微软大数据之路上最重要的一步。但由于Hadoop、Linux和Sqoop都是开源技术,这意味着微软要对开源世界大规模地敞开胸怀,这一点值得用户关注。另外,微软还宣布将推出LINQ Pack、LINQ to HPC、Project“Daytona”以及Excel DataScope,这些产品都将专为研究人员和业务分析师打造,用以在Windows Azure上做大数据分析。
EMC:单一的数据分析平台
Greenplum在大数据方面有43000万美元营收,目前由EMC公司所有。EMC Greenplum统一分析平台(UAP)是一款单一软件平台,数据团队和分析团队可以在该平台上无缝地共享信息、协作分析,没必要在不同的孤岛上工作, 或者在不同的孤岛之间转移数据。正因为如此,UAP包括ECM Greenplum关系数据库、EMC Greenplum HD Hadoop发行版和EMC Greenplum Chorus,而后者是一种协作式、类似社交网络的界面,可供数据分析团队处理,无论团队成员是有博士头衔的数据科学家、数据集成专家和商业智能分析员, 还是数据库管理员和业务部门的用户及管理人员。
EMC为大数据开发的硬件是模块化的EMC数据计算设备(DCA),它能够在一个设备里面运行并扩展Greenplum关系数据库和 Greenplum HD节点。DCA提供了一个共享的指挥中心(Command Center)界面,让管理员可以监控、管理和配置Greenplum数据库和Hadoop系统性能及容量。UAP软件将数据访问、管理和工作流统一起 来,并与其他数据源和数据处理方法联系起来;随着Hadoop平台日趋成熟,预计分析功能会急剧增加。