体现大数据价值 Hadoop大放异彩

这年头，如果不知道Hadoop，你都不好意思跟人说你是“混”IT的。

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，并充分利用集群的威力进行高速运算和存储。其主要是由HDFS、MapReduce和Hbase三部分组成。

▲听众如云——Hadoop 2011中国云计算大会大数据论坛盛况

大数据概念的提出有一段时间，2011年的中国，大数据却异常的火爆，在各类型的大会上，只要有关于大数据的内容，其必然人满为患，而这种情形在 “Hadoop中国云计算大会”上可谓是到了极致。其中，包括FaceBook、Google、淘宝、人人网、即刻搜索、华为以及腾讯等国内外知名IT公 司都对Hadoop的应用经验进行了分享，一时之间，听众如云，让我们深切感受到大数据带来的“火热”。

另一方面，大数据所带来 的商业价值越来越吸引众多的企业加入对大数据的分析行业，而在这之中，开源的Hadoop工具则成为大数据处理的首选工具。 虽然目前的Hadoop生态系统还并未完善，但随着越来越多的公司加入其中，业内人士认为，Hadoop必将成为大数据处理分析的首选“利器”。目前包括 微软、EMC以及IBM等诸多跨国厂商已经加入其中，并有基于Hadoop的相关产品发布。

开源的商业价值在哪里?我想红帽公 司也许会给我们提供一个很好的实例。据最新消息显示，红帽已经突破10亿美元的收益。就Hadoop而言，其前景 似乎更加乐观，诸多投资人均表示对Hadoop具有浓厚兴趣。从分布式层面上来说，Hadoop开源软件整体方案供应商Cloudera已获得7600万 美元投资，分布式架构新成员MapR和Hortonworks分别融资2900 万美元和5000万美元;而从栈的层面上来看，Hadoop海量数据分析平台Datameer、 Karmasphere和Hadapt已分别获得了1000万美元左右投资。大量专注这一技术的初创公司(如Zettaset、Odiago和 Platfora等)更是如雨后春笋般迅速涌现。另外，投资机构Accel Partners最近还成立了一个总额为1亿美金的大型数据基金，专门用于投资基于Hadoop和其他核心大型数据技术的应用。

并且，更为重要的是，越来越多的用户加入到Hadoop这个生态系统之中，如在Hadoop World大会和网络博客上经常可以看到Walt Disney、Orbitz、LinkedIn、和Etsy等很多大公司通过讲述自己的亲身实践大赞Hadoop;在国内的典型代表则有淘宝、人人网、即 刻搜索、华为以及腾讯等等。用户口碑永远是最有效的宣传途径。这些大用户的“亲身试法”，对很多潜在用户来说是一种无形的鼓励，也能在一定程度上帮助他们 认识“从何开始、去往何处”的问题。

再加上Hadoop本身的优势，除了核心设计思想MapReduce和 HDFS(Hadoop Distributed File System?)外，Hadoop还包括了从类SQL查询语言HQL，到NoSQL HBase数据库，以及机器学习库Mahout等内容。Cloudera、Hortonworks和MapR都已在他们的分布式系统中加入了Hadoop 项目。最近，Cloudera还成立一个名为Bigtop的项目，集成了所有Hadoop相关项目。作为一个幕后英雄，Hadoop未来必将应用于越来越 多的领域，风靡全球。