EMC推进Hadoop在SQL数据库Hawq中的应用

wangfei 发表于:13年02月26日 16:48 [编译] 存储在线

  • 分享:
[导读]EMC完成了一项出色的异种融合工作,将Hadoop与Greenplum整合在一起,得到了支持SQL语言的数据库Hawq。

EMC完成了一项出色的异种融合工作,将Hadoop与Greenplum整合在一起,得到了支持SQL语言的数据库Hawq。

Hadoop一直与事务处理和数据仓储系统中所用的关系数据库配套使用,但是它其实也可以支持其他的语言。当然,你也可以在类似于Hive SQL的数据仓储系统中使用Hadoop分布式文件系统(HDFS),但是查询的速度就不一定能够保证了。 如果你想要保证查询的快速,你可以用Cloudera在去年10月份发布的Project Impala分布式查询引擎来加快;类似于Hive SQL的查询。

但是你真正想要的是让Hadoop能够识别和支持SQL语言。 你希望享受到HDFS所具备的所有内在可测量性和复制优势,让它能够支持标准SQL查询或支持SQL的其他任何工具,当然那些工具大部分指的是各种商业分析语言。

简而言之,那就是EMC的Greenplum开发团队在Project Hawq项目上取得的成果。据Greenplum联合创始人兼高级产品主管Scott Yara称,EMC的数据仓储和Hadoop部门经过十多年的基础性研发,为Greenplum开发出大量并联关系数据库,并且让它能够与Teradata、IBM、甲骨文和其他厂商推出的同类产品进行竞争。

Project Hawq项目这个SQL数据库层位于HDFS顶部,而不是想利用一个非SQL数据库来替代它。Project Hawq将成为EMC的Pivotal Hadoop Distribution或简称为Pivotal HD的最新Hadoop产品的一部分。

那个名称很重要。Greenplum是Pivotal Initiative计划的一部分,EMC在去年12月时说过,Pivotal Initiative计划的目的是将其并联数据库、Hadoop、应用框架和其他一些资产整合到一个部门之中。

Pivotal这个名称来自于灵活的编程设备,Greenplum习惯利用那些编程设备用来协助完成其管理软件的部分编程工作,EMC在去年3月面向Greenplum数据库和Hadoop推出Chorus管理工具并将它转为开源项目时决定收购它。

Pivotal HD已于本周一在旧金山召开的发布会上正式发布,但是Pivotal部门却还未正式成立。成立Pivotal部门是EMC首席战略官Paul Maritz自2012年7月辞去VMware首席执行官职务后着手的第一项重要工作。

乘坐着大象的Hawq重重地踏在一只黑斑羚上

EMC发布Pivotal HD是建立在开源阿帕奇Hadoop 2.0基础之上的,当然Greenplum并联数据库和相关工具还会提供更多的好处。

目前还不清楚EMC是否将把所有这些技术都开源,这也是El Reg目前正在关注的问题之一。现在很难预测EMC下一步会怎么做,但是考虑到现在已经有一个社区版本的Pivotal HD和不支持SQL-on-HDFS数据库功能但具备付费企业级支持功能的企业版本的Pivotal HD以及企业版本基础上的插件Pivotal Advanced Database Services可以给HDFS中存储的数据提供SQL查询功能,似乎EMC不太可能将Greenplum的所有技术都开源。

原因是虽然Yara在发布会展示中将它称为“王冠”,但是Project Hawq其实是整个Greenplum中的最有价值的瑰宝;Yara称,公司成立了一个由300多人组成的工程技术团队,在过去2年里一直在开发指向HDFS的数据库扩展项目。Yara称,这是全球最大的Hadoop开发团队,并且他还多次强调EMC正全力以赴地开发Hadoop,因为公司相信Hadoop将会成为一种新的数据结构的基础。

Hawq并不是任何特定事物的首字母缩写词,而是工程师们偶然想到的一种鸟的名字,就象Hadoop项目中使用其他动物做产品的名字一样。为了营销上的便利,工程师们将名称中的字母k换成了字母q。

[责任编辑:黄辉]
大黄
以备份起家的CommVault近两年的解决方案不断向更全面的数据保护转型,并对数据管理、数据挖掘也有了一些关注。CommVault中国区技术总监蔡报永接受采访时表示CommVault将继续做一家专注做数据管理和信息管理的软件厂商。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.