Romley处理器平台即将发布?英特尔在存储领域的隐形霸主地位无可撼动?统一存储将在今年大放异彩?单兵作战已经落伍,融合基础架构将成“新宠”?大数据崛起,集群存储或是应对大数据问题的最佳架构?Hadoop将是大数据分析的终极利器?带着这些未解答的疑问,我们走进了2012 年,2012年的存储领域将会有哪些趋势?且听我们一一道来。
从底层推动存储技术发展:Romley、Open FCoE与PCIe SSD
如果说Romley、Open FCoE与PCIe SSD之间有什么联系的话,那么他们之间的联系就是英特尔!如果你对英特尔的印象还停留在服务器、处理器方面的话,那你就真的是“奥特曼”了,英特尔的“隐形触手”早已进入到了存储行业,并且其在存储领域的话语权日益增强。据有关资料显示,目前存储产品超过80%的处理器芯片都是由英特尔公司出品,就连一向专注于高端存储的HDS在去年发布的VSP中都是采用的英特尔芯片。
Romley处理器影响深远
如果其他公司在取得如此成就之后,也许会“心满意足”,但英特尔不会,在一统X86服务器市场之后,英特尔再次加大了对存储市场的“关注”。英特尔一直在谈的Romley处理器平台将是其扩大存储领域影响力的有一大“利器”。尽管其一再跳票,至今都还未正式发布。
▲英特尔透露的Romley技术细节
但从目前透露出的有关Romley的资料来看,其将在处理器平台上内建6GB SAS,并且将以类似“软RAID”的方式直接由处理器进行RAID。从目前处理器的运算能力上来看,这并不是天方夜谭,如英特尔至强E7平台在性能和可靠性方面已经不弱于传统的RISC小型机。可预见其一旦发布,必然会直接给HBA市场带来直接影响,而不久之前LSI收购SandForce似乎就是一个“暗号”(关于LSI收购SandForce的意义,有兴趣的朋友可以关注《LSI收购SandForce:精耕闪存市场》)。而从整个行业高度来看的话,Romley一旦发布必然将再次推动整个存储行业的发展,并直接给中低端存储市场注入一剂“强心针”。
推广SSD不遗余力
不仅如此,英特尔在SSD市场上的霸主地位也已确定。如果说处理器芯片市场可以算是英特尔的老本行的话,那么SSD则彰显了英特尔在新兴市场中的创 新能力。其对SSD的推广力度可谓是不遗余力,在2011年4月的北京IDF大会上,英特尔对SSD的工作原理、测量方法以及使用误区都做了详尽的讲解。 在9 月的美国IDF大会上,又分享了SSD在数据中心以及企业级IT系统的应用案例进行了分享。
IDF大会上的技术课程也许不能直接带来销售数字,却使SSD深入人心。从市场研究公司IDC的最新数据即可略见端倪,2011年第三季度的SSD 出货量达到了66.6亿,在企业级市场(包括数据中心系统、存储阵列和服务器),销售额由去年同期的2.478亿美元增长到了5.22亿美元,增长超过一 倍。而在客户端(消费级市场)的收入由去年同期的 3.54亿美元增长到了7.16亿美元,也超过了一倍的增长。
IDC认为,SSD现在已经真正进入到了主流市场的行列。虽然不能完全说是英特尔的功劳,但其对SSD的推动作用却不能忽视。并且,在美国的IDF大会上,英特尔正式对PCIe SSD的应用前景做了讲解,服务器与存储的再次融合即将发生。
Open FCoE推进数据中心统一网络进程
Open FCoE是英特尔发布的一个开源项目,其旨在通过“允许具备以太网卡和光纤通道转接器的系统登录到以前只为光纤通道HBAs准备的光纤通道网路中”,这将 “有助于加强网络聚合性,降低数据中心的复杂性”。其以软件形式实现,不需要任何特殊的硬件,也不依赖于主机的处理能力,并且这都是免费的。
数据量的海量剧增,尤其是海量的非结构化数据,对数据中心的网络带宽要求越来越高,并且,由于数据处理、分析技术的发展,企业数据的价值逐渐凸显, 数据的流通频率越来越高,使得原有的数据中心网络越来越难满足企业的需求,迫切需要一种新的网络协议来满足大数据时代下的业务需求。而FCoE则被大多数 人看作是未来数据中心网络的最大竞争者。
从目前存储协议的路线图来看,在FC方面,目前主流的是8GB,16GB已经发布,并有应用,下一步则是32GB FC。而在以太网方面,10GB以太网已经开始使用,并已有部分大型企业数据中心开始尝试40GB以太网,10GB无损以太网桥接技术已经逐步在存储产品中使用(如戴尔 EqualLogic),下一阶段目标则是100GB。32GB FC与之相差甚远,所以基于以太网的FCoE的优势就十分明显了。
目前,英特尔的Open FCoE项目得到了业内诸多厂商的支持,如EMC宣布它的Symmetrix VMAX and VNX平台将支持Open FCoE,思科Nexus 2000和5000统一光纤交换机也将认证它。据英特尔透露,还包括了NetApp、博科、戴尔、微软、Novell、 Oracle和Red Hat等均对其提供支持。
统一存储崭露头脚
尽管统一存储出现了这么多年,但它的重要性和未来发展趋势却是近些年才被逐渐认识的。从2011年各厂商的宣传和发展中,明显可以感觉到其正在逐渐 升温,并超过了之前的热点之一——集群NAS。据市场研究公司ESG发布的调查数据亦可证实,ESG在对306个有存储规划或者决策职责的IT专业人士的 调查中发现,有70%已经或者正在计划实施统一存储。有23%已经实施了这个技术,47%的仍在规划阶段。
统一存储指的是一种网络存储架构,它既支持基于文件的NAS存储,又支持基于块的SAN存储。这种多协议系统可以通过IP或光纤通道(FC)连接至 服务器。在统一存储系统中,块访问通过光纤通道、SAS或基于以太网的iSCSI等接口来实现;文件访问是指使用基于以太网的CIFS或NFS访问存储系 统中的文件系统。
统一存储较为被人所熟知的有NetApp早期发布的,被评为美国存储杂志评为的2002年最佳存储产品奖的FAS 900,而最新的则是EMC在2011年发布的,在业内大出风头的VNX家族系列。不管是国际厂商还是国产厂商都先后推出了自己的统一存储,如IBM的 StorwizeV7000系列,戴尔的EqualLogic FS7500,国内厂商则有华赛(现已被华为收购)的Oceanspace N8000集群NAS存储系统,创新科(UIT)的SV3000、第二代统一存储SV5000G2以及SV6100/6800,同有飞骥公司的 iSUM620、iSUM810和iSUM860等等。可谓是“百家争鸣,百花齐放”。
▲2011年EMC大出风头的VNX家族
在统一存储市场,老对手NetApp与EMC的角力将成为重头戏。NetApp统一存储产品的代表是FAS系列,其中中端产品的知名度最高,比如最新的中端产品NetApp FAS3040与FAS3020相比,其性能和可扩展性分别提高75%和50%。NetApp统一存储产品可以支持文件服务、FC SAN、IP SAN和多网络配置,能够无缝升级到更高性能的系统。
EMC VNX系列是新一代统一存储的代表,它遗传了Celerra NAS和CLARiiON SAN的优秀基因,可以在单个存储控制器内同时运行Celerra DART和CLARiiON FAIR存储堆栈,并可通过Unisphere接口进行管理。与原有的EMC中端存储系统相比,高可扩展的VNX的性能和效率提高了3倍,管理也更加简单。VNX是高端技术下移的典型代表,具有全自动存储分层、虚拟化、精简配置等多种功能。
统一存储一扫之前的不振,而在2011年崭露头脚,究其原因在于,数据量的迅猛增长,尤其是非结构化数据量的快速增长,对存储的性能、容量和功能等提出了更高的要求,而原来单一的SAN或NAS已经不能满足用户多方面的存储需求;iSCSI SAN的出现,逐渐消除了FC与IP之间的隔阂;从服务器整合到网络融合,再到数据中心整合,整合已是大势所趋,存储也不能置身事外。
外部原因促使存储厂商将目光再次聚焦到统一存储上面,并相继推出各自的产品。基于硬件技术的飞速发展,使得统一存储的作用逐步凸显,并将在未来大放异彩。
单兵作战已落伍 融合基础架构初登台
据Gartner的研究报告显示,对于企业来说,数据增长是数据中心硬件基础架构所面临的最大挑战,其次分别是系统性能和可扩展性以及网络阻塞和接 入架构。在数据中心内担负海量数据贮存重任的存储设备,近几年来正随着各行各业数据量的爆炸性增长而逐渐走红,其受用户关注的程度,很多时候甚至还超越了 服务器。这也导致了数据中心面临最大的压力也不再是计算,而是存储和网络。从而,数据中心的运行效率取决于存储系统的部署和网络设计。
未来的数据中心,不管是对企业内部人员,还是对于外部客户,都会通过网络连接,针对不同的应用有单独匹配的设备提供支持,所有的计算都通过互联网联 结在一起,这些网络也连接企业当中的近端存储和远端存储。而开放性、高利用率、自动化、低耗、自动化管理也将成为新一代数据中心建设的关注点。
在这样的背景下,出现了将服务器,存储,网络,虚拟化或是应用软件等多重IT技术融合在一起的基础架构供用户选择。随着越来越多的厂商进入市场和现有的厂商不断改进他们的产品,选择融合基础架构作为构建现代化数据中心的平台正在吸引着越来越多企业用户的关注。
▲惠普云系统CloudSystem的组成
在这其中,既有诸如惠普、IBM等老牌供应商,也有戴尔、华为等新加入者;并且各厂商根据各自所长而推出了各具特色的融合基础设施解决方案。如网络 设备巨头思科与存储巨头EMC和虚拟化技术巨头VMware 共同组建了VCE联盟,推出VBlock产品,与此类似是NetApp、思科和VMware的FlexPod。另一类的代表则是惠普、IBM,今年戴尔完 成了对Force10的收购,使得戴尔也转型成为一家整体解决方案供应商,并在最近推出了自有的融合基础架构产品——vStart。
传统的数据中心建设是一个非常漫长的过程,从规划到最后完成,耗时长久,并且消耗大量的人力成本,总体投入成本较高。并且,在投入使用之后,运营成 本和维护成本都相对较高。而采用类似vStart之类的整体解决方案则可避免此类问题。因为采用统一的融合基础架构,整体解决方案供应商会根据预先规划设 计的模板搭建,部署灵活简单,可大幅降低部署时间。如富士通、Sun推出的集装箱数据中心突破了传统数据中心空间的限制,大大降低了企业的建设成本,并且 对企业的 IT系统的地理空间的选择也较为灵活,如集装箱式数据中心直接停放在空旷处即可。
就用户而言,已经不再将目光聚焦于单独的硬件或软件,由于大数据所带来的冲击,用户更多地将目光聚集在架构或服务能力方面,希望能够快速部署,并提供相应的业务需求,至于底层如何实现并不是用户所要关心的问题,也不需要关心,而融合基础架构正是基于此推出。
至于未来将会如何,我们不能确保,但从目前的市场反应来看,诸多的大小用户均对此表示出浓厚的兴趣。而实际上,我们看到,包括戴尔、IBM和惠普在 内的整体解决方案供应商在2011年都加大了对这融合基础架构的推广和宣传力度,而这种力度在2012年将会持续增强,并将伴随“云”一起进入到企业数据中心。
大数据时代 集群存储与Hadoop异军突起
大数据(big data),目前业内并没有一个明确的定义,其通常是指企业或组织创造的大量的结构化数据、半结构化数据和非结构化数据,企业或组织很难用传统的分析方法 来对这些海量数据进行处理。在这其中,业内普遍认为非结构化数据占据了企业数据的80%,这些海量数据给企业的数据分析处理以及存储带来了极大的挑战。
虽然大数据给企业IT带来了前所未有的挑战,但其中所蕴含的价值与商机却让诸多企业“眼红不已”,竞相争做“第一个吃螃蟹的人”。由此集群存储和Hadoop应运而生,被业内认为是大数据时代的最佳工具。
集群存储异军突起
随着整个IT领域技术的飞速发展,很多以前的新技术、新架构,如今面临淘汰甚至已经消失在技术发展的浩瀚长河中;而今天的很多新技术,还将面临同样的命运,存储领域的技术更迭相比其他任何一个领域都表现的格外明显。
存储领域的关键技术SAN和NAS架构如今也已经有了近20年的发展历史,并从十年前开始取代DAS成为企业存储的主流标准架构。然而,SAN和NAS 平台本质上是对 DAS 的改进,并未突破传统存储技术的瓶颈,传统存储架构依然存在根本性的体系结构缺陷。如高可扩展性、管理难度、安全性和可靠性等方面的局限使之很难应对大数据所带来的挑战。而集群存储的诞生,使得企业IT“重见光明”。
集群存储是指:由若干个“通用存储设备”组成的用于存储的集群,组成集群存储的每个存储系统的性能和容量均可通过“集群”的方式得以叠加和扩展。通 过模块化的硬件使得集群存储具备开放式架构(高可扩展性)、分布式操作系统、统一命名空间、易于管理、负载均衡以及高性能等优势。
利用集群存储的这些特点可提高并行或分区I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更低成本的服务器来降低整体成本。 并且得益于英特尔在存储标准化方面的大力推动,标准化的硬件平台使得集群存储系统架构成为可能,并使之规模化。运算能力已经不弱于RSIC小型机的X86 提供了较高的计算密度、较低的成本和功耗、以及简单灵活的管理,使得基于X86平台的集群存储在应对大数据等规模化存储需求时具备不可比拟的成本优势。
▲初志CZSS集群存储系统架构
在目前市场上,众多中外厂商均已加入进来,如在块级集群存储方面,有基于网格架构的IBM XIV集群系统、3PAR Inserv-T800集群存储系统、EMC Symmetrix V-MAX集群存储系统以及Dell EqualLogic 虚拟化存储系统。在文件级集群存储系统方面的厂商或产品就更多了,如HP Ibrix集群存储系统、华赛 N8500集群NAS系统、中科院计算所 BWStor 蓝鲸集群存储系统、初志 CZSS 集群存储系统、昆腾 Stornext集群存储以及被业内所熟知的EMC Isilon 集群存储系统等等。
目前,集群存储已经在国内的某些特定商业领域得到了成功应用,如能源、科学、广电、娱乐等。在这些行业中,客户需要存储系统的功能、特点能够适应其 业务应用环境,并且不能影响过去的投资,更重要的是不能影响整个业务的运作。因为集群存储可以在底层为用户应用提供强大的支持,所以当用户真正理解了其概 念和优势后,是非常容易接受的。
与欧美市场相比,中国市场受到传统或比较陈旧的系统架构的阻碍相对较少,因此中国市场能够比西欧或美国市场更易接受集群存储。而在目前数据量剧增、 数据流通频繁、企业/组织高管越来越倾向于对数据进行分析后的结果来作出决策的情况下,集群存储无论是在性能、可靠性还是成本等方面,均是有力的竞争者。
体现大数据价值 Hadoop大放异彩
这年头,如果不知道Hadoop,你都不好意思跟人说你是“混”IT的。
Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序,并充分利用集群的威力进行高速运算和存储。其主要是由HDFS、MapReduce和Hbase三部分组成。
▲听众如云——Hadoop 2011中国云计算大会大数据论坛盛况
大数据概念的提出有一段时间,2011年的中国,大数据却异常的火爆,在各类型的大会上,只要有关于大数据的内容,其必然人满为患,而这种情形在 “Hadoop中国云计算大会”上可谓是到了极致。其中,包括FaceBook、Google、淘宝、人人网、即刻搜索、华为以及腾讯等国内外知名IT公 司都对Hadoop的应用经验进行了分享,一时之间,听众如云,让我们深切感受到大数据带来的“火热”。
另一方面,大数据所带来 的商业价值越来越吸引众多的企业加入对大数据的分析行业,而在这之中,开源的Hadoop工具则成为大数据处理的首选工具。 虽然目前的Hadoop生态系统还并未完善,但随着越来越多的公司加入其中,业内人士认为,Hadoop必将成为大数据处理分析的首选“利器”。目前包括 微软、EMC以及IBM等诸多跨国厂商已经加入其中,并有基于Hadoop的相关产品发布。
开源的商业价值在哪里?我想红帽公 司也许会给我们提供一个很好的实例。据最新消息显示,红帽已经突破10亿美元的收益。就Hadoop而言,其前景 似乎更加乐观,诸多投资人均表示对Hadoop具有浓厚兴趣。从分布式层面上来说,Hadoop开源软件整体方案供应商Cloudera已获得7600万 美元投资,分布式架构新成员MapR和Hortonworks分别融资2900 万美元和5000万美元;而从栈的层面上来看,Hadoop海量数据分析平台Datameer、 Karmasphere和Hadapt已分别获得了1000万美元左右投资。大量专注这一技术的初创公司(如Zettaset、Odiago和 Platfora等)更是如雨后春笋般迅速涌现。另外,投资机构Accel Partners最近还成立了一个总额为1亿美金的大型数据基金,专门用于投资基于Hadoop和其他核心大型数据技术的应用。
并且,更为重要的是,越来越多的用户加入到Hadoop这个生态系统之中,如在Hadoop World大会和网络博客上经常可以看到Walt Disney、Orbitz、LinkedIn、和Etsy等很多大公司通过讲述自己的亲身实践大赞Hadoop;在国内的典型代表则有淘宝、人人网、即 刻搜索、华为以及腾讯等等。用户口碑永远是最有效的宣传途径。这些大用户的“亲身试法”,对很多潜在用户来说是一种无形的鼓励,也能在一定程度上帮助他们 认识“从何开始、去往何处”的问题。
再加上Hadoop本身的优势,除了核心设计思想MapReduce和 HDFS(Hadoop Distributed File System?)外,Hadoop还包括了从类SQL查询语言HQL,到NoSQL HBase数据库,以及机器学习库Mahout等内容。Cloudera、Hortonworks和MapR都已在他们的分布式系统中加入了Hadoop 项目。最近,Cloudera还成立一个名为Bigtop的项目,集成了所有Hadoop相关项目。作为一个幕后英雄,Hadoop未来必将应用于越来越 多的领域,风靡全球。