大数据时代 你准备好了吗
华为 发表于:12年09月04日 12:17 [来稿] 存储在线
2011年3月11日日本大地震发生后,美国国家海洋和大气管理局(NOAA),通过分析海量的数据,包括陆基、 海岸、 海洋、 海洋生物资源和大气层等的信息数据,仅9分钟后,就发布了详细的海啸预警;NOAA每年的IT预算高达10亿美元,虽然花费巨大,但乐此不疲,因为这些信息关乎生命,这些数据可以拯救生命,改变世界。在这个信息爆炸的时代,面对海量信息,你准备好了吗?
大数据时代到来
近年来互联网、云计算、移动终端和物联网迅猛发展。日渐复杂的企业客户信息数据,网店交易记录,视频监控终端产生的信息数据,博客、微博、照片、自创视频等,数据每秒都在爆炸产生……;全球在2010 年正式进入ZB 时代,根据IDC 的预计,到2020 年全球将总共拥有35ZB 的数据量,相较于2009 年,数据量将增长44倍。2012年3月,奥巴马政府公布大数据计划,首批宣布投资2亿美元。工信部发布的物联网“十二五”规划,把信息处理技术作为4项关键技术创新工程之一被提出来——毋庸置疑,我们已进入“大数据时代”,大数据正在改变商业,生活甚至政府。
应需而变
曾经是摄影代名词的柯达在自己132岁时轰然倒下;同时,1962创建的零售之王沃尔玛,连续多年蝉联零售商第一;拥有350名员工的FaceBook仅仅只用了8年时间,上市首日市值达1152亿美元,成为历史上规模最大一宗科技公司IPO。变化带来的不仅仅是挑战,更是机遇,甚至是弯道超车的机会。
挑战与机遇面前人人平等,那么生存,发展,超越的银弹是什么呢?银弹就是大数据,就是大数据中的大价值。沃尔玛是最早通过利用大数据而受益的企业之一,通过对消费者的购物行为等非结构化数据进行分析,沃尔玛成为最了解顾客购物习惯的零售商,并创造了“啤酒与尿布”的经典商业案例。沃尔玛一度拥有世界上最大的数据仓库系统,数据中心的数据量已经是美国国会图书馆的167倍。Facebook每秒钟都在生成海量的结构和非结构化数据,一对一的消费驱动模式中蕴含着用户的消费倾向,“数据”的挖掘分析大幅提升广告的精确投放效果,并且可以通过用户行为预测多个行业的发展趋势,蕴含巨大的商业价值。Facebook 1152亿美元的IPO很大程度是对大数据中大价值的认同。大数据时代,管理大数据,挖掘大数据中的大价值,就抓住了机遇,也就能立于不败之地。
挑战与机遇并存
大数据有着4“V”特性:Volume、Variety、Velocity、Value。要把握大数据,挖据出大数据中的价值,从技术的角度来说,两个问题需要解决:数据的存储,数据的分析。大数据的Volume 属性——“海量数据”一词从七十年代延展至今,正在发生从量变到质变的飞跃。所谓质变是说,从来没有一个时期要如此依赖数据,同时,传统的数据处理和数据管理技术正在受到当今“海量数据”的直接挑战。
(一) ZB级的数据管理和数据分析,不是传统的IT服务器、磁带、纵向扩展设备能够承载的,数量级和复杂程度到达一个层级,引导企业进行信息化技术和企业业务的革新。传统利用SPSS统计分析软件建模的方式已经有些力不从心,而如果采用抽样统计分析的方式,有些新的用户行为特征或业务趋势就会被忽略。
(二) 世界经济形势趋紧,高额的IT预算,究竟应该在哪里投入。据调查企业目前73%的预算都用在基本业务运转上,剩下的才对商业运营有支撑作用。CIO的苦痛在于IT设施不断的膨胀,仅仅是因为业务的数量涨了,没有给企业经营带来真正的增值。
(三) 据统计,ZB级的数据中,80%以上是半结构化,非结构化数据。为了应对“大数据”浪潮,很多企业在具备一定结构化处理能力的基础上,将非结构化数据依托给了Hadoop。但当深入探索之后,有投资人给出了这样的感受——使用Hadoop构建分析性查询,会变成类似用锤子来建造房屋的活动:特定的数据模式分析任务中性能低的可怕;高昂的后期开发和维护任务成本;企业信息孤岛;数据单点故障。
那么是否说明了,“大数据”带来企业业务革命性挑战真是存在呢?答案是Yes。那么是否说明了,“大数据”需要革命性技术革新呢?答案是No。
融易致远
展开“大数据”的画卷,我们能够看到的是如下现状:
a. 众多企业都在为大数据时代的到来作出反应,数据库厂家提供的昂贵的结构化数据解决方案无法适应企业收紧IT预算,同时要进行海量数据分析的要求;企业将目光转向Hadoop开源系统,但处于进退两难的境地。
b. IT厂商也同时意识到了这个问题,纷纷将Hadoop集成进入大数据解决方案,以此迎合Hadoop已经在大数据领域占领的一席之地;
c. 上述的简单嫁接,企业处于业务系统、归档系统、数据分析系统相互隔离导致的尴尬境地,同时面临高额的TCO对IT预算的困扰;
应对上述现状,华为推出了X位一体的大数据存储解决方案。方案中,海量结构化、非结构化数据一体化存储;统一的并行任务调度框架支撑结构化、非结构化海量数据清洗、数据分析;海量数据的生命周期管理,支持历史数据的归档、压缩、掉电策略;历史数据仍纳入海量数据的引擎管理;同时,通过海量非结构化数据的内容感知(元数据管理),建立海量非结构化数据的搜索引擎,加速热点数据的快速访问。华为大数据存储解决方案通过融合的方案,多样化数据统一存储、分析、备份和归档,解决了信息孤岛,也解决了随着业务的发展,对量和性能不断拔高的需求;同时,又能根据需求的变化对容量和性能进行扩容,保持低廉的TCO。
我们能看到顺应大数据潮流,从而获得成功的Facebook、沃尔玛等,我们也看到在大数据潮流下企业积极寻求转型,70%企业客户正在近5年和未来5年投入进行IT基础设施的改革。大数据,正在改变世界;华为存储应需而变,贴合业务需要;融合之道,助力大数据时代把握住大数据,把握住大数据的大价值,把握住未来。