2013年11月21日DOIT上海原创报道:IBM认为在数据分析时代,数据已经成为最新的资源,决策变得至关重要,因为数据的价值持续增长,现在的系统不能支撑,那么现在就需要行动,用户需要在行业中居于领先地位,处理管理风险,让IT更能促进企业发展。因此,需要更有策略的行动,IBM在POWER SYSTEMS上的大数据创新是领先的。通过互动,改善客户的体验,理解社交媒体平台的影响,优化网络、GRID OPERATIONS,分析和预测未来,促进商业发展。更为关键的是,POWER构建高性能领先的大数据与分析平台,欲智胜大数据。
POWER术业有专攻 欲智胜大数据
IBM大中华区副总裁,IBM系统与科技部大中华区PowerSystems总经理侯淼表示,依据IDC的数据分析来看,中国大数据市场未来5年将以51.4%的速度增长。IDC预测中国大数据技术与服务市场将会从2011年的7760万美元快速增长到2016年的6.16亿美元。在行业方面,2012年,大数据应用已经从电子商务、互联网、快消品等行业向金融、政府、公共事业、能源、交通等行业扩展。从应用场景来看,已经从用户上网行为分析拓展到电力安全监控系统、舆情监测等。
侯淼认为大数据包括5V,Volume,Variety,Velocity,Veracity,以及在这四个V基础上为企业带来整体的价值Volume。在数据爆炸的大背景下,企业用户所面临的困境突出。
而当今企业面临着很多具有颠覆性的力量,来自控制力向消费者转移,对企业运营实现多快好省的压力,需要开发利用大数据能力。POWER构建高性能领先的大数据与分析平台,Watson树立了大数据应用标杆。他进一步指出,POWER数据分析解决方案架构包括了智能分析和联机处理、大数据分析、内存数据库。
目前IBM在全球建立了OPENPOWER联盟,并且投入10亿美元推动LINUX和POWER平台研发,同时推出BIGDATA STARTER新产品线,另外在中国成立了POWER SYSTEMS LINUX创新中心。
大数据解决方案四大金刚护法
IBM系统与科技部大中华区PowerSystems产品总监李红分析认为,大数据需要充分的提炼才能真正服务于客户,并实现其价值。因此,数据是新型的“石油”。不同的大数据需要不同的“提炼”方式,多样性是大数据的一个典型特征,对于不同的大数据类型,需要不同的系统对其进行提炼,但作为大数据及分析平台必须要有整体的视角来对各类大数据进行统一管理,避免掉入孤岛陷阱,最终获得完整数据价值,目前提炼方式有四种,包括了:静态批量大数据处理、数据仓库整合、实时大数据处理和数据集市构建。
用户需要完整的大数据与分析平台实现大数据有效管理。随着用户数据量增长、数据类型变化,那么需要收集来自网络、社交媒体等数据,形成静态数据分析区,另外还有实时获取和分析区,当然之前的数据仓库区与分析和报告区已然存在,这些区域之间是相通的,互相链接,数据来源是多种多样的。基于用户的这种分析和考虑,POWER为用户构建最全面高效的企业级大数据与分析平台,形成四大方案,POWER静态大数据解决方案、POWER实时大数据解决方案、POWER数据仓库解决方案、POWER数据集市解决方案,为此,POWER能为企业用户所面临的各种各样大数据提供全面的方案,实现数据获取、分析、展现无缝集成,包括静态大数据处理、实时大数据处理、数据集市以及集中式或分布式数据仓库。不仅如此,IBM还强调在传统数据库基础上,为企业提供性能、企业级可靠性、安全、强大的扩展能力的大数据与分析平台。这里提及的扩展能力包括SCALE UP和OUT两个方面。
静态大数据解决方案方面IBM包含了CAMP和天合应用服务器、以及IBM的云平台,以及并行文件系统GPFS-FPO OR HDFS,同时IBM还推出了PLATFORM SYMPHONY,可以在高可扩展性、面向服务、异构的网格上运行计算密集型低延迟应用和数据密集型应用的最强大的管理。IBM认为,CAMP、GPFS-FPO、SYMPHONY可以构建最高效静态大数据平台。另外,IBM推出的InfoSphere Biglnsights并在Watson中采用,它是基于HADOOP的开包即用解决方案,在HADOOP框架上增加IBM独特的技术优势,如安全管理、工作流,并融入了IBM研究实验室的独特和领先的数据分析、机器学习技术以及文本数据分析挖掘,分析种类繁多的以大量的各种类型的数据。再者,IBM的OpenSource Hadoop采用了开源架构,通过计算节点集群分布式处理海量数据,优化更新后运行与POWER LINUX上,充分利用POWER7架构优势。
实时大数据解决方案方面,IBM认为已经成为用户迫切的需求,特别是在天气预报气象部门等领域表现突出。POWER流数据解决方案实时大数据分析,具有更高性能、更高效率、更多功能,支持更多企业应用场景;更加成熟、更加可靠与更佳性能的GPFS-FPO企业级分布式文件系统;最佳性能及价格平衡的新一代服务器CAMP天合应用服务器。
数据仓库解决方案方面POWER集中式架构久经考验,一直是企业级数据仓库首选,各行业获得广泛应用,SCALE UP能力为OLTPOLAP应用提供性能保障,其数据库层对可靠性有着苛刻的要求,POWER的RAS是保障业务不中断的关键。随着用户业务不断扩展,DB2 pureScale实现对POWER集中式架构的进一步增强,性能和可靠性大幅提高,应用不需求任何更改即可使用,在线滚动式维护更新没有计划内停机时间,同名的可扩展性,扩展超过100个节点。为此,POWER基于DB2 BCU构建强大的Scale-Out架构数据仓库,其中也采用了V7000这样强大的虚拟化中端存储系统。
DB2 BLU带来数据管理的革命性转折,将传统行式存储转换成列式存储,提升效率,减少空间,加速查询。DB2 BLU技术创新表现在:动态内存计算、内存列式计算互相结合,列式存储数据,动态移动无用数据;无需解压使用的数据压缩,业界领先的保留顺序的数据压缩,使用数据可无需解压;并行向量处理,多核处理和SIMD指令并行;数据忽略,忽略无需处理的无关数据。
由此,DB2 BLU on POWER构建高效内存数据集市,对于事务性数据库,新建数据集市,直接从事务性数据库创建,提供业务线使用,DB2 BLU让业务线能够实现实时运行分析报告,并改进业务决策,也可以从性能不佳的数据仓库卸载分析数据集市,这让业务线用户可以充分利用其现有OLAP应用,并通过DB2 BLU的内存中按列组织的数据集市存储,更快地获得实时报告。对于性能低下的数据仓库,COGNOS BI带有BLU加速,轻松创建和加载BLU加速的内存数据集市,充分利用OLAP应用。
DOIT编辑点评:在大数据时代,更需要大智慧,什么才是大智慧,对于IBM来说,那就是POWER。就如IBM Power开启大数据业务高峰论坛的上海现场,某媒体朋友签名留言所指“IBM为大数据与分析带来POWER(力量)”。IBM大数据解决方案四大金刚护法一出现,就全面覆盖了基于大数据应用的主要场景,从静态批量大数据处理、数据仓库整合、实时大数据处理和数据集市构建四个方面出发,帮助用户开发利用大数据能力,构建高性能领先的大数据与分析平台。(阿明)