IBM李剑:大数据时下下的数据分析

Hebrews 发表于:12年09月03日 13:45 [原创] 存储在线

  • 分享:
[导读]IBM智慧存储蜂巢理论发布会于8月31日在上海召开,该IBM的最新战略,旨在为用户在大数据时代提高存储效率、部署存储虚拟化和适应信息模式的变化而做出的更细致、更全面、更适合的策略。IBM研究院大数据系统首席架构师李剑博士发表了精彩演讲。

IBM智慧存储蜂巢理论发布会于8月31日在上海召开,该IBM的最新战略,旨在为用户在大数据时代提高存储效率、部署存储虚拟化和适应信息模式的变化而做出的更细致、更全面、更适合的策略。IBM研究院大数据系统首席架构师李剑博士发表了精彩演讲。

李剑认为大数据时代中,数据不仅规模大,而且数据的来源多种多样,有结构化的,还有非结构化的,现在原始数据并不重要,关键是从大量的数据中挖掘有用的信息,让商务操作更加高效率是数据处理的关键,对存储的要求也要存储智能化。他表示其实很多的数据挖掘和商业智慧在传统方式上面已经有了,其实数据还有一些传统的已经开始做一些商业计算的东西,它们的问题第一只能接受结构化的数据,现在大量的数据反而是非结构化的,我们要用大数据来解决非结构化数据挖掘的问题。

李剑谈到了IBM三项比较核心的数据分析技术,即MapReduce、离线计算和在线的流计算。

MapReduce实际上就是把它分布到各个计算机上面,Reduce实际上是把最后的数据再减少,核心的就是所谓的MapReduce。这一技术是性能优化中的亮点。

离线计算方面,李剑提到大数据解决非结构化数据挖掘的问题。其实整个平台还是一个软件的构建方式,在硬件上面IBM不仅在X86上面,从整个系统集成都有大数据非常非常良好的集成,从硬件到数据信息的集成再到核心,一个是所谓的离线大数据深度的挖掘,用的是以开元系统为核心的产品。

之后李剑谈到了流计算的优点,他认为计算无非是三个,一个是计算一个是存储,还有计算和存储之间的交互。传统计算要把我的计算放到数据那里,流计算的好处,数据进来,直接进来,然后我做查询,所以它的速度非常快。另外流计算还有非常大的扩展性,还有很多功能,除此以外流计算还有非常强的IDE的支持,IBM有非常完善的系统,让很多都可以在流计算方面得到非常非常好的支持。

[责任编辑:黄辉]
大黄
以备份起家的CommVault近两年的解决方案不断向更全面的数据保护转型,并对数据管理、数据挖掘也有了一些关注。CommVault中国区技术总监蔡报永接受采访时表示CommVault将继续做一家专注做数据管理和信息管理的软件厂商。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.