高峰对话:大数据时代的存储创新
SNW 发表于:14年06月19日 16:29 [综述] 存储在线
DOSTOR北京报道:6月19日2014SNW中国大会北京召开,腾讯云北京研发中心总监郑立峰、戴尔(中国)有限公司亚太区存储业务部技术总监许良谋、中国惠普有限公司企业集团存储产品事业部战略规划、运营及产品总监徐润安参与了大数据时代的存储创新为主题的对话栏目。以下是现场速记。
主持人:我们今天这个讨论环节就是创新,存储创新。第一个问题请问三位嘉宾面对刚才说的数据的压力,数据的挑战,你们三位从不同的角度最关心的数据存储方面的技术或者是新技术、新产品是什么?比如说今天谈到一些闪存,软件定义等等,可能还有。我们想请三位分别谈谈你们对未来一段时间至关重要的存储方面的新的技术或者是革命性的产品应该是什么。有请三位。
徐润安:我觉得这是一个非常大的问题,我们可以花一整天的时间来讨论。其实眼下孙总编您刚才说到的我们为什么今天在这里谈论闪存,我们为什么谈论软件定义和存储,就是因为我们认为这两个从惠普来说我们认为这两个会是将来非常大的发展方向。有可能以后大家看到的硬盘都会消失,大的数据、核心数据、访问量大的数据可能都会放在闪存上。其他的海量数据可能都会是在通过软件定义的存储都在网上,不知道在哪里。我认为将来的发展一定会是这个方向。
包括惠普一直在说融合存储的概念,其实真正让他发挥作用的,能够更好的为客户服务其实是他的OS,他的一个设计的理念。软硬都不能少,我觉得硬的就是闪存,软的就是我们以后融合的架构怎么通过软件来定义存储,这是我的看法。
许良谋:我先补充一据,比如说包括我最后那里也说数据科学家,大数据很多,我们从国外到国内都知道大数据、海量数据里面你怎么样真正把这个含金量留住了。暗数据,大数据里面什么数据是最直接的,怎么把暗数据找出来是数据科学家把公司做决策的数据找出来。
其实有时候企业到底是完全是走向云,举个例子,是放在自己公司安全还是放在云安全?结果很简单,什么东西都很简单,什么都要改。我已经用了几十年,不能改或者是不改的时候加速。我们戴尔是说哪一种方式我们想提供。具体来说我们也腾讯一个支持的合作伙伴,所以我们戴尔也是建大的市场。企业可能是用云的方式上没有问题,企业传统的架构说要用闪存来做,这些都可以,我们希望能够灵活,在客户选择的时候必须说左边还是右边,其实两个都可以。
主持人:刚才惠普的老总他说的认为是云计算而不是闪存,闪存还有融合架构,还有软件定义的存储,这三个是对未来的存储技术发展非常重要的。
许总认为是暗数据,有价值的数据从海量数据挖出来,认为需要有灵活的解决方案,有些是需要用到闪存,有些地方要用到云的服务。郑总您是存储服务的供应商,您也是存储的用户。谈谈您对未来技术方面的发展,哪些最重要或者是您认为哪些是最关键的。
郑立峰:我从做互联网到现在移动互联网以及可能后面要发展的可穿戴式设备、机器人,智能家居,智能汽车,这些方面对数据业务的发展也经历了很多个过程。早期互联网其实数据结构还比较简单,关心数据库。大多数的互联网业务用这么一套架构去解决,基本上是可以解决掉的。后来随着业务的发展,很多非结构化数据出来了,而且很热,大家用的很多,以及媒体领域也冒出很多要抓热门事件。在微博的平台上成千上万的用户,几亿用户在里面讨论问题。哪些帖子快速热起来了,他的增长速度就是立竿见影的,但是他的基数还比较少。有一个良好的数据平台让能够把这些事件找出来。随着现在互联网越来越发达,以及移动互联网、可穿戴式设备写采集的数据越来越多。我觉得传统的搜索引擎技术可能会进入到第二个阶段、第二个阶段这样子,技术也在不断的演进。大数据所应对的应用场景比较多,有流式计算,有快速决策、预测、辅助决策这些方面。刚才说的要把关键要素找出来,其实如果作为一个管理层的话,在不断的判断事物的发展方向,这个业务会越来越好,还是说他已经到了一个峰值了可能要滑落了。
我记得很多年前盖茨说信息尽在指尖,还有人说让大数据变小。其实如果给你一盘大数据,你立马就晕了,你要的数据可能就那么一小点。我的意思是说数据再大,我要的数据你给我一个答案,我问你你给我就可以了。但是中间需要结果非常复杂的计算,需要非常复杂的工具模型支撑这样的能力。我觉得决策系统的发展方向其实原来的那种决策系统也已经很难适应现在的时代发展要求了。原来的决策系统是算半天告诉你一个结果,这个业务有搞头。但是现在数据量太大了,扔进去可能就需要两天,这个就成为了问题。
再举个例子,现在国外有一家公司,从你的基因片断当中提取一些要素,能够预测你会不会生癌症,你有可能生什么病,他其实也是大数据的事情,他每天都要产生很多数据来进行计算,来预测你会不会生病。其实场景很多,但是我觉得对每一个人来说需要的都是个性化的答案。这样的话对我们的存储技术提出了首先我要让很大的一个数据变小,你肯定是要有非常强的计算能力,更快。要不你算不过来,数据量太大,所以快还是很重要一块能力。
然后除了最底层最基础的硬件的快以及支撑非常大的存储之外,还需要很多中间基础的能力,比如说数据仓库,这些数据仓库还不是说业务层面的,他对我上面搭建的公示模型提供大的数据仓库。腾讯也干,腾讯就叫TTW,就是腾讯数据仓库把腾讯产生所有的数据都扔进去,他每天都会计算,会得出一些结论,微信业务发展怎么样,像科技公司投资投的都比较准,他知道行业发展方向是什么,往哪个方向发展,所以没有数据没有决策。所以大数据对这些海量存储提出新的挑战。
主持人:刚才几位老总谈论的问题开始说的是闪存科技、融合架构还有软件定义的存储还有灵活的部署,还有云的服务,还有刚才郑总提到的速度快,基于大数据的数据,他有快速数数据的分析。其实说的都是数据科学的框架里的这些问题。这样看问题的话就是对这个问题看的是比较完整了,不仅仅是一个放得下的问题,你还要能把价值提出来。否则的话其实这个问题就变得不是那么有价值了。
再聚焦一点,我想请问郑总,腾讯用闪存用的多吗?
郑立峰:腾讯现在用固态硬盘多。
主持人:冷的存储现在还在大量的采购用吗?就是用磁盘的SSD的这种,作为不太常用的数据备份,你的静态存起来这采购量很大吗?或者是你看存储行业怎么样?
郑立峰:这块跟我不直接相关,跟采购相关,但是我所看到的SSD使用的量非常大。
许良谋:我这里可以分享我们和Facebook,我们好几家如果你要建立一个新一代数据中心,不需要自己摸,可以参考一下。所以这个参考模型,你今天去参观我们的数据中心,用很多新的方式做出来的。你讲的那块也是Facebook,冷数据放在盘里还是有数据的影响,基本上就是时间问题。我们在这个架构里面其实是希望能够加速冷数据的方式。
主持人:请问徐先生,闪存的价格会持续快速的下降吗?或者是从惠普的提供的设备产品的情况来看,价格变化趋势是什么样的?
徐润安:我很难预测将来企业级的闪存价格趋势是怎么样的,大家可以参考市场上SSD硬盘上的价格以及参考笔记本你用的SSD价格,大家参考U盘的价格,就可以知道将来SSD的趋势是什么样的。
许良谋:硬盘是硬盘,就算是用闪存,新一代都是用3D的方式,所以密度更高,更稳定,会越来越广,越来越多。
主持人孙定:持续下降,这个趋势是这样的。
许良谋:我补充一点就是闪存是给企业或者是给互联网公司,我们人类体验是不是有爽的感觉,低延迟非常漂亮。
主持人:很多用户,企业用户、互联网用户用了大数据的技术,都在数据中心升级、扩容,他扩容里面很突出问题就是现有的系统怎么跟新的系统结合在一起?怎么把异构的系统能够很好的融合在一起运行,包括稳定性、可靠性、安全性这些方面的问题。对现在的用户,这个用户在国内是大量的,对用户的升级或者是采购新设备,新设备和老设备的融合。各位有很多经验,能不能给点建议。每位老总给一个意见,用户该怎么办。
徐润安:这个问题每次见客户都会被问到,首先是说新一代的架构很重要,为什么说软件定义的存储会很重要,软件定义的数据中心,有了这个东西以后,基本上可以通过软件把你用老的设备,新的设备做一个统一的管理,统一的使用。另外也请大家广大客户来仔细的衡量一下这些老的设备对于你的真正的价值是多少。不要月五年前或者是五年前的投资而损失了你现在新要去投入的应用可能损失了更多的价值,未来的价值,还是要做很好的平衡。
许良谋:这不是一个存储问题,你说存储,其实我们都是为存储而谈存储,如果你的话是谈大数据,其实你在谈业务级别,比如说从刚才郑总说的互联网教会我们很多东西,亚马逊教会我们很多东西,你的分的,你的一致性怎么去做,你是不是要用闪存加速,这是一体化的讨论。如果说存储和存储之间怎么去做平等,就算你解决那个问题,因为那是后端的问题。
郑立峰:我这边关注软件层面多一些,硬件层面关注稍微少一些,从腾讯自身存储产品研发的来说也有一些低和高的设备混着用,也可以进行透明化的处理。有的硬盘用的时间长了,可以在软件层面提的更高一些。对于企业来说,我觉得上云是个趋势,我们云上的设备会按时用,所以你在云上用的很好。