转型看大数据,昆腾找到自己的节奏
ZDNet 发表于:13年08月21日 14:43 [转载] 至顶网
2013年,昆腾忙着转型,向大数据转型。对内,重新调整内部结构,将覆盖StorNext软硬件、Lattus对象存储和Scalar LTFS的大数据业务单独划分出来;对外,昆腾宣称自己不再是简单的数据备份和恢复产品提供商,未来核心的发展方向在于大数据。
昆腾StorNext工程副总裁Ivan Pittaluga用了一个形象的比喻,称“大数据之于昆腾,就像是节奏之于音乐。”
在他看来,大数据把各种技术推到了极限,例如数据获取、数据管理和数据处理的能力,它是一个比较复杂的解决方案,需要从广电、石油和高性能计算等有代表性的行业听,到一些意见和本地需求,充分考虑到未来产品发展蓝图中去。
“我们正在达到一个与以往都不同的重要转折点。传统数据流,是将主存储几乎都在在线存储,拷贝和迁移到标准归档和备份设备上。在新型数据流下,人们把速度要求最高的数据放在高速闪存上,实现了对低成本近线数据的高速访问,基于策略、低成本且具有可扩展性的永久性内容归档。”
“这种转变在技术上产生了对关键技术的新需求,我的工作就是将这些新需求变成现实。”Ivan Pittaluga这样说道。
作为昆腾大数据战略的代表,StorNext的核心是共享的存储平台,高速访问存储文件,再加上文件存储管理以及不同存储介质之间的分级存储。
StorNext贯穿整个数据的生命周期,从左到右是数据的产生、获取、分发和归档
最新StorNext 5.0的设计正是也为了符合新型数据流的趋势。它重新设计了元数据的布局和空间分配,针对固态盘对元数据日志进行优化,提供FSM压缩/未压缩的两级缓存,避免文件系统进程访问磁盘,更高密度地保存元数据。
此外还有文件碎片跟踪记录管理功能、固态盘优化、LTFS磁带归档、InfiniBand支持和重新设计的缓冲机制。按照昆腾的说法,现在Stornext 5.0可以存储50亿个文件,数据规模达到数十PB。
除了可扩展性和性能之外,新型数据流还需要永久数据保留和云存储的技术,代表产品就是昆腾从14财年第一季度刚刚开始出货的Lattus对象存储,其定位是作为高可扩展且的永久性长期磁盘归档。
Lattus主要用于保存海量数据,有比较强的扩展能力(100PB以上),可以将数据分布到多个不同地理位置,带有自我治愈和自我迁移的功能,比传统RAID使用的磁盘更少,所以成本更低。“对中国客户来说,很难回答Lattus是否会取代RAID,准确的说它既可以作为RAID的替代品也是一种辅助。”
Lattus是多种技术的结合体:下一代对象存储,扁平的命名空间,将数据切块直接存储各个位置,得到一个key并采用HTTP REST接口;Forward Error correction(FEC)算法把编码数据的多个副本分布保存到多个存储节点,这是一项已经运用于通信行业的成熟技术。
此外,Lattus还需要一种智能机制将数据从在线存储搬到归档存储,层到层的拷贝,从二级存储到客户端的直接读取,二级存储之间的迁移,以及在线灾难恢复数据可访问。同时,元数据可以分散到不同地理位置,这样就可以异地更新目录信息并直接访问在线存储的数据。
在大数据概念出现之后,昆腾的StorNext从原来注重单个数据性能开始转向注重并发整体的数据性能要求,而且加强了高性能工作流以及Hadoop实时处理。
左边是StorNext,右边是Hadoop集群,上面橘色的是Lattus云存储。Hadoop产生在线运算,长期不活跃的数据保存到StorNext,在根据智能策略迁移到Lattus。Hadoop只要通过API就可以直接访问Lattus上的数据。将来,Hadoop可以将数据直接保存到StorNext主存储或者直接存到Lattus,也可以通过这两种路径直接回取数据
除了硬件之外,昆腾在管理方面也做了针对大数据的设计,提出了所谓的“Mint”——Management Interface。Mint是管理StorNext和其他昆腾产品的统一界面(1.0版本的发布是面向StorNext的),同时也是集成Lattus和Q-disk的开放平台。
Mint的主要功能包括系统管理、配置、警报、通知和健康检查;性能监控和仪表;提供关于趋势、成本使用率、预测和扣款的报告,是针对企业级客户的Web服务。
总的来看,尽管最新的财报数据有些令人担忧,但是昆腾正在通过向大数据的积极转型,调整着发展节奏,并期待借此注入新的增长动力。“昆腾在中国也在慢慢转型,虽然目前中国大数据业务收入占总收入的20%,但是未来三到五年,我们的投资方向和收入增长将全部放在大数据上。”