当火热的大数据碰上业内成熟的数据保护专家昆腾公司,会产生怎样的火花?答案是StorNext系列产品。
美国昆腾国际公司StorNext及大数据工程业务副总裁 Ivan Pittaluga,负责研发StorNext最负责的技术版本,因此StorNext技术如何在大数据风暴中崭露头角, Ivan Pittaluga可以说是最有发言权。8月份Ivan来华举行了媒体会,解读StorNext5.0的未来全新技术策略。
新趋势:冷热数据流的优化处理
Ivan认为传统的存储方式,几乎都是在线存储,加工、保留、归档全都是在线存储。然而现在新的趋势就是:一些客户已经采用新的数据流的方式,即把现在加工的数据最快的呈现出来。同时,把加工完的数据、不用的数据放在归档里面,需要用的时候就把他提取出来。并且希望归档存储能够永久保留。“是一个几千年甚至几万年的保留。这也是我们在做的。”Ivan讲到。
面对用户对数据流新的方式,在存储技术上就需要产生一些新的需求、新的存储技术,Ivan和其团队的工作是把这些需求在技术上变成现实。昆腾的高性能文件系统、可拓展文件系统还有可拓展文件管理系统,这个技术就是让我们用最快的速度把数据存取自如。
昆腾为用户提供了独特的价值
昆腾提供了独特的数据管理技术,为用户带来更多的价值:能够提供最高性能的流式数据;为用户提供最低的成本和最持久的长期数据存储,从而实现用较低的成本实现数据的长期保存;最灵活的选择表现和增长结合起来,这样无论是从性能方面还是增长方面,为用户提供一个很灵活的选择;最实用的数据保护功能。
如图,从左到右数据的产生,获取过程到分发给各个需要的,最后把他归档存储起来,StorNext最核心的东西一个共享的存储平台,可以同时多路的高速的访问存储文件。StorNext产品本身贯穿整个大数据的生命周期。
围绕StorNext的昆腾产品线
StorNext5.0的产品特点
StorNext5.0有哪些值得关注的技术升级?首先是更快的文件操作(创建/删除/等)性能(SNFS),这是StorNext基本的文件操作,其创建、删除等基本的文件性能得到极大提升。其次重新设计使用(Metadate Layout)元数据布局,重新设计使它创建在分配空间的时候速度有很大的提升,实现更多高效的元数据的磁盘使用。内置高线程访问(总效能)支持很多的线程同时访问元数据。
第二,重新设计的元数据日志,元数据在这里从新做了很多设计,优化SSD,使元数据在固态SSD的状态下有很大的提升。
第三就是在StorNext原服务器上缓存从新设计,让数据直接访问缓存,不用通过磁盘。2级缓存(压缩/非压缩)技术,
从新设计成两级缓存:一个是压缩;一个是非压缩。非压缩比以前性能要高,所以在整体上就会提高很多。为了实现这个技术昆腾把很多的数据重新做了设计。
文件系统相关优势
高密度的元数据缓存在内存中保留更多的元数据
改进的文件扩展跟踪
文件扩展块的跟踪连续的范围,属于一个特定的文件
StorNext5.0性能优势
更具扩展性的分配映射跟踪
更快的范围查找
更快的目录查找
文件创建一个托管FS,StorNext5.0比StorNext4.7快了4倍
文件删除托管FS,5.0删除速度相比比4.7快了大约3倍
StorNext5存储的元数据和元数据的I / O操作将大大提高空间利用率
刚讲了很多跟文件系统相关的技术细节,除此之外在StorNext5.0里面还有那些新的技能跟技术呢?
1、SSD优化
在Infiniband数据路径运输
LTFS磁带归档
2、提高运营方面的STORNEXT产品的线
更快的故障恢复
在线备份元数据
DR之间文件系统可用
在线升级管理的文件系统
重新设计客户端缓冲I / O
Lattus:万年存储不夸张
昆腾新推出的Lattus存储技术,Lattus这个产品或者这个技术,目的就是为了保留海量的数据。同时也要降低整个管理和存储成本。
Lattus作为一款“永久磁盘归档产品”,可扩展到数百PB级别,并将数据分散在多个站点之上,同时,Lattus提供自我修复和自我迁移能力,使用扁平的命名空间从而可以大规模扩展——基于HTTP REST+文件系统访问的Lattus借助昆腾StorNext在大规模文件共享系统上,而作为对象存储平台,Lattus还建立起一种“闪存加对象存储的架构,以闪存为主存储,实现数据分析,长期数据保护使用Lattus对象存储。”
Lattus的功能,首先是支持的海量数据量,原理上扩展能力是无限的。而且在地理分布上可以把整个系统分部到不同的位置。其次Lattus有自我治愈、自我迁移的功能,在一定程度上损失外盘、损失界面,数据仍然可以在线访问。
最后Lattus使用这个技术要比原来RAID用的磁盘用的要少,耗电量、成本,占用机房空间都比较小,整个技术的成本也比RAID要低,Lattus第一个技术就是把直接把一个数据分割成块分散存储,管理员得到一个钥匙,存到不同存储节点、不同的磁盘上,通过不同的控制器把他存到不同的位置,在不同的位置存放很多的副本。
第二个是算法技术,实现远距离通讯的技术。“这个也是一个很成熟的技术,技术本身也不是一个新技术,他最早是用在太空技术上,他是一个通信技术,最早在美国一个全球合作的项目,发射了旅行者号探测器,他可以探索太阳系里面任何一个行星。距离这么远跟地球之间的通讯怎么办,就是靠这样的一个技术来做的。”Ivan讲到。
大数据发展离不开Hadoop
Hadoop跟StorNext结合是顺应大数据时代的,昆腾StorNext存储技术通过Lattus的云存储,实现Hadoop数据的获取。未来新的版本昆腾希望Hadoop可以直接通过StorNext进行数据管理分析提取。
“我们现在看到这部分左边是StorNext存储技术,右边实际上是刚提到的Lattus的云存储,StorNext跟Hadoop结合就是通过Hadoop,产生的在线运算,把长期不用不活跃的数据存到StorNext上面,StorNext通过他的智能运算把他迁移到Lattus云存储上面。Hadoop需要拿Lattus上面数据的时候,需要通过StorNext API直接到云存储上面去获取。”Ivan 讲到。
“将来昆腾的新版本Hadoop直接在StorNext上,可以直接存到StorNext的主存储上或者是Lattus上面,读取的时候也是直接读取。”
最后,我们看到昆腾StorNext5.0升级了很多技术,同时与Hadoop结合,其目的就是在不断变革的企业级存储市场保持强劲的发展力。面对大数据时代的到来,昆腾StorNext5.0以及其完整的解决方案能够帮助用户在大数据浪潮中闲庭信步。