We turn on idea,但希捷Kinetic不仅仅是一个idea
阿明 发表于:14年10月23日 22:00 [原创] 存储在线
首先,阿明想问各位亲一个问题:你知道Kinetic是为谁而生吗?
这个问题很严重,不要问我为谁而生,神马都是浮云。
恭喜你,答对了。为云而生。
这是什么跟什么嘛?受不了鸟。
我知道你内力不错,消受一下减减肥嘛。
为云而生,其实也是希捷这些年转型专注云领域的一个很大的创新。有媒体评论到:
“自主开发的希捷Kinetic开放存储平台将重新定义云存储基础设施。”
你这不是广告了吗?是的,广告之后更精彩。且听阿明为你道来:
希捷Kinetic开放存储平台不仅能简化数据管理,提高性能和可扩展性,还可以同时将一般云基础设施的总体拥有成本(TCO)降低至50%,这是横向扩展存储架构向前迈出的至关重要的一步。
为什么Kinetic能如此牛叉?这其中的原因,需要回到1965年。
大家应该有所了解,文件系统是在1965年的时候设计的,从此以后就没有任何变化,但是现在用户的存储方式已经有了改变。而且现在的存储技术要进入到硬盘上面的一些方法已经有了变化。比如说希捷就推出了SMR或者HAMR技术,使得整个存储需要一些编程,一定的开放, 新的变化带来了新的机会。
1如何改善扩展存储架构的性能?
希捷科技Kinetic开放存储和大数据首席技术官James Hughes近期接受媒体采访时指出了一点:
“希捷Kinetic开放存储平台可实现更廉价、且更具扩展性的对象存储解决方案,帮助IT专业人士从不必要的软硬件投资中解放出来,同时还为他们提供最具创新的存储技术。”
James介绍说:“我们现在存储需求已经有了变化,在过去我们存储的是文件系统,而现在我们存储的是一些对象,比如说像照片,或者是电影等等,所以这个存储的需求已经变化了。”来自用户的需求变化,刺激了希捷,为此创造性地推出Kinetic开放存储平台。一个硬盘生产厂商,能够为云转身,难能可贵不?
希捷看到了这样的新机会,“如果我们能够从头开始,从一张白纸开始的话,如何来设计新的一种存储方式。假如云数据中心的数据已经不是Fibre channel或者SAS,而是采用以太网模式,那么如何更好地借助网络。
Now,为什么不能考虑一下在存储上面采用同样的协议呢?“另外,不能不考虑到应用是需要存储信息的,但这不需要它的地址,或者说也不需要在512 byte上面的数据,要考虑的是这个存储信息的名称。”简单地理解,那就是一个美丽的对象。在你没有女朋友之前,有人给你说个美丽的对象,你能不机动么?
有对象是什么样的感觉?
那绝对不是这样的浮夸。
也不会如此地俏丽洋盘。
更不会像这样cosplay。
定会是这样的秀丽端庄。
言归正传。
James指出,现在的存储系统要有新的变化,之前大家需要一些重要的信息来代表这个信息的名字或者是一些值来代表这个值。比如说命名可以是用户名或者照片的名字,而值就是这张照片。现在需要利用一个新的技术,这个技术现在可在云上面实现了,比如说利用hash table,可以有几千个硬盘,可以创造一个非常大的存储系统,而且可以达到一个非常好的效果。
2核心应用程序界面(API)为什么是关键?
为此, 需要在存储上面有一个非常大的变化, 要有开源的核心应用程序界面(API)或者数据库,同时利用云存储系统,建立互相联系的核心应用程序界面(API)。不过,在文件系统方面,与希捷一起合作的包括HDFS、SAF、Scality或其他方面。
来自希捷官方的介绍指出,该平台充分利用了希捷在硬件及软件存储系统的优势,将新的即将开放源代码的核心应用程序界面(API)、以太网和希捷硬盘技术相结合。该技术专为在各种云存储软件栈快速实施和部署而设计,可广泛应用于各种存储设施,帮助系统构建商和软件开发商设计新的解决方案,以应对一系列的云数据中心使用案例。
该平台通过重新定义硬件和软件功能,使云服务提供商和独立软件供应商能够简单有效地优化扩展文件和基于对象的存储。利用Kinetic开放存储平台,应用程序现在可以管理具体的特性和功能,并在任何云存储软件栈快速实施和部署。该技术还可以通过消除性能瓶颈,优化集群管理、数据复制、迁移和主动归档性能,进而提高I/O效率。
3Kinetic带给用户什么新价值?
与此同时,希捷建设了developers.seagate.com开源网站,里面有很多公开的信息,并有一些开源的模拟器,而且整个功能非常完备,其中还有一些测试软件。
既然Kinetic开放存储平台可以为用户带来这些更多的更有创新的功能和设置,那么到底能带来哪些新价值呢?
James对此讲到:“一旦用户有了Kinetic存储系统,不仅可以提高应用之间的存储效率,因为不需要有服务器了。而且舍弃了服务器,成本就自然降低,节约了能耗。由于Kinetic稳定性很好,而且故障很少,在减少成本和能源消耗的同时,提高了用户的效率和性能。现在希捷正在寻找中国的合作伙伴的制造商。”
4如何选择数据存储到硬盘的命令?
对于核心应用程序界面(API),Kinetic技术如何更好地连接?比如使用这个核心应用程序界面(API)时,经过这个接口就不知道下面是硬盘,只知道是一个对象的存储,那么该如何来选择什么硬盘? 比如说有一个值或者有一个命令把数据存储到硬盘里面,谁来做这个选择?
James表示,希捷现在也在从底部开始建造这些系统,还有其他的一些供应商。希捷在为一些合作的供应商提供机会,让这些供应商能够在整个系统之外有更好的发展,希捷正在这方面不断努力。
对于命令的选择问题,希捷其实有分层系统,应用是互相联系的,利用中间层来选择要存储在哪里,而不是希捷选择。实际上可以用一些连接的hash来进行,或者采取其他不同的方式来实现。通过中间层来选择存储在哪一个硬盘上面,然后进行一些配置,知道在哪里存储这些数据。当然,也可能在中层有一些hub或master,不是让硬盘来进行决定,而是形成一个互相关联的系统。
比如说现在Swift有一些数据写入到硬盘里面,希捷采取三个方式联系的硬盘,这个Swift会看到每一个硬盘的状态,可能有一个硬盘出现问题,就不会把数据存储在这里,会做一些复制。Swift可以看到应该进行什么样的复制,然后存储到哪个硬盘里。需要强调的是:“核心应用程序界面(API),选择的硬盘是由核心应用程序界面(API)上面的应用来完成。”
James透露说:“未来Swift会进行一些编码,不会去改变这个硬盘,我们会把数据放在中层。比如说分成十块,进行计算,把五块放到cluster里面,如果说设备出现一些故障,Swift会知道哪一个出现了故障,然后重建数据。”
当然了,到目前为止大家都不知道哪一个硬盘会坚持到最后。用户有很多不同的设备,也会有不同的一些云系统,现在很难知道谁最后会成为赢家,所以希捷只是选择跟这些设备供应商、云系统开发商合作,但并不会做出最后的决定。
可见,希捷的策略很明确,就是鼓励其他卖家,让他们继续销售自己的存储设备,希捷并不想要取代他们,而是与他们协同合作。
5如何实现硬盘本身处理沉默数据失效的问题?
沉默数据失效,比如说一个硬盘、一个处理器、网络或软件出现了错误,当写入了一个数据,但是得到的却不是这个相关数据,在写入或者反馈的时候不知道出现了错误,这就是数据失效,根本没有告诉出现了问题。
但,在Kinetic平台中,每一个输入硬盘的信息都会有一个点对点的“数据集成区域”。并不是由硬盘来计算和控制数据集成区域中的数据,而是由应用程序来管理。硬盘可以识别卷标,可以检测数据的完整性,当数据写回主机时,会相应传回带有点对点数据集成的完整性信息,这样应用程序就可以相应检测,确保硬盘、电脑、网络或其他区域没有发生错误,从而确保数据在写入或返回应用程序时不会出现沉默数据破坏的情况。
另外,中间层软件控制着一个后台操作程序。中间层软件可以命令硬盘对数据进行每个月的点对点数据集成检测,扫描硬盘中所有的数据,目前,需要把所有的数据传回主机,在主机中完成相关的检测工作。如果使用Kinetic平台,就可以在硬盘内部进行相关的检测扫描工作,这样用户就可以自己扫描硬盘数据,检测是否有数据破坏的现象。如果发现有数据破坏的现象,就可以为主机发送损坏文件的文件名,这样主机就可以很轻易地解决数据破坏的问题。
现实应用案例中,在非常大规模的数据群里,会遇到一个很大的问题,当为所有机器发出指令时,如果一个机器发生滞后反应,那么所有的机器都会产生滞后反应。所以这里有一个问题,如果需要让硬盘来控制数据群中的指令进程,那么在这个过程中,其中的一块硬盘可能会慢下来,以至于整个硬盘都会慢下来。大家希望中层软件部分会给硬盘下达最佳的进程指令,这样就可以保证100%的高效率,确保所有的硬盘都在一个快速的反应频率上。
6闪存中如何应用Kinetic技术?
对于希捷在闪存中应用Kinetic技术的情况,James指出,Kinetic技术可以广泛应用在目前的市场中,而且希捷认为内存中的Kinetic技术也是是非常重要的,目前的存储系统,有不同的核心应用程序,包括了:使用在硬盘上面的程序,或者在闪存中的应用程序以及在内存中使用的核心应用程序。
“如果要有一个程序可以管理所有的应用程序就好了。将数据从主机上调出来,然后再连接到另外一个主机上面,而希捷已经实现直接在硬盘里面就可以进行修改。”
另外,James也提到clusterstor,他认为,文件系统存储发展的方向和Kinetic还是不一样,是属于两个不同发展道路,未来都可能获得更好的发展。(阿明根据James采访整理)