最近我一直在思考存储平台的发展历程,回顾它从过去到现在的发展历史,想象它在未来会发展成什么样子。对我和其它同行来说,有一件事情越来越清楚,那就是我们的行业在快速改变,从SAN存储及本地文件系统朝着应用化硬件的方向发展。
在考虑这个现象的同时,我问了我朋友一些问题:“我们一定要简化存储架构吗?因为我们没有足够的能力去应付目前复杂的情况?还有一点就是行业的发展最终要归到设备的发展上?因为这才是最自然的发展过程?”
对我来说,这种问题就跟“先有鸡还是先有蛋”这类经典问题一样,很难让人作出回答。
回顾SAN的发展
下面,让我们回顾一下SAN的发展历程。七年前,SAN异军突起,并牢牢占据了存储环境的统治地位,那它是怎样改变这个世界的呢?
大约在1997年,SAN伴随着光纤通道的发展而发展起来,随后便一发不可收拾。直到2007年,10 Gbit以太网面世,这才争夺了一些SAN的市场。
在这段时间里,存储市场发生了一些重大的变化。Linux在许多领域占据了主导地位,文件系统的发展却没什么起色。为什么它的发展并不顺利呢?是因为Linux是免费的,文件系统开发起来非常困难,没有人想为文件系统付费吗?
NAS和其它的存储设备为大型存储环境的简化管理提供了可能。文件系统,存储及管理都被整合到了一个单一的框架中。
在一些大公司中,SAN管理和文件系统管理由不同的部门负责。我经常能见到这些部门之间有不同意见,但是整体的方向还是融合。不过,SAN管理部门经常不告诉文件系统部门底层存储架构,这样,文件存储部门创建出的文件系统经常不是存储的最佳优化方案。
它们使用的是LUNs 7+1 RAID-5(经常用一些企业级的RAID),这些东西,难道并不适合应用程序分配?难道它们要使用4+1 RAID-5?那磁片的大小要设定为多少?文件系统分配应该是什么样的,才能匹配磁片的大小和底层的存储架构?以上这些问题,让大多数人感到迷惑,但它们会对性能造成重大的影响。
即使两个部门合并,或者每个人都被安排到一个部门,在调试每个RAID设备,文件系统,网络和架构时,他们都要搞清楚很多东西。另外还要考虑到不同的部分会涉及到不同的厂商,不同的工作人员,这样就会有更多需要了解的东西。这些东西,肯定会消耗大量的时间和金钱。
除此之外,公司还限制性能工具的使用,虽然它们能告诉用户,问题是什么?他们犯了什么错误?如果不花掉大把金钱的话,很难使每样东西都实现最优化配置。
SAN的厂商们把人们放到了“线上”,这为他们带来大量利润。另外,有的公司还会花钱请咨询公司来修复性能问题(我深谙此道,因为我做过很多这方面的工作)。最后,花在SAN上的钱要比花在硬件上的钱多多了。
与此同时,NAS设备发展迅速,配置和使用变得更快更简单。有的厂商还大力宣传它们能降低成本。
在10GB以太网出现之前,只有1GB以太网。与SAN通道相比,它实在是太慢了。但是10GB以太网出现了,比SAN通道最快的8GB光纤通道的速度还快,于是它成为了速度最快的通道。但是2012年年中的时候,速度更快的16GB光纤通道出现,同时PCIe 3.0服务器也开始冲击市场。当然,10 Gbit 以太网和NAS协议比SAN(SCSI)的成本高,不过,与SAN相比,它们的速度够快,扩展性也比较好。
2012年:充满变数的一年
下面让我们回到2012年,在这一年,存储行业的许多东西都发生了变化。最突出的一点就是用于特定应用程序的设备崛起并快速发展。Hadoop设备,交互性设备,其它大数据分析及大型并行文件系统设备——所有这些产品都不仅显示出市场的发展方向,还表明有一大堆新的厂商加入到这个市场中来。
大多数这样内置应用程序的设备都会对参数调整有所限制,它们已经针对底层存储架构及应用程序做了特别的优化。但这并不是说它们的性能不能调节,只是说可以调整的范围是有限度的。这些设备在出厂之时就已经调整到最佳的状态,所有的整合工作已经完成了。也就是说,使用这些设备的人不需要有太多的存储知识就可以轻松运行这些新的存储设备。
存储设备的兴起是好是坏?
我觉得是多方面的原因导致了传统基于SAN的存储环境发生了改变。首要原因是专业人员的缺乏。缺少那些可以优化配置,管理大型复杂系统以减少不利影响的专业人员。
第二,用于复杂系统的集成软件在哪里?能理解基础拓扑并能自动配置的文件系统在哪里?但这只是人们一厢情愿罢了,因为各层次之间缺乏交流,接口狭窄使人们这些愿望不会实现。
第三,厂商们不知道大难就要来临了。它们有太多美好的事物值得注意——或者说这只是它们自己认为的美好的事物。为什么到现在都没有文件系统厂商之间的端到端的整合从而使事情变得更加简单?但各大厂商之间缺乏合作也刺激了其它技术的发展。
第四也是最后一个原因(当然,也许还有其它原因我没提到),Linux阻碍了文件系统的飞速发展,因为每个人都想用免费的东西。不过,我们打个赌吧,Linux的可扩展性及可管理性绝对比不上SAN。就像俗话说的那样,天下没有免费的午餐。
存储分析师及存储管理员们将何去何从?
假如我的设想都变成了现实,存储世界发生了改变,最终发展为以设备为中心,这样,就不再需要那么多对硬件的管理,监控和整合,那存储分析师和存储管理员们要去向哪里?
从我32年的从业经验中,我得出了一个理论:任何新型的设备都需要人来操控它。用户及应用程序的花费被分散到预算中,如果设备需要更少的人来管理,那随着时间的推移,人们一定会购买更多的设备。在短时间内,可能会出现人员减少,但是从长期来看,什么都没有改变。在我看来,这就就和虚拟化一样,人员减少不会持续很长的时间。
但是,像我这样置身存储行业中的人不得不随着时间的推移而改变,或许会变成化石。不过,每个行业的人都一样。我们可以从管理SAN或RAID配置转移到充分理解应用,了解这些应用是如何映射到硬件上的。就像我说的,所有的应用都有可调参数,而你需要了解的是,这些参数如何应用到程序,数据类型中,如何在系统上运行。这是我们首选的转型机会。
最后一点想法
每个人都在讨论大数据将改变我们的世界。我基本同意这种看法。需要收集分析的数据飞速发展。在我看来,它的发展主要受到算法的限制,以及那些提出问题,发展相关应用的人们的想法的限制。