自从去年甲骨文收购了Sun,Lustre文件系统的命运就充满了不确定性。事实上,这种不确定性可以追溯到Sun被收购前。为澄清传言,甲骨文在上周的超级计算机2010大会上重申了对Lustre的承诺。
甲骨文存储高级产品经理Jason Schaffer说:“甲骨文没有改变Lustre的本质。我们坚持着对Lustre及高性能计算(HPC)市场的承诺。”
当然,Lustre是一个高性能开源文件系统,通常在高性能计算环境中使用。Lustre是基于Linux,是由甲骨文及许多开源社区的个人和公司共同设计,开发和维护的。其通过大规模并行设计来实现I/O性能的,并且提供的规模水平远远超过传统文件系统的限制。Schaffer表示,Lustre可以扩展到数十个PB级,每秒数百个GB及数千个客户端,并且可以安全的部署到许多群集环境中。
Schaffer说:“Lustre是世界上最好的并行文件系统,我们将继续投资研发。”
他坚持认为,甲骨文并没有改变Sun的策略,而是大大的推动了其发展。这是到底是什么策略?甲骨文领导Lustre开源社区,并继续在这方面投资,使其在HPC上广泛使用。
他还指出了一个事实,在刚刚公布的前500的超级计算机名单中,有61个使用Lustre系统的超级计算机占据前100名。
Schaffer表示:“排名第一的中国客户使用的就是Lustre系统。”
他还谈到了在中国天津国家超级计算机中心的天河一号A系统。该系统以2.57petaflops(千万亿次)性能排在Linpack测试性能500强首位。该系统拥有29376GB内存,采用Nvidia处理单元(GPU)及英特尔至强5600系列处理器。其利用一个定制互连,据说能过处理大约两倍的InfiniBand高速数据。这项功能减少了集群内延迟,这也是天河一号A位居榜首的原因之一。
Schaffer表示:“被Lustre吸引的大多数客户都对其规模和/或性能感兴趣。其不是规模出众就是性能出众。”
他表示,科学界和学术界用户最为突出,也有大量的商业客户。特别是在石油,天然气,媒体和娱乐行业。
分析师观点
这是甲骨文的官方观点,分析人士又是怎么认为的呢?
StorageIO 的分析师Greg Schulz 称:“Lustre之所以能在HPC领域获得成功,这是因为这些环境和场景都需要大量的读取或写入数据集,或者文件需要并行访问,而且许多小文件并行访问对象大多数是外扩展NAS解决方案。同样,最常见的外扩展NAS的用途包括有许多特性的集群文件系统解决方案,如快照,Lustre能够安全地存储并提供高吞吐量来实现多个对象目标的并行读取和写入。”
因此,Schulz表示,很少有用户用Lustre做一些不符合设计的事情(即围绕Lustre的应用部署)。Schulz继续表示,Lustre在研发,勘探和模拟或需要大型数据集并行处理的很多商用环境都有所应用。另一方面,戴尔,EMC,IBM,BlueArc,NetApp和OracleZFS的通用NAS解决方案,Lustre通常都不适合。换句话说,虽然他们都是文件服务系统,Lustre和其他类似的方法如Panasas PanFS,更多的应用于特定的垂直应用环境中,而更通用的系统应用在其他领域。
Schulz说:“换句话说,就是手里的工作要用正确的工具和技术进行处理。”
他认为,Lustre是很有前途的,但其重点在于HPC领域,除非有人可以将其创新应用到更多的通用应用程序中——甚至将这种处理是应用到云中。
路线图的关注
当甲骨文收购Sun时,该公司还拥有了其他的文件系统,如QFS何ZFS。
Schulz说:“虽然有可能重叠,产品定位于不同的市场,ZFS将更多的关注通用的用途。”
ZFS是以存储为中心的文件系统,而Lustre的侧重点是横向扩展及并行。
Schaffer称:“Lustre和ZFS是一种互补。甲骨文为Lustre增加了用于集成ZFS和优化ZFS的投资。”
虽然这么说了,但是没有多少人相信。Sun说要升级Lustre已经许多年了。用户仍在等待集群元数据和锁定管理器等功能。
2008年发表声明的是Peter Bojanic。他离开了甲骨文Lustre 工程师负责人的职务,加入到Xyratex继续从事Lustre相关工作。Xyratex也是一家从事Lustre工作的公司。双发似乎注定了要成为甲骨文Lustre存储和HPC领域的竞争对手。这会导致Lustre社区内部竞争激烈吗?像Panasas这样灵敏的竞争对手接受了离开Lustre的临时客户,看起来甲骨文在继承Sun之后,必须对这个文件系统付出更多的努力。