数据存储产业服务平台

中国工程院院士郑纬民教授:从头研发先进的存储系统软件

什么叫从头构建先进的存储软件?

从头开始做,就是都要自己做,而不是在开源软件上的基础上修改、包装。不是说开源软件不好,但这里更加强调要从头自己做起;第二,需要确保先进性,不是做一个比现有开源软件差的软件,而是要做得更好。

中国工程院院士、清华大学计算机系教授郑纬民发表主题演讲:应鼓励从头研发先进的存储系统软件

现在是时候!其中大概有几个原因:

第一,现有很多设计是基于传统硬件的,如机械硬盘,其随机访问性能差、延迟高,外存带宽比内存带宽要差两个数量级别。过去很多系统软件都是基于硬盘做的。当今的主流是NVMe SSD闪存,其随机读/写性能和连续读/写是一样的,外存带宽与内存带宽只差一个数量级了,这就给我们带来机会,系统软件应该重写。

第二,原来写软件主要有两种语言:C和Java,两种语言的表达能力应该说不是太好,内存管理需要要手动进行。如今, C++、Rust,这两种新语言的表达能力更好,内存管理也做得更好,边缘优化也很好,这就为从头写先进存储软件创造了条件。

那么先进存储软件从哪里来呢?

相当一部分系统软件开始时是0到1,发源于少数软件天才,比如Linux是赫尔辛基大学的学生做的,Spark是美国Berkley分校的博士做的,开始时这些软件功能简单一点,慢慢的就由1变成100、1000。中国当前的问题是从0到1的例子太少,更多人做的工作是从100到1000,这也不是不好,但是中国更需要0到1。

中国能不能做0到1呢?特别针对存储,没有可能做0到1的事情?

在此,我举2两个例子来说明。

一是高性能分布式文件系统,它属于存储系统软件的范畴,被应用在深圳鹏城国家实验室的超级计算项目中,荣获IO500性能排行榜第一名。IO500测什么?测写入数据、再读出,创建、删除、写入文件、查找,非常复杂,例如小文件只有3901个字节,就是这么怪的数据让你测性能。因此IO500的冠军,意味着存储系统设计非常优秀。

英特尔的DAOS系统以及剑桥大学的Lustre文件系统都参加过该测试,美国象树岭国家实验室也参加过,长沙的天河、广州超算中心、阿贡实验室、Oracle等都参加过比赛。

初期我们也想基于国外原型系统做,后来发现开源软件问题很大,后来我们从头开始构建,用Rust语言,基于更通用、更稳定的库,其性能很好,其中就涉及到RDMA、NVMe SSD等新技术,并全面采用旁路技术,降低软件栈开销,最终用Rust语言写出了一个高性能分布式文件系统,并把IO500冲到了7043的分数,相比第二名就有2000分不到,最后测试的情况,我们达到36850分。

最后,我们得了6个冠军,因为10个节点一比,全系统一比,比带宽、比延迟,我们都拿了6个冠军。

第二个例子,基于NVMe SSD来做数据库系统,此前一代数据库是基于硬盘的,数据存在硬盘上,用内存作为缓存,MySQL,Oracle都是这样思路,但是其中只有6.8%的指令是业务需要的,也就是读、写数据库只有6.8%,剩下的都在做内存缓存管理。相比,内存数据库数据全都放在内存,但是内存不是持久性设备,断电数据就会丢失,因此为了保证持久性,要把日志、检查点数据放在硬盘中,造成了延迟增加,从10微秒增加到100毫秒。

有没有可能做一个NVMe SSD数据库,也就是基于闪存的数据库?答案是可以的,但不是简单地把内存、硬盘替换成闪存就可以的,要做一系列优化,有很多东西要做,我们做完以后觉得还是可以的。

基于以往的实践,不难得出三点以下体会:

1.从头构建先进的存储系统软件没有想象的那么难,因为SSD、RDMA、Rust给了我们重新做系统软件的机会;

2.外国大学生能做到,中国大学生也能做到。外国年轻人能做到的,中国年轻人也能做到;

3.关键是你要开始做,不要等着。

我们需要涌现一批没事就想写个系统的年轻人,要对写软件有兴趣,有了这个兴趣,你就行,就可以行。

我觉得我们国家的存储系统,应该说经过大家的努力,会越来越好。

 (以上基于2021年全球闪存峰会演讲整理,未经过本人审阅)

未经允许不得转载:存储在线-存储专业媒体 » 中国工程院院士郑纬民教授:从头研发先进的存储系统软件