随着SSD的普及，NVMe技术受重视的程度也在与日提升。为此，有关NVMe over fabrics与本地NVMe读取的速度能差多少就是个疑问。这不，近日一家成立十年的来自英国的企业存储系统公司Zeta Storage Systems就为此做了个实验，得出的结论就是NVMe over fabrics vs 直接NVMe驱动几乎一样快。
Zeta有个很特殊的职位，叫做CNO，Chief Nobody Officer，具体工作是思考存储产品的管理与市场。其CNO Lee Chisnal 主导了这项测试，他认为，这回是系统管理员一个真正想知道的问题。
测试系统配置如下：
两台超微至强E5-1620 v4 @ 3.5GHz CPU，16GB RAM，一个发起者，另一个做目标；
NVMe驱动采用Intel DC P3700 / 400GB / PCIe卡；
系统之间采用40Gbit以太网和IB网络连接，40Gbit以太网使用Mellanox ConnectX-3 Pro MCX314A-BCCT网卡，IB网络使用Mellanox ConnectX-3 MCX354A-FCBT适配器；
两台系统采用Linux kernel 4.8-RC8版，io测试使用FIO Version 2.13，runtime 2, 1-4 workers，队列深度32，跑20次然后取平均值；
测试通过RDMA网络直接使用NVMe协议，这样发起者就会认为NVMe的读取在本地而不是一个SCSI LUN。
测试结果如下图：
相比较本地读取，RDMA over InfiniBand 或以太网的速度，在随机读取1KB大小块时较为明显，随着块的增大，差距几乎消失，尤其是到64K时。
随机写的情况有点不同，只有在4K块时本地写的优势较为明显。
Chisnal指出：
1、单worker时，NVMe over fabrics 1K随机读性能约为本地的75%；
2、单worker时，NVMe over fabrics 64K随机读性能约为本地的93%；
3、4 worker时，三者性能几乎持平，约为本地的99.4%；
4、从整体看，以太网和IB网络的性能几乎持平，即使IB用的54Gb，以太网的带宽并不能让NVMe成为瓶颈。
具体见下图：
Chisnal相信，这会更加说明NVMe技术的普及速度会加快，成为一个更加商业化的科技，来取代更多的专有技术。
