AI正快速渗透到各行各业,从医疗影像、金融建模到自动驾驶与自动化,背后的数据处理需求也在爆发式增长。
特别是在AI模型训练和推理过程中,动辄PB甚至EB级别的数据集,正对现有存储架构提出前所未有的挑战。
希捷认为,AI让存储系统面临三方面的挑战:
成本问题:虽然SSD性能很强,但在大规模AI训练中全面采用SSD的成本过高。并且,SSD不适合长期保存海量训练数据。
架构复杂:传统SAS/SATA硬盘虽价格合理,但接口设计并非针对AI场景,容易带来额外的延迟,还有部署的复杂度。
云存储限制:依赖云存储的话,会产生很高的网络传输费用,响应延迟较高,还存在检索性能不可预测等问题,可能会拖慢AI模型响应速度。
为解决这些问题,希捷提出,将NVMe协议拓展到大容量机械硬盘(HDD)上。

这种设计既有HDD硬盘的高密度、低成本优势,也有NVMe协议的高速、低延迟特性。架构图中可见,它还用了SSD做Cache,这种架构可以优化AI数据处理流程。
希捷认为,基于NVMe HDD的系统有很多优势。
首先,它无需HBA卡和SAS相关设备,可以简化部署。同时,支持通过DPU让GPU直连存储,绕过CPU来降低延迟。最后,还支持NVMe over Fabrics(NVMe-oF)协议,便于构建大规模分布式AI存储系统。
早在2020年OCP大会上,就有专家提出设想:未来无论是SSD、HDD,甚至是磁带,都可以统一采用NVMe协议,逐步替代SATA和SAS。
虽然听起来特别新鲜,但从技术演进角度来看也挺有道理。
一方面,传统的SAS/SATA协议需要通过中间转换才能连接主机PCIe总线,效率受限。而NVMe天然基于PCIe,具备更高并发和更低延迟的优势。
另一方面,虽然磁盘和磁带都是串行设备,无法完全发挥NVMe的带宽潜力,但统一协议后将简化系统设计,避免协议转换的开销,提升整体效率。
长远来看,随着PCIe交换技术的发展,NVMe未来有望成为跨介质通用的块访问协议,推动存储架构进一步标准化。现在看来,这一设想正慢慢走进现实。
在希捷的智能制造工厂中,希捷用NVMe HDD硬盘支撑的AI做缺陷检测。
相比传统方案,NVMe硬盘不仅支持大容量高清图像的无压缩存储,还能实现高效的数据检索与模型再训练,显著提升分析速度与准确率,同时降低整体存储成本。
除了制造业,NVMe HDD也适用于医疗影像、金融数据分析、自动驾驶系统以及超大规模云AI平台。
希捷还强调,NVMe HDD在碳排放和能耗节省方面也优于SSD。NVMe HDD的碳足迹效率是SSD的10倍,运行功耗效率提升4倍。并且,每TB成本都能显著降低。
希捷正在AI存储领域发力,包括会基于Mozaic平台提供更大容量的硬盘,强化对于NVMe-oF协议支持,实现AI在混合环境中平滑扩展。同时,还会提供标准化参考架构,帮助开发者轻松构建和部署AI存储。