数据存储产业服务平台

AI时代下,希捷为HDD硬盘插上NVMe的翅膀

AI正快速渗透到各行各业,从医疗影像、金融建模到自动驾驶与自动化,背后的数据处理需求也在爆发式增长。

特别是在AI模型训练和推理过程中,动辄PB甚至EB级别的数据集,正对现有存储架构提出前所未有的挑战。

希捷认为,AI让存储系统面临三方面的挑战:

成本问题:虽然SSD性能很强,但在大规模AI训练中全面采用SSD的成本过高。并且,SSD不适合长期保存海量训练数据。

架构复杂:传统SAS/SATA硬盘虽价格合理,但接口设计并非针对AI场景,容易带来额外的延迟,还有部署的复杂度。

云存储限制:依赖云存储的话,会产生很高的网络传输费用,响应延迟较高,还存在检索性能不可预测等问题,可能会拖慢AI模型响应速度。

为解决这些问题,希捷提出,将NVMe协议拓展到大容量机械硬盘(HDD)上。

这种设计既有HDD硬盘的高密度、低成本优势,也有NVMe协议的高速、低延迟特性。架构图中可见,它还用了SSD做Cache,这种架构可以优化AI数据处理流程。

希捷认为,基于NVMe HDD的系统有很多优势。

首先,它无需HBA卡和SAS相关设备,可以简化部署。同时,支持通过DPU让GPU直连存储,绕过CPU来降低延迟。最后,还支持NVMe over Fabrics(NVMe-oF)协议,便于构建大规模分布式AI存储系统。

在2020年OCP大会上,就有专家提出设想:未来无论是SSD、HDD,甚至是磁带,都可以统一采用NVMe协议,逐步替代SATA和SAS。

虽然听起来特别新鲜,但从技术演进角度来看也挺有道理。

一方面,传统的SAS/SATA协议需要通过中间转换才能连接主机PCIe总线,效率受限。而NVMe天然基于PCIe,具备更高并发和更低延迟的优势。

另一方面,虽然磁盘和磁带都是串行设备,无法完全发挥NVMe的带宽潜力,但统一协议后将简化系统设计,避免协议转换的开销,提升整体效率。

长远来看,随着PCIe交换技术的发展,NVMe未来有望成为跨介质通用的块访问协议,推动存储架构进一步标准化。现在看来,这一设想正慢慢走进现实。

在希捷的智能制造工厂中,希捷用NVMe HDD硬盘支撑的AI做缺陷检测。

相比传统方案,NVMe硬盘不仅支持大容量高清图像的无压缩存储,还能实现高效的数据检索与模型再训练,显著提升分析速度与准确率,同时降低整体存储成本。

除了制造业,NVMe HDD也适用于医疗影像、金融数据分析、自动驾驶系统以及超大规模云AI平台。

希捷还强调,NVMe HDD在碳排放和能耗节省方面也优于SSD。NVMe HDD的碳足迹效率是SSD的10倍,运行功耗效率提升4倍。并且,每TB成本都能显著降低。

希捷正在AI存储领域发力,包括会基于Mozaic平台提供更大容量的硬盘,强化对于NVMe-oF协议支持,实现AI在混合环境中平滑扩展。同时,还会提供标准化参考架构,帮助开发者轻松构建和部署AI存储。

未经允许不得转载:存储在线-存储专业媒体 » AI时代下,希捷为HDD硬盘插上NVMe的翅膀