去年11月底OpenAI发布ChatGPT聊天机器人,一周内用户量突破100万,然后紧跟时势的是谷歌的Bard,国内百度的文心一言,阿里的通义千问等等,生成式AI的火热程度可见一斑。
这次AI新变革在存储行业也产生了重大影响,Gartner、Forrester等研究机构都在预测后续冲击,那么在行业里谁会借生成式AI的东风获得高收益呢,接下来梳理一下。
硬件方面
DRAM——运行大模型做训练和推理的CPU/GPU服务器会需要更多,其中就包括用于GPU的高带宽内存HBM,这个在8月29-30日,2023年全球闪存峰会上也将有此类话题展开,大家可以关注一下。
PCIe——PCIe 4.0和5.0组件提供商要为需求激增做准备。
CXL——CXL是一种开放式内部互连新标准,做硬件内存池化,目标是提高内存容量和数据传输带宽,降低延迟。面向CPU和专用加速器的密集型工作负载,支持在主机和设备间进行高效稳定的存储器访问。
到CXL 2.0增加了交换、加密和对持久内存的支持,受大模型的需求刺激,企业对CXL 2.0的支持应该会加速,这也意味着DRAM扩展器、CXL交换机和组件公司,如三星、SK海力士等都会受益。
NAND和SSD——需求越来越多,QLC和高层数TLC NAND会受益。
存储阵列——需要高容量和高速 IO。AI/ML集群将需要PB级容量,大模型训练运行将需要高速数据集读取和写入,要求软硬件提升并行访问速度。
这主要有利于使用NVMe协议和支持Nvidia GPU服务器GPUDirect文件访问的全闪存阵列。戴尔、DDN、NetApp、Pure Storage (AIRI) 和 VAST Data 等企业已经准备好利用这一点。对象存储和块存储供应商则要多多努力。
软件方面
以CXL为发力点的软件企业——比如MemVerge等企业讲述的大内存时代随着AIGC的出现加速到来。
数据分析——供应商要抓紧调用大模型前端。
数据库、仓库和湖仓——一些国外企业已经在用自然语言实时查询其组织的数据库/数据湖,比如数据库初创公司SingleStore就通过投喂给ChatGPT矢量函数实现SQL查询功能,通用基础的功能很好用。不过对国内来说,想从数据库发家致富还是要等技术再成熟,足够安全才行,想立刻变现是个dream。
高速阵列——供应商可能会将他们的软件移植到将运行生成式AI模型的公有云上。这样就可以支持采用混合本地/公有云的方法来运行大语言模型的客户。
横向扩展并行文件系统——IBM (Storage Scale) 和WEKA等供应商定位很好,因为他们的现有客户采用生成式AI技术,对新客户也更具吸引力。
其它
云文件服务供应商——可以用存储在云上的数据集来投喂大模型,但数据需要从其底层对象库实现更快地访存;类似AWS、Azure和谷歌用类似 GPUDirect的方式把数据从S3和Azure Blob存储传送到GPU实例里。
数据编排——如果能编排大模型所需的数据就可能会获得收益。
数据保护和安全——连接聊天机器人接口到企业设备使用时要保护数据集和识别漏洞。特定领域的聊天机器人可以检查组织的攻击面并确定保护它的操作。
磁盘阵列——速度太慢,但可以作为闪存之后的第二层级。
安全供应商——聊天机器人等人工智能技术可以让它们更有效地检测和响应恶意软件及处理用户交互。