2023年7月11日，英特尔正式面向中国市场发布AI加速器Gaudi2，作为市场上为数不多的英伟达H100加速器的替代品，Gaudi2有着更高的性价比。
Gaudi2可用于AI训练及推理，此次发布，将为中国用户带来更高的深度学习性能和效率，进而成为大规模部署AI的新选择。
英特尔执行副总裁兼数据中心与人智能事业部总经理Sandra Rivera表示，凭借包括至强可扩展处理器和Gaudi2深度学习加速器在内的产品组合，英特尔正在降低人工智能的准入门槛。
Gaudi2具备：
● 24个可编程Tensor处理器核心（TPCs）
● 21个100Gbps（RoCEv2）以太网接口
● 96GB HBM2E内存容量
● 2.4TB/秒的总内存带宽
● 48MB片上SRAM
● 集成多媒体处理引擎
Gaudi2在6月公布的MLCommons MLPerf基准测试1中有优异表现，其在GPT-3模型、计算机视觉模型ResNet-50（使用8个加速器）、Unet3D（使用8个加速器），以及自然语言处理模型BERT（使用8个和64个加速器）上均取得了优异的训练结果。
与市场上其他面向大规模生成式AI和大语言模型的产品相比，Gaudi2在性能与性价比上都有优势，能够帮助用户提升运营效率的同时，降低运营成本。
此外，Gaudi2可为大规模的多模态和语言模型提供出色的推理性能。在最近的Hugging Face评估中，其在大规模推理方面的表现，包括在运行Stable Diffusion、70亿以及1760亿参数BLOOMz3模型时，在行业内保持领先。
Gaudi2深度学习加速器的架构旨在高效扩展，以满足大规模语言模型及生成式AI模型的需求。其每张芯片集成了21个专用于内部互联的100Gbps（RoCEv2 RDMA）以太网接口，从而实现低延迟服务器内扩展。
在Stable Diffusion训练上，Gaudi2展示了从1张卡至64张卡近线性99%的扩展性。此外，MLCommons刚刚公布的MLPerf训练3.0结果4，亦验证了Gaudi2处理器在1750亿参数的GPT-3模型上，从256个加速器到384个加速器可实现令人印象深刻的接近线性的95%扩展效果。
Gaudi2具备成熟的软软件支持
为支持用户轻松构建模型，或将当前基于GPU的模型业务和系统迁移到基于全新Gaudi2服务器，SynapseAI软件套件针对Gaudi平台深度学习业务进行了优化，SynapseAI集成了对TensorFlow和PyTorch框架的支持。
目前，英特尔正与浪潮信息合作，打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。该服务器集成了8颗Gaudi2加速卡HL-225B，还包含双路第四代英特尔至强可扩展处理器。
本次发布会上，美团、百度与浪潮信息等生态伙伴分别分享了其基于英特尔软硬件产品组合的多样化智能业务进展。 此外，新华三/超聚变也将基于Gaudi2进行相关合作。
