为满足日益增长的边缘AI市场需求，助推其高效创新发展，华邦专门推出CUBE（半定制化超高带宽元件）产品，大幅优化内存技术，可实现在混合云与边缘云应用中运行生成式 AI 的性能，为边缘AI量身定制完美的内存解决方案。与市面上现有方案相比，CUBE 的中小容量超高带宽的特点极具差异化，适用于机器人、可穿戴设备、边缘服务器等多种高级应用。
AI智驭未来，2024迈入存储元年
“AI 一天，人间一年”，一句市场流行语完美阐释了如今AI大模型的高速发展和广泛应用。以人们日常使用的智能手机为例，众多知名厂商在AI浪潮席卷之下，紧跟AI前沿趋势，纷纷推出搭载端侧大模型或采用“端云协同”部署方案的AI手机，促使手机的智慧化、智能化达到全新高度，根据市场调研机构 IDC预测，2024年全球新一代AI手机出货量将达到1.7亿部，占智能手机总出货量的15%[1]，体现了AI手机在电子消费市场的广阔前景。
除手机领域外，AI在各类边缘应用落地的趋势也愈发显著。自ChatGPT横空出世以来，短短一年多的时间，生成式AI已悄然渗透至电脑、千行百业持续深入融合，迸发出前所未有的创新活力与应用潜力。
释放边缘AI潜力，“存力”成关键引擎
生成式AI，尤其是在处理大语言模型和高精度图像生成任务时，往往需要庞大的存储和计算资源作为支撑。比如在图像生成方面，创建高分辨率图像往往伴随密集的卷积运算和反卷积运算，而这些运算需要高带宽、高容量的内存来支持数据的快速传输。
因此，庞大的市场机遇与发展所带来的挑战总是紧密相依，边缘设备在导入生成式AI方面仍面临着容量、带宽、能耗和散热等方面的瓶颈，这些因素深刻影响并制约着边缘AI发。
具体而言，边缘设备导入生成式AI时通常会面临以下瓶颈：
- 存储容量限制：以LLamA2 7B大型语言模型为例，即便在优化至INT8精度时，也至少需要7GB的内存容量来支撑其运行，而在进一步压缩至INT4精度下，内存需求仍高达5GB。这意味着多数现有的边缘设备需要进行内存扩容升级，才能实现模型的本地高效运算、显著降低响应延迟；
- 数据传输带宽不足：当前主流AI手机普遍采用LPDDR5内存，其带宽为68GB/s未LPDDR6带虽望到150GB/s，但可能仍不足以满足高端AI应用的需求。而HBM虽性能卓越，却因成本与功耗过高，难以在边缘设备中普及应用；
- 能耗和散热挑战：运行复杂的生成式AI模型相较一般应用会产生大量计算热量。因此，边缘设备需要设计有效的能源管理和散热系统，以确保设备运行的良好性能和稳定性。
CUBE：小号“HBM”，完美填补市场空缺
目前，AI技术的深拓展用很程度仍需借云端这意着用的每请指均需越网抵达云端，才能进行复杂的处理，随后再将处理结果反馈至用户，因此云端通常涉及传输延迟、数据隐私和效益成本方面的挑战，这大大限制了AI技术和应用的普及广度。
与云计算侧重大规模数据处理不同，边缘计算的数据处理发生在数据源或端点处，因此拥有实时处理、分析和决策的快速能力，可大幅降低传输延迟性，契合复杂多变的环境和任务处理。因此边缘AI市场也催生了对中低容量、超高带宽及低功耗内存解决方案的需求，并且生成式AI的出现也让存储行业催生了新的发展机遇——定制化的存储需求应用而生，这主要基于两大原因：
- 场缺乏具成本益与高能的方：目的HBM3E宽可达2TB/s，但功耗过高；虽然LPDDR6带宽未来有望超过150GB/s，但在这二者之间缺乏既能有效控制成本，又能满足边缘设备高性能需求的理想内存解决方案；
- 末级缓存（Last Level Cache）：随着半导体制程不断向7nm以下推进，SRAM微缩效益不再明显，并且AI运算使其容量需求增加，高容量SRAM占据大面积进一步导致成本快速升高。因此，市场上亟需能够减少SRAM占用面积，降低整体成本的高效解决方案。
为满足日益增长的边缘AI市场需求，推其高创新展，邦专门出CUBE（定制超高带宽件）产品大幅优化存技术，实现在合云边缘云用中运行成式 AI 的性能，为边缘AI量身定制完美的内存解决方案。与市面上现有方案相比，CUBE 的中小容量超高带宽的特点极具差异化，适用于机器人、可穿戴设备、边缘服务器等多种高级应用。
CUBE在功耗、性能、尺寸设计以及带宽等领域拥有卓越特性全方位满边缘AI发展需。在带宽面，CUBE能达到 256GB/s – 1TB/s相当于 HBM2 4-32 个 LPDDR4x 4266Mbps x16 IO；并且，CUBE的功耗低于 1pJ/bit，在供超高带宽的同时还可极大减少能源消耗。此外，通过创新性TSV 技术以及 uBump/ 混合键合，CUBE可降低功耗并节省 SoC 设计面积，从而实现高效且极具成本效益的解决方案。
整体而言，CUBE 凭借更高的带宽、更高的能效、更快的响应时间、可定制化特性以及紧凑外形，在释放 AI应用潜力方面发挥重要作用，能够让强大的 AI 从云落地至边缘设备和混合云应用中。
随着生成式AI不断向边缘端演化，不同应用场景下的边缘端产品数据传输量攀升，并催生出对低功耗、高带宽存储产品的迫切需求，这一系列新趋势为储市场开辟广阔的发空间。作深耕存储行的领导厂商一，华邦持不懈创新精益求精的发理念，持续开用于终端产定应用DDR4/LPDDR4，此外，邦还致力于发定制化超高带宽内存解决方案，携手OSAT（半导体封装测试）伙伴为边缘设备SoC带来理想的中小容量超高带宽内存，共同探索内存技术的创新前沿，推动边缘AI实现更高效、更蓬勃的发展。
[1] IDC 咨询：分析师观点： 四年内，中国新一代AI手机将占据半壁江山——机遇稍纵即逝 https://mp.weixin.qq.com/s/bNzl_Nbg01QUKQOyRuxQsg 【作者：华邦电子 】
