数据存储产业服务平台

DapuStor & Pliops 为业务应用提供更快的 key-value 操作

Kvrocks 是百度、携程、美图、RGYUN、U-NEXT 和白山云等知名企业数据存储业务的基石。这款开源的分布式键值(NoSQL)数据库,擅长管理和处理大规模数据集。Kvrocks 使用RocksDB进行存储,兼容 Redis 协议,是 Redis 的替代品。作为一种持久性键值存储,它在处理大规模数据时能显著节省内存成本。

当数据量达到 PB 级时,由于 RocksDB 引擎所使用的 LSMT(Log Structured Merge Tree)的固有限制,性能和延迟难以满足SLA的要求。此外,还无法充分利用存储设备,如DapuStor R5系列SSD所能提供的高IOPS和低延迟。为了克服这些障碍,优化基础设施和提高运营效率至关重要。这些措施不仅有效降低了数据存储成本,还通过确保快速响应和高可靠性,显著提升了客户体验。

01 Pliops 联合 DapuStor 推出解决方案

DapuStor 和 Pliops 作为各自领域的领先企业,以卓越的key-value存储推动 Kvrocks 的发展,力求在性能、可扩展性和 QoS 方面超越客户的期望。由DapuStor的固态硬盘与Pliops的AccelKV做为底层支撑的XDP-Rocks库,为Kvrocks的用户提供了无与伦比的优势。XDP-Rocks 库扩展了 RocksDB 的功能,优化了Kvrocks集成,具有高效数据操作和高级数据集扫描等功能,对强大的数据检索至关重要。

02 性能评估

Dbbench 基准测试用于比较由 Pliops 和Dapustor联合解决方案加速的 Kvrocks 与开源 RocksDB 的性能差异。评估涵盖了各种工作负载–覆盖写入、只读和混合–利用多线程来测量吞吐量和延迟。标准对象大小为 256 字节,压缩率为50%,提供了一致的比较框架。分析涉及12亿个对象的数据集,占用 823GB 的存储空间,展示了 Pliops Accel KV 如何提高数据库效率和响应速度。容量为3.84TB的DapuStor R5101 固态硬盘与 Pliops XDP 搭配使用,是此次性能评估的关键。

如下是硬件和软件的详细情况

03 测评结果

与 RocksDB 的 512GB 内存配置相比,Pliops XDP-Rocks 的 64GB 内存配置表现出显著的性能优势。当用户线程从16个增加到128个时,XDP-Rocks 的吞吐量从1.2倍猛增到2.7倍。与此同时,延迟也大幅下降,降幅在66%到87%之间,凸显了 XDP-Rocks 卓越的可扩展性和效率。这种精简的配置不仅提高了性能,还将内存需求削减了惊人的 448GB,体现了高效率与资源优化的完美融合。

在混合工作负载(70R:30W)场景中,XDP-Rocks 的表现优于 RocksDB,当用户线程从16个增加到 128个时,吞吐量收益从1.05倍增加到2.4倍。相应地,延迟降低了10%到28%,充分展示了XDP-Rocks的效率和可扩展性。

在读密集型的工作负载场景中,Pliops XDP-Rocks 和 RocksDB 均使用64GB内存。随着用户线程数从 16个增加到128个,XDP-Rocks 的吞吐量优势从 1.5倍上升到1.87倍。同时,延迟也显著下降,从 1.89 倍下降到 2 倍,这突出表明了 XDP Rocks 的可扩展性和效率。这些结果不仅显示了性能的提升,还显示了延迟的明显降低,展示了 XDP-Rocks 配置的双重优势。

04 结论

使用 Dbbench 基准对硬件加速的 XDP-Rocks 和RocksDB 进行了广泛的性能评估。这项评估涉及到大量数据集,包括1.2亿个数据对象,为深入了解系统的能力提供了宝贵的资料。研究结果表明,硬件加速的XDP-Rocks的性能比传统 RocksDB 高出两倍。此外,它还增强了用户的可扩展性,提高了 Kvrocks 应用程序的系统效率。

联合方案最显著的优势之一是其对服务质量(QoS)的影响。在 QoS 对提供卓越客户体验至关重要的情况下,它尤为有益。

性能加速: 

XDP-Rocks为多样的工作负载提供2倍的性能加速-混合负载、读密集型负载。

减少延迟: 

结果表明,尾部延迟有可能减少,从而加快数据访问速度,提高整体性能。

成本效益高: 

可利用现有基础设施并且减少对更大内存容量的需求,从而为大规模数据管理提供经济高效的解决方案。

性能可扩展性: 

从 16 个用户线程到256 个线程,都能有效提升性能,这表明解决方案具有高度可扩展性,适合不断增长的用户并发需求。

易于集成: 

XDP- Rocks 可与RocksDB API 兼容,从而更容易集成到现有应用程序中而不涉及大量修改。

节省总体拥有成本: 

由于性能加速,价格与性能的比值降低53%。

在这一严格的测试环境中,DapuStor R5系列 固态硬盘 Pliops XDP Accel KV 配合使用,这种组合有助于将系统的运行能力推向极致。评估结果表明,Pliops KV 在各种应用(尤其是 Kvrocks)中,是传统 RocksDB 实现的可行且更优越的替代方案。

深圳大普微电子(DapuStor),成立于2016年,是国内领先、国际一流的企业级SSD主控芯片设计、SSD产品及存储方案提供商。公司具备从芯片设计到存储产品量产交付的全栈能力;作为国家级高新技术企业、国家级知识产权示范企业及国家级“专精特新小巨人”企业,公司以推动中国”存算一体”与”智能存储”产业发展为己任。

团队规模约400人,其中超过70%为研发人员。公司已申请或授予的国内外发明专利超过300项,并获得多个国家级专利奖项。基于自主研发的DP系列主控芯片及固件,公司的企业级SSD产品及方案从Gen3到Gen5,已广泛应用于国内外云计算、互联网、电信运营商及金融等行业的数据中心。

未经允许不得转载:存储在线-存储专业媒体 » DapuStor & Pliops 为业务应用提供更快的 key-value 操作