数据存储产业服务平台

浪潮智能存储G2革新数据压缩技术,应对数据“井喷”挑战

导语:在数字化转型的背景下,数据量正呈现出“井喷式”爆发增长的态势。为了帮助企业更高效的节约存储空间、压缩存储成本,浪潮智能存储G2平台采用创新的数据压缩技术,不仅可以节约2倍以上的存储空间,还能将常用存储配置每GB成本降低30%-40%,帮助企业用户从容应对大数据时代的存储挑战。

当今,全球的数据量以每年50%的速度增长。数据的急剧膨胀让企业正处在艰难应对的局面:一方面,不得不持续购置大量的存储设备来应对存储需求;另一方面,单纯提高存储容量却似乎没能从根本解决问题。因此,需要另辟蹊径来解决信息急剧增长带来的问题,以堵住数据存储成本的“井喷”。

 

高效存储理念由此提出。它旨在缓解存储系统空间增长、简化存储管理,最大程度地利用已有资源降低成本。目前业界公认的五项高效存储技术分别是数据压缩、重复数据删除、自动精简配置、自动分层存储和存储虚拟化。其中,数据压缩技术是目前比较成熟稳定的技术,在业内得到广泛应用。浪潮的新一代智能存储G2平台,用新的思维将数据压缩技术能力再次提升,帮助企业用户应对大数据时代的存储挑战。

浪潮智能存储G2产品家族

存储空间节约2倍以上 G2数据压缩技术的三个与众不同

浪潮智能存储G2平台采用了基于随机访问压缩引擎的实时数据压缩技术,不但不会改变系统数据的属性,而且能兼容压缩卷的各项特性。同时,由于该技术采用实时无损数据压缩算法,所以能够动态地对数据进行压缩。与其他存储系统相比,浪潮智能存储G2平台压缩技术有三大技术亮点:

一、实时压缩响应时间短

传统的后台压缩技术是利用存储系统的空闲时间,将主机的数据进行压缩后再存入后端磁盘。但很多存储厂商目前使用的此类技术不能起到减少后端磁盘容量的作用。

浪潮G2平台采用的在线实时压缩技术是在数据写入磁盘之前就已经完成压缩。在数据写到存储系统时,整个压缩过程是透明进行的,主机端甚至感受不到这个压缩过程。其主要优势在于响应时间短,性能高。由于存储网络中的所有数据都被压缩,因此内存、内置阵列和磁盘的数据量变得更少。

浪潮智能存储G2

二、基于时间的压缩本领大

对于应用比较广泛的传统压缩工具诸如ZIP、GZIP而言,写进来的数据会被分离到一些固定的组块中,这些块的压缩和提取都是相互独立的。这就会带来一个问题:当压缩块中有数据需要更新到相应组块中时,整个块的容量都会被选中,从而给提取和重压缩带来繁重的I/O 压力。而如果能够实现只选择其中变化数据的响应压缩块来提取和重压缩,那么需要压缩的比率和负担都会减少。

因此,浪潮存储系统的随机访问压缩引擎提供了一种基于时间压缩的技术。即:当主机有数据向压缩引擎写数据时,这些数据就被压缩,同时向一个大小固定的组块中填充,这个组块叫做可压缩块。当同一时间同时写入多路数据流时,所有数据可被压缩后集中存储到一个单一的可压缩块中,对应的循环检索表也被存储在这个块中。该技术将压缩的数据均匀地写到固定大小的可压缩块中,可以拥有更高的压缩比率,并减少检索表数量,因而提供一种高效统一的方式去检索被压缩的数据。随机访问压缩技术原理如下图所示:

浪潮智能存储G2采用的随机访问压缩方式较传统压缩方式更为高效

三、专用压缩引擎效率高

大多数的存储厂商都已具有数据压缩技术,但是在实际的生产环境中却很少有厂商去真正去应用。究其原因在于,数据压缩功能对于存储系统的CPU、内存等硬件资源消耗很高,如果压缩算法没有很好地优化,甚至可能引起存储宕机。

而浪潮迎难而上,采用专用的硬压缩技术,降低了对控制器计算资源的占用,特别是对CPU和缓存的占用。

浪潮智能存储G2配置了专用的硬件压缩加速卡,能让用户的存储空间节约2倍以上

由于拥有上述三大特性,浪潮存储系统的压缩技术在压缩比率、检索表的数量、读写性能上都有大幅提升和优化,再配置专用的硬件压缩加速卡,能够让用户的存储空间节约2倍以上,在大大提升各项业务性能的同时,有效降低TCO。据相关测试数据显示,浪潮智能存储G2数据压缩解决方案能使常用存储配置每GB成本降低30%-40%。

化解数据存储场景化应用难题

先进的技术只有放到真实的应用场景中才会有用武之地,也才能真正发挥价值。让我们来看一看浪潮智能存储G2平台的数据压缩技术怎样为石油石化、制造业和大型企业用户化解应用难题。

场景一:高度压缩地质数据,压缩比超50%

浪潮智能存储G2平台助石油石化行业企业高度压缩地质数据,压缩比超50%

客户A为石油石化行业用户,存储系统主要应用在石油和天然气地质地震数据存储。由于每个季度都会产生12TB的地质数据,每年都要增加一个磁盘柜,导致客户机房空间越来越紧张,并且系统还出现存储大量数据时卡顿的现象。

其实,这类客户的大多数数据类型都是可以高度压缩的。在存放这些类型的数据时,浪潮智能存储G2压缩功能帮助实现在线压缩,降低了整体使用空间。对于这类客户,压缩比可以达到50%~60%。

场景二:制造业虚拟化应用压缩比最高达75%

浪潮智能存储G2平台助制造行业企业虚拟化应用压缩比最高达75%

客户B为制造行业企业用户,使用某著名的虚拟化集群软件,后端存储系统中存有大量不同操作系统和软件版本的虚拟机模板镜像文件,造成空间的极大浪费。

事实上,虚拟化应用已经广泛的应用在现在的业务需求中,并且在不断的扩充市场需求。这就需要有更多的存储空间去支撑虚拟化应用,以保证能够存储更多的虚拟服务器镜像数据。使用G2压缩功能后,减少了对存储空间的需求,压缩比可达到45%~75%。目前浪潮智能存储G2虚拟化应用软件可支持主流的VMware、Hyper-V、基于内核的虚拟机。

场景三:降低大型企业TCO,日志及邮件服务器压缩比达90%

浪潮智能存储G2平台降低大型企业TCO,日志及邮件服务器压缩比达90%

客户C是大型机构,其邮件系统就需要用掉250TB的存储空间,而邮件系统的时间特性决定大量早期的邮件不被读取,却还占用大量空间。而其机房日志服务器负责收集所有设备每天的日志文件,庞大数据量的也与日俱增。由于自建机房内空间已满,目前客户不得不租用电信运营商机房,每年都需要采购新的机柜,由此带来电量消耗、磁盘维护、机房占用、链路带宽占用等问题,使得整体TCO大幅增加。

在采用了浪潮智能存储G2设备之后,由于其压缩功能的透明性,既不改变系统数据的属性,又能够很好地满足该企业对性能、可靠性以及可扩展性的要求。并且,由于日志文件的特殊性,选择压缩功能的效果非常明显,压缩比可高达90%。

未经允许不得转载:存储在线-存储专业媒体 » 浪潮智能存储G2革新数据压缩技术,应对数据“井喷”挑战