纠删码:确保RAID失效后的存储耐用性

IT168 发表于:11年08月19日 09:15 [转载] IT168

  • 分享:
[导读]纠删码是一种前向纠错技术,几十年来一直以多种方式被使用,现在这项技术正逐渐兴起于一种新的高容量存储系统中,用以解决RAID的局限性。RAID在保护大容量驱动中的数据时有一些后继无力,因为RAID技术是在1GB驱动器出现前发明的。其基本理念是将数据分散在这些小的驱动器上,因此单个硬盘故障不会导致数据丢失。

然后这些纠删码码块分布在存储系统中的各个驱动器上,这样即使一个或多个硬盘发生故障,存储系统也能够重新恢复损坏数据。

更为重要的是,我们不仅需要注意数据的有效性,还要注意底层的存储效率。现在有一些适用于存储系统的纠删码码技术产品,也有一些较新的衍生版,如喷泉码、飓风码或在线纠删码。

每一种在应对多组件故障、不可恢复的读取错误和损坏的数据保护方面都具有独特的优点,大多数软件在系统元件故障时,还提供数据自动修复功能。这些系统还能够提供非常高等级的存储数据可用性,这就意味着其可大大降低每年的数据丢失率。

在目前的云存储环境中有一个共同的数据保护机制,即保持文件的多个副本(注:例如目前流行的“三副本云服务”)。云能够提供高等级的存储可用性,但这也将花费三倍的潜在资源和运营成本(硬盘、电能、散热、占地面积和成本支出)。

如果是300MB,就无需考虑这个问题了。当100PB有效空间需要300PB未使用空间来确保可用性的时候,它可能会变成一个限制因素。投入成本事实上要比RAID-6高(用200%的存储经费做三个备份 VS 用150%的经费使用RAID-6)

有了纠删码技术,就可以实现相对低成本下的高等级存储可用性了。在安装启动模式中,保护数据在16磁盘4次故障的情况下可用需要经费的60%。也就是说,每PB的有效空间需要1.6PB的未使用空间。

和其他方法相比,它可以有效地节省运行成本。使用了纠删码的存储系统因此有机会以更经济的方式将数据存储到高密度磁盘驱动器上,并保证数据的可靠性和持久性 。

Amplidata成立2008年,由当时一个存储领域退休人员组成的团队开始这项技术的研发,后来基于该项技术建立了AmpliStor—— 一个旨在解决散乱数据存储问题的优化目标存储系统。该技术的核心是以最低的成本提供最高的存储可靠性和可读取水平。AmpliStor可以扩展到P字节,和传统方法相比,保护数据所需的存储容量要低50-70%。

[责任编辑:朱宇]
相信无人不知惠普存储融合之道,作为辐射企业级、消费电子、软件等从基础架构到终端的厂商,惠普融合之道确实搭建了一个非常利于其存储发展的大舞台。为此,在丰富惠普存储王国的过程中,3PAR的进入,不仅带给惠普存储新的力量,同时也带来了新的趋势,完善了惠普在中高端存储领域的阵营,不过,从HP搭台3PAR唱戏到HP和3PAR同台共舞,惠普一直坚持融合存储之道,将瞬捷战略也结合了起来。由此,我们便看到了HP 3PAR给存储业带来的新的惊喜,从而形成了MSA、Lefthand、EVA、XP、3PAR惠普的五虎上将。
官方微信
weixin
精彩专题更多
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved.