Atmos的结构-策略管理及副本机制
达沃时代 发表于:13年03月19日 11:11 [转载] DOIT.com.cn
3.6策略管理
策略用来对数据分类。在数据变化、被访问时,不同类型的数据触发不同的动作。策略的目的是,降低管理成本,自动化。比如可执行的策略有:
副本类型、数量、副本数、存放位置
执行压缩、重复数据删除策略
文件锁定、自动清理,在多久时间内锁定文件、多长时间后自动删除等
通过数据分类和策略执行,不同应用之间,甚至相同应用的不同数据、不同时间,都可以执行更合适策略。
3.7副本机制
副本用来容灾,提高可用性、内容分发、提高读性能(就近)。副本分为两类:本地的同步副本,远程的异步副本,当然也可以在远程使用同步副本,但是访问延迟很大,因此通常不使用此方式
GeoParity机制,借鉴通讯领域中的Erasure Coding机制。
编 码阶段,将文件划分成m块数据和K块编码信息,存放在系统中不同的机柜、不同的Node、不同的site;采用名为Cauchy Reed-Solomon的算法,需要额外的33%存储空间(对比:RAID1需要额外100%的空间占用,RAID5 需要25%的空间占用)
解码阶段,只需要获取m+k的一个子集,即可恢复完整文件,同时用MD5值来验证数据正确性
需要注意的是,在编码和解码阶段可能会产生额外的开销。适合保存长久不用的归档数据,只是增加了写入时一次的开销。