12.1.1 磁盘阵列存储设施
海量存储的核心对象是数据,因此数据的存储设备是海量存储系统的核心设备。如前所述,采用SAN 网络,可以将海量存储系统存储的数据实现集中存储,实现集中存储的存储设备形成存储池。本处描述海量存储系统基于磁盘的存储实现。
根据对该海量存储系统的需的分析,以及根据“按需扩展”的原则,这里初步设定海量存储系统的存储池容量50T。该容量可以基本满足未来一段时间内的需要,随着容灾业务的发展,更多的容量可以通过扩展更多的存储磁盘阵列来实现。
根据海量存储系统服务用户数量众多,数据访问IO 频繁的特点,选择的磁盘阵列应该具有如下特点:
- 应该选择性能较好的光纤磁盘阵列,保证良好的读写性能和可靠性。
- 磁盘容量应该尽可能的大。考虑到主流磁盘阵列的容量、经济型、以及磁盘阵列的集中管理的便利性,尽可能采用大容量配置的磁盘阵列机柜。目前建议采用磁盘阵列的最大容量大约为30T 的产品。。
- 磁盘阵列应该附带有强大的磁盘管理软件,实现磁盘阵列的分区、访问控制、容量扩展等功能。
- 存储设备支持广泛的服务器平台。光纤磁盘阵列应该支持目前所有流行的主流UNIX 和NT/2000、Linux 操作系统和服务器,并且应该允许尽可能夺得服务器同时连接到光纤磁盘阵列上。
- 海量的扩展能力。可以仅仅通过增加磁盘,就达实现容量的扩展。应该支持不同容量的磁盘混合共存在同一盘阵内,为用户今后容量的扩展打下基础。在实际应用时,应该留出富裕的盘柜位置,以便在同一盘柜中较方便地实现扩展
- 具备强大的数据复制功能。光纤磁盘阵列应该支持快速磁盘拷贝、远程容灾等先进功能,为将来功能的进一步扩展打下基础。
- 磁盘阵列支持支持多种RAID 处理,和保留Hot Spare 硬盘的功能。
关于磁盘存储池的设计实现,以下是一些考虑:
- 为了实现海量存储系统内网应用容灾的安全性,海量存储系统内网的数据存储设备将和其他数据存储设备分开。根据内网数据的大小,可以选择容量小一些的磁盘阵列,或者减少磁盘阵列柜的数量,但存储设施的架构基本相同。
- 为了便于管理,建议先期采用同一厂家和型号的产品。
- 建议先不考虑对存储池做虚拟存储管理。因为虚拟存储会影响数据存储的性能,其优势在于管理众多异构的存储盘柜。可以在将来容量快速增长之后,考虑虚拟存储管理技术的应用。
- 为了便于充分使用,每个磁盘阵列需要分成不同的卷。为了实现不同数据的安全,可以将不同的卷加入到不同的SAN 网络的“分区”中,实现数据卷的逻辑隔离。
- 考虑到中心需要管理的数据卷较多,可能需要对用户卷信息进行管理,如果磁盘阵列附带软件没有设这一功能,可以通过磁盘阵列管理软件提供的API 进行开发。
以上磁盘存储池的设计,没有考虑为特殊用户提供的磁盘阵列数据镜像(该方案在后面的章节描述)服务存储能力。该阵列中的数据,主要是通过远程备份、数据文件复制、数据库复制等服务软件,为用户保存的数据。
有些部门已经具备某些某种型号的磁盘阵列,如果实现磁盘阵列级的数据复制和容灾,往往需要海量存储系统提供同构的磁盘阵列。在这种情况下,本海量存储系统可能需要根据具体方案提供相对应的磁盘阵列。对这种海量存储系统需求,事先采购大量的磁盘阵列是不经济的,也是没有必要的。因此,对这种需求,应该在海量存储系统的场地和网络设施基础上,设计专门的方案,来实施实现。在本方案设计中,仅仅作为一种扩展考虑,不作为当前实施实现的一部分,也不纳入预算。
根据对用户数据量的分析估算,建议海量存储系统一期购置的存储设施为:
- 内网磁盘阵列。容量为10T,包括机柜,机头,磁盘以及相应高级功能和管理软件。
- 外网磁盘阵列。容量为30T,包括机柜,机头,磁盘以及相应高级功能和管理软件。
- 存储管理服务器,中端的PC 服务器即可。
图12 -3 海量存储系统扩展
12.1.2 磁带存储设施
数据备份是海量存储系统的核心业务,因此数据备份最终存储设备是海量存储系统的核心设备之一。如前所述,采用SAN 网络,可以将海量存储系统存储的数据实现集中存储,实现集中存储的存储设备形成综合存储池。本处描述海量存储系统基于磁带的存储实现。
根据对海量存储系统需求的分析,以及根据“按需扩展”的原则,海量存储系统的磁带库存储容量按照100 个单位,每个单位600GB 备份量,备份周期为1 周,2 周轮换磁带,至少需要200GB 磁带600 盘,考虑到冗余和其他因素,初步设计海量存储系统的磁带库存储容量为1000 盘。该容量可以基本满足未来一段时间内备份的需要,随着容灾业务的发展,更多的容量可以通过增加扩展柜和磁带槽位,或采用更多的磁带库来实现。
根据海量存储系统服务用户数量众多,数据访问I/O 频繁的特点,选择的磁带库应该具有如下特点:
- 即时、按需提供存储空间特性,使海量存储系统可以立即增添所需要的存储空间,并只为所需要利用的存储空间付费。
- 成熟的存储网络互操作能力,意味着无缝集成到新的、或现有的SAN 网络当中。
- 集成的存储网络资源管理,为用户提供SAN 设备和网络视图和设备级SAN 安全控制机制。
- 可以同时装载大量磁带机驱动器,以获得最高的性能和配置的灵活性。
- 支持LTO、AIT、SDLT/DLT8000 和3590 等磁带机技术,通过方便的技术迁移和升级途径。同时支持混和磁带介质管理和操作。
- 拥有众多高可用性特点,包括支持热更换电源、双磁带库控制器、热插拔磁带机驱动器等。
- 拥有每秒钟清点5 盘以上磁带的高性能机械手;可以快速自动发现新配置、自动校准所有部件。
- 智能存储管理工具包含远程监控、自动报警和虚拟磁带库等功能。
关于磁带库的设计实现,以下是一些考虑:
- 为了实现政务内网应用容灾的安全性,政务内网的数据存储设备将和其他数据存储设备分开。根据内网数据的大小,可以选择容量小一些的磁带库,或者减少磁带槽位的数量,但存储设施的架构基本相同。
- 为了便于管理,建议先期采用同一厂家和型号的产品。
- 建议远程的数据服务首先将数据备份到磁盘阵列上,再将数据导入磁带库;磁带库除了完成对外服务(如远程备份)外,需要对内的数据备份提供服务。
- 为了便于充分使用,每个磁带库可以按需要分成不同的虚拟磁带库(分区)。为了实现不同数据的安全,可以将不同的虚拟磁带库加入到不同的SAN 网络的“分区”中,实现数据逻辑隔离。
磁带库部署图请参见存储网络设计。
12.1.3 介质存放设施
介质存放设施
在海量存储系统中需要保存各种移动数据存储介质,由于这些介质的数量会随着海量存储系统的运作和时间的推移而变得越来越多,所以有必要为这些介质设计和建设存放场所和空间??介质仓库,一方面便于介质的保护,一方面便于介质的查找。海量存储系统介质仓库的系统功能如下:
入库管理
海量存储系统介质入库的环节尤为重要。要求能够按照容灾计划做到即时确认、及时补充。
库管理员根据手中的手持终端(Handheld Terminal,简称HHT),调用后台资料,与容灾计划资料进行实时比照,并可通过终端无线驱动打印机打印对照表;
库管理员根据实时对照表,现场决定介质是否缺失,通过终端调用后台数据库通知容灾用户,以最快速度取回需要入库的介质;保证介质库中介质的可恢复性。
上架
将介质存放到架位上,要求介质价位应当可以保存各容灾部门所使用的所有格式磁带、光盘等介质。
架位管理
通过条形码及后台数据库系统对介质存放的架位进行统一的管理,确认哪个介质存放在哪个架位;可定时由库管理员实时检查介质存放的正确性。
通过终端或管理控制台实时地查看架位的存储情况、空间大小及介质最大容量/可用容量,管理仓库的区域、容量、体积和仓储限度。
系统可以支持介质和架位的反复排定和追踪管理;避免实际现场的错误堆放;使之有序、易于比较和修正现场与系统管理的信息差异;显示、查询介质和架位的使用历史资料。
查询管理
在任何时间和地点,都可以通过终端进行查询;查询内容包括:介质信息、存储情况、有效期等等;
每次查验可以包括该项诸多信息的逐一核对,并反馈给系统有效结果。
现场实时查询和容灾恢复的现场实时指挥工作变得方便容易。
介质追踪管理
在介质的整个生命周期中,从产生、入库保存、调用、归档直到销毁,对每个介质的信息进行追踪管理。
调用管理
完成调用要求检查、所有须用介质的查询和发送等工作
维护管理
对介质定期做防霉、防粘等维护工作,防止介质的损坏。
安全管理
设置介质库门禁和监控系统,防火、防盗。
介质存放设施管理系统架构
介质存放管理系统拓扑结构示意图如下:
图12 -4 介质存放管理系统拓扑结构
如上图12-4 所示,整个介质存放管理系统分为计算机管理系统和人工介质存放库两部分组成,其中介质管理系统主要通过条形码对介质进行统一的管理,为快速的查询和自动化的管理提供基础平台;介质库主要负责介质的存放,为数据存储介质提供安全的、防范各种危害(霉变、火灾等)的存储空间。而对外服务系统为容灾单位提供网上查询功能。注:内网和外网需要各建立一套管理系统和介质库。