虚拟网络存储技术在企业中的应用及解决方案
一、 企业存储需求与挑战
伴随着企业信息化建设发展,由桌面计算、网络、存储等核心技术构成的企业IT基础架构已经成为企业运营管理、参与市场竞争、优化业务流程、增强客户关系的强有力的支撑系统;企业继服务器、网络整合之后,开始了数据存储整合,其存储模式由传统的主机直接存储向网络存储演变;现在越来越多的已经将关键业务和客户服务移植到网络上面的大中型企业,选择了SAN存储网络(FC-SAN或IP-SAN)作为集中式数据存储结构。SAN通过集中式网络存储技术极大地改善了存储服务质量和管理效率,为企业数据保护提供了较好的保障,但是企业存储仍面临一些新的挑战:
- 数据容量问题
数据量不断增加,如何在不影响应用业务情况下增加存储容量? - 存储软件利用问题
存储服务软件(快照,复制,容量分配,HA等)购买成本已经占到整个设备成本的近1/2,如何有效利用这些软件资源? - 存储运行管理问题
存储设备管理复杂,如何简化管理,从而降低人工管理成本? - 存储设备资源共享问题
由于各种原因,用户很难只购买同一品牌或同一厂商的存储设备,如何解决不同品牌及不同厂商存储设备之间的互操作性,使之能有效利用存储资源? - 数据备份问题
传统数据备份按主机许可证收费,这使得多平台主机环境中备份成本急剧增加,如何降低备份成本? - 数据远程复制成本问题
传统数据复制技术成本昂贵,如何利用现有IP网络实现数据远程复制? - 存储投资保护问题
另一方面,企业为适应市场竞争,保持良好的客户关系,也对数据(数据是一种以信息化形式存在的企业资产)的存储技术提出了新的要求:
数据要随时随地可为业务/应用所访问和处理,这意味着数据存储结构要具有高可靠性,数据操作要具有高性能;
数据存储容量的扩展不能中断现有业务运行,这意味着要能够动态地对存储空间进行分配;
数据的备份和恢复不能以时间和存储设备成本为代价,这意味着要提供更有效更低成本的数据备份和恢复手段;
不同存储设备之间要能够互操作,以实现投资保护和资源有效利用,这意味着要提供一种开放式存储管理平台,在其上能够对各种不同结构或品牌的存储设备进行服务操作,如快照,空间分配,数据复制,HA等。
总之,随着现有企业存储环境的不断扩展,存储设备的不断增加和多样化,存储管理的难度越来越大;数据备份难度也相应增加,备份的数量和时间越来越长。因此,除非对现有存储系统进行有效整合,否则将无法确保企业运营过程中的风险管理和成本控制。
二、 虚拟存储管理帮助企业应对挑战
采用传统的存储管理技术是无法很好地解决上述问题,也很难满足企业新的存储需求,必须采用虚拟存储技术。这里我们不去探讨虚拟存储技术与结构,而是从存储服务管理角度来探讨如何应用虚拟网络存储技术解决企业所面临的存储挑战。
图1是传统的网络存储服务管理模式,当多个不同品牌或不同结构的存储设备共存时,就会出现前面所谈的存储问题。
传统网络存储服务管理模式存在的问题是:
● 用户总拥有成本(TOC)较高:由于不同类型或结构的存储设备无法实现互操作,需要为每个设备单独配置存储服务功能;如果建立数据灾备中心,还需配置同一种类型的存储设备及存储软件,而这些无疑增加了设备采购和管理成本;
● 存储利用率较低:由于不同设备之间无法共享存储空间,造成了事实上的“数据存储孤岛”现象存在;
● 存储管理复杂:由于没有统一的存储管理平台,用户不得不熟悉每种设备的操作和配置,当增加新的设备时可能会对业务/应用产生影响。
虚拟存储实际上是逻辑存储,是一种智能、有效地管理存储数据的方式。虚拟存储克服了物理存储的局限,因为它可以把物理设备变成完全不同的逻辑镜像,呈现给客户,既充分利用了物理设备的优势,如高性能、高可用,又打破了物理设备本身不可克服的局限性。
存储虚拟化可以实现更高层次的管理功能。利用虚拟化特性,数据管理工具就可以更好地处理快照、复制、按需配置容量,以及基于策略的决策。卷管理也被认为是虚拟化的一种形式,而且目前已经成为多数数据中心管理存储网络和大型存储阵列的必备工具。图2 是基于虚拟网络存储技术的存储服务管理模式示意。
基于虚拟网络存储技术的存储服务管理模式是开放式的平台,它具有以下特点:
● 提供低成本,高效能的独立存储服务,不同设备之间可以进行互操作,如快照,镜像,复制等;
● 不依赖于任何存储设备,也无需为每个存储设备配置存储软件;
● 不限制应用服务器平台及应用软件;
● 实现存储统一管理,降低设备管理复杂性,提高存储服务效率。
● 为用户提供新一代的存储服务,如存储资源分配,存储设备控制/管理,卷管理(磁盘分区,RAID,Striping),数据备份,远程镜像,资源池,性能监控,Caching(缓存)。
当企业建立了基于虚拟网络存储技术的开放式存储服务管理架构后,可以分享存
虚拟化带来的10个好处:
(1)提高产能利用率:存储池可以帮助存储管理员将大多数IT基础设施产能利用率提高40-45%。
(2)故障恢复和业务连续性:在没有虚拟化的情况下,数据复制发生在相似的阵列和相似的主机之间。现在经过虚拟化,存储可以不对称地复制,也就是说,不需要在故障恢复的地点提供一个相当的主机和磁盘,存储复制就可以进行。
(3)更快的备份:通过给文件系统拍快照,虚拟化软件可以消除瓶颈现象,瓶颈发生在应用服务器的代理和备份服务器的代理之间。而且,由于虚拟依靠快照,备份窗口几乎可以完全取消。
(4)数据转移:大多数的磁盘厂商提供一个专有工具,协助在他们自己的磁盘之间转移数据。虚拟化软件可以使数据在不同种类的平台之间逐渐转移。
(5)自动容量扩充:如果空间不足,借助一个完全虚拟化的系统,策略可以得到执行,即自动分配额外数据库容量。
(6)网上磁盘恢复:IT管理员可以应用虚拟化固有的快照功能并结合ATA阵列,提供网上数据复制,而且可以使数据复制恢复到损坏或文件丢失之前的状态。
(7)应用测试: 你可以通过虚拟化复制一个数据集,用以安全地测试应用,而不需要在实际的生产数据上测试应用。
(8)提高数据库的性能:将一个数据库上的热文件动态放置到一个固态盘上后,虚拟化软件可以帮助DBA 有效地共享昂贵的固态盘资源。
(9)较高的可用性:把一个应用的存储与该应用分开后,虚拟化技术可以将一个应用服务器的故障与应用隔离。
(10)在不同种类的服务器之间共享资源:一个虚拟化引擎可以保证在不同的操作系统上运行的服务器安全地在同一个SAN上共存。
三、 企业存储虚拟化的应用价值
下面结合美国全球领先的虚拟存储服务管理软件提供商DataCore公司的产品技术探讨企业实现存储虚拟化的技术价值和商业价值。
存储资源共享 - 不同平台上的存储资源的共享
由DataCore管理下的存储网络资源池,将保证所有未分配存储资源对于任何一台网络中的应用服务器来说,都是可以使用的。虚拟存储资源的动态分配可以保证无断点扩容及容量均衡。这样一来,现有的未分配资源将可以在任何时候分配给任何一台需要扩容的应用服务器。结合Datacore Network Management Volume功能,确保数据的持续一致性。
这样的系统在构建时,对于容量的预估计要求并不高。系统中任何一台高消耗的应用服务器都可以及时得到容量补充,只有在系统总容量消耗将尽时,才需要停机维护。有效地减少系统停机时间,延长整个再投入周期,降低再投入成本。
DataCore软件可以用来管理大多数存储设备,包括:EMC,IBM,HDS,HP,Sun,Compaq,Dell,STK,LSI,MTI等。支持大多数应用服务器操作系统,包括:UNIX,Windows,Linux,NetWare,MacOS,NAS appliances。DataCore软件支持无断点用户设置更改,无断点数据迁移,无断点存储扩容。
数据块级快照--实现无间断数据备份与快速恢复
采用DataCore软件提供数据块级快照可以减低应用服务器负载,避免因复制引起的网络
交通阻塞,减少复制数据图象的存储消耗。
为保护现有数据,需要对数据进行复制。传统的数据复制占用过多的网络资源,系统资源(CPU,I/O),有时甚至影响应用程序运行。
DataCore管理下的快照功能可以实现host-independent定点快照数据复制,并且只对变化了的数据块进行快照操作。复制的数据可以再提供给备用服务器使用。这一过程对网络及应用服务器没有影响。
DataCore快照的显著优势在于,原始数据可以是存储在昂贵的磁盘阵列上,如EMC,IBM。而快照复制数据可以存储在价格便宜的JBOD上.
动态存储空间分配 - 无需中断业务应用过程
DataCore管理下的动态存储空间分配可以在无需中断应用程序情况下进行,它具有以下特点:
● 替代传统的host-centric卷管理,从而避免了:
* 在每一个应用端,每一个PC完成
* 人工消耗大
* 系统停机时间次数多,时间长
* 资源浪费
● 动态&整合网络卷管理 network volume management可以实现:
* 在一个统一的存储池中管理所有的卷
* 虚拟磁盘一次分配,永远不需在分配
* 根据用户需要动态分配资源
* 可用资源到达零界点时,增加更多的磁盘
从管理的角度来讲,从host-centric卷管理转化到动态&整合网络卷管理network volume management ,系统管理员和IT主管再不需要整天为某一应用服务器存储空间用完而大伤脑筋。
高可用性 - 保障业务应用连续性
DataCore的HA(High Availability)功能用来配置冗余存储服务器,应用主机到镜像存储服务器实现自动切换(AutoPath),再配合服务器镜像以及存储网络冗余结构,可以保障本地业务应用连续性。
DataCore的HA-Mirroring服务即可应用于FC-SAN也可用于IP-SAN环境中。
高速网络缓存 ?C 消除In-Band虚拟存储技术产生的传输瓶颈
DataCore在其产品中设计了独有的网络缓存(Cache)技术,能够实现I/O级存储加速。
长期以来,存储界一直在争论一个问题“in-band模式是否会成为SAN构架中读写操作的瓶径”,几个大存储设备提供商一直持肯定态度。但越来越多的应用实例和性能测试报告,表明这一观点并不正确。
DataCore遵循Storage Performance Council SPC-1 benchmark标准进行了测试,实现了50,000 I/Os per second。这一结果发表时,在该协会中名列第一。用于实现这一结果的设备是最常用的Intel服务器,它的价格远远低于其它SPC-1测试厂商所使用的设备。
不仅SPC-1 benchmark测试结果,而且,有更多的DataCore用户一致表明:只要有足够的内存,DataCore存储服务器不但不会成为读写的瓶径,反而会大大加快读写的速度。
异步远程数据复制 - 低成本的数据容灾与恢复的途径
DataCore提供了虚拟存储环境下的异步远程数据复制功能,它可以实现:
● 在不同的存储环境中进行数据复制
● 利用现有的IP网络作为数据传输链路
● 不需要任何硬件转换
● 不受距离限制
● 双向传输
● 一个数据中心到多个容灾点
● 多个数据中心到一个容灾点
Datacore数据容灾方案可以将SAN,DAS,Desktop和Laptop组成的复杂异构环境下的数据,通过现有IP网络环境实现异地容灾备份。无需任何硬件转换,不受距离限制。并且,很容易实现一个数据中心到多个容灾点,多个数据中心到一个/多个容灾点的数据备份。
虚拟存储的商业价值主要体现在以下两个方面:
提高存储效率,降低存储投资的费用
目前用户面临的最大问题之一就是物理存储的效率非常低。以磁盘存储为例,使用传统磁盘存储方式时,为了满足不断增长的需求,20%的容量将被保留并永不分配,这样只有80%的容量被分配给文档和数据,而在分配的存储容量中20%~30%也会被浪费掉,因为某些文档并不增长,预留的容量永远不会被使用,实际上40%~50%的磁盘容量从未被利用过。但同时为满足系统性能的要求,客户必须购买超过实际数据量需求3~4倍的磁盘,用于镜像等附加功能。而虚拟磁盘解决了这种容量使用上的浪费,客户可以100%地使用磁盘容量,因为它只存储真正写入的数据。虚拟存储是一种智能化的系统,它允许客户以透明有效的方式在磁盘和磁带上存储数据,使客户的存储系统容纳更多的数据,也使更多的用户可以共享同一个系统。
简化存储管理的复杂性,降低存储管理和运行成本
在虚拟存储环境下,无论后端物理存储是什么设备,服务器及其应用系统看到的都是其熟悉的存储设备的逻辑镜像。即便物理存储发生变化,这种逻辑镜像也永远不变,系统管理员不必再关心后端存储,只需专注于管理存储空间,所有的存储管理操作,如系统升级、建立和分配虚拟磁盘、改变RAID级别、扩充存储空间等比从前的任何产品都容易,存储管理变得轻松简单。使用一般的存储系统,当增加新的存储设备时,整个系统(包括网络中的诸多用户设备)都需要重新进行烦琐的配置工作。重新配置需要关机、再启动系统,导致数据不可用,从而影响客户业务的正常运行。
四、 企业虚拟存储应用解决方案
一个好的虚拟存储解决方案应该能够实现以下功能:
● 支持所有不同的存储界面(SCSI、IDE、iSCSI、Fibre Channel),以实现“无限制”的虚拟功能。
● 支持广泛的连接协议包括IP、iSCSI、Fibre Channel等;
● 异构存储平台和应用服务器平台支持,遵循业界公认的开放标准;
● SAN/NAS合二为一:在同一“存储池”内支持SAN(块文件级)和NAS(文件级);
● 提高虚拟磁盘的性能和数据的可用性;
● 全面的存储服务,支持镜像、复制、备份、快照等功能。
下面将通过DataCore的SANmelody虚拟存储管理软件探讨企业存储虚拟化解决方案。
1. 在线数据保护解决方案
越来越多的企业利用扩展存储空间来存放在线数据拷贝,以获得更好的数据安全性和数据可用性,通过将DataCore配置成扩展iSCSI磁盘服务器能够实现这一目标。
如图3所示,利用数据镜像(RAID-1)技术,每当应用主机存放数据到磁盘上时,主机操作系统在向本地内置盘写数据时,也会将数据同时写入由另一个位于不同物理位置的磁盘服务器提供的磁盘上,而这些操作对于应用而言是透明的,一但某个磁盘发生故障,另一份冗余磁盘就会立即接管,成为实时的备份磁盘。
在线数据保护方案的特点有:
● 简单实用,成本较低,无需改变现有存储结构;
● 适合有业务连续性要求的中小企业快速部署
● 容易向IP-SAN结构迁移
2. 虚拟化数据备份解决方案
对于业务系统而言,日常的数据备份是十分重要和必不可少的环节,但是他们通常会比较耗时的,并且会对生产系统产生一定程度的影响,严重时甚至会造成业务系统的中断。特别是当用户的业务数据越来越多,备份所消耗的时间越来越长,备份的过程越来越复杂时,用户不得不面对以下的一些问题 ― 如何使备份的过程对生产系统影响最小,同时又使得数据的恢复快速而可靠?
针对这些问题,采用DataCore的虚拟化数据备份方案,既可以实现用户数据保护和数据恢复的预期,又可以使备份的过程对生产系统几乎是零影响(Zero-Impact)的。这个解决方案利用了用户既有的备份产品。
DataCore的这个解决方案的核心就是通过使用磁盘服务器(Disk Server) ,可以将其所连接的磁盘空间分配给其他的应用服务器,如邮件服务器,Web服务器,数据库服务器等。通过安装DataCore的SANmelody软件,通过产生各应用服务器磁盘的最新拷贝,但服务器或磁盘发生故障时,就可以快速的恢复生产的正常运行。
当传统的磁带备份可能会中断生产系统数小时之久时,对生产卷的快照仅仅需要一个简短的应用停顿,用以记录数据的当前状态,而这种些许的应用停顿,用户几乎察觉不到。在快照产生完毕后,生产卷被释放,应用也可以继续的进行数据的更新操作。其后,SANmelody捕捉随后的实时数据变化,并将变化记录在另一个单独的快照卷上,这个过程大大的缩短了建立一个可备份拷贝的时间。
建立快照除了可以提供一个可以快速恢复的完好的磁盘映像外,同时也极大地搞了备份的效率,最大限度地减少了对生产系统的影响。通过对快照卷而非生产卷进行备份,磁盘服务器可以实现真正的后台备份,而这时对生产系统的影响几乎为零。
在传统的网络备份中,每一个需要备份数据的主机都需要安装备份代理,这对用户而言是一个不小的费用。通过使用快照,我们可以针对需要备份的生产卷产生快照,然后将快照加载到指定的备份服务器上,从而实现集中式备份。这种集中式备份免除了用户购买大量备份代理license的必要,为用户节省了大量的费用。
3. 存储业务连续性解决方案
对于将生产系统迁移到网络上的企业来说,业务连续性是非常重要的技术保障,通过在主机,网络,和存储设备之间部署High Availability功能,可以实现业务连续性。
DataCore支持FC-SAN和iSCSI网络连接的HA-Mirroring(也称Auto Failover)存储服务,如图5所示。
在N台FC-SAN或iSCSI存储服务器上配置HA-Mirroring选项;在每台应用主机上配置相应的路径选择软件(如AutoPath Client)。与基于主机的多路径软件配合,Auto Failover 选项可以保护在应用服务器和存储系统之间的单点故障。应用向主磁盘服务器写的磁盘块被自动地实时的镜像到备用磁盘服务器上。 如果主路径或主磁盘服务器发生故障,在应用服务器上的多路径软件将侦测到这个故障并尝试向备用路径重新发出请求。这时,备用磁盘服务器将代表主磁盘服务器,利用最新的磁盘映像作出响应,从而保证数据存取的连续性。两个磁盘服务器都可以同时处理I/O请求,一个处理主路径上一些卷,另一个处理余下的卷。Auto Failover选项还可以使光纤磁盘阵列进行不中断应用的升级。
4. NAS服务整合解决方案
对有些应用环境,用户既要求有数据库文件存储又有文件型存储,这需要对NAS和SAN两种存储结构进行整合,DataCore能够同时提供iSCSI/FC SAN存储服务和Windows Storage Server功能,支持NAS NFS/CIFS文件访问服务,如图6所示。
5. 异构存储环境下数据容灾与恢复解决方案
对于拥有关键性业务操作的企业而言,不仅仅要考虑本地存储业务连续性还要考虑灾难发生时如何保障关键业务不被中断或者中断时间最小。通常的做法是建立一个同城或异地数据灾备中心,在生产点和灾备点之间进行数据复制并在灾难发生时进行数据恢复。对于大部分企业而言,总是要在数据容灾与恢复的时效性与管理成本上做出平衡(Trade-off)。
DataCore提供了一种经济有效的远程数据容灾与恢复解决方案,如图7所示。
该方案的特点在于:
● 低成本:利用高可用性的IP网络,传输遵循标准的TCP/IP协议,无需专用设备,专用链路,不受距离限制,实现异步数据远程复制,相比需要专用光纤链路和同步磁盘镜像技术的数据复制方案,该方案大幅降低了数据容灾基础设施成本;
● 开放性:不受存储硬件设备厂商的限制,灾备中心可以采用与主中心不同品牌的存储设备,如在主数据中心采用EMC DMX800,而在灾备中心采用IBM DS4100或其他第三方存储设备。同样的,不受应用服务器类型和操作系统的限制;
● 简单性:通过配置SANmelody的AIM服务选项和Snapshot选项即可实现远程异步数据复制和数据恢复,无需在应用主机上安装复制代理软件;
● 高效性:Block-Level级的数据传输,提供更高的数据安全保障。减少传输过程中的Overheader,提高传输速度;采用了增量I/O复制,减少网络带宽占用;数据的复制是完全自动的,一旦最初的数据同步完成,则只有变化的数据才会被传送到远端并且是双向传输;
● 灵活性:支持N对1的数据容灾部署
结束语: 利用虚拟化存储来改善数据管理将为企业带来的好处是:降低设备采购和扩容成本;简化管理,降低管理上的复杂性;提高各种存储设备的利用率;提高数据可用性。简化存储管理后,相应的人员费用和管理费用也会降低;提高存储设备的利用率后,原来的1GB空间只能当500MB来使用,而现在1GB甚至能当1.2GB使用;数据的可用性提高了,可大大缩短计划内或者非计划停机时间。这些都是企业的实际效益。
虚拟化存储是一种企业存储系统的基础架构,尽管它不一定为用户带来很多直接利润,但它能节省成本,这其实就是增加了企业收益。企业是否需要建立或将现有存储结构向基于虚拟存储技术的存储基础架构迁移,取决于多方面因素,包括关键性业务操作连续性;设备部署的成本;投资保护;管理效率等。目前,基于虚拟存储技术的产品已经推向市场并且有了许多成功案例,用户选择虚拟存储产品时应注重其技术开放性,可扩展性,存储服务多样性,以及本地化技术服务支持等。