虚拟化的广泛应用及存储挑战
企业为了应对越来越激烈的竞争环境,其IT系统部门不但要考虑如何降低IT支出,更要考虑如何利用IT系统来帮助企业提升核心竞争力。为了应对挑战,越来越多的企业采用云计算和虚拟化技术来构建其IT系统,提升IT系统的效率,降低TCO并促进业务敏捷。
无论是虚拟化还是云计算技术,其核心是服务器虚拟化技术;通过在物理服务器上部署更多的虚拟机,将传统的只有10%左右的服务器利用率提升到70%~ 80%,大大提升了资源利用率并降低数据中心的空间消耗与能耗;另外,虚拟机的高级特性如HA、迁移等,在保证虚拟机的高可用同时,也更加大对共享存储的诉求。
虽然服务器虚拟化带来诸多的好处,但对共享存储却提出更高的要求;虚拟机的广泛使用,需要高效的部署技术来提升虚拟机的部署效率,包括时间效率和空间效率;相比传统的物理服务器,虚拟化环境下的业务部署密度更高,需要共享存储具备更高的多业务承载能力;同时,高密度的虚拟机部署,共享存储呈现更多的随机IO特征,对传统的存储缓存提出新的挑战;采用共享存储的虚拟机部署方式,后端存储的单个卷/LUN可能运行着多个虚拟机,这就要求卷/LUN具备更高的性能与扩展力,满足多个虚拟机的苛刻性能要求和未来扩展需要;另外,虚拟化技术给传统的IT堆栈带来更深的软件堆栈层次(如虚拟卷、虚拟端口等),再加上虚拟机的动态漂移技术,使得IT堆栈变得更为动态化,导致IT管理员的管理工作更加复杂,如图一所示。
图一:IT堆栈示意图
虚拟机管理程序厂商为了让虚拟机更高效的部署、运行与管理,提出了许多针对存储的优化技术,如VMware的VAAI、VASA、SRM等vStorage API;这些优化技术将原先在计算侧完成的存储工作卸载到共享存储完成,提升服务器计算能力的效率;但是虚拟机的高密度部署,给存储带来的多业务承载、随机IO、更高的性能与扩展性等,是无法从计算侧完成的。
华为OceanStor 18000高端存储除了集成服务器虚拟化的优化技术外(如VAAI、VASA、SRM等),更是通过诸多关键技术提升虚拟机的部署效率、承载更多虚拟机的能力、虚拟机的运行效率、简化虚拟环境的存储管理等,是为虚拟化环境而构建的企业级存储。
快速虚拟机部署
虚拟机的应用提升了计算资源的利用率,尤其是服务器的CPU资源;传统的虚拟机部署方式是通过虚拟机 管理程序来创建虚拟机模板镜像,并将其复制成多份来实现虚拟机的部署。这过程会消耗大量的服务器CPU资源,当虚拟机模板所占空间大时,需要很长的拷贝时 间;如果需要部署大量的虚拟机,这种部署方式将会严重降低业务的部署效率。
OceanStor 18000 HyperSnap是优化空间的快照技术,只保留变化空间的数据,大大减少快照所需要的存储空间;HyperSnap支持每个卷/LUN多大1024个快照副本、每个系统多大32768个快照副本,足以应对任何场景的需要。
OceanStor 18000 SmartThin采用写时分配的技术来提升存储空间利用率。创建LUN时如果启用SmartThin技术,系统不会立即为其分配物理空间,而是在实际写 操作时根据数据量来分配物理空间,呈现给主机的只是虚拟空间大小。另外,SmartThin支持空间回收功能,回收上层主机删除数据后的物理空间,使得存 储系统具备更多的可用物理空间,实现持续的空间精简,如图二所示。
图二:SmartThin回收示意图
UltraVR是 一款vCenter环境下的数据副本管理软件,结合HVS HyperSnap技术,实现高效的虚拟机副本管理。UltraVR通过应用感知技术来识别每个虚拟机及其存储,探知虚拟机的IO并在需要时挂起虚拟机对 其做刷缓存操作,然后通知后端存储实施快照,保证虚拟机的快照数据完整性;另外,UltraVR支持快照的策略管理,能自动的管理虚拟机的快照数据副本。
利用UltraVR,用户可快速高效的部署虚拟机。首先,利用SmartThin为虚拟机创建精简空间的虚拟机模板,建立“黄金镜像”;其次,通过友好界面的UltraVR为“黄金镜像”创建副本,实现“黄金镜像”的快速分发。
提升虚拟机的存储弹性
传 统的RAID技术采用固定的数据盘和校验盘来存放数据,在其上创建的卷/LUN的IO能力受限于固化的硬盘数;同时,增加新的磁盘扩展RAID组时,需要 大量的额外数据迁移与数据校验运算工作,扩展效率低下。由于卷/LUN的性能与扩展性有限,在大量虚拟机应用环境下,存储瓶颈就显得尤为突出。
OceanStor 18000高端存储采用块级虚拟化技术,将磁盘切割成MB的Chunk块大小,以Chunk为粒度管理硬盘,并在Chunk上构建RAID级别属性;以这种方式构建 的存储池,可不受限于固化数量的硬盘数,单个存储池可了跨整个存储系统的所有硬盘,这就意味着卷/LUN可享受所有硬盘的IO能力,从而大大提升卷 /LUN的IO能力。更多的硬盘IO服务于单个卷/LUN,能有效地提升LUN上多个虚拟机的IO比并发访问能力,使得HVS 卷/LUN特别适合高密度虚拟机部署的场景,如图三所示。
另外,当存储池需要扩容时,只需向存储池添加硬盘,系统会自动根据所设置的RAID级别属性,利用新的Chunk组成的RAID空间往存储池中增加空间,无需额外的数据迁移与数据校验工作,存储池及LUN的扩展效率极高。
自动优化性能
OceanStor 18000 SmartTier技术,充分结合SSD高性能与NL SAS大容量的特点,自动将访问频率高的热点数据迁移到SSD盘、访问频率低的冷数据存放到NL SAS盘上,实现业务对高性能的诉求与成本约束的平衡。OceanStor 18000高端存储支持SSD/SAS/NL SAS三种硬盘的混插并实现三层动态分级存储,满足业务对高性能与大容量的追求,又能兼顾成本效益的诉求。对于高密度虚拟机部署的环 境,SmartTier通过动态的调整数据所处的存储层,提升卷/LUN的性能,满足多业务承载时苛刻的性能要求,如图四所示。
图四:SmartTier示意图
OceanStor 18000 SmartQoS技术,通过设置LUN获取端口、CPU等资源的优先级,限制低优先级的应用程序过渡抢占资源,保证关键业务及时获取到存储资源而实现其性 能目标。在虚拟化环境下,由于业务部署密度更高,多业务承载于同一个存储系统时,SmartQoS技术能有效地保证关键虚拟机的性能目标,如图五所示。
图五:SmartQoS示意图
大 家都知道,缓存是存储系统的关键资源,缓存的利用状况直接影响存储的IO能力。SmartQoS通过优先级控制卷/LUN访问资源的顺序,但并不能保证关 键业务的缓存资源。HVS SmartPatition技术通过动态的共享缓存分区特点来保证关键业务的缓存资源,确保核心业务的服务级别水平。在高度虚拟化的环境,用户只需对关键 虚拟机的卷/LUN设置其缓存资源目标,OceanStor 18000高端存储系统会自动预留缓存资源,通过隔离缓存资源,避免非关键业务恶意的竞争缓存资源,从而确保关键业务 获取到足够的缓存资源而实现其服务级别水平。
虚拟化环境端到端的存储管理
传统的存储资源管理软件通过 主 机 代理来获取主机的信息,然后绘制从应用到主机到网络再到存储的端到端可视性;在虚拟化环境下,虚拟机的出现给IT软件堆栈增加了更多的层次,如虚拟卷、虚 拟端口等;同时,虚拟机的高级特性(如HA 、迁移)使得虚拟机与存储的映射关系更加动态化;另外,主机代理会消耗过多的主机资源并且带来安装部署、升级维护等难题。因此,虚拟化环境下,存储管理更 加复杂。
图六:InfraControl示意图
华为InfraControl采用agentless技术, 从虚拟机管理程序获取虚拟机及其存储信息,建立从虚拟机到虚拟卷、虚拟端口到物理机及端口、网络交换再到存储的端到端映射视图,监控映射关系中每层对象的 性能与容量变化,并为每层对象设置监控策略、记录每层对象的变更,实现主动的存储管理,如图六所示。
总结
由于虚拟化将业务进行了集中,所使用的存储系统一旦发生故障必将影响更多的业务,所以要求存储系统是安全可信的;虚拟化业务在业务部署、业务扩展、性能优化上具有非常高的要求,作为一款适用于虚拟化环境的存储系统必须具有弹性高效的特性来满足虚拟化环境的苛刻要求。