迁移服务器:从独立环境到虚拟化的神话与现实
阿明 发表于:13年11月14日 14:51 [原创] 存储在线
2013年11月14日存储在线原创:对于一个有着1100台服务器——40个机柜、每机柜27.5台服务器的数据中心来说,每天的能耗和占地空间是相当惊人的,最为关键的是1100台服务器的应用性能和可用性至关重要。那么,如何实现能耗降低、空间节约的同时提高应用性能和可用性?这应该是现在所有数据中心用户所考虑的重点问题。
事实上,美国Vonage公司设在新泽西州霍尔姆德尔的数据中心就是这样一个拥有1100台服务器的“庞然大物”,每天的能耗和不断增加服务器需求的空间让数据中心负责人感到“压力山大”。
为此,Vonage公司借助刀片服务器,循序渐进地进行服务器和网络的虚拟化,正在将1100台服务器实现从独立环境迁移到虚拟环境的神话,现实中的迁移过程也遭遇到如vMotions足以使实验室中部署的4Gb FlexNIC达到饱和的瓶颈。但在利用Emulex OneConnect技术优势情况下,将遭遇的瓶颈获得满意的解决,使得整个循序渐进的迁移过程得以顺利完工而没有任何悬念。
Vonage公司相关负责人表示:成功迁移之后,1100台服务器的数据中心就变成了1100个虚拟机(VM)——2个机柜、64台刀片服务器、每机柜550个虚拟机。可见,这带来机柜数量的明显减少是十分惊人的,后期日常的能耗降低与应用性能、可用性的提升当然也是立竿见影。
这样的数据中心服务器迁移案例在中国国内应该算是首屈一指,值得大家研究和分析,那么Vonage公司到底是如何实现的呢?
Vonage的“前世今生”
首先我们了解一下具体实施该案例的Vonage公司及其相关实验室的情况。通过一些资料了解到,Vonage公司是最大的VoIP服务提供商和行业先驱之一。非常有意思的是公司名称来自于他们的座右铭“Voice-Over-Net-AGE(网络电话时代)”。
作为一家领先的通信服务提供商,Vonage从成立之初至今一直致力于通过宽带设备将全球各地的人们连接起来。并且为大约240万用户提供服务,公司拥有并运行着一个强大的高质量VoIP网络,每年可支持60多亿次通信。Vonage通过网络向美国、加拿大及英国的客户提供服务。
对于这样一个拥有丰富经验和强大服务能力的提供商,为了保证重大项目的成功实施,Vonage很早就在新泽西州Holmdel市的公司总部建立了自己的开发和质量保证实验室(Development & QA Lab)。在这里,Vonage的所有新技术和产品都经过严格测试评估后才进入生产运行环境。在开发和质量保证实验室,Vonage IT架构师和工程师还开发并验证标准硬件和软件镜像——被用于从前端Web服务器到后端数据库服务器的所有生产系统。
实际上,开发和质量保证实验室对该案例的成功实施也确实发挥出了应有的作用。
明确霍尔姆德尔的数据中心服务器迁移需求
Vonage公司在霍尔姆德尔建立的数据中心,部署了大量的生产服务器,用于支持大量关键任务应用——从前端Web服务器直到后端数据库服务器。这里部署了大约40个独立的数据中心机柜,其中包含约1100台机机架服务器——分别专用于特定应用。这些大功耗机架服务器通过3000多个刀片连接到数据中心的LAN和SAN。数据中心负责人表示,从提出请求开始,到部署一台新服务器需要大约2周的时间。
Vonage公司也表示,该数据中心直接用户非常渴望实现减少1100台机架安装服务器所需的空间、电源、冷却设施和线缆,并且缩短部署新应用服务器的时间。这也是该迁移案例的目标所在。
不过,在实现迁移之后,这些目标完全得以实现。并且正在从非虚拟化的“独立”环境迁移到虚拟化环境的过程,也充分利用了一系列帮助整合基础架构、降低成本并加速新服务器部署的新技术。
采用密集计算节点的虚拟技术
Vonage公司在具体实施过程中发现从独立数据中心迁移到虚拟化数据中心的项目涉及大量新技术、产品和流程,采用密集计算节点的虚拟技术是其中的关键——对刀片服务器、服务器虚拟化和网络虚拟化进行完美结合,允许在单一机柜中部署数百台虚拟机。
在具体测试过程中发现,这些刀片服务器、服务器虚拟化和网络虚拟化技术对于降低成本,同时确保应用性能和可用性显得至关重要。
具体分析来看,在刀片服务器方面,Vonage公司正在部署HP ProLiant BL490c G7刀片服务器来执行与机架服务器相同的功能,但相比之下,采用刀片系统所需的空间、电源、冷却设施和线缆要少得多。通过单一机箱共享资源,刀片服务器还可以大大降低管理复杂性和重复工作。
在采用刀片系统的同时,Vonage公司也相当重视服务器虚拟化。一般的应用服务器对可用CPU资源的利用率仅为1%到5%。服务器虚拟化使Vonage可以运行多个虚拟机(VM)和应用,进行帮助全面利用每台物理刀片服务器的计算功能。最终结果是可实现广泛整合和大幅度成本节约。
当然了,为适应虚拟机(VM)的快速普及,HP BladeSystems可提供虚拟网络功能 ,使服务器管理员可以为每台虚拟机配置独特的虚拟网络。Vonage公司使用的G7服务器中嵌入了基于Emulex OneConnect技术的双端口集成式HP Virtual Connect 10Gb FlexFabric适配器。双端口10Gb FlexFabric适配器不仅具有LOM功能,而且可以为HP 包括ProLiant BL490c 在内的BL460c、BL465c、、BL620c、BL680c和BL685c G7刀片服务器提供自适应10GbE/10GbE、基于硬件的加速iSCSI、TCP/IP卸载引擎(无状态卸载)和以太网光纤通道(FCoE)协议支持。
早在2011年,Emulex就公布了其OneConnect技术为HP ProLiant G7提供集成式FlexFabric 适配器。FlexFabric适配器与HP Virtual Connect FlexFabric模块一起共同为数据和存储网络提供聚合联网来连接服务器。其实,Emulex公司企业营销副总裁Shaun Walsh也提到过,Emulex的OneConnect技术,可以利用先进的多协议卸载功能、单根I/O虚拟化和性能加速,降低对功耗和空间要求的同时,大幅度改善了不断发展中的服务器的整合度。
与此同时,HP ProLiant服务器中整合了HP Virtual Connect FlexFabric和Emulex OneConnect技术,通过无缝整合数据和存储连接,不需要额外的适配器、交换机端口和电缆,因此大幅度减少了网络设备的数量。这也是该数据中心用户所需要的结果。
此外,基于Emulex OneConnect技术的双端口10Gb HP Virtual Connect FlexFabric适配器嵌入到服务器刀片主板中,一个HP Virtual Connect 10Gb FlexFabric适配器端口可配置为4个FlexNIC,使客户可以将每个10Gb刀片服务器端口划分为四个物理NIC(每个双端口刀片服务器最多支持八条网络连接),来支持FC或iSCSI存储连接,也可以将一个端口配置为FlexHBA,每个FlexNIC或FlexHBA可以配置根据具体虚拟机和应用的需求定制的网络策略,为虚拟化服务器负载优化带宽的分配。
DRS成为10GbE 的“杀手锏”
对于处于独立生产环境的1100台机架式服务器进行高度优化,虽然可实现最出色的性能和可用性,但Vonage公司的IT团队猜想,向虚拟化服务器的大规模迁移能否在不对性能和可用性带来任何负面影响的情况下完成。因此,Vonage公司采取的第一步是先使用一个刀片系统机箱和2个服务器刀片进行技术试运行。
当然这个试运行的过程对于首次接触虚拟化迁移的Vonage公司IT团队来说,还是有一定挑战性的。据介绍,学习如何高效地为物理服务器配置VMware ESXi和HP VirtualConnect Flex-10,就花费了Vonage公司架构师大约6周的时间。然后,通过每次添加一种应用,其开发和质量保证实验室中的虚拟机数量增加到了900。随着实验室中运行的应用证明可提供生产环境中所需的虚拟,IT团队的信心也是大增。
在开发和质量保证实验室中的使用情况充分证明了自动化服务器性能优化和维护的优势。借助VMware Distributed Resource Scheduler(DRS),再也不需要安排服务器停机来将应用迁移到利用率较低的服务器上。服务器利用率提高时,DRS可以自动迁移虚拟机(VM),而不需要让所有人都知道在进行这一操作。DRS本身是一种实用工具,可帮助ESXi管理员定义通过手工或自动方式为不同虚拟机分配物理资源的规则。
因此,在采用DRS工具之后,虚拟机实时快速迁移成为该迁移应用案例的“杀手锏”。不过,在G7服务器刀片上的10Gb HP Virtual Connect FlexFabric适配器做配置时,前期Vonage公司的工程师配置了4Gb FlexNIC,来最大限度地缩短发送实时迁移中涉及的数百GB数据所需的时间,他们很快还发现vMotions使4Gb的带宽显得捉襟见肘。
基于实验室经验,Vonage公司的系统架构师决定在生产环境中使用10Gb FlexNIC,使ESXi可利用FlexFabric适配器的全部带宽来完成实时迁移。迁移项目一开始,先使用两个服务器刀片进行了试验。要在实时迁移过程中确保出色的应用性能,意味着需要尽可能快速地移动数百GB的数据——实时快速迁移成为10GbE FlexFabric适配器的“杀手锏”,自然可以搞定这一切。
虚拟化迁移应用四大注意事项
综上所述,对于1100台机架式服务器做虚拟化迁移,并不是一蹴而就的事情,需要循序渐进地测试与部署。目前,Vonage公司正实施密集计算节点,包括刀片服务器、服务器虚拟化和网络虚拟化技术。也正在将1100台机架式服务器、40个机柜和3000根线缆整合为2个机柜、4个刀片服务器机箱和少量线缆。在这一过程中,Vonage架构师已确定配置I/O来完成实时迁移的最佳实践和10GbE的“杀手锏”。
当然了,对于其他数据中心用户来说,要实现迁移服务器,从独立环境到虚拟环境的神话,值得借鉴和学习一下Vonage公司的虚拟化迁移经验:
一是与厂商分享系统设计,Vonage公司架构师发现,惠普技术人员了解他们遇到的问题时,非常愿意审核评估他们的系统设计,因此主动与厂商分享系统设计是非常重要的事情。
二是了解多个虚拟化层如何协同运行需要一些时间,Vonage公司工程师学会高效地利用服务器和网络虚拟化工具用了6周的时间。但是在学会正确的配置方法后,1级操作人员就可以克隆配置文件,实现快速虚拟机部署。
三是循序渐进,18个月前,Vonage公司开发和质量保证实验室中还没有一台虚拟机。Vonage架构师从若干个服务器刀片开始,然后逐步添加应用工作负载,使IT团队其它成员逐步对虚拟机功能充满信心。
四是vMotions可能使用整个10Gb链路,测试表明,vMotions足以使实验室中部署的4Gb FlexNIC达到饱和,实时快速迁移成为10GbE FlexFabric适配器的“杀手锏”。(阿明)
从产品图片可以容易看出来,满载的惠普刀片系统包含16个服务器刀片。不过,这些刀片是通过单一背板互连到机箱中,采取了嵌入的LAN和SAN交换机网络架构。
从这张图片来看,完全可以添加1或2个双端口10Gb HP Virtual Connect FlexFabric Mezzanine卡。