服务器等IT设备在处理能力得到提高的同时，其散热量也越来越大，传统的冷热通道分开、风冷等制冷技术在给机柜内部以及整个数据中心制冷时遭遇到瓶颈，液体制冷技术开始走到了台前。
ILM公司（Industrial Light & Magic）最近用目前最热门的IBM BladeCenter服务器替换其旧服务器。通过这一举措ILM公司将把数据中心单个机柜的电能消耗平均减少140千瓦，节省幅度达到84%。不过，新机柜中的热密度现在更高了：每个机柜功率达28千瓦，而之前为24千瓦。这些电能最终都要转换成热能，而这些热能必然会透过机柜散发到数据中心，最后由数据中心的空调系统带走。
ILM公司主要进行电脑特技制作，这些机柜组成渲染农场用以对图像进行处理。每个新机柜配有84台刀片服务器，每个刀片服务器有2个四核处理器和32GB的内存。这些服务器功能非常强大，与3年前采购的BladeCenter相比，一台服务器的处理能力相当于过去的 7台。然而，一个新的42U机柜产生的热量相当9个家用烤箱以最高温度工作。为了制冷，ILM数据中心的空调系统几乎是满负荷工作。
惠普副总裁兼关键基础设施服务部门总经理Peter Gross介绍说，近年来新建的大多数数据中心其设计制冷能力大都为每平方英尺100～200瓦，每个机柜的制冷能力为4千瓦。而一个数据中心的设计制冷能力达到200瓦时才能支持平均5千瓦的机柜热密度。如果对气流流向进行精心设计和专门优化，机房的空气调节系统最多可以满足用电量25千瓦的机柜的制冷需求。而现在ILM公司的数据中心每个机柜用电达到28千瓦，这已经是现有的机房空调系统所能承担的最高负荷了，从事数据中心能效研究的IBM 研究员兼首席工程师Roger Schmidt说，"ILM是在挑战30千瓦的极限，这注定是一个相当艰苦的工作。"
计算密度
不宜继续增加
现在的问题是:接下来会发生什么？"未来用电量如果继续增加怎么办？完全可能因为制冷问题无法解决，让我们不能再往数据中心中添加任何设备。实际上，这个问题已经开始显现出来了。"Schmidt说。
Schmidt认为超过30千瓦的高功率密度计算以后将不得不依赖于水冷。不过其他专家表示，数据中心的相关设备制造商可以通过通力合作降低服务器的部署成本，使得服务器不用都挤在机柜中，而是分开摆放，这样机柜中的热密度就不至于越来越高。
ILM信息技术总监凯文·克拉克对采用新的刀片服务器后获得的计算能力的提升和节电效果很满意，他说这符合当今节能环保的大趋势。
根据IDC的研究，服务器的平均价格自2004年以来已经下降了18％，而CPU成本下降了70％，达到715美元。但克拉克不知道如果计算密度成倍增长持续下去的话，自己的机房到底还能维持多久。"就现有的机房设备而言，如果计算密度加倍的话，从制冷的需求来考虑，是难以满足需求的。"他说。
他并不是唯一关注制冷问题的人。40多年来，计算机行业按照摩尔定律规定的进程快速发展，每两年计算密度增加一倍。现在一些工程师和数据中心的设计师们开始怀疑这条道路的可持续性，因为这条路似乎已走到了尽头。现在面临的困难不只是芯片制造商是否能够克服制造更精密的晶体管所面临的技术挑战，还在于现代数据中心要运行和管理如此多的高计算密度的机柜是否经济。
现代数据中心机柜中安装的IT设备越来越多，这不仅意味着机柜用电量大大增加，还意味着后面的所有辅助设施的容量和用电量也相应增加，包括冷却系统、配电设备、UPS和发电机等都会按比例增加。这一点值得数据中心经理注意。
IDC公司在2009年曾调查了1000家数据中心的负责人，接受调查者中21％的人将电力和制冷列为数据中心当前面临的最大挑战。将近一半（43％）的人说这是它们运营成本增加的最主要原因，1/3的人说他们经历过因制冷问题或者电力问题导致的服务器宕机。
Christian Belady是微软全球基础服务集团经验最丰富的基础设施架构师，负责设计和管理着微软最近在美国华盛顿州昆西市建立的数据中心。他说，采用高架地板形式的数据中心单位建设成本太高，微软在昆西的数据中心基础设施的建设成本占项目总成本的82％。
"我们必须改变过去的那种计算密度越高越好的错误观点。"Belady说，"要知道，计算密度加倍意味着所有的辅助设施、制冷系统容量都要加倍。"
格罗斯说，随着数据中心内单位面积上的计算密度增加，虽然整体机电成本变化不大，但由于功率密度增加而带来的运营成本却大大增加了。
IBM的施密特表示，对于新建的数据中心而言，最大的资金投入不是建筑本身，而是保证公司电力供应的设备成本以及相应的制冷成本。计算密度的增加已经让一些大型数据中心的建设项目资金突破了10亿美元大关。
"很多总裁级的人听说新建数据中心要这么高的投入都吓了一跳。"施密特说。
Gartner公司的分析师拉克什·库玛说，从电力使用和成本的角度来说，功率密度不可能无休止地增长下去。幸运的是，大多数企业的数据中心机柜的电力消耗暂时还没有达到像ILM这样的水平。Gartner的客户中约有40％其数据中心每个机柜的功率为8～9千瓦，而有些高达12至15千瓦，无一例外的是，功率呈明显上升趋势。
现在，一些企业数据中心和一些对外提供托管服务的IDC开始对用电情况进行监测，并把它作为数据中心的依据之一，而它们在以前只是按照租用空间收费的，根本就没有考虑到底用多少电。更大胆一些的IDC则针对大客户采用根据用电量决定收费多少，由用户先提出最高要用多少电，IDC再据此给其分配相应的空间。
按用电量付费
而不是空间
不过，指望客户不仅知道他们需要租用什么样的设备，还要了解安装了这些设备的机柜大约需要用多少电，似乎不太现实。
"对于某些客户来说，这是非常现实的，"从事服务器托管服务的Terremark公司的高级副总裁斯图尔特反驳说。事实上，Terremark采用这种方法也是响应客户的需求。"客户中有不少人找到我们说，他们最多需要多少电，让我们为他们安排空间。"他说。如果客户不知道他的机柜要用多少电，Terremark也会单独给这个公司配一根总电缆，通过这个电缆为客户的机柜供电，到时用电情况也就清楚了。
IBM的施密特认为，功率密度还有可能进一步增加，但数据中心的制冷方案需要改变。
ILM的数据中心完成于2005年，设计供电能力为每平方英尺200瓦，从机房来说这个电力供应和制冷能力已经足够了，现在的问题是没有方法能有效地解决高密度机柜内部的制冷。
ILM公司采用了冷/热通道的设计，同时管理人员对通往冷通道的格栅板的数量和位置进行了调整，从而对流经机柜内的气流进行了优化。即便如此，为了避免机柜内的局部热点，空调系统必须保证整个13500平方英尺的机房不超过18.5摄氏度。
克拉克知道这有些浪费，今天的IT设备设计运行温度高达27摄氏度以上，所以他正在关注一种称为冷通道密封的技术。
实际上，已经有一些数据中心在试验对一些高热密度地方的冷热通道进行密封，包括通道两端设上大门，为防止热空气和冷空气通过机柜顶端到天花板之间的空隙混合，这些位置也用隔板封上。除了这些办法之外，有的数据中心还让冷空气直接进入机柜底部，在机柜内与IT设备进行热交换，然后逐步上升，最后通过机柜顶部的出口进入回风道，再通过天花板顶部的管道返回，从而创造出一个闭环的制冷系统，彻底避免冷、热气流的混合。
"冷/热通道的方法其实还是传统的方法，而不是最优的。"埃森哲数据中心技术经理和运营经理Rocky Bonecutter说："最新的趋势是铺设围栏，对冷热气流进行分流。"
据惠普的Gross估计，如果数据中心利用这种技术，普通的机房空调系统可以最高满足每个机柜25千瓦左右的制冷需求。"当然，这需要仔细地对冷热气流进行隔离、防止串流，还要对气流路线进行优化。这些工作必须固定下来，成为一种例行工作。"他说。
虽然按照现在的标准来重新设计数据中心，能降低能耗和解决制冷的难题，然而，单个机柜的功率却是越来越大，最新安装刀片服务器的机柜每个功率已经超过25千瓦。在过去的5年里，IT一直在不断对机柜、高架地板等进行重新设计以及对气流进行优化，最显而易见的成果是提高了电能的利用率。如果机柜内的热密度继续上升，安装密封的围栏将是确保机房制冷的最后一招了。
从风冷换成液冷？
为了解决高热密度机柜中的热点问题，一些数据中心已经开始转向到液体制冷。最常用的液体冷却技术称为紧耦合制冷，也就是用管道将冷冻液（通常为水或乙二醇）输送到高架地板之上或者直接把冷冻液输送到机柜内部，然后通过风和冷冻液之间的热交换达到给机柜内部降温的目的。库玛估计，Gartner 20％的企业在使用某种类型的液体制冷，至少在一些高密度的机柜里已经用到了液体制冷。
IBM的施密特说，那些采用机房整体制冷的数据中心，尤其是那些为了应对高热密度不得不采用更大的柜式空调的数据中心，采用液体制冷可以节省一笔不小的电费。
但微软的Belady认为液体制冷仅限于一个相对较窄的领域：高性能计算。"如果你想把制冷用的液体送到芯片，成本马上就会上升。"他说，"迟早有人会问这样一个问题：这种方法成本那么高，为什么我还要用？"
Belady认为遏制计算密度不断上涨势头的最好方法是改变数据中心的收费方式。微软如今已经改变了它的成本分摊办法，不再是仅仅根据用户的占地面积和机柜的利用率来收费，而是开始把用户的用电量考虑进来。而采用这种收费办法之后，局面马上得到了改观，每个机柜的用电量开始下降。"如果成本按照用电量来考核的话，机柜内的热密度自然会下降。"他说。
自从微软开始按照用电量收费以来，其用户的关注重点从在尽可能小的空间中获得最强大的处理能力转变为用最小的电力消耗获得最大的处理能力。"这并不是说收费策略改变后机柜内就一定不会出现高热密度，最终要取决于所提出的解决方案总体能源效率。但是，如果你是按照占用空间的多少收费，100％会导致高热密的。" Belady说。
今天，很多IT设备供应商的产品是按最高热密度设计的，用户往往也愿意为了节省机房地面空间而购买更贵的适应高热密度环境的服务器等设备。因为很多机房的收费是按照占用的机房空间来计算的。殊不知，更高的用电量会带来电力分配设备和制冷用电量的相应增加，由此导致电能利用率下降。实际上，营运成本中80％会随着用电量的增加而增加，比如机电基础设施必须为机柜输送所需的电力，同时为这些机柜内的设备制冷。
Belady以前曾是惠普公司的一名非常杰出的工程师，从事服务器的设计工作。他说，IT设备的设计就应该考虑到让设备能在较高的温度下可靠工作。比如用电设备要设计为最高在27摄氏度以上的温度下工作。目前的设计温度是2004年制订的，这一年ASHRAE（美国社会、制冷及空调工程师协会）规定设计温度为72华氏度（22.2摄氏度）。
不过，Belady认为数据中心设备在27度以上的温度运行，可能带来更高的用电效率。"一旦机房允许在较高的温度下运行，机会之门就被打开了。比如，你可以利用室外的空气来为机房降温，这样你就无需安装这么多的冷却设备，不过，机柜的热密度不能太高。"他说，有些处于气温比较低的地方的数据中心已经开始尝试在冬天关闭冷却机组，而直接使用室外的冷空气来免费给机房降温。
如果IT设备可以在35摄氏度下正常工作，很多数据中心几乎可以全年不用空气冷却器。Belady接着说:"而如果IT设备在50摄氏度下也可以正常工作，那世界上所有的数据中心都不再需要空调了，这将完全改变数据中心的运营方式。不幸的是，至少现在看来是不太可能的。"
Belady希望IT设备能更结实一些，但他也认为，服务器实际上比大多数数据中心的管理者所设想的要结实。他说整个行业需要重新思考如何运营和管理分布式计算系统。
Belady说，理想的策略是要开发出一种系统，这个系统中每个机柜是针对某个特定的功率密度和工作负载进行专门优化的，这可以确保每个机柜始终性能最佳、最节能。这样，不管是供电还是制冷资源都将得到最有效的利用，既没有过度利用也不浪费。"如果你的基础设施没有得到充分使用，从可持续性的角度而言，与过度利用相比这是一个更大的问题。"他说。
未来会怎么样？
Belady认为，未来数据中心可能向两个方向演进:高性能计算将采用液体制冷，而其他的企业数据中心和基于互联网的数据中心（如微软的数据中心）仍然会继续沿用风冷的制冷方式。不过，这些数据中心可能会迁往地价更便宜、电力成本更低的地方，这样才能继续扩大规模。
戴尔企业产品部CTO Paul Prince认为，大多数数据中心不会很快遇到高功率密度的问题。每个机架的平均功率密度仍然在机房空调系统可以承受的范围内。他说，冷热通道分离的方法和设计围栏进行冷热气流隔离等方法人为地在机房中开辟出了一个"冷却区"，在一定程度上解决数据中心局部热点问题。"数据中心的功率密度和热密度肯定将继续上升。但是，这种变化一定是渐进的。"
在ILM公司，克拉克注意到采用液体作为制冷剂的紧耦合制冷方式是一个大趋势，不过，他和大多数同行一样，对在数据中心用液体作为冷媒还有些不放心。但他也认为，高性能的基础设施必须采用这些新的办法。
"虽然暂时有些难以接受，但是既然液体制冷是个大趋势，我们会尽快改变我们的观念，只要这些技术能真正帮助我们解决问题。"克拉克说。
链 接
数据中心节能八招
1.升级服务器。新一代服务器提供更强大的处理能力，而且更节能。同时，尽量采购那些高能效标准的服务器设备，这些设备采购成本可能高一些，但从长远看，会带来运营成本的节约。
2.按用电量收费。改变传统的按占用空间大小收费的模式，把用电量作为收费的参数之一，这可以促使客户采用更高效率的设备。
3.考虑对冷热通道密封。如果数据中心已经采用了冷/热通道的设计，而且机柜的功率超过4千瓦，那么下一步就必须采用冷热通道密封技术了，包括关闭通道两端的门，用隔板对机柜进行隔离以防止冷热空气混合。
4.使用变速风扇。机房空调系统依靠风扇把冷空气送到预定位置，同时把热空气带走。如果风扇转速降低12.5％，用电就会节省一半。
5.打开电源管理功能。大多数服务器都带有节能技术，比如控制风扇的速度、在待机时降低CPU的功耗，但默认是没有打开的，很多数据中心管理者后来也没有启用它。建议尽量启用这些功能，除非对系统可用性和响应速度有非常高的要求。
6.对数据中心进行分区。把数据中心分为多个相互隔离的区域，每个区块都有自己专用的供电和制冷系统，分区内冷热空气也要进行隔离，同时还可以安装导流板和格栅对气流流向进行优化。
7.将冷风直接送往热点。高功率密度的机柜最容易出现局部热点，机房空调系统调节系统对此无能为力，除非空调系统大幅降低整个机房的温度，而这样做是非常不经济的。这时可以考虑采用热点辅助制冷，比如将液体制冷剂通过管道输送到热点。
8.对温度进行监控。仅对机房整体温度进行监控是不够的，还需要在机柜中安装温度传感器，用来监控机柜中是否有热点。
