上文我们用两张图初探了谷歌水冷服务器技术，下面我们来看更为具体的详情介绍。

采用水冷服务器来散热有很多好处，比如发热量大的器件可以高效就近在本地很快被散热片冷却，而不像传统服务器发出的热量散发到机房级，需要通过机房级大风扇、冷水机组、大功率水泵等较高能耗的传统制冷方式来实现，还不用额外冷却机房级大空间环境内的空气等。由于采用了就近散热方式，冷冻水就可以不再采用传统的7/12度供水，而供水温度可以提升到21摄氏度以上，基本就不再需要冷水机组了，大大节能还可节省设备投资。同样服务器释放出来的发热量大大减少，气流循环的风扇126也仅仅可以以较低的速度运转，大大节省服务器风扇的能耗。       

图3是谷歌水冷服务器的俯视图，主板201上有6个标识为202的CPU及标识为206的芯片组，中间横向虚线部分为多根内存阵列，以及冷通道侧的网络控制器208和网络RJ45接口214等。服务器的进风从右侧进入，流经内存及周边器件，然后被标识为204的服务器电源吸入，服务器电源的风扇203既作了电源的散热风扇，同时还兼做了服务器的气流循环风扇，进入服务器的风还可以被导风板205导入到风扇内，防止冷气流短路直通。

 
图3 谷歌水冷服务器的俯视图

图4（a）是服务器散热片114的内部结构图，包括302和304这样的冷冻水通孔，内部流经的冷媒除了普通冷冻水外，还可以是氟化剂、食用油、乙二醇、液氮等等非导电物质。冷冻水从靠近大发热量CPU侧的306口进入，带走大部分热量后，再从小发热量的内存等附近308口流出。实际应用中，服务器机架内的水泵及阀门等提供冷冻水给到每套服务器，比如机柜内的冷冻水配水竖管（类似供电的配电PDU），通过快速连接软管（类似于供电的电源线）以及每个服务器接入水阀门（类似于供电的空开）接到每套服务器的散热片内。冷冻水竖管上级还有配水单元及供水阀门（类似于供电的配电柜及上级空开）。图4（b）是散热片的更详细侧视图，可以看到散热片400表面上有三个不同的散热平台层，用于不同发热量的器件。散热片400实际由三层铝锭402、404和406压叠而成，其中中间层的404可以为导热好的金属材料，也可以采用导热不好的塑料材料等，甚至可以不用404层，直接由导热性好的402和406压叠而成。此外412作为冷冻水输入口，而414作为冷冻水流出孔。

  
图4散热片俯视图   

图5是两个服务器机柜502a和502b的简化图，两层导轨的两套服务器之间的部分存在一定空隙，用于机柜级气流流通，这个气流循环由每套服务器上安装的风扇来带走。由于服务器上的大部分热量都被散热片内的冷冻水带走，风扇只用于循环内存和硬盘等低发热器件的部分散热气流，因此风扇运行转速很低功耗也很少。每个散热器表面的两个服务器上器件经过精心设计，以至于服务器密集堆叠部署时，相邻两套服务器上的器件也不会互相干涉。比如上一套服务器的底部主板上的器件不会和下一套服务器的顶部主板上的器件发生干涉。同时每套服务器顶部主板上的风扇可以巧妙地同时用于本服务器顶部主板以及上面一套服务器的底部主板上的器件散热，即一套服务器的风扇可以同时用于上下两个服务器主板的散热。此外，如前面所述，这里的服务器风扇可能会单独安装较大的散热风扇，但在谷歌的水冷服务器应用中，因为内存和硬盘等需要的散热功率不大，这些风扇很可能只是服务器电源内的散热风扇。通过这些电源风扇的运转以及导风板设计，将内存、硬盘等器件的热量带走，同时兼做服务器电源的散热，最后再送到热通道内降温。由于采用了双U高的大电源风扇，可以得到更大的风量，在降低了风扇转速和风扇能耗的同时，还可以大大降低机房的噪音，提供更好的现场人员工作环境，谷歌的机房也因为冷通道维护环境舒适和机房低噪声大空间等考虑和设计，也于前几年通过了OHS职业健康安全管理体系认证。

 
图5 谷歌水冷服务器机柜

如前面所述，除了被冷冻水带走的热量外，主板上内存硬盘等由电源风扇循环的热量，在热通道内被热通道顶部的制冷盘管重新制冷后，再被机房级的大风扇引导重新循环回服务器的冷通道侧以及现场人员操作通道内，最后被服务器吸入重新开始新一轮循环。通过适当控制机房级热通道内的服务器出风温度以及冷冻水供水温度，或者控制IT设备级的水冷服务器进水流量，以及服务器上气流循环的风扇转速，使得整个系统高效运转在最佳节能状态。

比如控制服务器的出风温度，将散发出来的热量有效控制在较小的热通道内，得到较高的置顶空调盘管的delta T温差，温差越大盘管热交换效率就更高。且热气流不会和冷气流混合，就近被冷却盘管散热，风扇的功耗也更低。同时通过盘管顶部的机房级循环大风扇将冷却后的空气重新循环回机房的冷通道内，整个机房环境作为大的冷通道，不仅提供一个凉爽的现场运维人员工作环境，同时还兼作为整个大冷池，用于众多服务器的风扇故障备份。

图6是机房某个剖面示意图，如前面介绍，整个机房环境是个大的冷通道，用于如下图515的工作人员操作空间，兼做服务器的进风侧，实际图6右侧机柜的右边也是有类似冷通道用于服务器的进风，这里没画出来。两排机柜间的通道516作为热通道，用于汇集两侧所有服务器发出的热量（当然主要发热部分由服务器内部散热片内的冷冻水带走），热通道顶部安装着标识为514的置顶盘管，由风扇512和盘管514将热通道516内的热量制冷后再释放到整个机房大环境冷通道内。虽然下图的512风扇没有和514盘管放在一起，专门做了个热吊顶510，实际在谷歌的很多案例中512风扇会直接安装在514盘管顶部，不再建设吊顶层来减少工程的复杂度。当然盘管514也可以不用直接安装在热通道的顶部，比如安装在机柜底部等，减少盘管漏水或者冷凝水等对服务器的运行风险，总之，可以灵活安装盘管和风扇的位置，满足不同的应用和风险需求。

 
图6 水冷服务器机房截面图

和谷歌的微模块技术一样，谷歌的水冷服务器机房沿用了地板下供水的方案，由于需要保持水冷服务器的水质，因此主要通过板式换热器528来隔离冷冻水内循环和冷却水外循环。513a和513b是机房级主供回水管路（类似于供电主母排），而515a和515b为机柜级配水供回水管路（类似于机柜供电PDU），524a和524b为到每个服务器的供回水支管（类似于电源线），非常类似供电系统的供电路径设计。其中524a和524b为快接软管，考虑服务器故障检修和搬迁等经常性维护操作，用于和服务器散热片的快速插接。整个管路上还有很多的阀门用于防止漏水，比如竖管上的球阀527和支管自动截至阀等。而流到每个服务器的冷冻水流量则由流量计525a和温度传感器525b来控制，比如当监测到服务器温度偏高的时候，可以加大水流量或者调低冷冻水供水温度等。