冷板液冷标准化及技术优化白皮书.pdf

1冷板液冷标准化及技术优化白皮书ODCC-2023-02004编号 ODCC-2023-02004冷板液冷标准化及技术优化白皮书开放数据中心委员会2023-09 发布II冷板液冷标准化及技术优化白皮书ODCC-2023-02004编写组编写组项目经理：项目经理：王舜北京秦淮数据有限公司工作组长：工作组长：李代程百度在线网络技术（北京）有限公司贡献专家：贡献专家：张炳华北京秦淮数据有限公司王长旺广州高澜创新科技有限公司耿曼广州高澜创新科技有限公司崔旭静北京奕信通科技有限公司李晓峰北京奕信通科技有限公司刘凯艳曙光数据基础设施创新技术（北京）股份有限公司徐欣曙光数据基础设施创新技术（北京）股份有限公司李金波浪潮电子信息产业股份有限公司韩玉普洛斯普瑞数据科技（上海）有限公司金超强普洛斯普瑞数据科技（上海）有限公司陈聪北京三快云计算有限公司李瑞雅北京秦淮数据有限公司刘永彬北京秦淮数据有限公司冯臣北京秦淮数据有限公司刘帆中兴通讯股份有限公司翁建刚中兴通讯股份有限公司李新起深圳市英维克科技股份有限公司黄强深圳市英维克科技股份有限公司王宏彬丹佛斯（中国）投资有限公司III冷板液冷标准化及技术优化白皮书ODCC-2023-02004李慧勇新华三技术有限公司陈立波新华三技术有限公司魏芳伟科华数据股份有限公司沈嘉辉科华数据股份有限公司董玉山中航光电科技股份有限公司杨占喜Colder Product Company李洁中国信息通信研究院郭亮中国信息通信研究院吴美希中国信息通信研究院阮迪中国信息通信研究院IV冷板液冷标准化及技术优化白皮书ODCC-2023-02004前前 言言本规范由开放数据中心标准推进委员会发布。2015 年，OpenAI 成立，通过 GPT（Generative Pre-trainedTransformer）算法，在 2018 年 6 月推出了 GPT-1（1.2 亿参数），在 2019 年 11 月增加了训练的数据量后推出了 GPT-2（15 亿参数），在 2020 年 6 月推出了 GPT-3（1750 亿参数）。随着数据参数的加大发现差异很小，后加入人工反馈强化学习来提升对话质量，在 2022年 3 月推出了 GPT-3.5；对话优化后，在 2022 年 11 月就推出了ChatGPT。月活人数突破 1 亿仅用时两个月。2023 年 2 月 7 日微软将 ChatGPT 引入到搜索引擎 Bing 正式发布。除了微软，谷歌、Meta、百度、腾讯、阿里巴巴纷纷入局进军生成式 AI。生成式 AI 模型需求的暴涨，使得对芯片的需求从 CPU+加速器转变为以 GPU 主导的大规模并行计算。未来，在单芯片性能之上，智算中心能够通过算力的生产-调度-聚合-释放，支持 AI 产业化发展。现阶段，单 CPU 热设计功耗为 150200W，最高可达 350W；单 GPU 热设计功耗为300400W，最高可达 700W。与此同时，服务器功耗从传统服务器的 1kW 增加到 AI 服务器的 6.510kW。空气冷却解决成本和难度大幅上升，英伟达、英特尔等芯片公司已经开始将冷却的方式转向液冷。液冷是指通过液体代替空气冷却芯片，根据液体与芯片是否接触可以分为直接液冷和间接液冷。直接液冷包括浸没液冷和喷淋液冷，浸没液冷又分为单相浸没和两相浸没。而间接液冷主要是冷板液冷。早在 20 世纪 60 年代，IBM 就推出了用冷板液冷冷却的计算V冷板液冷标准化及技术优化白皮书ODCC-2023-02004机产品。直到 21 世纪初，美国 GRC（Green Revolution Cooling）公司推出了单相浸没冷却解决方案。2017 年，广东合一推出了喷淋式液冷。2019 年曙光完成全球首个大规模刀片式浸没两相液冷商业应用项目。2021 年，微软发布了箱体式两相浸没液冷方案。而冷板液冷作为历史最悠久，技术最为成熟，生态系统最为丰富的液冷解决方案，它的爆发已经到来！本白皮书倾注了作者大量的时间和精力，其成文也仰仗各参编老师撰写并参与讨论，其次，本文得到程军先生、王锋先生、何智强先生和袁达人先生提供的产品资料，在此对上人员做出的贡献表示由衷的感谢。此外，本文很多化工类专有名词的解释均得益于ChatGPT，令人充分感受到科技的便利和 AI 的潜力。最后，作者尽量用实物照片为读者生动呈现相关技术和产品，希望通过本白皮书促进冷板液冷技术快速迭代优化，为读者在冷板液冷的实践和决策提供有价值的信息和建议。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系 。VI冷板液冷标准化及技术优化白皮书ODCC-2023-02004目目 录录版权声明.I编写组.II前 言.IV冷板液冷标准化及技术优化白皮书.1一、概述.1二、术语、定义和缩略语.1三、冷板液冷介绍.8（一）冷板液冷技术介绍.81.冷板液冷发展历程.82.冷板液冷技术原理.103.冷板液冷技术特点.124.冷板液冷关键技术.15（二）常用产品器件介绍.161.冷板组件.172.快速接头 QDC.203.软管.244.机柜工艺冷媒供回歧管 RCM.255.冷量分配单元 CDU.266.环路工艺冷媒供回歧管 LCM.297.冷源.308.工艺冷媒.34（三）冷板液冷发展面临的主要挑战.40VII冷板液冷标准化及技术优化白皮书ODCC-2023-020041.水质.402.泄漏.423.冗余路由.444.高成本.445.建设周期长.456.能耗问题.457.冷源水耗.46四、工程标准化及设计要求.46（一）标准化现状及需求.461.标准化现状.462.标准化需求.48（二）工程标准化设计要求.501.二次侧管路.502.功能要求.54（三）典型案例介绍.551.江苏某大数据产业园项目.552.厦门某智算中心.573.山西某大规模冷板液冷数据中心.584.广州科云数据中心.59五、接液材料研究.60（一）传统材料.61（二）国外推荐材料.611.金属与金属合金类.612.合成橡胶、塑料和其它材料类.63VIII冷板液冷标准化及技术优化白皮书ODCC-2023-02004（三）国内常用非金属材料.651.管路及接头材料.652.密封件材料.69（四）新材料管路设计制造及测试方法.721.设计原则.722.管路制造.743.测试.74（五）其它行业领域冷板液冷新材料应用.761.直流输电领域.762.静止无功补偿装置 SVC 冷却领域.773.储能领域.78（六）数据中心新材料应用案例.811.国内数据中心案例.812.国外数据中心案例.83六、冷板液冷新技术展望.89（一）负压冷板液冷技术.891.技术背景介绍.892.负压 CDU 技术原理.893.负压液冷系统方案技术亮点.924.应用案例.94（二）相变冷板冷却技术.971.重力热管方案.972.动力热管方案.98（三）冷板液冷气-液混合技术.98IX冷板液冷标准化及技术优化白皮书ODCC-2023-020041.风冷 CDU.992.气-液组合末端.1023.气-液同源冷源.102参考文献.1051冷板液冷标准化及技术优化白皮书ODCC-2023-02004冷板液冷标准化及技术优化白皮书冷板液冷标准化及技术优化白皮书一、一、概述概述随着AI时代的到来，冷板液冷技术作为一种解决高算力发热的冷却方式，已经成为行业最热门的话题之一，得到越来越广泛的关注。本文将分四个部分进行展开：第一部分：对冷板液冷技术进行介绍，从发展历程、技术特点、关键技术、器件组成等方面逐一介绍，并指出其发展面临的主要挑战。第二部分：对冷板液冷的工程标准化进行分析，从标准化的现状，到标准化的需求，并指出设计和功能要求，最后分享一些典型数据中心案例。第三部分：通过接液材料的详细描述，为读者呈现除传统材料外，其他行业领域和国内外数据中心对新材料的应用情况分享。第四部分：对近几年冷板液冷出现的新技术进行介绍和展望。二、二、术语、定义和缩略语术语、定义和缩略语AFLASAsahi Glass Fluoroelastomer的简写。它是由日本旭硝子株式会社（Asahi Glass Co.,Ltd.）开发的一种特殊的氟橡胶材料，学名是聚四氟乙烯-聚丙烯共聚物，它具有优异的耐化学性、耐高温性、耐油性和耐候性，常用于制造密封件。CDA铜发展协会（Copper Development Association）。CDU冷量分配单元（Coolant Distribution Unit）用于实现液冷系统的二次侧冷却环路驱动、稳压和自动配流，同时实现一二次2冷板液冷标准化及技术优化白皮书ODCC-2023-02004侧循环系统热量交换、物理隔离等功能的单元。CLF制冷负载系数（Cooling Load Factor），一般定义为数据中心制冷设备耗电与IT设备耗电的比值。本文提到的冷板液冷CLF指的是冷板液冷系统的耗电与对应液冷部分IT设备耗电的比值。CPU中央处理器（Central Processing Unit），它是服务器的核心组件之一。CPVC氯化聚氯乙烯（Chlorinated Polyvinyl Chloride），是一种特殊的塑料材料，是PVC经过氯化处理而制成的。它具有出色的阻燃性能和耐化学腐蚀性能，广泛应用于管道系统、化工设备、火灾喷淋系统、电力线路绝缘和建筑材料等领域。CRAC计算机房空调器（Computer Room Air Conditioner），其主要是指带压缩机的蒸汽压缩制冷循环系统，通过制冷剂蒸发将机房空气热量带到室外的空调。CRAH计算机房空气处理器（Computer Room Air Handler），其主要是指通过冷冻水将机房空气热量带走的冷冻水末端空调。CSPE氯磺化聚乙烯（Chlorosulfonated Polyethylene），也被称为海普隆Hypalon。它是一种通过将聚乙烯与氯和硫进行反应而制得的合成橡胶，其特性包括耐候性、耐辐射、抗化学腐蚀和电绝缘性能。DCLC直接接触式液体冷却（Direct Contact Liquid Cooling），DCLCTM被CoolIT公司注册，特指冷板液冷的间接式液冷，直接接触指的是冷板（而非工艺冷媒）与CPU等发热源的直接接触。EPDM三元乙丙橡胶（Ethylene Propylene Diene Monomer），是一种合成橡胶。EPR乙烯丙烯橡胶（Ethylene Propylene Rubber），是一种合成橡胶。ETP它是由乙烯（Ethylene）、四氟乙烯（Tetrafluoroethylene）和丙烯（Propylene）通过共聚反应制得的共聚物，ETP型氟橡胶是一种高性能的氟橡胶材料，具有出色的化学稳定性、耐热性和耐油性。FEP聚全氟乙丙烯（Fluorinated Ethylene Propylene），是一种热塑性聚合物，由四氟乙烯和含氟单体（如四氟乙烯醚）共聚3冷板液冷标准化及技术优化白皮书ODCC-2023-02004而成。它具有类似于PTFE的出色耐化学腐蚀性、低摩擦系数和优异的耐高温性能。相比于PTFE，FEP具有更低的熔融温度，更容易地加工成各种形状。FKM含 氟 弹 性 橡 胶（Fluoroelastomer），也 称 氟 碳 橡 胶（Fluorocarbon Rubber），是一种特殊的橡胶材料，具有出色的耐化学腐蚀性能和高温稳定性。FWS设施水系统（Facilities Water System）,冷源与CDU之间的水系统，即一次侧冷冻或冷却水系统。GFGF型氟橡胶是由氟化碳单体聚合而成，添加了玻璃纤维（GlassFiber）增强剂的氟橡胶材料，玻璃纤维的添加可以增强氟橡胶的强度和刚度，提高其耐磨损性和耐冲击性。GPU图形处理器（Graphics Processing Unit），是一种专门用于处理图形和图像的处理器。与CPU相比，GPU在图形处理方面有着更强大的计算和并行处理能力。HDPE高密度聚乙烯（High Density Polyethylene），是一种常见的塑料材料。HNBR氢化丁晴橡胶（Hydrogenated Nitrile Butadiene Rubber），是一种耐油性较高的橡胶材料，通过氢化处理增加了耐热性和抗臭氧性能，被广泛应用于涉及高温、高压和化学腐蚀环境下的密封和橡胶制品。LCM环路工艺冷媒供回歧管（Loop Coolant Manifold）用于向环路内各支路分配工艺冷媒的装置。MFI熔融指数（Melt Flow Index），指热塑性塑料在一定温度和压力下，熔体在 10 分钟时间内通过测试器的小孔所流出的熔料重量，单位是以克/10 分钟表示。MFR熔体质量流动速率(Melt-mass Flow Rate)，指热塑性树脂材料分子平均尺寸和流动性能的一项指标。NBR丁晴橡胶（Nitrile Butadiene Rubber），是一种常见的合成橡胶材料。OCP开放计算项目（Open Computer Project），它是由 Facebook（更名为 Meta）在 2011 年发起的，旨在通过共享设计和创新来构建高效、节能的数据中心设备和硬件基础架构。目前，OCP4冷板液冷标准化及技术优化白皮书ODCC-2023-02004同 ODCC、OPEN19 并称为全球三大开放计算组织。PA聚酰胺塑料（Polyamide），具有良好的综合性能，包括力学性能、耐热性、耐磨损性、耐化学药品性和自润滑性，且摩擦系数低，有一定的阻燃性，易于加工。PE聚乙烯(Polyethylene)，是一种常见的塑料材料。PEEK聚醚醚酮（Polyether Ether Ketone），是一种高性能工程塑料，具有极高的热稳定性、耐化学腐蚀性和机械强度。PEX交联聚乙烯（Cross-Linked Polyethylene），由聚乙烯分子经过交联处理生成，交联可以提高材料的强度、耐热性和耐化学腐蚀性，是一种常用的供水管道材料。PFA聚全氟丙烯（Perfluoro Alkoxy），是一种氟塑料，属于全氟聚合物的一种类型。它具有出色的化学稳定性、高温耐性、电绝缘性和耐腐蚀性。它具有与 PTFE 类似的特性，但其可加工性更好，通过热塑性加工方法（如注塑或挤出）加工成管材、薄膜、块材和各种形状的制品。PFPE全氟聚醚（Perfluoropolyether），是一种特殊的氟化合物材料，具有出色的化学稳定性、热稳定性和润滑性能。PMVE全氟甲基乙烯基醚（Perfluoromethylvinylether），是一种全氟聚合物，具有出色的化学稳定性、高温稳定性和电气绝缘性能。PP聚丙烯(Polypropylene)，是一种常见的热塑性聚合物。PPH均聚聚丙烯（Polypropylene Homopolymer），相比 PPR，具有更高的刚性和强度，广泛用于各种工业和建筑材料。PPO聚苯氧化物（Polyphenylene Oxide），是一种高性能工程塑料。它具有优异的耐热性、电绝缘性、机械性能和化学稳定性。PPR无规共聚聚丙烯（Polypropylene Random），相比 PVC，具有更高的耐热性和耐化学腐蚀性能，广泛用于家庭水管系统。PPS聚苯硫醚（Polyphenylene Sulfide），是一种高性能工程塑料。它具有优异的耐热性、耐化学腐蚀性、机械强度和电绝缘性能。5冷板液冷标准化及技术优化白皮书ODCC-2023-02004PPSU聚苯砜(Polyphenylsulfone)，一种无定形的热塑性工程塑料，具有高度透明性、高水解稳定性，是所有高性能热塑性塑胶中最牢固的材料之一。该材料兼具强大的机械特性与耐热和耐化学性，因此非常适于通常负载较高和需接触化学品的各种要求严苛的应用。PSU聚砜（Polysulfone），是一种特定的高性能工程塑料，它具有高温稳定性、机械强度、耐化学腐蚀性、电绝缘性和耐磨性等特殊性能。PTFE聚 四 氟 乙 烯(Polytetrafluoroethylene)，也 称 为 特 氟 龙TeflonTM，具有强抗腐蚀性，可以耐受包括王水在内的强酸强碱溶液；低摩擦系数，可用于轴承、垫片和密封环等高摩擦部件；电绝缘性，可作为电缆绝缘材料。PUE能源利用效率（Power Usage Effectiveness），是数据中心最重要的评价指标之一，定义为数据中心总耗电与 IT 设备耗电之比。PVC聚氯乙烯(Polyvinyl Chloride)，是一种普遍使用的塑料，可以用于管道、电缆、地板、窗框等，但其耐高温性能较差，会释放出挥发性化合物危害人类健康。PVDF聚偏二氟乙烯（Polyvinylidene Fluoride），相比 PTEF，其刚性、硬度、电绝缘性、抗蠕变性能尤为突出，是最强韧的氟材料。QDC快速接头（Quick Disconnect Coupling），包括自锁式快速接头（手插和盲插）、球阀式快速接头。RCM机柜工艺冷媒供回歧管（Rack Coolant Manifold）用于向机柜内各液冷冷板分配工艺冷媒的装置。SFN二次侧流体管路（Secondary Fluid Networks），加拿大液冷厂商CoolIT的命名方式，同LCM。SUSSUS是日本JIS（日本工业标准）中使用的不锈钢材料标准的简称。在过去，日本的不锈钢材料常常使用SUS作为牌号的前缀，例如SUS304代表符合JIS G4303标准的304不锈钢。SVC静止无功补偿装置（Static Var Compensator），由电容器及各种电抗元件构成与系统并联并向系统供应或从系统吸收无功功率的装置。6冷板液冷标准化及技术优化白皮书ODCC-2023-02004TCS工艺冷媒系统（Technolgy Cooling System），冷板组件与CDU之间的系统，即二次侧系统。TDP热设计功率（Thermal Design Power），是处理器或显卡等计算机硬件热设计的一个主要参数。TDP是指处理器或其他硬件在满负荷工作情况下的最大热量产生值，代表了CPU或其他实际使用时的预计功耗极限，是散热器的设计和选择的重要参考依据。TFE四氟乙烯（Tetrafluoroethylene），是一种无色、无味且具有高度稳定性的气体。UHMWPE超 高 分 子 量 聚 乙 烯（Ultra-HighMolecularWeightPolyethylene），是一种特殊类型的聚乙烯，其分子量非常高，通常达到数百万至数千万克/摩尔。它具有许多优异的性能：高强度、高耐磨性、低摩擦系数、优异的耐化学性、良好的电绝缘性和优异的高温性能。UNS统一编号系统（Unified Numbering System），它是一种用于材料和金属标准化命名的编码系统。它由SAE（Society ofAutomotiveEngineers）、ASTM（AmericanSocietyforTesting andMaterials）和 ASME（AmericanSocietyofMechanical Engineers）等多个工程组织共同制定和管理的，不受国籍、材料种类、制造方式、化学成分等因素限制的开放式系统，在全球广泛应用。它由一个字母和五个数字组成，字母表示材料类型，数字表示材料化学成分、机械性能等相关参数，便于跨国贸易。WUE用水效率（Water Usage Effectiveness），是数据中心重要的评价指标之一，定义为数据中心总用水量与IT设备耗电量之比，单位为L/kWh。空气冷却Air Cooling，与液冷相对应，以空气为冷却介质，通过CRAC或CRAH设备将机房内的空气降温至1830左右的冷空气，将服务器产生的热量转移的过程。业内常被称为“风冷”。液冷Liquid Cooling或Direct Liquid Cooling，液体冷却的简称，以液体为冷却介质，通过CDU设备将进入服务器的工艺冷媒液体降温至1745左右，将服务器产生的热量全部或部分转移的过程。根据工艺冷媒是否与服务器接触分为直接液冷和间接液冷两大类。直接液冷的液体一般是不导电的油类或者氟化物；间接液冷的液体一般是去离子水，醇类溶液，还有氟化物。7冷板液冷标准化及技术优化白皮书ODCC-2023-02004气液比空气冷却和液体冷却混合布置的机房或者机柜，空气冷却和液冷功率（或发热量）的大致设计比例，一般指冷板液冷服务器。业内常被称为“风液比”。风冷风 冷 冷 却（AirCooled）或 风 冷 冷 凝（AirCooledCondensation）的简称，一般指冷却介质向空气尤其室外空气转移热量的过程。水冷水冷冷凝（Water Cooled Condensation）的简称，一般指冷却介质通过冷却水转移热量的过程。一次侧Primary Side，是指在间接热交换过程中，提供热量或冷量的一侧。在液冷领域，以CDU的板式换热器为界限，冷源侧为一次侧。二次侧Secondary Side，是指在间接热交换过程中，热量或冷量传递给待调节区域的一侧。在液冷领域，以CDU的板式换热器为界限，服务器侧为二次侧。工艺冷媒系统Technology Cooling System，简称TCS，是指用于冷却和保持电子设备运行温度在可接受范围内的系统。该系统即为二次侧所在系统，工艺冷媒即二次侧冷却液。逼近温度ApproachTemperature或MinimumDifferentialTemperature，是指二次侧供液温度与一次侧进水温度之差。微模块模块化数据中心的简称，Modular Data Center（MDC），是指完全按照模块化设计思路搭建的可快速部署的数据中心模型，数据中心内部由多个完全相同的微模块（Micro Module）组成；微模块则是以若干机架为基本单位，包含制冷模块、供配电模块及网络、布线、监控在内的独立的运行单元，全部组件可在工厂预制，并可灵活拆卸，快速组装。接液材料接液材料是指其表面与工艺冷媒直接接触的材料，必须和工艺冷媒具备兼容性，以将冷却回路中潜在的腐蚀风险和泄漏风险降至最低。8冷板液冷标准化及技术优化白皮书ODCC-2023-02004三、三、冷板液冷介绍冷板液冷介绍（一）（一）冷板液冷技术介绍冷板液冷技术介绍1.1.冷板液冷发展历程冷板液冷发展历程虽然液冷这个技术名词是近代才出现的，但是液冷或者说用水降温这种生活方式，却是与人类发展史紧密相伴的。用水降温是动物与生俱来的本领，人类还进一步利用液冷原理建造自然水冷建筑“含凉殿”。液冷技术并非从数据中心行业发展应用起来的，其最初的应用是在机械加工行业，也就是18世纪第一次工业革命发明的机械加工设备，使用水和油作为金属加工液进行降温。之后，19世纪第二次工业革命将人类社会带入电气时代，尼古拉特斯拉首次将液冷应用于变压器冷却。20世纪开始进入电子时代，随着科技的进步和制作工艺的发展，高性能、高功率的电子元器件的冷却要求不断提高，就需要选择效率更高的液冷技术，理论上沸腾的热水可以带走的极限热量是2MW/cm2。1944年美国人高格勒提出热管换热器概念，它是一种不附加任何动力，可以使冷凝的液体依靠吸液芯克服重力再回到上方，达到热量从一个地点传动到另一个地点目的的传热器件。经过热管技术的演进，闭合管路的冷板始于航天设备的应用，冷板的叫法据说来自20世纪60年代的美国阿波罗登月计划，登月设备中液冷已经广泛应用于高精度电子器件的冷却。19冷板液冷标准化及技术优化白皮书ODCC-2023-02004液冷技术首次在计算机上得到正式使用是在1951年，人类历史上第一台商用电子计算机UNIVAC I采用了水冷装置。之后的几十年，液冷技术的发展应用是曲折的，主要跟计算机性能需求和芯片技术发展紧密相关。1966年，IBM推出了System360大型计算机，这款计算机是当时运算速度最快、性能最强的机器，主要用于科学应用领域的高速数据处理（比如太空探索、亚原子物理学、全球气候预测等）。为确保该大型机在高速运算中不会发生过热宕机，IBM首度开发了用水冷却的液冷系统。但在随后的几十年，由于在较低热负荷时空气冷却成本更低、安装部署更为简单，液冷技术并未被重视。直到20世纪80年代，计算机性能飞速提升，为了满足散热的需要，空气冷却和液冷融合的气液混合系统开始出现，甚至有一段时间多种芯片级液冷技术得到深度应用并走向成熟。20世纪90年代，晶体管新技术的应用，推动着大型计算机和超级计算机芯片的功耗和热量断崖式下跌，散热又重新回到空气冷却的模式。21世纪初，随着数据中心应用规模的快速提升，液冷技术又一次步入发展的快车道。2008年，IBM对外发布基于Power6处理器的液冷超级计算机节点Power575,其在微处理器模块上使用了冷板液冷，使服务器工作温度降低了至少20。Power575液冷系统通过采用模块化的设计和快速连接接头的应用，尤其在系统侧和设备侧采用全流量互锁式快接，可以实现快速简单的连接和断开。国内随着信息技术赋能千行百业，数据中心能耗和芯片散热问题也得到重视，国家和地方出台了一系列数据中心能效水平限值要10冷板液冷标准化及技术优化白皮书ODCC-2023-02004求，如国家工信部规定新建大型、超大型数据中心PUE不超过1.3。液冷技术在国内有了迅速成长壮大的土壤，国内如曙光、华为、浪潮、联想、新华三和中兴通讯等代表性厂商已经纷纷推出了系列液冷产品。中科曙光最早于2015年推出国内首款标准化量产的冷板液冷服务器，同年，中科院大气物理研究所的“地球数值模拟装置原型系统”率先使用冷板液冷服务器，大大提高散热效率，也成为国内液冷服务器大规模使用的第一个公开案例，该系统并于2017年上榜当年全球高性能计算机（HPC）TOP500榜单。冷板液冷因对现有服务器芯片组件及附属部件改动量较小，可操作性更强，成为目前国内成熟度最高、应用最广泛的液冷散热方案。随着国内主流服务器厂商纷纷推出冷板液冷服务器产品，液冷技术开始逐步走向成熟并开始批量化、规模化使用。2.2.冷板液冷技术原理冷板液冷技术原理传统空气冷却方式以空气为介质进行散热，通过送入低温空气、经与电子器件进行热交换后，将其热量带走。液冷方式则以液体为介质进行散热，只需提供中温液体即可满足元器件散热需求，比空气冷却方式散热效率更高，也更加节能（如图3-1所示）。11冷板液冷标准化及技术优化白皮书ODCC-2023-02004图 3-1 空气冷却及液冷工作原理冷板液冷技术是目前最为成熟、应用最为广泛的液冷散热方式。冷板液冷技术是指通过冷板（通常为铜、铝等导热金属构成的封闭腔体）将发热器件的热量间接传递给在封闭的循环管路中的冷却液体，通过冷却液体将热量带走的冷却形式2。冷板液冷技术利用工艺冷媒作为中间热量传输的媒介，将热量由热区传递到远端后再进行冷却。在该技术中，工艺冷媒与被冷却对象分离，工艺冷媒不与电子器件直接接触，而是通过冷板等高效热传导部件将冷却对象的热量传递到工艺冷媒中，因此冷板液冷技术又称为间接液冷技术。冷板液冷技术相较于传统空气冷却技术，不需改变现有服务器的形态，使用、维护等方面与现有服务器也较为接近。冷板液冷系统工作原理如图3-2所示，冷板液冷是将服务器内的主要散热元器件CPU、GPU、内存等产生的热量通过与冷板内的液体进行热交换并带出服务器，这一部分的热量占服务器总热量的50%-80%，剩余少部分的热量采用空气冷却，通过空气与服务器进行热交换。冷板液冷系统中的二次侧的中高温液体带走服务器的热量，流经CDU，传递给一12冷板液冷标准化及技术优化白皮书ODCC-2023-02004次侧冷却水，并通过冷源设备将热量传递到室外空气，这一过程中的主要动力装置为循环水泵以及冷源设备的风机。图3-2 冷板液冷系统原理示意图3.3.冷板液冷技术特点冷板液冷技术特点冷板液冷方案一般具备以下特点：（1）高效散热：液体的体积比热容是空气的1000-3500倍，意味着冷却液体可以吸收大量热量而不会显著升高温度；液体的对流换热系数是空气的10-40倍，同等空间情况液冷的冷却能力远高于空气；由液冷冷板套件替代CPU原散热套件，通过工艺冷媒在冷板中的强制对流，有效地将热量从设备中快速地带走，散热效率得到大幅提升。（2）高TDP方案：当CPU芯片TDP超过350W时，冷板液冷成为少数的解决方案（图3-3）。13冷板液冷标准化及技术优化白皮书ODCC-2023-02004图3-3 TDP变化与冷却方式的演进3（3）精确制冷：冷板套件直达服务器内部，实现更为高效的部件级精确制冷，CPU核温低至65左右，使元器件在更稳定更合适的温度下工作，可靠性更高。（4）支持高功率部署：冷板液冷技术散热效率更高，可支持单机柜功率高达60kW的部署需求，同时降低占地成本。（5）兼容性优：在不改变目前服务器主板的情况下即可实现，拆卸简单，安装方便。相比其他液冷技术，对机房的要求较低，与现有机房的兼容性优。冷板液冷可实现液冷微模块的形式，可实现与现有空气冷却服务器的兼容使用。在系统上，相比其他液冷技术，空气冷却改造液冷更为方便，可参见本文第六章第（三）节第1小节。（6）维护简便：服务器与机柜的连接采用快速接头，服务器上下架可实现冷却系统在线插拔，不影响其他服务器正常运行。另外，保留了原有服务器的形态及维护方式，不影响客户使用习惯。（7）生态更成熟：冷板液冷是液冷技术中应用最早，也是最为成熟的技术，同时，其产业链生态更成熟。14冷板液冷标准化及技术优化白皮书ODCC-2023-02004（8）支持定制：可根据特定的电子元件，考虑组件的尺寸、形状和散热要求，可优化工艺冷媒通过冷板的流动路径、增加翅片等手段以降低热阻（图3-4）。图3-4 某强化对流换热定制开发冷板CFD分析（9）支持超频：由于服务器的运行温度更低，可允许服务器超频运行，提升服务器算力挖潜。（10）更加节能：整个冷却系统采用中高温水作为冷却介质，不同于靠低温水或空气进行散热，从而大大降低了冷却系统能耗，可充分利用自然冷源，冷板液冷CLF可低至0.1以下，比传统空气冷却机房节能20%以上。（11）支持余热回收：一次侧回水温度约为38-45，虽属于低品位余热，但考虑到数据中心规模体量巨大，其产生的余热量可观且稳定、持续。因此可依据余热利用场景灵活选择设置，如办公及生活供暖、泳池加热、设施农业温室供热等方式就近消纳余热资源。（12）冷媒易获得：相比其它液冷技术，冷板液冷通常采用乙二醇或丙二醇等水基溶液作为工艺冷媒，具有容易获取的优点。15冷板液冷标准化及技术优化白皮书ODCC-2023-020044.4.冷板液冷关键技术冷板液冷关键技术冷板液冷技术的关键技术包括以下几点：（1）冷板设计：冷板的设计对冷却系统至关重要。冷板必须与电子元器件保持良好的热接触，这样热量才能快速有效地从元器件传递到冷板。冷板流道通过机械加工、铲齿、挤压、锻压等工艺加工，密封采用搅拌摩擦焊、真空钎焊、气体保护焊等工艺焊接，需要具有良好的密封性。此外，冷板内通道流量大小、水阻和布局方式对散热效果起着至关重要的作用。（2）工艺冷媒的选择和水质管理：冷板液冷系统中使用的液体冷却剂通常是去离子水、乙二醇或丙二醇等水基溶液。去离子水会添加适当的药剂来抑制细菌滋生并减缓金属腐蚀。工艺冷媒须慎重选择，以保证与接液材料的兼容性。工艺冷媒必须具有良好的比热容、流动特性和低粘度，以确保有效的热传递。同时，需要对水基的工艺冷媒进行定期的水质监测和分析。近两年，陆续出现了氟化物代替水基溶液作为工艺冷媒进行冷却，详见本文6.2。除6.2外，本文其它章节所涉及工艺冷媒均基于水基溶液进行设计和介绍，特此说明。（3）RCM设计：RCM的流量分配设计将直接影响各支路流量，如何确保最不利的环路水流量仍然充足，需要进行相关设计考虑。（4）二次侧泵和LCM设计：用于循环工艺冷媒的二次侧泵设计必须确保LCM每个接口足够的流量和压力。二次侧泵必须支持长期可16冷板液冷标准化及技术优化白皮书ODCC-2023-02004靠连续运行，且噪音小。LCM的设计必须能够最大限度地减少压降并确保通过冷板和热交换器的高效流动。（5）二次侧系统可靠性测试：二次侧系统的长期稳定可靠直接影响服务器的稳定运行，因此，需要考虑鲁棒性设计和安全测试等。（6）冷源设计：冷源设计必须能够将电子元件产生的热量全部散入室外空气，并提供稳定的一次侧进水温度。需根据设计进水温度、当地气候水源条件、冗余要求、周边热回收设施等要素合理设计冷源。（7）冷却水水质管理：一次侧作为散热源侧，其水质管理至关重要。不恰当的水质管理会导致水流堵塞，将直接影响系统是否可以正常工作。冷却水水质管理除了泥沙冲洗，定期除垢除菌外，还需要考虑不同管道材质之间是否会因电势差而造成电化学腐蚀问题。（8）控制系统设计：控制系统负责监控和调节工艺冷媒温度和流量，以确保最佳的冷却性能。控制系统可以包括温度传感器、流量计和其他监测和控制组件，以确保系统在安全范围内运行。特别要注意的是，需要考虑防凝露和漏液监测设计，控制系统还可以包括用于监控系统性能并在出现任何问题时提供告警。（二）（二）常用产品器件介绍常用产品器件介绍冷板液冷系统一般由二次侧冷却环路和一次侧冷却环路构成，其中，二次侧冷却环路是通过工艺冷媒循环将发热元件产生的热量导出的冷却环路；一次侧冷却环路是通过工艺冷媒将二次侧冷却环17冷板液冷标准化及技术优化白皮书ODCC-2023-02004路导出的热量传递至室外环境或通过热回收系统回收利用的冷却环路。二次侧冷却环路由冷板组件、CDU和连接系统（包括RCM、QDC、LCM等）等构成；一次侧冷却环路由冷源和一次侧回路等构成，二次侧冷却环路与一次侧冷却环路在CDU处进行换热。图3-5给出了各部件位于液冷系统的位置示意。图 3-5 冷板液冷系统构成示意图1.1.冷板组件冷板组件基本组成基本组成冷板组件由冷板、配套管路、扣具、转接头、快速接头QDC、漏液检测装置等主要零部件构成，图3-6给出了冷板组件的构成示意，图3-7展示了冷板和冷板组件的实物照片。18冷板液冷标准化及技术优化白皮书ODCC-2023-02004图3-6 冷板组件构成示意图图3-7 冷板&冷板组件实物照片其中，各冷板组件描述如下：（1）冷板：以工艺冷媒为媒介，实现热量交换的紧凑型换热部件，与设备配套管路、QDC、CDU、RCM、LCM等形成二次侧冷却环路，并最终将处理器热量传递至室外。（2）设备配套管路：用于冷板与冷板或液体快速接头之间互连保障流通的部件。（3）扣具：为冷板与处理器贴合提供锁紧力的专用锁紧零部件。（4）转接头：在冷板系统中起到连接作用的零部件。19冷板液冷标准化及技术优化白皮书ODCC-2023-02004材质材质冷板组件的接液材料要与工艺冷媒保持良好的兼容性，数据中心设备冷板组件材质一般如表3-1所示：表 3-1 不同部件的材料冷板组件名称常用材料说明冷板散热模块：紫铜固定模块：铝散热模块为接液材料；一体式冷板不区分散热模块和固定模块。管路橡胶：EPDM 等塑料：PTFE、FEP 等接液材料，橡胶管路和转接头连接时需通过卡箍或卡环或压接等方式增加连接可靠性。扣具金属、塑料等非接液材料转接头紫铜、不锈钢等接液材料，材料类型需和冷板散热模块保持一致。快速接头不锈钢等接液材料关键设计指标参考关键设计指标参考表3-2以Intel EGS CPU的冷板设计为例，对冷板组件关键设计参数进行说明。表中参数不作为所有冷板组件的参考限值。表 3-2 设计参数关键设计项设计参数描述说明冷板内部流道小功率器件冷板可直接采用机加工流道、金属管嵌管等方案大功率器件（一般为散热模块为接液材料；一体式冷板不区分散热模块和固定模块20冷板液冷标准化及技术优化白皮书ODCC-2023-02004100W）冷板一般采用铲齿工艺，齿厚一般为 0.11.0mm，齿 间 隙 一 般 为210 倍过滤精度。例如，二次侧过滤为 50m，齿间隙一般为 0.10.5mm冷板内部流速冷板内部流道内、管路内部流速1.5m/s可以根据该流速计算出不同管径下的最大流量额定流量满足芯片散热要求基础上，流量越小越有优势，以下数据供参考：Intel EGS CPU 单冷板组件额定流量为 0.7L/min冷板所需流量小，单台CD