YD∕T 3979-2021 数据中心浸没式液冷服务器系统技术要求和测试方法(通信).pdf

ICS 33.040.40 M32 中 华 人 民 共 和 国 通 信 行 业 标 准 YD YD/T XXXXX-XXXX 数据中心浸没式液冷服务器系统技术要求和测试方法 Technical requirements and test methods for immersion liquid cooling server system of data center （报批稿） 2020-xx-xx 发布 2020-xx-xx 实施 中华人民共和国工业和信息化部 发 布 2019-1084T-YD I 目 次 前言 . II 1 范围 . 1 2 规范性引用文件 . 1 3 术语、定义和缩略语 . 1 3.1 术语和定义 . 1 3.2 缩略语 . 3 4 系统基本技术要求 . 3 5 服务器基本技术要求 . 4 6 浸没腔体技术要求 . 4 6.1 一般要求 . 4 6.2 详细要求 . 4 7 冷却技术要求 . 5 7.1 概述 . 5 7.2 散热能力要求 . 5 7.3 密封要求 . 5 7.4 节能要求 . 5 8 综合布线子系统技术要求 . 6 9 监控子系统技术要求 . 6 9.1 浸没腔体子系统监控 . 6 9.2 冷却子系统监控 . 6 9.3 机房环境监控 . 6 10 安防系统技术要求 . 7 11 运维技术要求 . 7 12 其它技术要求 . 8 参考文献 . 9 2019-1084T-YD II 前 言 本标准按照GB/T 1.12020给出的规则起草。 请注意本文件的某些内容可能涉及专利。 本文件的发布机构不承担识别这些专利的责任。 本标准由中国通信标准化协会提出并归口。 本标准起草单位： 中国信息通信研究院、阿里巴巴（中国）有限公司、北京百度网讯科技有限公司、深圳市腾讯计算机系统有限公司、北京三快云计算有限公司、联想（北京）信息技术有限公司、深圳绿色云图科技有限公司、曙光节能技术（北京）股份有限公司、中国移动通信集团有限公司、中国电信集团有限公司、3M中国有限公司、施耐德电气信息技术（中国）有限公司、中兴通讯股份有限公司、国际商业机器(中国)投资有限公司、新华三技术有限公司。 本标准主要起草人：郭亮、谢丽娜、钟杨帆、吴宏杰、梁旭飞、胡湘涛、任华华、梅方义、崔新涛、李棒、王峰、赵继壮、李洁、季伟光、范振国、刘奉君、张剑、王中平、吴永明、程思聪、郭振海、娄小军、马弛州、田婷、张鹏、吴宏杰、蓝滨、林密、石葆春、李钟勇、孙锐羽、田耕、李江屏、吕海超、万晓兰、秦振、柴宏生。 2019-1084T-YD 1 数据中心浸没式液冷服务器系统技术要求和测试方法 1 范围 本文件规定了数据中心浸没式液冷服务器系统的服务器及其相关配套运行条件等方面的技术要求与测试方法。 本文件适用于浸没式液冷服务器系统的设计、施工、部署、运维等环节的技术指导。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件， 仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB150 压力容器 GB/T 18883 室内空气质量标准 GB/T 29044 采暖空调系统水质 GB50016 建筑设计防火规范 GB50311 综合布线系统工程设计规范 3 术语、定义和缩略语 3.1 术语和定义 下列术语、定义适用于本文件。 3.1.1 液冷 liquid cooling 采用冷却液带走发热器件热量的数据中心冷却技术，适用于需提高计算能力、能源效率、部署密度等应用场景。 注：液冷分为接触式及非接触式液冷两种，接触式液冷是指将冷却液与发热器件直接接触的一种液冷形式，包括浸没式和喷淋式液冷等具体方案。非接触式液冷是指冷却液与发热器件不直接接触的一种液冷形式，包括冷板式等具体方案。 3.1.2 浸没式液冷 Immersion liquid cooling 以冷却液作为传热介质， 将发热器件完全浸没在冷却液中， 发热器件与冷却液直接接触并进行热交换的液冷形式。 注:按照热交换过程中冷却液是否存在相态变化，可分为单相液冷和相变液冷两类。 3.1.3 2019-1084T-YD 2 单相液冷 single-phase liquid cooling 作为传热介质的液体在热量传递过程中仅发生温度变化， 而不存在相态转变， 过程中完全依靠物质的显热变化传递热量。 3.1.4 相变液冷 phase-change liquid cooling 作为传热介质的液体在热量传递过程中发生相态转变，依靠物质的潜热变化传递热量。 3.1.5 液冷机柜 liquid cooling cabinet 承载数据中心电子信息设备和冷却液，实现电子信息设备冷却的容器。 3.1.6 浸没冷却单元 liquid cooling unit 承载 IT 设备包含服务器，交换机等和冷却液，为 it 设备提供安全冷却环境。 注：对于相变液冷系统，主要包含密闭箱体，液体过滤系统，温度、液位、压力监控传感器，以及排气阀门；对于单相液冷系统，主要包含密闭箱体，液体分配单元，温度、液位监控传感器。 3.1.7 二次侧冷却系统 secondary side cooling system 为浸没腔体子系统散热的装置。 注：对于相变液冷系统，主要包含管道，液气换热器需要安装在液体上方蒸汽区域，温度、流量监控等传感器，液体质量检测传感器，水泄露检测传感器和阀门等；对于单相液冷系统，主要包含管道，冷却液循环泵，液液换热器，冷却液过滤系统，阀门，液体质量检测传感器，水泄露检测传感器。 3.1.8 一次侧冷源系统 primary side cooling subsystem 为冷却子系统散热，其形式可以是冷却塔、干冷器、余热回收机组等，包含冷却水循环泵、管道、冷却水过滤系统等。 3.1.9 监控系统 monitor system 针对液冷所有的设备及环境进行集中监控和管理的， 其监控对象构成整个系统的各个子系统， 包括浸没腔体子系统、冷却子系统、室外冷源系统，它确保系统安全可靠运行。 2019-1084T-YD 3 3.2 缩略语 下列缩略语适用于本文件。 IDC 互联网数据中心 Internet Data Center PUE 电能利用效率 Power Usage Effectiveness UPS 不间断电源 Uninterrupted Power Supply 4 系统基本技术要求 图 1 单相液冷系统 如图 1 所示， 系统首先通过浸没腔体子系统中冷却液对服务器热负载直接接触式吸热， 升温后的冷却液在冷却子系统的循环泵及换热器作用下将热量传递给外侧冷却介质， 最终冷却介质经室外冷源设备将热量释放到室外环境中，完成 IT 设备散热。 图 2 相变液冷系统（气体室外换热） 如图 2 所示，系统首先通过浸没腔体子系统中冷却液对 IT 设备热负载直接接触式相变吸热，相变2019-1084T-YD 4 后的气态冷却液与浸没腔体子系统内的冷凝器进行热交换， 将热量传递给冷却介质后变成液体， 液体受重力作用流回腔体。 吸收热量的冷却介质经室外冷源设备将热量释放到室外环境中， 完成 IT 设备散热。 5 服务器基本技术要求 浸没式液冷系统中使用的服务器设备宜采用定制化设计： a) 为充分发挥液冷技术的优势，应采用高功率密度的设计； b) 应采用结构定制化设计以强化液体与发热器件的热交换； c) 应采用结构定制化设计以提高浸没式液冷环境下电子信息设备的运维效率。 6 浸没腔体技术要求 6.1 一般要求 在浸没腔体子系统里，浸没腔体宜设计成一种容器，其特征为一个上部开盖、由四个壁面和一个底面围成的具有一定内部容积的结构，要求 IT 设备所有的发热组件都必须浸没在腔体内的液体中，且保证所有的发热器件在运行时的温度不超过其最高允许工作温度。 6.2 详细要求 6.2.1 概述 在浸没腔体内可分为气相区和液相区两部分，服务器主板浸没在液相区内。 6.2.2 腔体要求 本节要求包括 a) 强度要求 浸没腔体的强度应大于满配情况下的强度要求。 注：液冷机柜的满配重量=机柜净重+冷却液充注量+IT 设备重量。 b) 密封性要求 1) 浸没腔体应密封性良好，尤其是相变液冷系统，由于有气体的生成，应气密性良好，确保冷却液蒸汽无泄漏； 2) 浸没腔体的设计、测试和验收见 NB/T 47003.1 的要求； 3) 相变液冷系统使用的液冷机柜要求采用闭式设计，浸没腔体的设计、测试和验收应符合GB150 的要求。 c) 泄压装置 2019-1084T-YD 5 相变液冷系统运行过程中，冷却系统故障，密封腔体可支持机械泄压装置，以保证系统安全性。 d) 腔体材质： 兼容性良好塑料材质、304 不锈钢、316 不锈钢、高强度铝合金材质，需依据实际使用的冷却液选择兼容性良好的腔体材料。 6.2.3 液相区要求 对于单相系统，应采用有效措施确保液相区的液体温度场均匀，无局部热点，同一水平截面建议温差不大于 5。 6.2.4 气相区要求 对于两相系统，应采取有效措施确保气相区的压力在预设范围波动，压力一般应在常压范围，建议范围：25kpa。 （参见 NB/T47003.1。） 6.2.5 界面材料要求 应采用与冷却液兼容性良好的热界面材料，降低主要热源CPU 与冷却液换热热阻，建议选择软金属材料、固液相变金属材料等。 7 冷却技术要求 7.1 概述 冷却子系统为浸没腔体子系统提供制冷， 设计时应考虑散热能力以及密封要求， 同时应采用节能措施。冷却子系统需具备 1+1 冗余设计，设备部署 N+1N+N 确保故障维修时子系统能继续正常工作，避免IT 系统过热宕机。 7.2 散热能力要求 冷却系统是为浸没腔体系统提供冷却， 其提供冷量的能力应超过浸没腔体子系统的最高发热量， 且应留有 20%的冷却余量。 7.3 密封要求 管路连接的密封设计应符合对应的规范要求， 在选择密封材料时应考虑材料与冷却液的兼容性， 建议使用寿命：8 年10 年。 7.4 节能要求 应采取有效措施节能，如提高供液温度、制冷量与发热量的动态匹配、充分利用自然冷源等实现2019-1084T-YD 6 节能。 室外冷源是否可用决于当地气候条件 （包括干球温度和湿球温度） 和冷却液的供液温度，并兼顾节能效益。一次冷却设备可选用直接使用空气冷却的干式冷却器、利用蒸发冷却的开式/闭式冷却塔、采用蒸汽压缩制冷技术的冷水机组或热泵机组等。冷却液供液温度 1232，推荐采用机械制冷形式，冷却液供液温度 2550，宜采用自然冷却形式。 采用水作为冷却介质时，系统水质应符合 GB/T 29044 的要求。 8 综合布线子系统技术要求 浸没液冷系统应根据实际情况因地制宜进行布线设计， 但应确保线缆穿壁密封良好 （不同介质的损失量有区别，建议依据实际液冷应用需求而定） ，冷却液及蒸汽不泄露，且充分考虑设备运维和布线操作的便利性，其它应按照 GB50311 的有关规定。 9 监控子系统技术要求 监控系统可同时监控浸没腔体子系统、冷却子系统、室外冷源系统及机房环境。 9.1 浸没腔体子系统监控 浸没腔体子系统的监控对象为气相区的压力、温度，以及液相区的温度、液位，确保各参数在预设范围内。一旦参数偏离设定值时，应有报警、记录以及应急处理措施。 9.2 冷却子系统监控 冷却子系统的监控对象包括：冷却子系统的压力、温度及流量，包括室外侧、室内侧及系统管路；浸没腔体子系统的功耗；以及冷却子系统的漏液状态。 冷却子系统的供冷量应可调节，并与浸没腔体子系统的发热量动态匹配，及时响应，以节省能耗。一旦各监控参数偏离设定值时，应有报警、记录以及应急处理措施。 9.3 机房环境监控 液冷数据中心环境温度和相对湿度应符合表 1 的要求。 表 1 环境温度和相对湿度要求 开停机类别开停机类别 主机房环境温度和相对湿度主机房环境温度和相对湿度 结露要求结露要求 停机时 545，8%80% 不得结露 开机时 1830（推荐值） ，35%75% 不得结露 2019-1084T-YD 7 机房必须在有足够通风的条件下使用和储存冷却液， 液冷机房区域内必须监测空气中对应的物质浓度，其浓度不应超过该类物质的职业接触限值，且空气中总挥发性有机物（TVOCs）浓度应低于GB/T18883-2002 中规定的限值；当挥发性有机物浓度超过限值时应加大新风量将浓度维持在限值以下并报警；新风量应取下列三项中的最大值： a) 按工作人员计算，每人 40m3/h； b) 维持室内正压所需风量； c) 主机房区域还应满足按换气次数计算，新风量不小于每小时 6 次。 液冷数据中心排风中的污染物浓度应符合当地法规，必要时应进行废气处理。 用于浸没式冷却的冷却液成分一般为有机物化合物，在使用过程中会挥发出蒸气或分解出有害气体，出于职业健康和环保考虑，液冷数据中心必须对空气中的挥发性有机物进行监测。 10 安防系统技术要求 液冷数据中心防火和灭火系统设计除了应 GB50016 外， 在消防方式的选择上还应符合冷却液的化学品安全说明书的要求，在消防灭火系统的设计上应符合相应的灭火系统设计规范。 冷却液泄露防护： a) 液冷数据中心内存放或使用冷却液及冷却液管道经过的区域宜设置独立的冷却液排液系统，对泄漏的冷却液进行收集，冷却液禁止直接排放； b) 对于冷却液大量溢漏情况，应进行围挡或采用其他恰当的防漏措施以免液体扩散。可以用泵抽排被围挡的液体，并将回收的液体存放在合适的容器中； c) 当机房存在排水、排冷却液共用排放系统时，排放系统中应设有防止受污染的废水直接外排的措施； d) 冷却液严禁直接排放，当机房存在排水、排冷却液共用排放系统时（如：液冷机房使用水消防、给排水管道穿过存放或使用冷却液及冷却液管道经过的区域） ，排放系统应设有防止受污染的废水直接外排的措施； e) 冷却液轻度溢漏宜用惰性材料吸收，并用适当的清洁剂或吸收剂清理残留的溢漏液体。 11 运维技术要求 运维技术包括如下要求： 2019-1084T-YD 8 a) 对液冷机房及辅助设备进行运维的相关人员，必须持有相关操作作业证件； b) 在进行液冷机房运维的过程中应采取必要的职业健康防护措施，操作人员应佩戴必要的个人防护装备如手套等。此方面应遵循冷却液化学品安全技术说明书中关于安全处置和个人防护装备的建议； c) 在对液冷机房运维前，对运维人员进行液冷机房运维相关知识的培训，包括但不限于：液冷机房运行原理、组成部分、运维工装使用、冷却液补充、冷却液泄漏回收及处理等； d) 在液冷机房建设完成交付后，投入使用前，制定相应的冷却液泄漏应急处置程序，并在程序中规定冷却液的收集、回收、废弃处理方式，严禁直接排放至下水道或环境中； e) 液冷机房运维宜遵循 “工具专用” 原则，液冷机房的专用工具不宜与其它工具混用，液冷机房运维完成后工具应及时清理。 液体补充根据运维手册，对液冷机柜的液面情况进行观察。当液面低于指定刻度，或液位传感器已触发低液位告警时，根据实际情况进行液体补充作业。 12 其它技术要求 数据中心浸没式液冷服务器系统其他技术要求参见 T/CCSA 269-2019。 2019-1084T-YD 9 参考文献 1 NB/T47003.1 钢制焊接常压容器 2 T/CCSA269-2019 数据中心液冷服务器系统总体技术要求和测试方法 _