2023数据中心绿色设计白皮书.pdf

1数据中心绿色设计白皮书ODCC-2023-02001编号 ODCC-2023-02001数据中心绿色设计白皮书开放数据中心开放数据中心标准推进标准推进委员会委员会2023-06 发布发布行业报告资源群行业报告资源群1.进群福利：进群即领万份行业研究、管理方案及其他学习资源，直接打包下载2.每日分享：6份行研精选报告、3个行业主题3.报告查找：群里直接咨询，免费协助查找4.严禁广告：仅限行业报告交流，禁止一切无关信息知识星球 行业与管理资源知识星球 行业与管理资源专业知识社群：每月分享8000+份行业研究报告、商业计划、市场研究、企业运营及咨询管理方案等，涵盖科技、金融、教育、互联网、房地产、生物制药、医疗健康等；已成为投资、产业研究、企业运营、价值传播等工作助手。微信扫码，长期有效微信扫码，长期有效微信扫码，行研无忧微信扫码，行研无忧免责申明：1.本内容非原报告内容;2.报告来源互联网公开数据；如侵权请联系客服微信，第一时间清理；3.报告仅限社群个人学习，如需它用请联系版权方；4.如有其他疑问请联系微信I数据中心绿色设计白皮书ODCC-2023-02001版权版权声声明明ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。II数据中心绿色设计白皮书ODCC-2023-02001编制说明编制说明本报告由开放数据中心委员会 ODCC牵头撰写，并在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位：参编单位（排名不分先后）：中国信息通信研究院、深圳市腾讯计算机系统有限公司、维谛技术有限公司、深圳绿色云图科技有限公司、华为技术有限公司、阿里云计算有限公司、浪潮集团有限公司、曙光信息产业股份有限公司项目经理：张一星 杨硕 III数据中心绿色设计白皮书ODCC-2023-02001前言前言随着新一代信息技术的蓬勃发展与广泛应用，数字产业的赋能作用进一步凸显，数据中心作为数字经济“底座”，在经济社会发展中扮演着至关重要的角色。截至 2022 年底，我国在用数据中心机架总规模超过 650 万架，能耗总量达 1300 亿千瓦时。在“碳达峰碳中和”大背景下，我国正积极推动引导数据中心均衡布局、高效节能发展，工信部、发改委等部门发布新型数据中心发展三年行动计划、贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新型基础设施绿色高质量发展实施方案等多项政策，提出到 2025 年，全国新建大型、超大型数据中心平均电能利用效率降到 1.3 以下，国家枢纽节点进一步降到 1.25 以下，绿色低碳等级达到 4A 级以上。绿色设计对于从源头上构建数据中心绿色产业生态，引导数据中心产业绿色发展方向具有重大意义。本白皮书梳理了全球及我国数据中心机架规模和 PUE 水平，从国家和地方层面分析了数据中心绿色节能政策和已发布的数据中心能效标准，指出了数据中心绿色发展面临的诸多挑战。本白皮书详细阐述了数据中心绿色设计的理念和基本要素，总结了数据中心 IT 设备、供电系统、制冷系统、监控系统的绿色设计先进技术和方案，并给出了数据中心绿色设计优秀案例。相关技术和方案将为数据中心在建设、运行、改造的全生命周期采用绿色设计提供参考，促进数据中心产业整体绿色低碳高质量发展。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系 。IV数据中心绿色设计白皮书ODCC-2023-02001内容概览内容概览1.全球新增数据中心规模稳定，伴随数据中心节能改造建设的边际效益递减和数据中心能效改善效果不佳，全球数据中心 PUE 呈现小幅波动总体缓慢下降趋势。国内外互联网巨头持续探索数据中心绿色节能技术，部分超大型数据中心 PUE 接近极限值。2.我国数据中心总体规模持续增长，大型规模及以上数据中心成为增长主力，数据中心能耗总量与碳排放规模体量不容忽视。我国高度重视数据中心绿色发展，国家和地方层面均出台了一系列指导意见和工作方案，引导数据中心布局均衡和绿色低碳发展。3.我国数据中心产业在能耗方面面临诸多挑战，如老旧小数据中心能效管理水平低、新建数据中心绿色节能技术应用不佳、现有数据中心能耗监测系统不健全等，且当前针对数据中心节能新技术的相关标准仍不完善。为帮助数据中心产业从源头上构建绿色生态，白皮书给出了数据中心绿色设计的定义与内涵，引导数据中心在设计阶段综合考虑各类资源能效指标，达到资源支出成本最低、碳排放量最少、对环境影响最小。4.数据中心绿色设计包含单系统绿色设计、环境与能源耦合绿色设计、风火水电与 IT 系统耦合绿色设计三个层次，针对 IT 设备、供电系统、制冷系统、监控系统等不同维度的多样化绿色设计先进技术方案，可有效帮助数据中心实现全生命周期节能降耗和绿色低碳。5.PUE 值是当前评价数据中心绿色设计方案是否先进有效的核心指标，为促进产业各方实践应用绿色设计方案，用低 PUE 创造高效算力，白皮书给出了腾讯、维谛、网宿&绿色云图、华为等企业的优秀数据中心 PUE 设计方案，对推进数据中心产业整体绿色高质量发展提供有益借鉴。V数据中心绿色设计白皮书ODCC-2023-02001目录目录版权声明.I编制说明.II前言.III内容概览.IV图 目 录.1表 目 录.1一、数据中心绿色设计发展背景.21.数据中心能耗现状.22.数据中心能耗政策标准分析.53.数据中心绿色发展面临的挑战.9二、数据中心绿色设计的理念和基本要素.111.数据中心绿色设计.112.绿色设计理念.123.绿色设计原则.124.绿色设计目标.12三、数据中心绿色设计先进技术和方案.131.IT 设备.132.供电系统.173.制冷系统.204.监控系统.26VI数据中心绿色设计白皮书ODCC-2023-02001四、数据中心绿色设计优秀案例.271.腾讯仪征数据中心设计 PUE 方案.272.维谛广州数据中心设计 PUE 方案.273.网宿&绿色云图上海数据中心设计 PUE 方案.284.华为贵州数据中心设计 PUE 方案.281数据中心绿色设计白皮书ODCC-2023-02001图图 目目 录录图 1 全球服务器年增加量（兆瓦）.2图 2 全球互联网巨头数据中心运行 PUE 水平接近极限值.3图 3 我国数据中心机架规模.4图 4 我国超大型、大型数据中心能效情况.4图 5 我国数据中心耗电量（亿千瓦时）.5图 6 CPU 冷板和 GPU 冷板.14图 7 IT 机柜的演进.17表表 目目 录录表 1 数据中心能效等级指标.9表 2 风冷、水冷、蒸发冷却、新型氟泵系统、液冷系统对比.242数据中心绿色设计白皮书ODCC-2023-02001一、一、数据中心绿色设计发展背景数据中心绿色设计发展背景1.1.数据中心能耗现状数据中心能耗现状1)1)全球发展现状全球发展现状全球数据中心新增相对稳定。按照全球服务器年增加量统计，2015 年-2021 年全球年新增投入使用服务器规模相对稳定，净增加值也相对稳定，预计未来几年数据中心规模仍将保持平稳增长，具体见图 1。来源：Gartner、中国信息通信研究院图 1 全球服务器年增加量（兆瓦）2006 年开始，随着互联网快速发展，全球数据中心规模高速增长，数据中心能耗与日俱增。封闭冷热通道、提高出风温度、优化供配电设备效率、充分利用自然冷源等绿色节能技术不断推广应用，数据中心能效管理从粗犷发展进入精细管理，全球数据中心总体能效水平快速提高，平均 PUE 从 2.7 降低到2013 年的 1.8 左右，呈现快速下降趋势。2014 年以来，全球数据中心 PUE 呈现小幅波动总体缓慢下降的趋势，一方面数据中心节能改造与建设的边际效益逐步降低，进一步提高能效需要投入更多成本，另一方面，部分传统数据中心负载率不高、绿色管理不到位等造成数据中心能效改善效果不明显，2021 年全球数据中心平均 PUE 约 1.57。3数据中心绿色设计白皮书ODCC-2023-02001互联网巨头仍坚持探索数据中心绿色节能新技术，新建数据中心 PUE 基本在 1.4 以下，部分超大型数据中心接近极限 PUE，Facebook 美国 Prineville 数据中心 PUE 低于 1.08，谷歌 Berkeley 数据中心年均 PUE 达到 1.111，百度云计算（阳泉）中心 1#模组 PUE 达 1.08，阿里巴巴浙江云计算仁和数据中心 PUE 达1.09。未来随着中小数据中心整合改造和大型化数据中心建设趋势，全球数据中心平均 PUE 预计将进一步降低。同时，谷歌、苹果等公司已通过购买可再生能源证书（Renewable Energy Certificate）的方式实现所有数据中心采用100%可再生能源，进一步降低了数据中心碳排放。来源：互联网资料整理、开放数据中心委员会 ODCC图 2 全球互联网巨头数据中心运行 PUE 水平接近极限值2)2)国内发展情况国内发展情况根据信通院最新统计数据，我国数据中心机架规模平稳增长，大型以上数据中心成为增长主力。据统计，2013 年以来，我国数据中心总体规模快速增长，截至到 2022 年底，我国在用数据中心机架总规模超过 650 万架，近 5 年年均复合增速超过 30%，算力总规模为 180EFLOPS（FP32），算力规模排名全球第二。1数据来源：企业官网 https:/ https:/4数据中心绿色设计白皮书ODCC-2023-02001其中，大型以上数据中心机架规模增长较快，按照标准机架 2.5kW 统计，机架规模超 540 万架，占比超 80%。来源：中国信息通信研究院图 3 我国数据中心机架规模截至 2022 年底，全国在用超大型数据中心平均 PUE 为 1.36，大型数据中心平均 PUE 为 1.42，最优水平达到 1.02。全国规划在建数据中心平均设计 PUE为 1.32 左右，超大型、大型数据中心的平均设计 PUE 分别为 1.28、1.29。来源：中国信息通信研究院图 4 我国超大型、大型数据中心能效情况5数据中心绿色设计白皮书ODCC-2023-020012021 年我国数据中心能耗总量为 1116 亿千瓦时，碳排放量超过 7000 万吨。2022 年我国数据中心能耗总量 1300 亿千瓦时，同比增长 16%，预计到 2030 年，能耗总量将达到约 3800 亿千瓦时。若不使用绿色能源，碳排放总量将突破 2 亿吨，约占全国总碳排放量的 2%。来源：中国信息通信研究院图 5 我国数据中心耗电量（亿千瓦时）2.2.数据中心能耗政策标准分析数据中心能耗政策标准分析1)1)政策分析政策分析我国积极推动引导数据中心布局均衡、绿色低碳发展，从国家到地方发布了一系列关于数据中心高效节能的政策文件。(1)(1)国家层面政策国家层面政策国家层面高度重视数据中心行业绿色发展，近十年来发布了一系列相关指导意见和工作方案。2013 年，工信部等发布关于数据中心建设布局的指导意6数据中心绿色设计白皮书ODCC-2023-02001见，引导大型、超大型数据中心优先在中西部等一类、二类地区建设。2017年，工信部发布关于加强“十三五”信息通信业节能减排工作的指导意见，提出到十三五末期，新建大型、超大型数据中心的 PUE 值达到 1.4 以下。工信部联合国管局、国家能源局于 2019 年 2 月发布关于加强绿色数据中心建设的指导意见，再次提出到 2022 年，数据中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的 PUE 达到 1.4 以下。为落实国务院“十三五”节能减排综合工作方案，推动数据中心的节能减排，国家发改委联合工信部等七部委于 2019 年 6 月发布绿色高效制冷行动方案，提出“加快制定数据中心能效标准，实施数据中心制冷系统能效提升工程”。2020 年 7 月，工信部等六部门联合组织开展国家绿色数据中心推荐，选择一批能效水平高、技术先进、管理完善、代表性强的数据中心进行推荐，引导数据中心完善 PUE、WUE 的监测与管理，加大绿色技术、绿色产品、清洁能源的使用，进一步提高能源资源利用效率。近年来，为贯彻落实网络强国、数字中国、国家大数据和碳达峰碳中和战略，国家不断强调数据中心绿色高质量发展的重要性。2020 年 12 月，国家发展改革委等四部委联合发布关于加快构建全国一体化大数据中心协同创新体系的指导意见，提出加强全国一体化大数据中心顶层设计，再次要求“加快制定数据中心能源效率国家标准”，提出“到 2025 年，大型、超大型数据中心运行电能利用效率降到 1.3 以下”。2021 年，“十四五”规划和 2035 远景目标中指出“推动 5G、大数据中心等新兴领域能效提升”。2021 年 5 月，国家发展改革委等四部委发布全国一体化大数据中心协同创新体系算力枢纽实施方案，提出“在京津冀、长三角、粤港澳大湾区、成渝，以及贵州、内蒙古、甘肃、宁夏等地布局建设全国一体化算力网络国家枢纽节点，发展数据中心集群，引导数据中心集约化、规模化、绿色化发展”。2021 年 11 月，国家发改委等四部门发布贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新型基础设施绿色高质量发展实施方案提出“到 2025 年，数据中心和 5G 基本形成绿色集约的一体化运行格局。数据中心运行电能利用效率和可再生能源利用率明显提升，全国新建大型、超大型数据中心平均电能利用效率降到 1.3 以下，国家枢纽节点进一步降到 1.25 以下，绿色低碳等级达到 4A 级以上。”7数据中心绿色设计白皮书ODCC-2023-02001(2)(2)地方层面政策地方层面政策热点地区筑高建设门槛控新增，强化技术引导提能效。一线城市业务需求旺盛但电力资源紧张，受能耗指标、用地、用电审批限制，批复难、建设难、扩容难，供给不足、供不应求。各地相继出台政策以缓解供给侧的结构性矛盾，规避旺盛需求刺激下数据中心“粗制滥造”建设的风险。2018 年，北京市更新北京市新增产业的禁止和限制目录；2020 年 6 月，北京市发布关于加快培育壮大新业态新模式促进北京经济高质量发展的若干意见及北京市加快新型基础设施建设行动方案（2020-2022 年）；2021年 4 月，北京市数据中心统筹发展实施方案（2021-2023 年）提出“新建云数据中心 PUE 不应高于 1.3”，并相继发布北京市发展和改革委员会关于进一步加强数据中心项目节能审查的若干规定（征求意见稿）、北京市发展和改革委员会 北京市经济和信息化局关于印发北京市低效数据中心综合治理工作方案的通知，持续加强数据中心能效治理。上海市接连发布上海市推进新一代信息基础设施建设助力提升城市能级和核心竞争力三年行动计划（2018-2020 年）、关于加强上海互联网数据中心统筹建设的指导意见、上海市互联网数据中心建设导则（2019 版）、上海市互联网数据中心建设导则（2021 版）；2020 年发布数据中心能源消耗限额强制性地方标准，对数据中心能耗提出限制要求；2022 年 6 月，上海市经济信息化委、上海市发展改革委联合发布关于推进本市数据中心健康有序发展的实施意见，提出“加速升级改造小散老旧数据中心，加快数据中心绿色节能发展”；上海市通信管理局发布新型数据中心“算力浦江”行动计划（2022-2024 年）的通知，要求“新建大型及以上数据中心应达到绿色数据中心评估要求，绿色低碳等级达到 4A 级以上，提升绿色能源利用水平，加快“小散老旧”数据中心改造升级”。深圳市发布深圳市发展和改革委员会关于数据中心节能审查有关事项的通知，要求数据中心重点用能单位应建设能耗在线监测系统，按要求接入广东省重点用能单位能耗监测平台。广东省发布广东省 5G 基站和数据中心总体布局规划（2021-2025 年）。8数据中心绿色设计白皮书ODCC-2023-02001热点周边地区谋划提升引需求，提高服务能力接外溢。为缓解热点地区数据中心供不应求的结构性问题，河北、天津、内蒙古、江苏、广东等热点周边地区纷纷出台政策激励数据中心快速发展，着力培育、提升承接热点地区外溢需求的能力。河北省 2020 年 3 月发布关于加强重大项目谋划储备的指导意见，围绕绿色循环低碳发展谋划项目为重要组成部分；2020 年 10 月发布关于支持数字经济加快发展的若干政策，提出“降低数字基础设施运营成本，优先支持数据中心参加电力直接交易，鼓励可再生能源电力和火电打捆与数据中心开展交易”；2021 年 12 月，河北省发布信息化与工业化深度融合发展“十四五”规划，提出“建设形成张家口、承德两个低时延数据中心核心区和廊坊、保定等若干数据中心集聚区，推进雄安城市计算（超算云）中心建设。”。天津市 2019 年 10 月发布促进数字经济发展行动方案（20192023 年）；2021年 8 月，天津市加快数字化发展三年行动方案（20212023 年）要求“统筹规划超大新型绿色数据中心建设”。内蒙古自治区 2020 年 1 月发布内蒙古自治区人民政府关于推进数字经济发展的意见。2021 年 11 月，内蒙古自治区人民政府办公厅关于印发自治区“十四五”工业和信息化发展规划的通知要求“到 2025 年，全区大型数据中心平均 PUE 值降至 1.3 以下，寒冷及极寒地区力争降到 1.25 以下。”。江苏省 2020 年 5 月出台关于加快新型信息基础设施建设扩大信息消费若干政策措施的通知；2021 年 8 月，江苏省“十四五”数字经济发展规划要求“构建绿色高效的算力基础设施”。中西部地区鼓励找准定位促发展。西部地区能源充足、气候适宜，但距离热点地区用户较远，部分省份数据中心供大于求。青海省 2018 年 3 月出台关于进一步扩大和升级信息消费持续释放内需潜力的实施意见，指出要培育和打造立足本省、面向全国的云计算数据中心与灾备中心；2020 年 5 月，青海省人民政府办公厅关于加快推动 5G 产业发展的实施意见要求“推进区域数据中心建设”。甘肃省 2019 年 11 月出台关于支持丝绸之路信息港建设的意见，提出建设物理分散、逻辑统一的信息港绿色云数据中心集群；2021 年 9 月，甘肃省“十四五”数字经济创新发展规9数据中心绿色设计白皮书ODCC-2023-02001划提出“引导传统数据中心升级改造，向规模化、集约化、智能化、绿色化方向布局发展”。湖北省 2020 年 4 月出台关于加快推进重大项目建设着力扩大有效投资的若干意见，鼓励投资谋划一批大数据中心；2021 年 11 月，湖北省数字经济发展“十四五”规划提出“推动大数据中心绿色化发展，加快新一代绿色数据中心节能技术应用”。江西省 2020 年 4 月出台数字经济发展三年行动计划（2020-2022 年），强调加快推进大数据中心项目建设，打造国内领先的公共云计算平台；2021 年 2 月，江西省国民经济和社会发展第十四个五年规划和二三五年远景目标纲要要求“完善能效领跑者制度，落实国家 5G、大数据中心等新兴领域能效标准”。2)2)标准分析标准分析GB 40879-2021数据中心能效限定值及能效等级于 2021 年 10 月 11 日发布，2022 年 11 月 1 日实施，标准文件中明确将数据中心能效等级分成 3 级，1 级表示能效最高，各能效等级数据中心电能比数值应不大于表中的规定。表 1 数据中心能效等级指标指标能效等级1 级2级3级数据中心电能比1.201.301.50数据中心能效等级的判定应同时满足以下两个条件。一是数据中心电能比的设计值、特性工况法测算值和全年测算值（如有）均符合表 1 相应等级的规定。二是数据中心电能比的特性工况法测算值和全年测算值（如有）应小于设计值的 1.05 倍。其中，数据中心电能比设计值是总耗电量和信息设备耗电量的规划设计值的比值，特性工况法测算值是按 5 个特性工况点方法测算的数据中心电能比，全年测算值是按全年耗电量测算的数据中心电能比。3.3.数据中心绿色发展面临的挑战数据中心绿色发展面临的挑战我国数据中心产业在能耗方面目前主要存在以下问题：10数据中心绿色设计白皮书ODCC-2023-020011)1)老旧小数据中心能耗较高，能效管理水平有待提升老旧小数据中心能耗较高，能效管理水平有待提升随着国家政策的引导，大型数据中心逐渐重视起绿色节能，能效水平不断提高。但是很多中小、老旧数据中心对能效管理缺乏认知，运维管理水平差，节能技术应用不足，仍以较高能耗水平维持着日常运行。数据中心 IT 设备耗电转换为大量热能，为了将这些热量带走，不少老、旧、小数据中心的制冷设备耗能占比高达 30%-50%，PUE 维持在 2.0 以上。2)2)新建数据中心绿色节能技术应用不佳，运维能力不达要求新建数据中心绿色节能技术应用不佳，运维能力不达要求在技术落地和实施方面，部分数据中心没有充分利用优越的气候条件进行免费自然冷却，冷冻水供回水温度设置不合理，使得数据中心实际运行 PUE 远高于设计值，尤其在二三线城市更为明显。在运维管理方面，数据中心的设备数量大、种类多，对应的监控管理系统功能性能满足不了实际需求，缺乏集中式统一管理，导致运维管理任务繁重，运维管理能力无法保证数据中心高效的运行，绿色管理水平差。3)3)现有数据中心能耗监测系统不健全现有数据中心能耗监测系统不健全现有的数据中心能耗监测系统对系统的监控和数据采集不够全面，部分数据中心只关注局部系统或者一些核心部件的性能和功耗水平，部分数据中心只关注数据中心总体能耗和 IT 能耗，多个数据中心无法准确、全面、多维、立体反映出整个数据中心的功耗分布情况。此外，现有的数据中心能耗监测系统五花八门，缺乏统一的监控管理规范，精度、点位等需要进一步优化。数据中心缺乏完善的能耗数据，难以实现资源的高效利用和优化配置.4)4)数据中心节能新技术相关标准不完善数据中心节能新技术相关标准不完善目前我国数据中心节能降耗方面已有部分标准基础，但针对节能规划设计、设计能效评估、节能改造以及节能评估和验收等方面的标准仍需完善。另一方面，为支撑新技术新业务的快速发展，数据中心产业需要达到更高的技术要求，数据中心不断加快技术创新和市场响应速度，以满足不断变化的业务需求。相11数据中心绿色设计白皮书ODCC-2023-02001应的，数据中心出现的大量新技术和新产品也需要标准和规范的研制和完善，保障新技术的应用和落地效果。二、二、数据中心绿色设计的理念和基本要素数据中心绿色设计的理念和基本要素1.1.数据中心绿色设计数据中心绿色设计设计是人类所有目标创新实践活动的先导和准备，是从源头和供给侧创意设置目标、引领系统集成创新、保障目标顺利实现的关键。绿色设计可从源头上构建数据中心绿色产业生态，引导数据中心产业绿色发展方向。我国数据中心已经迈入成熟发展阶段，设计已经不仅由设计师参与设计，而是设计方、设备厂商、第三方服务商、互联网用户等共同参与，尤其是互联网用户，在过去十年，为行业贡献分享了大量的绿色创新设计及相关实践案例，第三方服务商在绿色设计方面也已处于前列，数据中心绿色设计已经进入众创时代。数据中心绿色设计指的是在设计阶段制定促进数据中心绿色发展、落实国家双碳战略的技术路线、时间表和目标函数，具体来说，在保障数据中心安全可靠的前提下，现阶段数据中心设计主要考虑 PUE、CUE 和 WUE 等资源利用效率指标，使这些指标满足国家和地方政策法规及标准要求，并减少企业运营能源支出。未来的绿色设计将朝着数据中心建设、运行服务、改造等全生命周期范围发展，综合考虑各类能源指标，达到资源成本最低、碳排放最少、对环境影响最小，实现自然资源可持续发展和数字经济发展的协调统一。数据中心绿色设计可从三个方面实现。一是单系统的绿色设计，如供配电系统、制冷系统和 IT 系统，供配电系统选择转换环节更少、损耗更小、效率更高的产品方案，制冷系统选择可靠性更高、能效水平更高、自然冷却比例更高的运行方案，IT 系统选择绿色节能产品。二是环境与能源耦合的绿色设计，结合数据中心选址和当地的气候条件，充分发挥自然冷却的优势，合理利用太阳能、风能等可再生能源。三是风火水电和 IT 系统耦合的绿色设计，根据数据中心功率密度选择配套的供配电方案和制冷方案，提高整体资源利用效率。12数据中心绿色设计白皮书ODCC-2023-020012.2.绿色设计理念绿色设计理念数据中心绿色设计目标实现可分成近期和远期两个阶段，近期主要以基础设施如供配电系统、冷却系统等为绿色设计主体，远期可在基础设施基础上，纳入 IT 算力，也就是实现单位算力基础上的资源使用效率最大化和环境影响最小化，这样可以确保近期可操作、远期有发展。数据中心绿色设计主要从业务等级、选址、资源效率以及节能控制等方面规划。鉴于设计的时效性和超前性，也就是设计受当下政策、技术、环境等方面制约，可能并不满足设计完成后的政策和行业又新增的标准和要求，故绿色设计评价一般有当期属性。3.3.绿色设计原则绿色设计原则在碳达峰碳中和大背景下，绿色低碳是数字新基建的使命，也是算力基础设施建设运营的主旋律。数据中心绿色设计原则主要是安全可靠、绿色低碳、高效等几个方面。安全可靠是数据中心运行的基本保障，必须保障供电和制冷可靠性，才能保障业务安全不中断运行；绿色低碳是数据中心绿色设计的主要原则，也是数据中心绿色设计的主要目标，重点考虑高效节能用电设备、高效冷却系统、可再生能源、清洁能源使用等方面的设计，也包括环保等方面的考虑；高效方面，主要从电能容量比、空间使用效率等客观资源使用方面进行高效设计，也是数据中心集约化建设、最大化应用的未来趋势。4.4.绿色设计目标绿色设计目标确保数据中心的业务可靠性等级、运行 SLA 的目标等级；尽可能地满足甚至优于 PUE 能效指标要求，并考虑能效余量；最大化考虑全生命周期的特点，各个阶段均满足 PUE 能效要求；推荐采用主流建筑和设备节能技术、高效的工程设计、智慧节能控制和联合运行等技术，主动建立能效监测系统来不断优化。在设计阶段最大化满足 PUE 能效指标要求，可避免后期复杂繁琐的改造工作，保护设计成果也保护业主投资。因此绿色设计尤其是节能设计，要在能效13数据中心绿色设计白皮书ODCC-2023-02001可靠取值（同等工况权威第三方评估报告的能效值、同类案例权威第三方机构的测试数据）基础上，采用适度超量设计获得能效余量（适度超量，在经济性和未来的能效满足上求得较好的平衡），确保设计阶段理论能效和建设、运行阶段的差异可控，目前可按 10%余量适度。三、三、数据中心绿色设计先进技术和方案数据中心绿色设计先进技术和方案1.1.ITIT 设备设备(1)(1)高密度服务器高密度服务器数据规模的持续增长及土地、电力资源集约化发展推动高密度数据中心发展。在过去很长一段时间，为了满足不断增长的用户数据处理需求，数据中心主要是通过增加空间，扩大机架和服务器规模来提供更多算力，但是这也会导致数据中心运营成本的增加和数据中心场地空间的浪费。发达地区日益紧张的土地资源及电力资源使得以扩大服务器规模来提升算力水平的数据中心建设模式难以开展，建设高密度数据中心成为推动数据中心算力水平、提升数据中心效率的重要举措，高密度数据中心能够进一步增加数据中心功率密度和数据中心“每平方米”的计算能力，能够更好地满足大数据场景下的计算与存储需求。高密度服务器部署显著提升数据中心单位面积算力，降低数据中心运营成本。建设高密度数据中心的关键是部署高密度服务器，与传统服务器不同，高密度服务器电源和风扇以共享方式进行设计，位于同一机箱内的多台服务器节点可以共享电源和风扇。一方面降低了机体的重量和空间占用，提升数据中心单位面积算力，另一方面能够提升电源和散热系统的使用效率，降低数据中心运营成本。IBM、思科、华为、浪潮、曙光等国内外知名的互联网硬件厂商纷纷加速推进高密度服务器的产品设计与市场布局。(2)(2)液冷服务器液冷服务器近来年，液冷服务器的使用数量和客户接受度不断提高，是基于液冷服务器具有高效散热、节能降噪和高密部署等优势。14数据中心绿色设计白皮书ODCC-2023-02001高效散热高效散热：液冷解决高功率芯片的散热问题，突破风冷散热瓶颈。风冷容易产生局部热点，芯片长时间高温运行，影响芯片性能和使用寿命。液冷可维持芯片低于临界温度 1020稳定运行，释放芯片最大计算潜能，延长芯片使用寿命。节能降噪节能降噪：液冷服务器核心发热部件散热通过冷却液体循环排到机房外，可大大降低机房内制冷压力，节省数据中心空调用电。液冷数据中心 PUE 在1.3 以下，起到很好的节能效果。同时，服务器内部对风扇要求也降低，可以实现风扇低转速运行甚至无风扇，降低设备噪音。高密部署高密部署：传统风冷服务器散热片占据一定高度，芯片功耗越高，散热器高度也越高，服务器的高度也需要随之调整。液冷服务器使用液冷散热片，对空间的要求降低，可实现高密度设计，提高了数据中心内设备部署密度，降低数据中心 TCO。综上所述，因为液冷服务器能为客户带来多方面收益，各服务器厂商也都在布局液冷产品。国内厂商如曙光、浪潮、联想、宁畅、华三都有布局液冷服务器。液冷服务器机型主要包括高密度 CPU 计算型液冷服务器、GPU 液冷服务器、机架式液冷服务器等。技术路线以冷板式液冷2和浸没式液冷居多。通过优化冷板内铲齿厚度、高度、间距等参数以及流道设计，获得最优散热效果。冷板材质一般选择导热性较好的金属，如铜、铝等，选用铜质较多。图 6 CPU 冷板和 GPU 冷板2开放数据中心委员会 ODCC.冷板式液冷服务器可靠性白皮书15数据中心绿色设计白皮书ODCC-2023-02001(3)(3)整机柜整机柜数据中心本身是一个能量冷热交换的载体，既需要大规模蓄冷，也同时产生大规模热能。想要降低碳排放量和提高能源利用率，关键还是在于节能增效，利用技术措施、管理措施等减少碳排放。以服务器为例，当把每一台服务器作为单节点独立运作，从整体数据中心层面来看收益基本为零，当单节点的维度提高到机柜层级，将集中供电、一体化交付、高密度部署这些进行统一规划时，就可以获取更高的收益，以集中供电为例，平均单节点能耗优化 12%。当将规划维度进一步提高到数据中心层面，将数据中心层面的供电、交付、部署、组网、制冷综合考虑，将会收获到最佳的综合收益。而事实上，超大规模数据中心运营商以及云服务厂商（CSP）正是通过这样的实践来降低综合运营成本，提升产品竞争力。通过集中供电技术把原本离散的电源进行池化。原本通用服务器离散供电的冗余要求是 1+1，以 20 节点为例需要 40 颗 PSU 进行供电，且 PSU 之间无法实现负载均衡，当服务器负载较低时，电源的转化效率处于较低水平。当通过整机柜的形式将电源进行池化后，整机 20 个节点可以采用 N+1 或 N+2（N+M）冗余模式，大幅减少 PSU 总数。同时池化后的 PSU 之间可以实现负载均衡，结合动态 PSU 节能调节技术，在整机柜负载较低时，关闭多余的 PSU，始终使得PSU 保持在高转化率的负载下，效率更高。所以，通过集中供电技术可以降低整个 TCO 的整机柜的成本，且提升交付效率。随着摩尔定律的逐渐失效，研究发现散热对现代电子系统是一个挑战，温度每升高 1 摄氏度电子器件的寿命缩短 5%，散热还直接影响电子系统的功率输出和能耗，同时面对云计算、AI、5G 和 IoT 的快速发展，可以感受到算力在增加，AI 技术使单个芯片功耗在增加，系统功耗也在增加。所有数据中心实现低碳不得不面临的另一大难题，就是散热。过往整机柜通常采用风扇墙集中式散热，这样的好处是每一个单独的节点不需要独立的风扇，随着风扇数量的减少，节省出来的空间可进一步增加设备数量，降低整体的成本。但随着业务越来越复杂，服务器所承载的应用越来越多样化，一台机柜中往往运行多种业务类型，发现以往风扇墙以 3-4 个节点为一组进行散热，风扇的功耗会以节点组中最大16数据中心绿色设计白皮书ODCC-2023-02001功耗进行运作，同时风扇墙的模式也降低了整机柜的灵活性，当在搬迁的时候必须得机柜整体搬迁，无法抽出单节点独立运作。所以，为了这类解决问题，把风扇进行了内置采用节点式单独散热，将节点和散热进行解耦，易于搬迁。同时节点中内置风扇可以按照单节点的实际功耗调整风扇速率，保证散热效率，降低 TCO。(4)(4)高算力碳效服务器高算力碳效服务器数字经济时代，算力是数字经济发展的基础设施和核心生产力，随着数据的爆炸式增长，算法的复杂程度不断提高，对算力需求越来越高。算力即计算能力，核心是 CPU、GPU、NPU、MCU 等各类芯片，具体由计算机、服务器、高性能计算集群和各类智能终端等承载。对数据中心而言，服务器是算力的主要载体。数据中心在进行服务器设备选择时，为确保设备可提供业务需要的算力资源，注重计算性能指标已成为共识。但随着国家越来越重视“碳中和碳达峰”战略，服务器产品作为运营过程中核心的 IT 设备，其生命周期的碳足迹对总体运营温室气体排放控制至关重要，在设备选型时兼顾产品碳排放量也成为趋势。如何在计算密集型工作负载和低能耗运行的矛盾之间找到解决方案，如何在满足技术需求的基础上尽可能降低碳排放，业界在服务器设备选型时开始逐渐考虑算力碳效。高算力碳效服务器是服务器使用周期内，产生的碳排放与所提供的算力的比值相对较小的一类服务器，这类服务器的特点是单位算力的碳排放量较少。随着服务器性能的提升，碳排放总量呈上升的趋势，但性能提升的速度超过碳排放增加的速度，单位算力的相对碳排放在降低3。若厂商根据业务需求，如不同计算场景（高性能计算、边缘计算、智能计算、通用计算等）、不同架构（X86 架构、ARM）、不同负载（存储、内存、CPU 要求），选择算力碳效高的服务器，则可保证数据中心的绿色低碳效益。3开放数据中心委员会 ODCC.数据中心算力碳效白皮书17数据中心绿色设计白皮书ODCC-2023-020012.2.供电系统供电系统1)电气集成化设计(1)(1)电力模块电力模块在数据中心中，其供电系统是整个数据中心的咽喉，是基础设施中最重要的组成部分之一。当前数据中心常见的几种不间断供电技术包括 AC UPS、HVDC（240V/336V/48V）和市电直供+BBU 等。一般根据数据中心建设等级的要求，采用不同的冗余供电模式，比如 2N 模式，DR 模式，RR 模式等。未来数据中心的快速发展，对供电系统的可靠性、节能性、可持续性等提出更高的要求，供电技术和模式向着模块化、预制化、智能化、精简化等方向创新演变。当前国内外的数据中心行业，根据各自的具体需求，提出并实践了很多有特点的供电新技术，如华为、维谛的电力模块，阿里巴巴的巴拿马电源等。深度融合是电力模块的演进方向。随着数据中心服务器芯片算力的持续提升，IT 机柜单柜平均功率将很快从 68kW 提升到 1216kW。据测算，当 IT 机柜功率密度达到 16kW/柜的时候，配电间和 IT 空间的面积比例甚至可达到 1：1，如何保证 IT 的出柜率，持续降低电力模块的占地成本成为迫切需要解决的问题。通过将 UPS 输入输出配电与 UPS 深度融合，减少电力模块链路节点，在产品架构上极简来省占地，将是电力模块演进的方向。图 7 IT 机柜的演进智能化成为安全和运维的关键手段。电力模块统一的智能管理系统，可以有效提升电力模块系统的安全性，由本地智能管理系统和智能网管组成，本地18数据中心绿色设计白皮书ODCC-2023-02001智能管理系统硬件由变压器的温控器、低压柜/馈线柜的柜级监控单元、UPS 主控把各柜信息通过智能插座汇入 ECC 主控；ECC 主控统一监控汇总，在本地 PAD上统一显示电力模块各单元的电流、电压、频率、电能、谐波、负载率、开关状态、UPS 状态、各节点温度，供用户本地直观的识别系统运行状态；同时ECC 把信息上报给网管，供网管显示 3D 视图、电压电流电能等运行参数、链路图及故障影响分析