2022中国云数据中心考察报告.pdf

出品指导长三角芜湖韶关张家口和林格尔和林格尔庆阳庆阳中卫中卫贵安贵安天府重庆京津冀枢纽：张家口数据中心集群长三角枢纽：长三角生态绿色一体化发展示范区数据中心集群 芜湖数据中心集群粤港澳大湾区枢纽：韶关数据中心集群成渝枢纽：天府数据中心集群 重庆数据中心集群贵州枢纽：贵安数据中心集群内蒙古枢纽：和林格尔数据中心集群甘肃枢纽：庆阳数据中心集群宁夏枢纽：中卫数据中心集群第一章 云数据中心 P0051.全球数字化进程加速 “数字中国”进入全面建设期 P0072.多元化趋势下的应用、技术和部署模式 P0103.多元算力支撑多样应用场景 P014 4.云基础设施规模持续扩张 P015 5.从硬件直达云上的内生安全能力 P017 6.东数西算 改善数据中心发展不平衡 P018 7.双碳战略下的高价值数据中心 P020第二章 多元算力 多核竞技 P022概述：花开两朵 P024 制程之争 P025 架构与封装 P026AMD：新征程 新方向 P029 模块化与 Chiplet P029 缓存与 3D 封装 P033 独立安全子系统 P036Arm：3A 大作 P038 Cortex 孵化 Neoverse P038 Graviton2 与 Altra 系列 P040 Armv9：继往开来 P044 V1 与 N2：纵横兼顾 P045 倚天 710 与 Graviton3 P048 CMN、多核与单核 P050 Chiplet 期待更多 P052 飞腾腾云 P053DPU 与 IPU P055 算力演进 P057 BlueField P058目录 CONTENTS第三章 服务器 随风入液 P0622U 与 1U P067 计算密度 P067 通用性 P068自研与信创 P069风冷与液冷 P072热通道与前维护 P077第四章 东数西算 东南西北 P081 8 大枢纽和 10 大集群 P082东数、西算之分 P083数据中心 居大不易 P085万里行见证集群发展 P087能源供给与能效 P092 可再生能源和储能 P092 规模、气候和利用率 P096网络成就“东数西算”P099 时延决定应用类型 P101 枢纽节点组对规划 P101展望 P105目录 CONTENTS数字中国万里行 2021 中国云数据中心考察报告CHAPTER1云数据中心I P0062021 中国云数据中心考察报告 I 云数据中心 数字中国万里行考察报告云数据中心经历了互联网时代的飞速发展之后，社会经济的前进需要新的驱动力。过去两年，全球的数字化进程陡然加速，无论是抗疫阻击战还是经济保卫战，数字技术有了新的练兵场，5G、人工智能、云计算等技术和远程办公等模式使得抗疫和经济恢复更加快捷高效。疫情压测下，智能基础设施显示出独特的价值，以前城市离不开的基础设施是交通、电力、金融、能源、教育、卫生、通信设施等，现在多了一样：数字化基础设施。数字经济与实体行业加速融合，也让人们在被动融入数字化时代中深刻感知了未来，过去互联网产品的应用通常从一线城市开始，循序渐进逐步扩展到二、三、四线城市，疫情出现后，最典型的远程办公工具在更多的群体中普及。线上线下混合式办公成为这两年大家工作的常态。远程工作者的人数快速增长，从腾讯会议官方公布的数据来看，到 2021 年底，腾讯会议用户规模已超 2 亿。在线会议、网络直播等形式已经深入到在线课堂、远程医疗、企业办公等场景中。除了远程办公和学习、电子商务和视频等内容流媒体的典型应用，传统企业更多的工作负载迁移以及各种云原生应用程序开发，增加了对云服务的需求，与此同时，视频数据、工业数据、个人和消费数据越来越多，相应的，承载应用的数据中心扩张加速，云服务商在基础设施领域的支出持续增加。2018 年，益企研究院（E 企研究院）开启“数字中国万里行”，“行”至西北实地考察了八个超大规模数据中心，发表国内首个超大规模云数据中心考察报告，倡导并发掘支撑互联网和云计算高速发展的基础设施的新价值。2020 年 3 月，中共中央政治局常委会会议指出加快 5G 网络、数据中心等新型基础设施建设进度，即我们所熟知的“新基建”，这个倡议也证明了“数字中国万里行”的前瞻性，超大规模数据中心作为数字经济的底座，在国家数字化发展中承担重要角色。随后，“数字中国万里行”活动不断升级，当国家提出“双碳”战略决策时，我们的足迹已遍布 8 个枢纽节点，走访考察的区域逐步扩大，洞察到在数字经济爆发以及气候变化压力的双重作用下，实34%535亿+35%1917亿+P007 I现可持续发展成为数据中心行业面临的重要课题。我们持续关注超大规模云数据中心自身创新迭代升级，在减少碳排放、加大可再生能源使用、促进循环经济等方面不断努力，低碳、智能、可持续发展成为高价值数据中心的重要参考指标。同时我们从基础设施和业务环境、业务应用等不同角度解读智能架构和应用场景，不断探索数据中心支撑的上层应用和云、AI、5G、边缘计算等新技术的落地和实践，这些思路和步骤又与 2022 年国家正式启动的“东数西算”工程高度契合。2021 年数字中国万里行结束后，结合全球云计算和数字基础设施的发展，我们认为以下几个方向值得展开讨论：全球数字化进程加速“数字中国”进入全面建设期 由于新冠疫情的爆发，2020 年成为全球云计算新的分野。从 2020年起，加速数字化以及发展数字经济成为大多数国家应对疫情、提升社会韧性的国家战略；2021 年，各行业更加依赖云计算技术以及流媒体、远程协作、智能传感器和其他数字技术，以此来消除疫情带来的不利影响，这也促使云服务商持续加大全球数据中心布局，为客户提供一致的体验。来自分析机构 Canalys 的数据显示，2021 年第四季度，全球云基础设施服务支出在一个季度首次突破 500 亿美元。总支出增长 34%至 535 亿美元，比去年同期增加 136 亿美元；2021 年全年，云基础设施服务总支出从 2020 年的 1,420 亿美元增长 35%至 1,917 亿美元。I P008同样 Synergy Research 的数据也显示，2021 年第四季度企业在云基础设施服务上的支出超过 500 亿美元，比 2020 年第四季度增长36%。全年总支出达到 1780 亿美元，比 2020 年增长 37%。这组数据也从侧面反映出全球数字化进程一路狂飙，与此同时，中国的千行百业也正集体进行着数字化跃迁，“数字中国”进入全面建设期，政企行业不断提升数字化转型速度，增强数字化“智”理的硬核能力。从国家层面，发展数字经济，已经成为中国经济战略的重中之重。2022 年 1 月下旬，国务院印发的“十四五”数字经济发展规划37%1780亿+2021 中国云数据中心考察报告 I 云数据中心 P009 I42.3%653.6亿+要求，到 2025 年，数字经济迈向全面扩展期，数字经济核心产业增加值占 GDP 比重达到 10，再次为构建“数字中国”提供了有力支撑及具体实现路径。事实上，无论是千万级人口的大城市还是地级、县域城市，数字经济越发达的城市，在疫情防控、城市治理中就有更加突出的表现，数字政府的建设也迈入了新的时间节点。当“加快释放数字经济新活力”“做强做优做大数字经济”等成为多地政府工作报告中的“高频词”时，四五线城市呈现出加速发展的态势。这一特点在政务云领域尤为明显，从 2011 年 12 月国家首次提出建设完善电子政务公共平台（国家电子政务“十二五”规划）开始，我国政务云发展经历了多年的探索阶段，尤其在新冠肺炎疫情影响下，中国加快推进政务云建设，据赛迪顾问数据显示，2020 年我国政务云市场规模达到 653.6 亿元，同比增长 42.3%。2021 年，作为云计算在政府领域的应用，政务云继续向非一线市场（下沉市场）渗透，提供基础设施、支撑软件、应用功能、信息资源、运行保障和信息安全等综合性电子政务服务。同时，政务部门业务应用系统向云计算服务模式的电子政务公共平台迁移，并尝试在此进程中拓宽思路，如 2021 数字中国万里行考察期间，地处西南边陲的大理就基于“苍洱云平台”构建全国产化“大理方案”，通过以市场换产业、以产业建生态、以生态聚人才的方式推动大理州数字经济的发展。I P010在 传 统 企 业 需 求 推 动下，云服务商基于新应用场景不断探索创新，为用户提供更多产品和新服务模式的选择，改善用户体验。多元化趋势下的应用、技术和部署模式在四五线城市加速上云的进程中，云计算客户群呈现出多元化趋势，以往游戏、电商、视频等主要面向消费人群的业务助推了公有云服务市场的腾飞；现在，从田间地头到工厂流水线，从地下轨道到城市基建，政府、医疗、教育、制造等诸多传统行业感受到云计算对业务数字化升级的高效便利，尤其新冠疫情刺激下，加快了内部系统运行的应用整合，通过“上云”激活沉淀数据的创新协同。在传统企业需求推动下，云服务商基于新应用场景不断探索创新，为用户提供更多产品和新服务模式的选择，改善用户体验。基于场景的应用服务 2021 年，云服务商从底层架构入手，继续通过使用智能的技术平台部署软件，将一些需要最新技术支持且部署困难、运维复杂、不便共享的产品或解决方案加以服务化和云化，重点在大数据、数据库、人工智能、音视频、协同办公等领域。2021 中国云数据中心考察报告 I 云数据中心 P011 I数据服务在数字化转型的进程中，企业希望激活积累的历史数据，通过数据驱动业务全流程的数字化。但对那些还不具备完备数据处理平台的企业来说，没有能力构建起自有的、可用于收集、存储、管理、处理和分析海量业务数据的系统，再加上企业业务变动常带来大数据处理资源需求的频繁变动，部署复杂度及维护难度就会成为路障。因此，相比克服诸多障碍构建一套大数据分析平台满足实时、稳定、准确的大数据处理需求，更多企业愿意选择大数据云服务方案，让数据分析更加简单化和自主化。大数据服务平台强调的是海量数据分析的能力，在云基础设施之上，云服务商构建出完整、灵活、易扩展、能适配不同类型数据处理和分析应用需求的完整软件堆栈，同时有硬件平台做保证，可以从数据的存储、传输，再到计算和处理都能针对这些软件而充分优化。除此之外，2021 年，相对“传统”的数据市场也在继续向前发展，对数据库提出了更为全面的要求，为了满足不同类型数据的存储和访问需求，国内云服务商也推出多款关系型数据库服务组合。无论是大数据分析还是数据库服务，2021 年，云服务商着力打造全功能数据解决方案，满足不同用户在数据应用上的多样化和差异化需求，帮用户屏蔽掉后台软硬件堆栈的复杂度，让他们只需关注数据、数据应用与业务需求的结合，无需担心其基础设施的构建、管理和维护。AI 服务因为人工智能需要海量的计算资源和存储空间，再加上非结构化数据的大爆发以及 AI 算法的快速演进，对传统计算范式造成了巨大的冲击，很多特定计算任务开始涌现，且需要在并行度、吞吐量和时延上做到极致，这也给云服务提供了新商机。2021 年，云服务充分挖掘基础设施潜力特别是计算潜力以经济高效的提供人工智能解决方案，不断向企业客户提供有关自然语言处理（NLP）、语音识别、视觉搜索、图像识别及文字转语音等方面的服务，并支持开发人员使用机器学习技术，降低 AI 行业应用门槛，企业开发人员也越来越倾向于将人工智能和机器学习集成到他们的云应用中。I P012由于传输至云端的数据量增加，基于机器学习的自动化解决方案会变得司空见惯。接下来，企业就应该思考如何使用云来生成、应用机器学习或深度学习算法，并将其用于各种数据流，包括公开的社交媒体数据、海量的传感器数据和音视频、图像数据，从而开发出真正具有颠覆作用的产品和服务。音视频服务行业化音视频服务是这两年热度最高的应用服务之一，白热化的市场竞争让最终用户都有着最苛刻的评判标准。从流行的娱乐直播、短视频、直播带货等单向广播到后来远程会议等实时双向互动，音视频服务不仅向传统行业渗透，甚至在城市治理中也得到应用，视频监控、视频会议、实时音视频（RTC）、视频存储、媒体处理、视觉智能及数据智能等场景逐步落地，这些都考验着云服务商的音视频能力和网络、计算资源的整合能力，一定意义上也在体现了云服务商在大数据、人工智能方面的技术优势。这仅仅是几个典型的云应用服务模式，当云计算的客户主体、主体需求、服务模式逐渐发生变化，新的技术创新服务模式还在不断涌现。2021 中国云数据中心考察报告 I 云数据中心 P013 I云原生带来的不仅仅是应用的云上部署，而是意味着开发模式、系统架构、部署模式、基础设施、组织文化等一系列的自动化、敏捷化演进和迭代，云原生成为企业数据中心未来的主要发展方向。中国的云计算与实体经济更加紧密结合，从互联网向金融、制造、医疗等传统行业渗透，助力各行业提高业务弹性。云原生持续火热在云计算与实体经济的深度融合的过程中，面向云设计的应用“云原生”变成热词，成为云计算的重心，隶属 Linux 基金会的 CNCF 云原生基金会这样定义云原生的代表技术：容器、服务网格、微服务、不可变基础设施和声明式 API，从云计算中获得最佳效果，需要使用云原生架构，而云原生的普及又促进云计算的加速发展。随着企业用户上云速度加快，面对公有云、私有云和混合云等新型动态环境，也开始通过新的云原生方法开展工作，云原生降低开发成本，快速迭代、自动部署、独立高效的价值凸显，以应用为中心的云原生产品和基础设施成为未来的发展方向。2021 年，更多的传统行业步入云原生化的进程，成为引入企业智能和数据驱动型创新的主要途径，从应用架构、基础设施、安全、运维等层面进行了更为深入的云原生化改造，云原生带来的不仅仅是应用的云上部署，而是意味着开发模式、系统架构、部署模式、基础设施、组织文化等一系列的自动化、敏捷化演进和迭代，云原生成为企业数据中心未来的主要发展方向。多样化部署模式与前几年相比，中国的云计算与实体经济更加紧密结合，从互联网向金融、制造、医疗等传统行业渗透，助力各行业提高业务弹性。2021年，政企客户应用部署的范围从企业自身的数据中心扩展至公有云，通过混合云和多云部署模式来满足对资源和服务的多样性需求。就拿金融行业来说，其复合化、多元化的业务、日趋庞大的业务体量、开放化的商业和技术生态的要求，使得混合多云部署模式正逐渐成为新常态。通过私有云，企业将数据存储在企业内部的数据中心，其低时延传输速度快的特点更加便捷；使用公有云，降低基础设施成本的同时更加灵活高效，混合云是两者结合的最佳选择。加之在国家“东数西算”的发展大背景下，通过多云部署的 IT 基础架构形式，两个或者多个云协同运行的多云部署，为政企客户提供了增强的数据冗余，达到提升业务灵活性、连续性和成本优化的目的。在行业云领域，2021 年是全国医保数字化建设的大年，整个系统建设采用全新的模式来实现，医保云成为国家解决全国性的数据打通的最好的手段，各省地市的医保云都与国家总局的医保云平台对接，整体业务完全采用平台化，全面分层解耦，这在传统数据平台建设过程中是很少见的。I P014在自主可控的大潮推动下，算力成为了企业发展的核心助力之一。基础设施的技术架构迭代中，中国“芯”力量开始登上舞台，国产技术的成熟度和应用程度正在提升。多元算力支撑多样应用场景多样化的应用和部署模式促使云服务商的基础架构升级换代。在过去很长的一段时间里，基于 x86 的通用计算基本上能满足计算的诉求，但随着场景化应用增加，一些特定场景对计算能力的要求或者对计算特性的要求会越来越多，如同 AI 服务、音视频服务等场景有足够的市场，显然通用计算难以满足其效率需求；与此同时，企业为寻求更加敏捷、灵活和高效的应用开发模式，以加速应用的创新和快速上市，如容器、微服务和 DevOps，这些应用开发模式拉近了业务和计算平台之间的联系，应用开发团队将定义基础设施的性能、可用性和规模，直接推动计算平台架构的变革和创新。无疑，更快的计算，更灵活的基础平台是云服务商创新的基石。因此也催生为编解码、视频处理优化的新型计算单元或处理器，在底层架构中出现 x86 与 Arm 的并存、Arm 不同厂商间产品并存的一云多芯布局。另外，一云多芯则可以确保同时支持不同 CPU 芯片的混合部署，充分发挥不同体系架构 CPU 的能力优势，满足客户细分场景对异构基础设施的实际需求，在功能、性能、可靠性、安全性等使用体验一致的前提下，释放异构多元算力。从 2020 年开始，信创趋势越发明确，站在用户角度，信创落地最佳的方案是通过云计算的方式，建立一云多芯的混合 IT 体系，同时基于信创平台进行可进化云原生研发。2021年，一个新的现象是全栈国产化云在政府、物流、金融、交通、电力等行业应用落地速度加快，为网络信息体系建设提供完全自主可控的基础支撑环境。国产化云采用自主和安全的架构体系搭建，从底层芯片、服务器的底层硬件与操作系统、数据库到云服务的全栈打通，整合集成、监理、运维、安全、项目管理等服务，既满足行业的数字化升级需求，还有效保证国家和企业云服务的安全性和可控性。在自主可控的大潮推动下，算力成为了企业发展的核心助力之一。基础设施的技术架构迭代中，中国“芯”力量开始登上舞台，国产技术的成熟度和应用程度正在提升。2021 中国云数据中心考察报告 I 云数据中心 P015 I45%274 亿美元 33%77 亿美元25%850亿美元云基础设施规模持续扩张当云计算的练兵场不断扩大时，反过来，客户需求的多样性也促使云服务商的技术更迭加快，基础架构和数据中心就是数据和代码存在的地方。2021 年，云服务商继续强化在基础设施规模上的优势，这不仅象征着云服务厂商的硬核实力，也是业务规模发展到一定程度的必然，云服务厂商有意愿有能力根据自身业务发展需求，更有针对性地打造和优化自己的产品，通过规模化、定制化能力支撑各项新型业务，快速灵活对市场做出反应。来自分析机构 Canalys 的数据显示，2021 年是中国市场发展强劲的一年，云基础设施服务市场增长 45%，达到 274 亿美元。2021 年第四季度实现了 33%的同比增长，达到 77 亿美元。Canalys 预计，到 2026 年，中国的云基础设施市场规模将达到 850 亿美元，五年复合年增长率为 25%。I P016另一家研究机构 Synergy Research 统计全球大型互联网和云计算企业使用的超大规模（hyperscale）数据中心数量持续快速增长，以支持不断扩大的业务运营。超大规模数据中心的数量四年内翻倍，美国依然是数据中心数量最多的国家，位居第二的是中国，增长速度最快，两家之和占到总数的一半以上。而在 Synergy Research 另一项报告中，亚太地区云服务商规模现在占全球市场的三分之一，并且继续以比北美或欧洲、中东和非洲地区（EMEA）市场更快的速度增长。在亚太区，来自云基础设施服务的收入在第四季度达到近 170 亿美元，并且每年以超过 40%的速度增长，其中可以看到排名前列的中国云服务商，相比于欧美市场，在市场拓展和技术创新上还有很大空间可供发掘。2021 中国云数据中心考察报告 I 云数据中心 由此也可以看出，无论是美国的 AWS、微软、Google 还是中国的阿里云、华为云、腾讯云，大中型云服务商的竞争中，基础设施的承载能力和创新能力、灵活性与效率，将是决定竞争力强弱的基石。2021 年开始，新的沉浸式应用正在出现，例如元宇宙（Metaverse）。当现实世界正在加速虚拟化，虚拟世界也在加速现实化时，元宇宙不只是复制一个孪生的数字世界，而是创造一个与现实同步且价值共享的数字世界。这将推动未来用户的需求，用户需要强大、分布式、具有较低时延的可扩展服务，毕竟元宇宙是数字化的，是建立在网络、算力和算法之上，没有底层基础架构的支持就没有未来的元宇宙世界，一定程度上说，云计算服务的发展和基础设施的扩展会最大限度地影响元宇宙进程。P017 I当现实世界正在加速虚拟化，虚拟世界也在加速现实化时，元宇宙不只是复制一个孪生的数字世界，而是创造一个与现实同步且价值共享的数字世界。从硬件直达云上的内生安全能力数字世界有多高效，可能也就有多脆弱。安全问题近些年变得愈演愈烈，勒索病毒与黑客攻击无时无刻不在进行。受新冠疫情流行和全球数字化进程加快的驱动，一定程度上因网络开放度的提升和接口的增多，给勒索病毒造就了新的攻击面。2021 年美国最大的成品油管道运营商科洛尼尔管道运输公司（Colonial Pipeline）就遭受病毒勒索，随后，科洛尼尔主动切断了某些系统的网络连接，造成油料运输不正常，导致东海岸 45%的汽油、柴油等燃料供应受到影响，最后公司无奈支付了 500 万美元的赎金得以“释放”。就在 2022 年 3 月，丰田汽车供应商小岛工业（KojimaIndustries Corp）公司同样受到“勒索软件”攻击，导致丰田在日本所有的 14 家工厂 28 条产线全面停产，导致丰田当月产能下降 5%，损失上亿美元。当恶意攻击行为的攻击面扩大，客户希望得到从芯片到安全 OS、软件接口、安全应用等业务的全流程、全生命周期的数据安全服务，基于硬件的可信执行环境 TEE（Trusted execution environment）在云计算环境中成为趋势，包括 Arm 在内的硬件基础设施提供商也努力在源头上封堵可能存在的漏洞。而从云平台的角度，通过对计算、存储、网络、安全、基础软件等软硬件资源的统筹管理，借助 IaaS 和 PaaS 的资源实现安全能力，发挥云计算的优势，最终为应用提供安全可靠、高性能、通用、灵活的支撑服务。I P018尤其在 2021 年 9 月国家数据安全法颁布后，在如何实现数据流通和数据安全的平衡方面，云服务商开始探索数据治理的新理念和新方法，从法律、技术、安全、制度等多个角度，为部委、省市政府、央企等客户系统性地推进数据治理工程提供有效支撑与服务。以数字中国万里行考察的数字大理苍洱云平台为例，该平台通过物理安全、硬件安全、系统安全、虚拟化安全建设，聚焦云平台安全监控和安全运营、身份访问控制和全链路数据保护，采用自主可信芯片 Arm 架构服务器构建可信云底座，构建以“本质+过程”的全栈云原生安全防护体系，满足大理州云上应用系统安全防护需求。东数西算 改善数据中心发展不平衡数据中心不仅是算力的聚集地，还是数据应用的发祥地，更是企业数字化转型的根据地。2022年发布的 “十四五”数字经济发展规划第一条支线即为底层信息网络基础设施建设领域，包括 5G、数据中心、光纤宽带等，可以理解为此前反复强调的“新基建”的延续。通常数据运算和存储需要庞大的数据中心支持，而数据中心建设又需要土地、电力等资源，在益企研究院的2018 超大规模云数据中心考察报告中提到，数据中心的制冷、供电与网络之间的目标往往不一致，甚至有些对立：能源、冷源条件更好的地方通常远离大城市，但是大城市的网络条件又最好，因为互联网和云计算都是为人服务的，人口密集区的网络基础设施完善，访问时延也最短。2021 中国云数据中心考察报告 I 云数据中心 P019 I有别于欧美等国，一条“胡焕庸线”将中国分为东南、西北两个禀赋截然不同的区域。东部地区算力需求大、供给相对不足；西部地区算力需求小，土地、电力等资源供给充沛。2021 年，数字中国万里行团队考察贵州贵阳、内蒙古乌兰察布、和林格尔期间发现，越来越多的云计算服务商将大量数据存储、离线数据分析向西、向北转移，除网络游戏、电商交易、在线支付等对网络时延要求极高的业务外，在西部建设数据中心可以有效降低运营成本，缓解东部压力的同时也带动了西部产业转型和就业增长。另一个标志性的事件是，2022 年 1 月 12 日，国家发改委、中央网信办、工信部和国家能源局四部委联合发文，同意在内蒙古、贵州、甘肃、宁夏等地启动建设国家算力枢纽节点，并规划了 10 个国家数据中心集群，意味着“东数西算”工程正式启动。从国家战略、技术发展、能源政策等多方面出发，将算力资源提升到水、电、燃气等基础资源的高度，统筹布局建设全国一体化算力网络国家枢纽节点，在实现数据中心一体化协同创新的要求方面，给出了高质量的解决方案，助力我国全面推进算力基础设施化。这意味着，持续优化数据中心能源使用效率（PUE）、提高算力基础设施的有效利用率，让用户以更低的价格获得更大的算力，成为未来的数据中心发展方向。腾讯云 T-Base 超大规模数据中心园区里的柴发和间接蒸发制冷模块 （两侧紧邻机房楼的 T-IDEC 和 IEAC）I P020双碳战略下的高价值数据中心 2020 年 10 月，国家提出“双碳”战略决策，“碳达峰”、“碳中和”首次被写入政府工作报告。同时，低碳与可持续发展也成为高价值数据中心的重要参考指标。可预见的是，数字经济的蓬勃发展，云服务商的业务规模扩大，必将带动数据中心市场的快速发展。如果仅仅从数据中心的绝对二氧化碳的排放来看的话，数据中心并不属于一个高碳排的行业，为什么数据中心的可持续发展如此重要呢？数据中心作为数字经济的底座，所有的应用都会基于底层的数据中心，这也意味着数据中心的碳排放具有显著的“乘数效应”，双碳目标促使租户及云服务提供商做出转变；另一方面，可持续发展是企业提升未来核心竞争力的主要途径。数据中心最大的特性就是寿命周期很长，一座数据中心一旦落成，使用周期都以 10 年计，“着眼未来”是数据中心坚守的理念。在具体落地中，数据中心的设计是一个多专业、多领域的复杂平衡的事情，在目前的大背景下，技术架构会变得更多样，规划设计会变得更加精细，当然需要将可持续发展理念纳入选址过程、优化供配电和制冷架构、通过数字化工具规划设计流程、选择绿色低碳的智能化产品等方式，设计高效的运行系统。数据中心作为数字经济的底座，所有的应用都会基于底层的数据中心，这也意味着数据中心的碳排放具有显著的“乘数效应”，双碳目标促使租户及云服务服务商做出转变。2021 中国云数据中心考察报告 I 云数据中心 P021 I2021 年数字中国万里行行程结束后，结合调研和探索，此报告将分析近几年云计算行业加速发展的技术应用趋势下基础设施中技术架构的迭代，多样化的应用需要多样化算力支撑，多元算力成为云服务商创新的基石。而在“双碳”和“东数西算”趋势下，云服务商从减排优化的角度继续强化 IT 架构创新迭代来提升整体能源利用效率，我们发现，无论是数据中心的建设者还是使用者，对于可持续发展有了更深刻的理解，在“经营的可持续”和“环境的可持续”双重考量下，通过技术驱动，来构建智能、绿色、高效能的基础设施提升竞争力，为数字经济增长带来新动能。小结CHINA DIGITAL JOURNEY2021中国云数据中心考察报告I P0222021 中国云数据中心考察报告 I 总论 数字中国万里行 2021 中国云数据中心考察报告CHAPTER2多元算力 多核竞技P023 I在数字经济时代，数据成为新的生产要素，围绕数据处理分析的计算能力成为新的生产力，广泛应用于千行百业的智能转型升级中。我国的云数据中心作为数字化基础设施的核心节点，得到了飞速发展。益企研究院自 2018 年发起“数字中国万里行”以来，见证了国内云数据中心在快速成长过程中的持续演进。在数据中心基础设施层面，新基建、双碳、东数西算，每年都有新热点，背后的指导思想则是一以贯之，兼顾效率与均衡、可持续的发展。数据中心内部同样在经历类似的进化，以 GPU 为代表的加速器应用越来越广泛，作为通用算力输出单元的 CPU 也走向多元化：x86 阵营 AMD 东山再起，Arm 阵营百花齐放。对云服务商而言，一方面需要 CPU 有更强的核心和更多的核心数，另一方面需要不同的 CPU 满足客户多元化细分场景的需求，都与效率有着密不可分的关系。相应的，AMD、Arm 等芯片厂商的新技术新架构日益赢得云服务商的广泛认可，并根据自身业务发展针对性的定制和优化。与此同时，在自主可控的大潮推动下，中国“芯”力量正在崛起，产品的技术成熟度和应用范围正在追赶主流。x86 阵营 AMD 东山再起Arm 阵营 百花齐放I P0242021 中国云数据中心考察报告 I 多元算力概述：花开两朵用先后在 AMD、苹果、英特尔（Intel）参与或领导过多个大型芯片项目的Jim Keller的话说，x86、Arm和RISC-V，在诞生之初，都是“简单而干净”的。只是随着时间的推移，这些指令集架构（Instruction Set Architecture，ISA）会不可避免的走向复杂。复杂，通常意味着更强大，和相对不那么高效。以 64 位为例，x86 比 Arm 要早上十年左右，而超线程技术（Hyper-ThreadingTechnology，简写为 HT 或 HTT）的产品化甚至还先于64 位（x86）。多年累积下来，以单个 CPU 核心计，x86 比 Arm 更复杂，是正常现象。x86 的超线程是 1 核心 2 线程，简单的说，1 个物理核心可以当作2 个逻辑核心使用。所以 64 核的 AMD EPYC（霄龙）系列 CPU，有128 个线程，从云主机的角度，和 128（物理）核的 Ampere Altra Max 一样能提供 128 个（逻辑）核。孤立的来看，1 个物理核出来的 2 个逻辑核，算力应当不如 2 个独立的物理核，而且二者间的共享资源还会带来安全隐患；但放到全局视角，“真核多”要把多一倍的核心有效的连为一体，对片上互连架构和资源的要求也更高。国际数据公司（IDC）的 2021 年第四季度中国服务器市场追踪报告也指出，中国市场对 AMD 和 Arm 服务器的需求正逐渐增加。其中，互联网行业拥抱 AMD 服务器最为积极，占总出货量的 80%以上；Arm 服务器的主要行业是政府和电信，预计到 2022 年，互联网和其他行业将更多地采用 Arm 服务器。P025 I制程之争2016 年英特尔推出最后一代至强 E5/E7（v4），是其首批采用14nm 制程的服务器 CPU。2017 年，AMD 以代号 Naples 的第一代EPYC处理器重返服务器CPU市场，制程也是14nm。随着核数的增加，同期问世的第一代至强可扩展处理器（代号 Skylake-SP），最大热设计功耗（Thermal Design Power，TDP）率先突破 200W（瓦）。随后，英特尔转产 10nm 不利，采用代工生产的 AMD 则在台积电（TSMC）的帮助下，成功过渡到 7nm 制程。Arm CPU 也受惠于 代 工 模 式，Ampere（安 晟 培）的 Altra 和 Altra Max，AWS 的Graviton2，都采用台积电的 7nm 制程生产。现在，更新一代的 Arm CPU，如 AWS 的 Graviton3 和阿里云的倚天710，已经用上了 5nm 制程。随着代工厂的持续迭代，采用 3nm 制程的 CPU 也为期不远了。不过，基于纳米（nm）的传统制程节点命名方法，已不再与晶体管实际的栅极长度相对应。在这种情况下，在不同供应商的制程之间单纯对比纳米数，并不能准确的反映实际情况。为了扭转在宣传上不利的局面，英特尔在 2021 年 7 月下旬公布了“公司有史以I P026来最详细的制程工艺和封装技术路线图”，改用“等效”的制程命名法，将此前的 10nm Enhance SuperFin 制程更名为 Intel 7，用于 2022 年上半年量产的第四代至强可扩展处理器（代号 Sapphire Rapids）；原先的 7nm 制程更名为 Intel 4，此后还有 Intel 3、Intel 20A、Intel 18A 等。架构与封装半导体的制程工艺仍在进步，但已跟不上芯片规格提升的速度，所以各种不同层面的“堆料”手段越来越常见。云计算供应商追求数据中心级别的规模和机柜级别的密度，四路和八路等单机层面以较高难度“堆 CPU”的做法并不合潮流，双路服务器更受欢迎。IDC的数据显示：双路（2S）的市场份额一直稳定在88%上下，八路（8S）和四路（4S）的市场一路降至不足 4%，空出的份额被单路（1S）占据，这要得益于 AMD 和 Arm 处理器核数的增加（单路可替代低端双路）2021 中国云数据中心考察报告 I 多元算力P027 I英特尔至强家族服务器 CPU 之间的互连采用专用通道，从至强 E5/E7 时代的 QPI（Quick Path Interconnect）到至强可扩展处理器的UPI（Ultra Path Interconnect），数据带宽和效率更高、空闲功耗降低。以2021年推出的第三代至强可扩展处理器（代号Ice Lake-SP）为例，两个 CPU 之间可以有多达 3 条 11.2GT/s 的 UPI 链路通信。第一代至强可扩展（Xeon Scalable）平台就可以提供（可选的）第三条 UPIAMD 的 EPYC 家 族 服 务 器 CPU，用 于 CPU 之 间 互 连 的 Infinity Fabric，与 PCIe 通道是复用的。也就是说，EPYC 7002/7003 系列虽然每 CPU 有 128 个 PCIe 4.0 通道，但在双 CPU 配置下，会各牺牲一定数量的 PCIe 通道用于连接彼此，所以能提供的 PCIe 通道总数可达 162 个，仅比单路系统多四分之一强。64 位 Arm CPU 的 CCIX 也有类似的现象，而 AWS 的三代 Graviton处理器都采用单路方案。7nm 制程的 Graviton2 和 5nm 制程的Graviton3 都是 64 核心（64 线程），但是后者的每个核更强，并升级到 DDR5 和 PCIe 5.0，晶体管总数达 550 亿，几乎是前者的两倍。CPU 越来越复杂，为了保证制造的良率，将一个 CPU 拆分为多个较小的晶片（die）分别生产、最后互连、封装在一起的做法，逐渐普及开来。CPU 越来越复杂，为了保证制造的良率，将一个 CPU 拆分为多个较小的晶片（die）分别生产、最后互连、封装在一起的做法，逐渐普及开来。I P0282021 中国云数据中心考察报告 I 多元算力一种是对等均分，各晶片的成分一致，没有角色之分。第一代EPYC 处理器由 4 个包含核心及其 Cache、片间互连的 CCD（Core Complex Die）组成，这种架构被称为多芯片模块（multi-chip module，MCM）。从四等分的角度来看，Sapphire Rapids 也可以归入此类。另一种是按功能划分，生产、搭配更为灵活。AMD 代号 Rome 的第二代 EPYC 处理器，采用被称为 Chiplet（小芯片）的架构，由 1 个专用于互连的 IOD 和多达 8 个 CCD 组成，共 9 个晶片（1+8）。通过调整CCD的数量，第二、三代EPYC处理器可以提供864个核心。在代号 Milan 的第三代 EPYC 处理器上，AMD 和台积电还把 Chiplet封装技术与芯片堆叠技术相结合，实现 3D V-Cache（3D 垂直缓存），推出 L3 Cache 容量高达 768MiB 的 Milan-X。AWS 的 Graviton3 也采用了 I/O 与计算相分离的 Chiplet 设计，而在具体实现上几乎是 AMD 的“反面”：64 个核心组成的较大晶片居中，4 个 DDR（控制器）晶片和 2 个 PCIe（控制器）晶片三面环绕，共7 个晶片（1+6）。Graviton3 是 AWS 自用的 CPU，不追求核心数量上的灵活性。第一二代 AMD EPYC 处理器架构对比图P029 I无论如何实现，Chiplet 已经是业界大势所趋。2022 年 3 月 2 日，日月光（ASE）、AMD、Arm、谷歌云、英特尔、Meta（Facebook）、微软、高通、三星和台积电，从领先的 CPU 供应商、代工厂到超大规模用户，共同发起小芯片互连标准 UCIe（Universal Chiplet Interconnect Express），并公布了 1.0 规范。AMD：新征程 新方向在本世纪初，AMD通过引入64位、多核等设计，延续了x86的生命力，自身也获得了略超四分之一的市场占有率：Mercury Research 的数据显示，2006 年第二季度，AMD 在 x8