2024年中国移动“敏捷网络”技术白皮书.pdf

中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书（20242024 年）年）发布单位：中移智库发布单位：中移智库编制单位：中国移动通信研究院编制单位：中国移动通信研究院中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书1前言前言数字化是实现中国式现代化的战略引擎，数字经济已成为重组全球要素资源和竞争格局的关键力量。在实施“网络强国”、“数字中国”等国家新型战略背景下，中国移动加快向“世界一流信息服务科技创新公司”迈进，面向行业提供云网一体、高度自动化、智能化的网络体系，加快数字基础设施建设，推进基础设施数智化升级。中国移动云网建设工程作为承载千行百业数字化的基底发挥了重要作用，在赋能行业快速创新和业务持续增长方面，中国移动已深刻意识到云网基础设施的敏捷能力提升已成为数字化应用技术创新的内生驱动力，云网基础设施敏捷技术体系亟待作为核心能力，在提升自身敏捷能力的同时，为生态新兴产业提供快速孵化能力，助力中国移动数字化、数智化生态全面升级。本白皮书由中国移动研究院牵头编写，对中国移动如何高效高质量构建敏捷网络，从云网基础设施涉及的硬件、平台及业务等多层面，以敏捷网络构成的核心技术体系、理念、流程和关键技术对敏捷网络的实现进行详细阐述。中国移动敏捷网络构建需要凝聚产业链各方力量，共同推动中国移动面向行业提供高度敏捷化、自动化、智能化的云网体系。在此，中国移动希望发挥自身在技术研发和产业引领方面的优势，并携手业界共享技术创新成果，共同促进产业合作共赢，进一步协同推进运营商敏捷网络技术与生态成熟，优势互补，实现共赢。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书2目录前言.11.背景.31.1 运营商网络云化探索与发展现状.31.2 运营商网络敏捷化转型面临的挑战.32.愿景与目标.53.敏捷网络技术体系.63.1 敏捷网络“双循环”基础设施自动化技术体系及理念.63.2 敏捷网络技术体系构成的三大核心要素.83.3 敏捷网络技术体系的规范化流程.93.3.1 硬件敏捷体系规范化流程.93.3.2 软件敏捷体系规范化流程.93.4 敏捷网络技术体系的标准化数据.113.5 敏捷网络技术体系的自动化工具.124.敏捷网络技术体系实践探索.164.1 硬件 CI-CT-CD 敏捷集成交付验证实践探索.174.2 云平台 CI-CT-CD 敏捷集成部署验证实践探索.194.3 轻量化 5GC 核心网 CI-CT-CD 端到端敏捷实践探索.205.产业发展与倡议.225.1 中国移动 CI-CT-CD 敏捷算网实验室联合业界共促敏捷能力提升.225.1.1 实验室定位.225.1.2 实验室运行及服务模式.235.2敏捷网络联合倡议.24缩略语列表.25参考文献.26中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书31.背景背景1.1 运营商网络云化探索与发展现状运营商网络云化探索与发展现状自 2012 年 NFV 理念首次提出以来，在各大运营商和厂商的共同协作下，通信网络开启了以高效、可靠、实用为特点的基础设施云化转型。2015 年，中国移动成立亚洲第一个 OPNFV 实验室。2019 年，中国移动启动了网络云建设，这也是目前世界上规模最大、云化比例最高的通信云网建设项目。在整个 NFV 十年演进过程中，多厂商多组件解耦重构使得网络云化转型成为一个复杂的系统性工程，运营商也在持续不断探索更加高效高质量的规模落地建设方案，其中经历了全量虚拟化、部分组件容器化、基础设施自动化、自服务化、数智化等能力的诸多探索和商用。截至目前，中国移动基于 ETSI NFV 标准架构构建了全球最大的通信云网基础设施，以中国移动网络云建设为代表的 NFV 项目已完成数以万计物理服务器的硬件集成和跨厂商的软件集成及应用。随着 5G 的落地和新兴业务场景的不断涌现，通信网络用户展现出对业务灵活性、高效可靠、弹性可拓展、可编程的强烈需求，NFV 为应对变化持续演进发展，横向正在向智能化运维、网络服务生命周期管理、平台即服务等场景及应用扩展，纵向则从基础自动化向高水平自动化、数智化、自智化为特征的云原生或高效高质量网络演进。1.2 运营商网络敏捷化转型运营商网络敏捷化转型面临的挑战面临的挑战为应对业务灵活、高效可靠以及云原生网络的敏捷内生网络需求，中国移动也在持续不断引入自动化、AI、云原生、数字孪生等驱动型技术实现敏捷内生网络。NFV 作为网络革命的核心能力基础和行业发展引擎，也使得敏捷网络需求变得更加容易实现。但在实际 NFV 落地及应用过程中，庞大、复杂的系统工程落地成本和现有 NFV 革新技术带来的收益无法同向比拟，运营商需要在 NFV 全生命周期过程中考虑全方位提质增效和针对供应商及用户均友好的操作流程，比如如何通过减少人工干预的情况下进行业务应用的快速部署及稳定上线，如何在没有规范文档的情况下，供应商能够提前去做产品研发和验证，以保证研发快速迭代和产品快速交付，如何实现大规模资源池在运营运维过程中的敏捷化流程及中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书4管理等方面寻求更加完善的解决方案及技术支撑。结合电信行业自身特点，运营商网络敏捷化转型会面临新的挑战。（1）缺乏多厂商多产品快速集成验证通道缺乏多厂商多产品快速集成验证通道NFV 使得通信网络具备通往快速灵活、经济高效和提升创新能力的同时，也在一定程度上增加了网络复杂性，在产品非自研情况下多厂商之间如何快速集成已是网络敏捷转型最大挑战之一。结合运营商现网研发及部署过程，全流程敏捷能力取决于自动化能力在各阶段的实现情况，在运营商提供通用敏捷能力框架的基础上，也需要供应商产品侧提供可调用的能力和接口，打破工具孤岛，形成全自动化工具链。因此，全流程高敏捷实现需要供应商积极响应运营商敏捷流水线的交互需求，开放各环节能力接口，共同促进全流程提质增效。（2）基础设施升级改造与架构重构基础设施升级改造与架构重构云原生架构需要支持高性能、可拓展性和弹性，并且需要灵活的网络架构以支持多样化的应用和服务。中国移动计划在 2025 年实现全云化的核心网，实现100%的虚拟化，目前云网虚拟化的全流程实现已有 DevOps 流程和 CICD 原型。若构建以云原生为主的敏捷网络需要运营商对现有虚拟化基础设施进行升级和改造，不仅要面临应用微服务数量指数增加带来的网络架构重构，还需要从流程及管理体系等方面进行优化和重构。同时，云原生等新技术引入带来的安全威胁和攻击面也需要全新的对应防护手段。（3）供应商敏捷技术孵化驱动和流程革新供应商敏捷技术孵化驱动和流程革新运营商敏捷升级改造涉及上游供应商产品的同步升级改造，中国移动业务生态合作伙伴众多，需要协同多方共研共建云原生等敏捷技术研究和探索实现，目前缺乏协同测试验证及技术孵化的测试验证基地，如何进一步驱动供应商加快敏捷技术落地和基础设施云化优势发挥，亟待各方力量协同推进。同时，敏捷网络建设需要从产品供应流程、自动化人员培训、队伍建设等多方面进行敏捷革新，具体包括产品供应多环节验证结果复用、创建敏捷组织和管理方法流程、明确敏捷实施流程权责分工等，需要从技术架构和组织架构上得到双重保证。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书52.愿景愿景与目标与目标敏捷网络以自动化、智能化、服务化为核心特征，为通信云网基础设施提供高效可靠响应能力的云网全生命周期解决方案，最终实现通信网络的自配置、自修复、自优化，其敏捷特征主要体现在多样化场景的灵活调度、友好多兼容的人机交互以及多方融合的全流程自动化协作贯通等方面，以便实现通信网络提质增效、赋能行业数智化升级的目标，牵引信息服务迈上新台阶。中国移动提出面向云网基础设施的敏捷网络体系及理念，作为敏捷网络实现的关键核心技术，旨在尽可能在云网各阶段实现自动化能力，并通过敏捷能力平台框架进行更多场景的能力扩展，赋能自智网络向更高级别演进，最终实现中国移动基础设施数智化升级。中国移动敏捷网络实现主要聚焦在以下三大目标：自动化能力贯穿全流程通过引入平台工程、基础设施即代码、低代码等技术将“以人为主”的被动管理模式演进到云网自我驱动的自动化、自服务化、数智化模式，分别实现“研发测试交付编排配置运维监控反馈”全流程闭环自动化解决方案，全面提升云网自智水平。多厂商敏捷协同在多厂商产品集成应用场景中，各厂商自身流水线无法串接运营商全产品、全流程的情况下，需要中国移动构建标准化流水线作为统一敏捷能力底座，在产品研发、测试、采购、上线前验收各个阶段，都需要进行基于“测试左移”理念的元组件研发前置验证和反馈迭代。同时，从产品研发源头拉通多厂商对接中国移动统一网关，实现从源头统一集成测试验证把关产品入口；通过中国移动统一版本管理平台把关各省现网应用出口，实现产品版本全流程应用可溯源。同时，在版本上线后，通过与中国移动统一调度平台对接，连接多产品的全生命周期消息回传和同步，构建全网统一调度能力视图，实现供应商运营商统一调度平台现网部署运营全流程打通。小步快跑，加快产品市场需求响应在保证产品高质量、高可靠的前提下，加快产品的研发、测试、交付速度，来应对多样化业务的快速迭代需求，如将集成验证左移至研发阶段，通过规范化中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书6的流程标准、自动化工具等赋能产品研发、试验试点过程中的快速回归测试和多厂商集成验证，推动产品的迭代开发和快速成熟，并通过自动化技术方法减少人工操作所耗费的时间和人力成本。3.敏捷网络技术体系敏捷网络技术体系IT 领域在敏捷能力实现方面充分运用业界主流的 Devops 和 CI/CD 理念进行产品或应用的全生命周期敏捷管理。区别于 IT 应用的多次交互无状态耦合、具有容错率、重试可解决机制，通信网络是多个有状态网元构成的大型“耦合型”不中断网络，多厂商多组件搭建的网元之间交互关系复杂。在通信领域要实现敏捷网络，需要确保多个组件间的协同充分验证使得整个流程具备完整的一致性和准确性。因此，需要运营商根据通信网络特征探索构建符合自身的敏捷能力技术体系。3.1 敏捷网络敏捷网络“双循环双循环”基础设施自动化技术基础设施自动化技术体系及理念体系及理念为落实推动通信云网敏捷化演进，提升云化网络的自动化敏捷响应能力，中国移动提出 CI-CT-CD“双循环”基础设施敏捷技术体系，助力运营商进一步提升云网的敏捷能力水平。图 1CI-CT-CD“双循环”基础设施自动化技术体系CI-CT-CD 是 Continuous Integration（CI）、Continuous Testing（CT）和Continuous Delivery（CD）的简称。CI-CT-CD“双循环”体系旨在用自研或开放工中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书7具链，将离散的研发、集成、验证、部署/升级、监控、反馈工作流进行自动化、工程化、服务化实现，构建研发-运营一体化的敏捷流水线能力底座。该体系整合了云原生的关键技术和平台，将统一的自动化流程和工具嵌入云网研发验证交付多环节，助力端到端全流程一体优化，提升效率、确保质量，在满足云网“又快又好”的高标准建设交付要求的同时，确保高效完成网络云原生运维升级，又能提高相关流程和能力的自主可控，进而实现敏捷响应和质量保证的最佳平衡。基于 CI-CT-CD“双循环”理念形成平台化对外服务体系，正向依托“研发-验证”环对方案和产品快速验证，反向依托“验证-交付”环指导方案和产品迭代，左环提升效率、右环确保质量，加强方案和产品成熟，驱动中国移动云网数智化转型。（1）“研发-验证”环将统一的自动化流程和工具嵌入式使能研发验证交付多环节，助力端到端全流程一体优化。（2）“验证-交付”环聚焦快速上线，着力敏捷交付及运维运营快速反馈，以实现“研发-认证-部署-运维-反馈”端到端有效衔接和循环回路。中国移动以CI-CT-CD双循环体系实现云网全流程的“敏捷研发”、“敏捷验证”、“敏捷交付”。以自动化、平台化、服务化能力为技术理念，通过多种途径深入推进，加速信息服务型基础设施快速响应能力实现。敏捷研发敏捷研发是整个流程的起点，也是运营商与厂商的协作关键点。厂商根据运营商需求进行敏捷研发，最终形成制品并交付给运营商网关。这些制品会被纳入测试制品库，并使用版本控制工具进行版本的追踪和管理。此外，集成构建用于异厂商产品之间集成环境的构建。敏捷验证敏捷验证是指对多厂商产品集成后的环境进行测试，包含功能测试、性能测试、集成互操作测试。中国移动采用数字孪生环境、自动化测试、低代码测试框架等来提高测试效率。最大化使用自动化测试来减少人工测试的工作量，提高测试的效率，降低测试周期。持续测试过程中遇到的问题，反馈回厂商研发环节作为迭代开发需求。敏捷交付敏捷交付是指经过集成验证测试后的配对组合被纳入交付版本库，并将实验室形成的自动化集成、部署方案交付到现网。通过应用诸如配置管理 IaC 等先进技术来配置和管理云计算基础设施的方法。这可以确保在实验室经过反复测试验证的基础设施能够准确无误地“复制”到生产环境。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书8现网中的监控、运维工具发现的问题可以反馈回集成验证环节去复现、反馈给厂商进行迭代开发，从而实现一套全流程的 DevOps 体系。3.23.2 敏捷网络敏捷网络技术体系技术体系构成的三大核心要素构成的三大核心要素在运营商敏捷网络转型过程中，运营商与厂商协作形成的 CI-CT-CD 双循环敏捷网络体系，需要从传统“作坊”向“大规模敏捷流水线”方式转变，全面推荐流程、数据、工具三个方面的创新变革。规范化的流程规范化的流程规范化的流程是敏捷云网有序推进的依据，运营商需要更加精细化的“流程管理”驱动所有作业实现最高效率的协同，包括并行优化、内容复用、任务灵活编排及闭环策略等。业界 DevOps 强调的是高效组织团队之间以自动化和 CI/CD为基础，来优化程式开发、测试、系统运维等所有环节，完成软件的生命周期管理，从而更快、更频繁地交付更稳定的软件，运营商需要借鉴业界 DevOps 理念，探索出适用的敏捷之路。标准化的数据标准化的数据敏捷化的前提是高效数据管理，准确、实时和标准化的数据可形成正确的数据分析结果帮助管理系统辅助决策。NFV 网络涉及多厂商、多组件等构成不同的组合形态及应用，标准化的数据是全流程统一调度和多厂商、多产品互操作的基础，运营商需要统一定义标准化数据，作为全流程统一调度平台和厂商互操作的“共同语言”。IaC（Infrastructure-as-Code）是一种以编程方式来定义和管理基础设施的方法。它使用代码来描述和配置服务器、操作系统、存储和其他基础架构组件，使得这些组件的配置能够被自动化地执行和管理。在 CI-CT-CD 双循环体系的各个环节中，IaC 技术被充分应用以助力各环节自动化实现的标准性和一致性。自动化、自助化工具自动化、自助化工具自动化和自助化的工具是敏捷实践效率提升的关键。基于规范化流程和标准化数据，引入一系列自动化工具。先从需要实现自动化能力的断点开始，由点及线贯穿全流程的自动化；由线到面扩展到全局应用场景，较传统工序实现数倍乃至数十倍的效率提升。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书93.33.3 敏捷网络技术体系的敏捷网络技术体系的规范化流程规范化流程3.3.1 硬件敏捷硬件敏捷体系体系规范化流程规范化流程中国移动拥有全球规模大、设备覆盖度高的资源池及设备，上游设备厂商众多、设备种类丰富。即使在设备采购时定义严格的规范要求及测试，但设备交付时仍会出现问题，导致设备组件在兼容性及对接能力等方面带来了潜在隐患和风险。中国移动提出硬件 CI-CT-CD 工作流标准，形成以中国移动敏捷工作流为内核驱动的“研发验证部署监控”的闭环反馈模型，真正实现“中国移动-厂商”闭环协作创新体系，让厂商研发参与到整个工作流中，打通研发与交付之间的壁垒，加快持续部署-持续测试迭代频率，持续推动设备组件成熟。图 2硬件敏捷标准工作流在硬件全生命周期过程中，通过采用 ZTP、IaC、低代码开发框架、持续更新滚动测试的 DevOps 模式、统一的自动化测试框架等关键技术，形成了以自动化为核心，面向跨厂商、端到端的自动化集成与测试能力体系。通过 CI-CT-CD 工作流不间断的测试-验证-反馈机制，构筑端到端全程流程自动化能力，实现全流程统一管理，确保设备组件质量高可靠、过程可追溯，减少人为风险，为实现更好的硬件固件生态奠定坚实的基础。3.3.2 软件软件敏捷敏捷体系体系规范化流程规范化流程与传统网络相比，云化网络采用解耦架构，云平台及业务在入网及运维过程中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书10中涉及多厂商的互操作和适配，集成和测试工作量大，在此过程中，多环节嵌入手工操作，使得云平台及应用在交付或升级过程中历经准备工作、升级操作、拨测验证、值守等多个环节的反复确认才能保证上线的高质量可靠性。通常需要以月为单位完成整体操作流程，人工成本也会随着交付、升级的局点数量线性增加，中国移动提出统一的云平台及业务侧 CI-CT-CD 敏捷标准工作流，定义多厂商之间的集成对接、测试验证、部署升级方案，为现网高质量高效率运维提供自动化、敏捷化技术要求和能力框架。通过自动化能力打通传统模式中的手工断点，快速进行多厂商“配对”的兼容性、软件互操作性验证，持续迭代测试反馈，全流程实现统一版本管理，确保软件版本质量高可靠、过程可追溯。图 3 云平台/业务敏捷标准工作流云平台及业务敏捷标准工作流关键内容：云平台及业务相关产品从供应商制品研发-交付全流程以 CI-CT-CD 流水线为底座进行自动化流转。各供应商内部测试验证及合规扫描通过后的制品推送至集团统一制品管理平台，并由中国移动“敏捷网络”实验室对其进行一系列集成测试和集成方案验证，并将未达标结果通过 CI-CT-CD流水线闭环反馈给供应商。验证通过的版本被推送到大区二级制品管理平台，并向各大区下发部署升级任务通知，大区现网根据分发任务进行自动部署升级、入网灰度升级测试、全量化自动测试、自动值守，各阶段闭环反馈结果给 CI-CT-CD 流水线。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书11CI-CT-CD 包含验证环和交付环两部分，CI-CT-CD 流水线的验证环，侧重于供应商制品在集团统一制品管理平台和“敏捷网络”实验室的管理和验证；CI-CT-CD 流水线的交付环侧重于验证后的版本经过统一制品管理平台分发推动到对应大区的敏捷交付及运维。中国移动统一制品管理平台侧重于制品版本的分类管理、认证、推送及全流程追踪。云平台及业务侧的 CI-CT-CD 全流程核心在于不间断地进行异厂商不同配对组合产品的集成对接验证。通过厂商不间断地频繁小版本交付至集成验证版本库，以及不间断地持续集成对接和持续集成验证，促进厂商敏捷研发，达到双赢效果。同时，将验证通过的配置组合，形成现网部署方案并推送至版本库，由中国移动制品管理库根据部署、升级计划统一下发至现网实现“一键升级交付”。3.4 敏捷网络技术体系的标准化数据敏捷网络技术体系的标准化数据CI-CT-CD 双循环敏捷体系遵循 IaC（Infrastructure as Code,基础设施即代码）理念，使用代码方式而非手动流程，自动化地生成和管理设计数据及各类配置数据，确保了测试验收过程中数据的一致性和准确性，能够大幅减少人工错误和沟通问题，保证敏捷、高效的验证及交付。在标准化数据管理模块中，输入包括设计规划、软硬件模型、规范标准、自动化内部辅助信息、现场输入信息等，模块内部完成标准化数据的生成和校验，最终输出标准数据集，其主要包括应用场景实现自动化的用例集合、期望值、被测对象的全量信息等，均以统一的格式输出进行可视化呈现，当数据发生变更时，可以通过可视化页面进行热更新，修改完成后的数据会使用代码化的管理方式进行持久化存储（支持版本追溯和回退），标准化数据可应用于各类自动化工具中，为敏捷网络技术体系提供数据基础。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书12图 4 数据管理模块示意图在 CI-CT-CD 各阶段中，IaC 理念贯穿始终并为多厂商、多产品提供了通用、标准的语言，从而保证它们在以不同的方式灵活组合时，能够顺利、高效的完成协作。3.5 敏捷网络技术体系的自动化工具敏捷网络技术体系的自动化工具在构建 CI-CT-CD 双循环敏捷网络技术体系时，自动化技术扮演着至关重要的角色。诸多技术在不同各阶段串联、协作，以 IaC 基础设施及代码为底座，通过自动化、标准化和敏捷方法，提高通信云网的敏捷响应能力、降低成本、确保质量。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书13图 5 敏捷研发/验证/交付技术架构中国移动 CI-CT-CD 双循环敏捷网络技术体系需要厂商在诸多技术方面通力合作，并形成自动化工具服务于各阶段，典型关键工具技术如下：制品管理平台制品管理一般指的是存储、控制、跟踪在软件开发过程中产生的二进制文件或“制品”的过程，用一个系统化的方法来处理软件开发生命周期的各种输出。制品可以是编译后的源代码、文档、测试用例等，包括软件包、exe、容器镜像等。然而在 CI-CT-CD 敏捷网络体系中，因需要交付的产品、方案（比如网络云）往往是多个厂商共同构建的，所以制品管理需要高于某一个特定厂商的软件开发流程，由中国移动提供统一测试制品库以及现网交付制品库，由制品管理平台自动化实现制品的归类、标记、分发。厂商需要不间断的将可运行的小版本交付至测试制品库，在集成环境中与其他厂商制品共同构建集成验证环境供集成验证，并在集成验证环境中持续迭代以根据集成验证发现的问题持续改进。测试制品管理助力提前发现多厂商，多产品的集成问题、互操作问题，将集成验证环节“左移”至厂商研发环节。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书14只有集成验证通过的制品进入交付制品库，现网交付时根据现网的需求方案，在交付制品库中选择匹配的配对组合，应用至现网实施。IaCIaC（Infrastructure as Code,基础设施即代码），业界通常指的是一种通过机器可读的定义文件（而非交互式手工逐步配置）来配置和管理云计算基础设施的方法。将 IaC 应用在 CI-CT-CD 敏捷网络体系中，作为敏捷网络技术体系的三大核心之一，是所有部署、验证、交付环节的基础，IaC 本身也是自动化工具之一，提供统一的数据模板，根据可配置的数据定义，能够自动化生成资源池的全量数据信息，且同一份数据可以同时服务于集成验证作为数据输入，提高环境构建、验证的效率。通过 IaC 方式形成的环境构建、验收方案，在集成实验室进行充分的集成验证，并尽可能模拟生产环境的软硬件配置和方案，部署即将在生产环境使用的软件系统，即可在交付的时候实现从自有集成环境精准复制到生产环境，确保在实验室经过反复测试验证的基础设施，能无差错的“复制”到生产环境，实现“一键交付”。CI 持续集成CI（Continuous Integration）持续集成往往是指一种软件开发实践，开发人员将代码变更集成到共享代码库中，并使用自动化构建工具来自动构建和测试软件。通过持续集成，开发团队可以及早发现和解决代码冲突，确保软件的质量和稳定性。在运营商交付方案中，运营商不会直接参与到厂商产品研发内容中，CI-CT-CD 敏捷网络体系中的持续集成指的是提供集成验证环境，帮助多个厂商的软件集成在一起，并确保它们能够顺畅地协同工作。通过持续集成，各厂商的软件可以按照预定的流程和标准进行集成和测试，以确保最终交付的解决方案能够满足交付需求。多厂商产品的持续集成提供了厂商产品集成验证的实时反馈，帮助开发团队提前发现和及时修复集成验证相关问题。此外，持续集成促进了多厂商团队的协中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书15作和沟通，提高夸厂商产品的互操作性，确保多厂商组件之间协作畅通、集成方案的质量可靠性。测试驱动开发测试驱动开发（TDD）是一种软件开发过程，它强调在编写某个功能的代码之前先编写测试代码，然后只编写使测试通过的功能代码。通过测试来推动整个开发的进行，TDD 有助于编写简洁、可用和高质量的代码，并加速开发过程.在 CI-CT-CD 敏捷网络架构中，TDD 是一个非常重要的实践，中国移动根据移动验收规范标准规范开发出自动化测试工具，验收测试“左移”至厂商研发环节，以验收标准驱动厂商产品的研发，并在研发侧进行不间断的持续集成验证，形成以中国移动自动化测试工具为内核驱动的迭代研发，以此协作来提高厂商产品的验收质量、研发效率。低代码开发低代码开发是一种通过使用较少的代码来完成业务逻辑处理的过程。相较于传统的开发方式，低代码开发涉及的代码量较少，因此可以减少开发时间和人力成本，提高系统的稳定性和易调整性。在 CI-CT-CD 敏捷网络提系统，低代码开发有着广泛的应用。基于中国移动研发的的低代码自动化测试框架，用户只需要提供少量的语言类步骤描述、预期结果描述，就能创建出自动化测试用例。低代码开发应用于规范的制定，基于“好用的工具胜于详尽的文档”的原则，可以达到“规范即代码”，或者“规范即自动化验收工具”的效果，有助于加快从规范制定到产品验收的流程，减少对于规范的理解偏差和因此导致的软件验收问题。GitOpsGitOps 是一种基于 Git 版本控制系统的工作流程。它将应用程序及其基础设施定义存储在 Git 存储库中，并使用自动化工具来将这些定义应用于生产环境。GitOps 的目标是通过自动化和标准化来简化软件开发、部署和运维。自动化构建在 CI-CT-CD 敏捷网络体系中，通过迭代构建集成验证环境、迭代验证达到提升产品集成方案的质量和效率，为提高环境反复拆建的效率，需要多厂商的多种产品具备自动化部署、自动化集成、自动化升级等自动化构建环境的能力，并中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书16且将自动化部署工具、接口集成至 CI-CT-CD 流水线，无需厂商现场人员支撑，就能反复搭建集成环境，已达到自动化、无人化环境构建和验证的效果。通过厂商和移动的协作、对接，形成稳定的持续集成、部署模式，一方面，在实验室验证环节可大量减少环境构建的人工、现场工作量，且使持续迭代的成为可能；另一方面，在实验室验证通过，形成稳定的异厂商集成部署自动化方案，可以应用至现网，提高现网部署、交付的效率。灰度升级灰度升级是 CI-CT-CD 敏捷集成交付过程中引入的一种软件系统逐步升级的策略。通过灰度升级，可以在保证系统稳定性的同时，逐步引入新功能或修改现有功能，以减少对用户和业务的影响。灰度升级通常涉及将新版本的软件逐步部署到一小部分用户或环境中进行测试和验证，然后逐步扩大范围，直到全面升级。这种渐进式的升级方法可以减少风险，提高软件交付的质量和可靠性。数字孪生数字孪生技术在 CI-CT-CD 双循环体系中用于自动化部署及测试验证的虚拟环境构造。它包括设备组件、平台及业务接口等能虚拟构建的应用环境，可有效地降低产品测试成本，缩短测试周期，丰富测试项目。平台工程平台工程是一种运维理念，旨在为云原生时代的软件工程组织提供自助式服务功能。作为一个简化和易认知的自服务操作平台，平台工程既可以在自动化的基础上实现开放、自服务、面向需求业务场景的问题定义能力，又可以达到灵活、可扩展、各模块独立的工程结构设计。4.敏捷敏捷网络技术网络技术体系体系实践探索实践探索中国移动在 NFV 网络云建设前期意识到，大规模、多厂商的网络云快速集成是提升敏捷集成的关键。前期的统计表明，有超过 60%的问题与多厂商之间软硬件集成相关，相应 60%以上的问题耗费在解决集成对接和测试验证方面。基于此，传统大量依靠人工部署的虚拟化软件、分布式存储、SDN 控制器等软件系统和开展对接测试的方式变得难以持续。中国移动在网络云实践过程中，以提升中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书17敏捷集成能力为目标，注重全流程衔接，由点到线、再到面，逐步形成全流程敏捷集成交付平台 AUTO，面向多种场景，提供高度可扩展、自适应的云网基础设施自动化能力，并在现网实践应用中不断优化提升。图 6AUTO“行云”2.0 基础设施自动化平台说明图自 2019 年，AUTO“行云”平台经过实验室的反复测试验证，以网络云应用为起点，不断优化自身，并逐步向 IT 云、5G 专网、移动云、算网等应用场景深入拓展，全面赋能运营商云网基础设施建设。截至目前，中国移动自研 AUTO“行云”平台已应用覆盖超过数十万台基础设施的自动化建设及交付，从硬件、平台、网元多层面提升集成交付敏捷性，助力中国移动云网建设效率和质量行业领先。4.1 硬件硬件 CI-CT-CD 敏捷集成敏捷集成交付验证交付验证实践实践探索探索大规模云网基础设施敏捷集成交付实践大规模云网基础设施敏捷集成交付实践在面向云资源池的硬件敏捷集成及自动化验收方面，中国移动根据现网实际研究提出了自动化集成交付体系，明确了建设各集成环节相应的自动化解决方案，通过 AUTO“行云”平台在流程、数据、自动化方面不断优化迭代，最终形成符合中国移动云网实际的新型自动化集成交付验证敏捷解决方案和能力。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书18图 7硬件自动化集成交付端到端流程说明图服务器服务器固件固件研发前置验证工作流研发前置验证工作流中国移动提出基于“测试左移”体系的服务器固件敏捷研发前置验证工作流标准。工作流核心在于不间断地在研发侧进行固件的测试验证，即多厂商将研发小版本交付至中国移动版本库，中国移动通过数字孪生技术生成虚拟设备，根据虚拟设备初次测试情况进行工具模板适配，并反馈给各厂商。厂商使用前置验证工具在研发侧进行不间断的持续集成验证，形成以中国移动自动化测试工具为内核驱动的供应商“研发验证问题反馈迭代版本”闭环反馈模型。通过这个模型，可以促进国产化组件的快速迭代，进而提高国产化组件开发的质量和效率。图 8服务器固件研发前置验证工作流说明图落地应用情况落地应用情况硬件 CI-CT-CD 敏捷工作流具有共性化、可规模化推广的特点，目前已在中国移动的多个大型硬集项目中广泛落地，实施了自动化的集成交付和验收测试，取得了显著的应用效果。同时，AUTO 平台已在业界广泛应用，通过前置验证的中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书19环节渗透至厂商研发环节，与多家厂商开展前置对接工作深入业务合作，实现“随研随测”，大大提升了产品研发的质量。通过自动化硬集交付和验收的深入应用，硬集资源池的自动化配置和验收效率可提升 10 倍以上，大大缩短了建设周期，解决实际工程问题，达到效率更高、质量更好、成本更低的工程效能提升，让基础设施的建设和验收过程更加敏捷。基于“测试左移”技术研发理念形成的服务器固件研发前置验证工作流，已经在中国通信标准化协会多样性算力产业及标准推进委员会由我院专家主导完成立项，并获得业界运营商、处理器厂商、整机设备厂商等 9 家单位的支持。同时，该方案已经在中国移动网络云和 IT 云项目中全面落地应用，涉及到共计 7 家服务器厂商的共同配合，在厂商实验室开展累计 300+轮次的自动化测试验证，并依托该能力解决厂商 300+个设备质量和管理接口问题。在驱动厂商服务器固件日趋成熟的同时，厂商设备在现网交付阶段验收错误率也大幅降低，极大地提高了项目整体验收的进度和质量效率。4.24.2 云平台云平台 CICI-CTCT-CDCD 敏捷集成部署验证实践探索敏捷集成部署验证实践探索云平台软件集成的云平台软件集成的 CI-CT-CDCI-CT-CD 敏捷实践敏捷实践在云化网络落地过程中，面对组件互操作性带来的挑战，中国移动深度参与到网络云软件集成过程中，了解异厂商集成环境部署、对接痛点，为提高多厂商集成技术成熟度和集成能力，创新性的提出了多厂商软件组件的标准集成工作流，研发 CI-CT-CD 流水线引擎，基于 IaC 标准化数据定义，集成中国移动自研的自动化配置、测试工具和厂商的软件部署工具，由流水线统一调度，为基础设施建设提供包括硬件配置、部署、对接、测试等环节的端到端能力。中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书20图 9云平台软件 CI-CT-CD 工作流该方案中，厂商将云平台软件交付至集成实验室网关，CI-CT-CD 自动化引擎在部署版本库中查找经实验室验证成功的虚拟层和分布式存储软件版本，并基于网设和自动化工具进行软集部署，完成跨厂商的快速持续集成对接，对产品和解决方案进行持续验证迭代。验证通过的版本进入交付网关，并“一键复制”至现网建设。其中针对异厂商不同配对组合对接，中国移动指定统一对接标准，屏蔽不同厂商产品之间的差异，无需人工适配异厂商产品，实现“黑盒”和“自动化”对接。落地应用情况落地应用情况通过与厂商的深度合作，打破了传统模式下云平台环境需要耗时数月构建，以及测试环境“不敢拆”、“不敢动”的尴尬局面，以中国移动试点为例，跨厂商集成流水线实现 5 小时云平台单次自动部署，2 个月内 166 次实验室持续集成测试，4 次软件版本迭代验证。将原来以“周”或“月”为单位的云平台部署和测试，缩短到“天”，任何符合标准规范和自动化能力要求的异厂商虚拟化和分布式存储产品，均可以通过自动化流程引擎实现互操作验证。中国移动针对网络云统一集成对接制定的中国移动集中网络云软集自动化技术要求已应用于中国移动网络云全网，供应商通过遵循技术要求细则，发布的软件版本通过在在中国移动CI-CT-CD实验室进行多轮次的自动化反复预集成验证，即多个供应商的虚拟层与分布式存储部署和交叉对接测试，有效避免现网部署对接问题的出现，最终验证通过的目标版本进行远程交付（CD）。目前云平台 CI-CT-CD 自动化集成方案已广泛应用于网络云项目建设中，现网累计构建次数达到上百次。现网实践验证，通过 CI-CT-CD 技术体系的云平台从研发到交付整体效率可提升 3 倍。4.34.3 轻量化轻量化 5GC5GC 核心网核心网 CI-CT-CDCI-CT-CD 端到端敏捷实践探索端到端敏捷实践探索中国移动中国移动自研自研 5G 专网产品专网产品 CI-CT-CD 流程体系流程体系中国移动自研 CI-CT-CD 平台框架能力在面向 5G 专网构建 UPF 一体化快速交付及验证方面，利用持续集成-持续测试的理念机制，形成对研发及交付版本中国移动中国移动“敏捷网络敏捷网络”技术白皮书技术白皮书21的自动化编译及持续迭代优化测试流水线，包括硬件、云平台及网元。其中在5G 网元敏捷化测试方面，开发出一套针对 5G 专网的自动化测试工具，传统人工测试每人天 3-4 个测试用例，自动化测试将单个用例的测试耗时提升至 4-5 分钟，所有测试步骤均可通过自动化实现，构建了一键操作、全程、全量的新型测试方式。在敏捷化集成交付方面，自研 5G 专网自动化生成制品后推送到对应版本库，并定期检测获取。获取后的版本进行全流程从 0 到 1 的部署及测试，即从裸机环境开始自动化检查硬件需要具备的条件、自动化安装安全合规的 OS、自动化参数设置、自动化网元部署并进行自动化测试结果的反馈，全过程实现自服务化和可视化，反复验证后的稳定版本复制到现网试点进行自动化部署，5G专网 UPF 一体化快速交付模式已达到业界领先水平。图 105G 专网敏捷研发-验证-交付工作流落地应用情况落地应用情况中国移动自研 5G 专网产品“果核”致力于提供高度集成、快速部署、运维简单的敏捷集成交付方式，解决客户”好用、敢用、易用“的核心诉求。为保证高质量高效率交付，“果核”产品在 CI-CT-CD 敏捷网络实验室进行反复多轮的“持续研发持续集成持续部署持续测试”的自动化闭环迭代。目前，中国移动 5G专网UPF一体化产品已在CI-CT-CD流水线经过数百轮自动化闭环验证和数十次方案优化，在现网试点可实现从裸机到 UPF 全流程部署、配置、测试仅用时 80min的高效率高质量交付，在保证质效双提升的同时，大幅降低了现网工程师的交付技术要求和交付工作量。中国移动中国移