AIIA - 电信领域联邦学习技术应用白皮书.pdf

电信领域联邦学习技术应用白皮书电信领域联邦学习技术应用白皮书中国人工智能产业发展联盟中国人工智能产业发展联盟2021年年9月月致 谢本白皮书是在中国人工智能产业发展联盟产学研融合与应用工作组电信项目组的指导和组织下，由中国信息通信研究院标准与技术研究所牵头，中国移动通信有限公司研究院、联通数字科技有限公司、华为技术有限公司等联合参与起草。限于编写时间、起草人员知识积累与电信领域联邦学习技术与应用发展尚未完全定型等方面的因素，内容恐有疏漏，烦请不吝指正。主要起草人：主要起草人：中国信息通信研究院：刘姿杉、程强中国移动通信有限公司研究院：史嫄嫄、李爱华联通数字科技有限公司：刘立超、牛晓龙、宋雨伦华为技术有限公司：吴骏、邵云峰、李秉帅、胡红兵、后希旭i前 言目前，以 5G 系统为代表的电信网络已经实现“万物互联”，并将朝着“万物智联”的目标发展。电信网络利用先进的人工智能技术通过及时有效地收集、传输、并随时随地学习数据，用于大量创新应用和智能服务。然而，基于中央服务器与数据中心的机器学习框架正遭受越来越多的数据隐私和安全挑战，面临巨大的通信开销与算力浪费。联邦学习作为新兴的分布式机器学习框架，能够在保护数据隐私、满足合法合规要求的前提下，让多参与方或多计算结点之间在不共享原始数据的基础上联合进行高效的模型训练，有望在未来网络与电信领域中发挥巨大潜能。联邦学习与物联网、边缘计算、5G/6G 等技术相结合，能够更高效的支撑智能化应用开展，推动实现网络内生智能。与此同时，电信数据无需出网就可实现数据价值安全流通，通过与金融、政务、自动驾驶、医疗等行业合作，满足多源数据融合、多方安全查询、多方安全统计、联合智能决策等应用需求，赋能社会治理，服务民生公益，支持工业互联，协助实体经济快速发展。在此背景下，中国人工智能产业发展联盟发布本白皮书，通过探讨电信领域联邦学习架构与关键技术，提出多个典型用例和发展建议，以期与业界分享，共同推动电信领域联邦学习的技术与产业发展，实现电信网络自动驾驶能力与智能化的创新与深入推进。ii目录一、联邦学习概述.-1-（一）联邦学习产生背景与技术概念.-1-（二）联邦学习发展状况.-3-（三）联邦学习在电信领域的技术价值与应用潜力.-5-二、电信联邦学习架构与关键技术.-7-（一）电信联邦学习技术架构.-7-（二）横向联邦学习.-8-（三）纵向联邦学习.-11-（四）联邦迁移学习.-14-（五）联邦学习优化技术.-16-三、电信联邦学习应用.-24-（一）基于横向联邦学习的 ONT 精准识别应用.-24-（二）基于横向联邦学习的防未知网站注入攻击检测.-26-（三）基于纵向联邦学习的消费金融应用.-28-（四）基于纵向联邦学习的 5G 网络 QoE 评估和预测.-30-（五）基于联邦迁移学习的数据中心 PUE 控制.-31-四、电信联邦学习未来展望.-33-缩略语.-35-1-一、联邦学习概述（一）联邦学习产生背景与技术概念（一）联邦学习产生背景与技术概念1.联邦学习产生背景联邦学习产生背景机器学习技术近些年来在人工智能应用领域迅猛发展，例如计算机视觉、自然语言处理、语音识别等。这些机器学习技术的成功，尤其是深度学习的应用，皆是建立在丰富的数据资源之上皆是建立在丰富的数据资源之上。传统机器学习方法需要将数据从多方进行整合标记后进行机器学习的训练，导致数据原始拥有者失去对数据的掌控。随着数据产业价值的不断彰显，数据拥有权受到日益重视，数据拥有方对于数据失去掌控后的担忧以及数据整合后利益分配的不确定性，使得传统集中式机器学习的方式变得不再有效或适用传统集中式机器学习的方式变得不再有效或适用，带来数据碎片化和孤岛分布的问题带来数据碎片化和孤岛分布的问题。随着数字化经济时代的到来，海量数据带来的产业价值日益彰显，人们对于人工智能应用中数据隐私保护与所有权问题的关注度也在不断提高，并俨然成为世界性问题人们对于人工智能应用中数据隐私保护与所有权问题的关注度也在不断提高，并俨然成为世界性问题。与此同时，随着用户数据泄露的现象不断出现，世界各国正在加强保护数据安全和隐私的法律，例如，2017 年，中国实施的中华人民共和国网络安全法和中华人民共和国民法总则 中明确规定了用户的个人隐私和数据安全需要得到保护；2018 年，欧盟开始实施通用数据保护条例（GDPR），其中对欧盟区用户数据及隐私提出了极为严苛的保护要求。诸多法律法规的实施意味着对用户数据的收集必须公开、透明，同时企业和机构之-2-间在没有用户授权的情况下，将不能进行数据交换。由于隐私保护和数据安全等问题，数据拥有方之间的数据共享变得困难，甚至同一组织内的数据整合都受到限制，进一步加剧了数据隔离和数据孤岛的问题由于隐私保护和数据安全等问题，数据拥有方之间的数据共享变得困难，甚至同一组织内的数据整合都受到限制，进一步加剧了数据隔离和数据孤岛的问题。与此同时，随着物联网和边缘计算的兴起，人工智能的应用不再拘泥于单一的个体和组织，而是需要在多个本地进行计算与协同。因此，如何在满足数据隐私和安全的前提下解决数据孤岛和数据碎片化问题，如何安全且有效的实现模型在多个地点与组织间的更新和共享，是当前人工智能领域面临的首要挑战之一如何在满足数据隐私和安全的前提下解决数据孤岛和数据碎片化问题，如何安全且有效的实现模型在多个地点与组织间的更新和共享，是当前人工智能领域面临的首要挑战之一。在此背景下，联邦学习联邦学习（Federated Learning，FL）应运而生。2.联邦学习技术概念联邦学习技术概念联邦学习最早是在 2016 年由谷歌提出，其技术原理是：面向多个用户客户端，每个客户端从中央服务器下载现有预测模型，通过使用本地数据集对模型进行训练，并将模型的更新内容加密上传至中央服务器，再由中央服务器聚合产生新的模型。反复上述过程，原始数据始终存储在本地。联邦学习的参与方在保留数据本地化的前提下，通过只交换模型训练中间结果，如模型参数、梯度等，得到的模型和集中式训练的模型相比，性能几乎无损联邦学习的参与方在保留数据本地化的前提下，通过只交换模型训练中间结果，如模型参数、梯度等，得到的模型和集中式训练的模型相比，性能几乎无损。联邦学习作为一种分布式机器学习框架，保证了多参与方之间数据隔离，避免数据泄露，并且保证了各参与者在实现数据隐私保护的前提下多参与方之间数据隔离，避免数据泄露，并且保证了各参与者在实现数据隐私保护的前提下交换加密信息与模型参数，共享数据带来的效益，提高模型共享数据带来的效益，提高模型-3-训练性能与泛化能力训练性能与泛化能力。（二）联邦学习发展状况（二）联邦学习发展状况1.联邦学习标准化现状联邦学习标准化现状近年来，联邦学习标准化工作已经逐步开展。国际上，2018 年 12月，IEEE标准化协会批准了联邦学习架构和应用规范的标准 P3652.1（联邦学习基础架构与应用指南）（联邦学习基础架构与应用指南）立项，2021 年 3 月 30 日联邦学习标准通过 IEEE 确认形成正式标准文件进行发布。在电信领域，2020 年 6 月，3GPP R17 标准提案 TR23.700-91 中提出“多多NWDAF用例之间的联邦学习用例之间的联邦学习”，将联邦学习引入5G网络中。2021 年，ITU-T 在 SG16 发起“联邦机器学习服务可信贡献评估框架”联邦机器学习服务可信贡献评估框架”的新项目立项，SG20 Q3 发起“面向物联网和智慧城市的联邦学习需求与参考框架面向物联网和智慧城市的联邦学习需求与参考框架”新项目立项。在国内，2019 年 3 月，中国人工智能开源软件发展联盟（AIOSS）发布团体标准信息技术服务 联邦学习 参考架构信息技术服务 联邦学习 参考架构，包括联邦学习参考架构的概念、用户视图、功能视图以及两者之间的关系。中国通信标准化协会密切关注联邦学习，2021 年涉及联邦学习的项目包括研究课题联邦学习数据安全保护技术研究联邦学习数据安全保护技术研究和面向电信领域的人工智能联合学习应用场景和需求面向电信领域的人工智能联合学习应用场景和需求。-4-2.联邦学习开源框架联邦学习开源框架当前，联邦学习相关的框架和平台呈现百花齐放的态势，国际国内推出的面向联邦学习功能的开源软件框架有：框架框架主导方主导方状态状态TensorFlow Federated谷歌开源PysyftOpenMinded开源FATE微众银行开源PaddleFL百度开源Fedlearner字节跳动开源Fedlearn京东开源3.联邦学习的行业应用联邦学习的行业应用目前，联邦学习已经开始了在行业领域的落地探索，在不同行业有多样化的应用场景和落地形态。a)金融保险联邦学习可以在金融风控、金融营销、保险定价金融风控、金融营销、保险定价等业务场景联合多家企业和金融机构在保护个人信息安全和用户隐私的情况下进行联合建模。多家机构联合建模的风控模型能更准确地识别信贷风险，联合反欺诈等，从而可以更好支撑金融行业的价值创造，提高其风险控制和服务能力。b)医疗医疗数据通常存储于不同的机构中，且单个医疗机构拥有的带标-5-签的数据规模和特征维度都有限。由于病人隐私和数据保护的考虑，医疗数据无法在多个医疗机构之间直接共享或集中整合。基于联邦学习技术在各医疗机构的数据不出域的前提下，多个医疗机构联合建模和数据分析，可以有效助力医学影像识别、疾病筛查、医学影像识别、疾病筛查、AI 辅助诊疗、智能问诊咨询辅助诊疗、智能问诊咨询等。（3）政务政府部门汇集了大量的如交通、社保、税务、医疗和教育等高价值数据，但因个人隐私保护问题无法对外开放数据。通过联邦学习，可以促进政务和企业的数据协作，通过政务数据与企业数据模型训练的融合，能够实现基于数据驱动的精准政务施策基于数据驱动的精准政务施策。（4）广告涉及广告主、流量平台和消费者，广告主和流量平台各自落盘相关的广告数据，而又不能简单的将两方拥有的数据集中到一起。所以在数字广告业务里就形成了自然的数据割裂，广告主和流量平台的数据难以整合。针对这个业务场景，在保障数据安全的前提下，通过联邦学习来促成广告主和流量平台的数据合作可以进行更精准用户群体画像和广告营销用户群体画像和广告营销。（三）联邦学习在电信领域的技术价值与应用潜力（三）联邦学习在电信领域的技术价值与应用潜力随着网络智能化和边缘技术等技术的发展，目前的电信网络拥有大量具有智能计算能力的设备，这些设备每时每刻都在产生大量的数据。但由于这些数据是保存在网络各个局点，同时包含大量用户个人-6-信息，难以汇集和共享。如果使用局点内部的数据直接训练，有时候会由于数据样本分布不均匀，训练的模型泛化能力很差。联邦学习有潜力解决电信网络中的数据孤岛问题，其主要的技术价值包括以下几个方面：a)数据不出本地数据不出本地：数据不出本地就可以进行模型的训练与聚合，不泄露用户个人信息与隐私；b)提高模型泛化能力提高模型泛化能力：网络数据样本在各地分布不均，样本量少的局点训练得出的 AI 模型效果较差，AI 模型应用的泛化效果没有保障。联邦学习使得样本量少的局点有机会借助其它局点的经验（数据、模型）来提高该局点模型的泛化能力；c)分布式训练分布式训练：随着电信网络边缘与终端设备的计算能力越来越强，分布式训练相对于集中训练更能提升 AI 模型训练效率和资源利用效率。联邦学习有望在未来电信网络的多个潜在场景中得到应用，并通过与物联网、边缘计算、物联网、边缘计算、5G/6G 等技术相结合，来支持更多智能化应用的开展，对网络性能进行全局优化，推动实现网络内生智能来支持更多智能化应用的开展，对网络性能进行全局优化，推动实现网络内生智能。对外则可以利用联邦学习实现电信数据与其他领域安全共享的基础支撑框架，让电信领域数据无需出网就可实现数据价值安全流通，通过与金融、政务、自动驾驶、医疗等行业合作，提供高效健壮的安全底座和算力支持，满足多源数据融合、多方安全查询、多方安全统计、联合智能决策、联合机器学习多源数据融合、多方安全查询、多方安全统计、联合智能决策、联合机器学习等应用需求，赋能社会治理，服务民生公益，支持工业互联，协助实体经济快速发展。-7-二、电信联邦学习架构与关键技术（一）电信联邦学习技术架构（一）电信联邦学习技术架构如图 1 所示，联邦学习在电信领域应用的技术架构可以分为硬件环境、软件框架和应用层硬件环境、软件框架和应用层三部分。其中硬件环境包括终端终端/网元设备、网管设备网元设备、网管设备/边缘云、私有云和公有云边缘云、私有云和公有云等；软件框架主要包括横向联邦学习、纵向联邦学习和联邦迁移学习横向联邦学习、纵向联邦学习和联邦迁移学习；联邦学习应用层包括联邦机器学习算法、联邦学习优化技术和联邦学习具体应用。图 1 电信联邦学习技术架构根据联邦学习的数据特点（即不同参与方之间的数据重叠程度），联邦学习的分类框架联邦学习的分类框架主要分为横向联邦学习、纵向联邦学习、联邦迁移学习。其中，横向联邦学习适用于参与方的数据有重叠的数据特征，但拥有的数据样本不同的场景；纵向联邦学习适用于参与者的训练数据有重叠的数据样本，但在数据特征上有所不同的场景。联邦迁移学习适用于参与方的数据样本和数据特征重叠都很少的情况。联邦机器学习算法联邦机器学习算法指在联邦学习框架的经典机器学习模型训练与-8-算法设计等。相较于传统的机器学习算法，由于联邦学习特有模型迭代与多方参与建模的过程，使得联邦学习框架下的模型训练与收敛更加复杂，需要进行对算法实现的过程进行特别的设计与优化，例如纵向联邦逻辑回归实现、纵向联邦树模型、实现多方 GBDT 建模的去中心横向联邦学习框架和贝叶斯联邦学习等。联邦学习优化技术联邦学习优化技术包括安全与隐私增强、高效传输与通信开销降低、客户端调度与选择、模型训练优化、个性化联邦等。（二）横向联邦学习（二）横向联邦学习1.横向联邦学习技术原理横向联邦学习技术原理横向联邦学习的数据集间用户特征（X1、X2、X3）重合度很高、用户（U1、U2、U3）重合度很低，如图 2 所示。例如，运营商 A 和 B 的数据集用户无交集，但用户特征大部分相同，运营商A 和 B 采用相同的特征进行横向联邦学习联合训练模型，运营商 A和 B 共享模型增益。图 2 横向联邦学习数据分布横向联邦学习模型训练迭代的过程一般包括以下几个步骤，如图3 所示：-9-a)中央服务器生成初始全局模型并选择部分客户端参与本轮训练迭代，下发初始全局模型给各联邦参与客户端；b)各联邦参与客户端基于初始全局模型，使用本地数据训练本地模型；c)各联邦参与客户端使用如多方可信计算、RSA 多方计算、差分隐私，分布式同态加密等安全与隐私保护技术对本地模型参数或梯度加密上传给中央服务器；d)中央服务器安全汇聚各联邦参与客户端的本地模型参数或梯度，更新全局模型；e)中央服务器下发更新后的全局模型给各联邦参与客户端；f)各联邦参与客户端使用本地数据对更新后的全局模型做模型评估（如模型准确率、精确率、召回率），并将评估结果上报给中央服务器；g)上述过程会持续迭代进行，直到达到允许的迭代次数的上限或者全局模型损失函数收敛。图 3 横向联邦学习模型训练过程示例-10-2.电信横向联邦学习部署模式电信横向联邦学习部署模式如图 4 所示，电信领域应用横向联邦学习的部署模式主要包括：1，基于网管或边缘云和网元/终端设备；2，基于公有云和网管/边缘云；3，基于私有云和网管/边缘云；4，多云之间联邦等。图 4 横向联邦学习部署模式其中，基于网管和网元基于网管和网元/终端设备终端设备的横向联邦学习主要由网管设备或边缘云作为联邦学习中央服务器，由网元/终端设备作为联邦学习客户端来进行模型的联合训练。该模式的应用场景的案例有嵌入式设备嵌入式设备 SA 联合识别联合识别，其特点包括原数据传输代价高、模型参数与梯度需要经过内网传输、数据需要自动化标注、联邦学习客户端计算能力有限等。基于公有云和网管或边缘云公有云和网管或边缘云的横向联邦学习由公有云作为联邦学习中央服务器，由网管或边缘云作为联邦学习客户端来进行模型的联合训练。该模式的应用场景的案例有网络安全注入攻击检测网络安全注入攻击检测，其特点包括原数据要求不出局、数据可以经过人工标注后来进行模型联合训练、模型的参数与梯度经过公网传输、联邦学习客户端计算能力较强等。基于私有云和网管或边缘云私有云和网管或边缘云的横向联邦学习由私有云作为联邦学-11-习中央服务器，由网管或边缘云作为联邦学习客户端来进行模型的联合训练。这种模式的应用场景的案例有核心网核心网 SA 识别识别，模式的特点包括原数据传输代价高，可以经过人工标注后来进行模型联合训练、模型的参数与梯度通过内网传输、联邦学习客户端计算能力较强等。基于多云之间多云之间的横向联邦由不同运营商进行联邦学习的开展。这种模式的特点包括原数据要求不出局，可以经过人工标注后来进行模型联合训练、模型的参数与梯度通过外网传输、联邦学习客户端计算能力强等。（三）纵向联邦学习（三）纵向联邦学习1.纵向联邦学习技术原理纵向联邦学习技术原理纵向联邦学习的数据集间用户特征（X1、X2、X3）重合度很低、用户（U1、U2、U3）重合度很高。例如，运营商 A 和金融机构 B 的数据集可能包含相同的用户，因此用户重合度很高，但金融机构记录的是用户的收支行为和信用评价数据，而运营商则有用户的通信数据，两者用户特征重合较少，金融机构 B 联合运营商 A 采用纵向联邦共建金融风控模型。纵向联邦学习支持线性模型、XGBoost、LightGBM、GBDT、AutoML 算法，支持回归和分类任务。-12-图 5 纵向联邦学习数据分布纵向联邦学习典型的训练过程如图 6 所示，模型训练迭代的一般过程如下：a)样本加密对齐。A 和 B 使用基于加密的用户 ID 对齐技术（如基于 RSA 的盲签名），确保 A 和 B 在不暴露各自原始数据的前提下，根据用户 ID 安全求交，双方各自保存具有相同用户ID 的数据。b)联合特征工程。基于样本对齐后的数据，A 和 B 联合开展特征工程。例如，运营商 A 和金融机构 B，B 可以选择 A 的某个用户特征，根据 B 的数据标签（如信用好坏评价）做卡方分箱、WOE 编码、IV 计算，特征工程过程中，A 和 B 间使用隐私加密技术（如同态加密）交换中间结果。c)加密模型训练。基于样本对齐后的数据或联合特征工程后的数据，A 和 B 使用隐私加密技术（如同态加密）协同训练一个模型，一般训练过程如下：-步骤 1：A 和 B 生成同态公私钥对，并交换公钥。-步骤 2：A 和 B 分别做模型训练，使用自己的公钥加密中间结果并交换。-步骤 3：A 和 B 分别使用对方的公钥加密自己的中间结果，-13-结合交换接收的对方已加密的中间结果计算加密梯度，并将已使用对方公钥加密的随机噪声加入梯度。-步骤 4：A 和 B 交换带噪声的加密梯度，并使用自己的私钥解密收到的梯度。-步骤 5：双方交换已解密的梯度，去除噪声后更新自己的模型。图 6 纵向联邦学习模型训练过程示例2.电信纵向联邦学习部署模式电信纵向联邦学习部署模式-14-图 7 纵向联邦学习部署模式如图 7 所示，电信领域应用纵向联邦学习的部署模式主要包括：1，基于网管或边缘云；2，基于私有云；3，基于公有云/私有云。其中，基于网管或边缘云网管或边缘云在网络内部进行的纵向联邦学习，例如基于边缘智能的纵向联邦实现物联网场景的攻击检测、物联网场景的攻击检测、5G 频谱管理频谱管理等。该模式的特点包括原数据传输代价高、模型参数和梯度经过内网传输、模型训练过程安全性要求较低、模型优化要求较高等。基于私有云私有云/公有云公有云的例如运营商与金融行业的纵向联邦，可以实现联合反欺诈、信贷风险预测联合反欺诈、信贷风险预测等，该模式的特点包括原数据要求不出网、需要同态加密下的特征对齐、模型参数与梯度经过公网传输等。（四）联邦迁移学习（四）联邦迁移学习1.联邦迁移学习技术原理联邦迁移学习技术原理联邦迁移学习将联邦学习的概念加以推广，以实现在任何数据分布、任何实体上均可以进行协同建模、以学习全局模型。它不仅可以应用于两个样本的空间，还可以应用于两个不同的数据集。联邦迁移学习的数据集间用户特征（X1、X2、X3）重合度很低、用户（U1、U2、U3）重合度也很低。例如，在电信领域，不同业务间的用户和用户特征可能重合度都很低，可以采用联邦迁移学习将语音业务MOS 模型的成功经验，迁移到视频业务或者支付业务 MOS 模型训练中去。-15-图 8 联邦迁移学习数据分布给定源域DS和源任务TS，目标域DT和目标任务TT，迁移学习旨在利用源域DS和源任务TS的知识提升预测函数在目标域DT中的表现。迁移学习分为基于样本的迁移，基于特征的迁移，基于模型的迁移以及基于关系的迁移四大类。-基于样本的迁移基于样本的迁移，通过权重重用，对源域和目标域的样例进行迁移，对不同的样本赋予不同权重，如相似样本给予高权重。-基于特征的迁移基于特征的迁移，对特征进行变换。假设源域和目标域的特征原来不在一个空间，通过一定的方法将它们变换到同一个空间里，并保证变换后的特征是相似的。-基于模型的迁移基于模型的迁移，构建参数共享的模型，常见于神经网络中，如finetune就是典型的模型迁移的例子。-基于关系的迁移基于关系的迁移，通过挖掘和利用关系进行模型类比迁移。2.电信联邦迁移学习部署模式电信联邦迁移学习部署模式如图 9 所示，电信领域应用联邦迁移学习的部署模式主要包括：1，基于网管或边缘云的网络内部模型迁移；2，基于私有云的模型跨运营商/机构迁移；3，私有云与公有云之间的模型跨运营商/机构/行业迁移。-16-图 9 迁移联邦学习部署模式（五）联邦学习优化技术（五）联邦学习优化技术1.安全与隐私增强技术安全与隐私增强技术在联邦学习中，参与联邦学习的各方通过交换参数而非交换本地数据的方式完成模型训练，在一定程度上保证了本地数据的安全与隐私，但依然存在安全风险依然存在安全风险，如投毒攻击、对抗样本攻击以及隐私泄露问题等。其中投毒攻击投毒攻击主要是指在训练或再训练过程中，恶意参与者通过攻击训练数据集或模型，例如添加错误的标签或有偏差的数据来降低数据质量或是发送错误的参数或损坏的模型来破坏全局模型的学习过程，来降低机器学习模型的训练质量。对抗攻击对抗攻击是指恶意构造输入样本，导致模型以高置信度输出错误结果。隐私泄露风险一般是由于参与者或服务器是恶意的（或是诚实并好奇的），通过模型参数更新来推测参与方的数据集信息，造成参与方的隐私泄露。针对此，业界提出了投毒防御、对抗攻击防御、差分隐私、安全投毒防御、对抗攻击防御、差分隐私、安全-17-多方计算和同态加密多方计算和同态加密等技术进行应对。a)投毒防御a)投毒防御联邦学习中的投毒防御主要包括数据投毒防御和模型投毒防御。针对数据投毒数据投毒，防御方法包括利用身份验证机制在各参与方进行数据交互之前来保证参与节点的可靠性；利用上下文信息进行训练集中有毒样本点的检测以及其他防御机制。针对模型投毒模型投毒，防御的重点在于对恶意参与方的识别以及对错误更新参数的检测，包括模型准确度检测和参数更新统计差异检测等。b)对抗攻击防御b)对抗攻击防御在机器学习领域中，已经出现大量对抗攻击防御方法，有些机制同样适用于联邦学习的对抗防御。其中，对抗训练对抗训练是常用的防御手段，即将真实的样本和对抗样本一起作为训练集，来训练出最后的模型。对抗训练适用于多种监督问题，它可以使得模型在训练过程中就学习到对抗样本的特征，提高了模型的健壮性。防御蒸馏方法防御蒸馏方法是通过对先利用训练集训练得到的模型迁移到另一个模型上，从而降低原模型被攻击的成功率。梯度正则化方法梯度正则化方法在训练模型的目标函数上对输入与输出的变化进行惩罚，从而限制了输入的扰动对于预测结果的影响。c)差分隐私c)差分隐私2006 年微软的 Dwork 提出差分隐私概念以应对差分攻击问题。差分隐私的思想就是对原始数据的转换或者是对统计结果添加 0-均值噪声来达到隐私保护效果。如果一个方法满足通过引入噪声使至多相差 1 个数据的 2 个数据集查询结果概率不可分，那么该方法就是满足-18-差分隐私要求的，可称为差分隐私保护算法。目前差分隐私常用机制有两种，针对数值型输出的 Laplace 机制和针对非数值输出的指数机制。Laplace 机制，是在查询结果里加入 Laplace 分布的噪音；指数机制则在查询结果里用指数分布来调整概率。d)安全多方计算d)安全多方计算安全多方计算最初由图灵奖获得者、中科院院士姚期智在 1982 年通过百万富翁问题提出，解决一组互不信任的参与方各自持有秘密数据，协同计算出一个既定函数的问题，在保证参与方获得正确计算结果的同时，任何一方均无法得到除应得的计算结果之外的其他任何信息。安全多方计算具有严格的安全定义，包括隐私性、正确性、公平性（可选）、结果传递保证（可选）隐私性、正确性、公平性（可选）、结果传递保证（可选）等方面。整个计算过程在保证计算结果正确的同时，不泄露任何参与方的原始秘密数据和计算过程中的明文中间信息，各数据提供方对其拥有的数据始终拥有控制能力，因此可被用于联邦学习的实现过程。e)同态加密e)同态加密同态加密是一种特殊的加密算法，它允许在加密之后的密文上直接进行计算，且解密后的计算结果与基于明文的计算结果一致允许在加密之后的密文上直接进行计算，且解密后的计算结果与基于明文的计算结果一致。在纵向联邦学习场景中，可以利用同态加密技术实现对用户数据的隐私保护。根据支持密文运算的程度，同态加密方案可以分为部分同态加密方案和全同态加密方案两类。部分同态加密算法只能支持加法同态或乘法同态，例如Paillier算法支持密文间的加法运算，但不支持乘法运算等。全同态算法对密文上的计算深度和运算方法支持更为完备，然-19-而目前只是在理论层面论证可行性，其核心算法和性能问题尚未得到突破，并且存在计算代价高、密钥生成时延大等问题。2.高效传输与通信开销降低高效传输与通信开销降低在联邦学习模型训练过程中，参与方与中央服务器之间需要进行多轮次的数据（模型、参数）传输，特别是在所需的全局模型规模较大的情况下，网络带宽限制和工作节点数量可能会加剧联邦学习的通信瓶颈。因此联邦学习过程中的高效传输与通信开销降低具有重要的现实意义。减少通信开销通常从减少通信总次数/降低通信频率以及降低单轮通信回合的通信总比特数入手，前者主要依靠降低模型更新频率和选择更少的客户端进行通信降低模型更新频率和选择更少的客户端进行通信，后者则主要依靠适当的模型压缩适当的模型压缩来实现。具体的方法包括基于降低模型频率的优化方法、基于模型压缩的优化方法等。a)基于降低模型更新频率的优化方法a)基于降低模型更新频率的优化方法具体的机制包括联邦平均算法联邦平均算法和参数冻结参数冻结等。其中联邦平均算法联邦平均算法是通过本地计算代价来换取通信代价，将局部随机梯度下降与执行模型平均的服务器相结合,通过客户端先多次迭代本地更新再将本地迭代结果发送给服务器。这种方式在参与方数据为独立同分布时效果较好；而当参与方数据为非独立同分布时，通信成本的降低效果则会变得不明显。参数冻结参数冻结是根据各参与方在联邦学习训练过程中本地模型收敛程度的不同，来引入参数冻结期。随着联邦学习模型训练迭代次数的增-20-加，有的本地模型参数可能已经趋于稳定不再更新，可以将判断为稳定的参数，进行冻结并引入冻结期。冻结一段时间后将参数解冻，参与更新并重新判断是否稳定。各联邦参与方只上报不稳定的本地模型参数梯度给中央服务器进行汇聚，稳定参数只参与本地模型梯度更新，不参与全局模型梯度更新。参数冻结也叫冷冻神经元，该方法可以保证全局模型的稳定，波动较小，使得在不降低模型精度的情况下降低通信开销。b)基于模型压缩的优化方法b)基于模型压缩的优化方法模型压缩是将更新的模型结构用更少的变量信息来进行描述，压缩方案可以是梯度稀疏、概率量化、梯度量化、随机选参梯度稀疏、概率量化、梯度量化、随机选参等方法的一种或多种组合。模型压缩可以在联邦学习的不同阶段执行，例如参与方训练本地模型之前，即中央服务器压缩全局模型的规模后广播给各参与方；参与方上传更新模型之前，各参与方压缩本地训练模型参数的规模后上传给中央服务器。其中，梯度稀疏梯度稀疏允许参与者只上传一小部分具有显著特性的梯度，从而减少每一轮的通信有效载荷。概率量化概率量化是本地更新模型向量化后，对其权重量化。梯度量化梯度量化是将梯度量化成低精度值而非直接上传原始梯度值，降低每轮次通信比特数，但这样会降低精度，反而有可能增加总体计算能耗。随机选参随机选参是各参与方在上报模型参数时，通过生成随机数种子，随机上传固定比例的模型参数值来压缩模型，在中央服务器端利用各参与方的随机数种子恢复模型参数并汇聚。例如，有 100 个参与方，每个参与方随机上传 20%的参数，中央服务器进行模型恢复（最优的情况是 5 个参与方就可以-21-恢复模型），这样通信量只有原本的 20%。随机选参适用于有大量参与方（大于 100）共同联邦的场景，在联邦初始阶段就可以进行模型压缩，不会增加额外的计算量，在不降低模型精度的情况下降低通信开销。3.客户端调度与选择客户端调度与选择在实际联邦学习中，受限于客户端状态、网络条件等，在每轮迭代训练中只选择一部分客户端节点参与联邦训练过程。但是，由于在联邦学习环境中存在大量的异构客户端，其异构性包括其设备存储、计算和通信能力存在异构性、本地数据的非独立同分布性以及所需模型的异构性等问题。因此客户端节点的选择对联邦学习过程中计算效率、通信效率、最终模型效果及公平性等至关重要。目前客户端调度与选择策略包括随机选择、迭代效率最优、经验驱动随机选择、迭代效率最优、经验驱动等。其中，随机选择策略随机选择策略由中央服务器每次迭代以平均概率从总共的个客户端里随机挑选个参与训练。随机选择策略简单易操作，但难以适应客户端异构性带来的影响。迭代效率最优迭代效率最优选择策略是考虑客户端节点的数据、算力和模型差异对联邦效果的影响，在一轮中选择对模型收敛最有利的客户端来进行迭代训练。这种策略能减少迭代次数，但每轮的评价与选择过程存在泄露客户端节点隐私的可能。经验驱动经验驱动的选择策略是将每一轮的迭代看作一个马尔科夫过程，通过收集每一轮迭代训练的性能表现作为经验，来不断更新客户端选-22-择的策略。这种方式的自适应能力更强，但获得较优策略的时间可能较长，引入的计算代价较高。4.模型训练优化模型训练优化联邦学习作为一种特殊的分布式机器学习，考虑客户端的数据、计算和通信能力、模型特征以及模型参数更新方式等，其模型训练过程可以进行一系列的自适应调整和优化，例如变频变步、可持续学习变频变步、可持续学习等。其中变频变步变频变步是指在联邦学习训练过程中实时调整每轮次的通讯频率和学习率。由于在联邦学习训练过程中，不同客户端给出的梯度方向可能由相同逐渐到不同，这个过程定义为梯度分叉。梯度分叉会导致全局模型参数停滞在非全局最优点，准确率无法达到最优值。在各联邦参与客户端上报本地模型梯度给中央服务器后，由中央服务器计算所有本地模型梯度分叉程度，调整下一个迭代所有客户端本地模型训练的通讯频率和学习率（学习步长），通过反复迭代进行这种调整，使得最终模型参数收敛于全局最优值。变频变步方法提高了模型准确率，但有可能需要更多的模型聚合迭代次数。可持续学习可持续学习指在联邦学习过程中充分利用模型特征来针对性地激活、训练新模型，并在不影响任务效果的基础上对旧模型进行适应性调整，其中包括对特征空间变化的持续学习和标签空间变化的持续学习对特征空间变化的持续学习和标签空间变化的持续学习等。其中对特征空间变化的持续学习可以利用共同子空间法和特征对齐变换法来解决特征空间变化问题。在标签空间变化的可持续学习-23-中随着时间的推移，目标任务中可能会出现新类别的数据。此时，有中心损失函数法、深度样例学习法、自适应增量学习模型等多种可行方案来应对这种数据标签变化的情况。其中，中心损失函数法通过在损失函数中引入新的惩罚项，使得属于同一类样本的特征更加汇聚，增加了样本特征的可鉴别性，适当调整输出层参数即可保持学习器的鉴别分类能力。深度样例学习方法结合了深度学习的强特征提取能力和样例学习的高新类别容忍度，从而适于解决任务标签变化问题。自适应增量学习模型通过新增级联的分类器追踪了数据标签的变化，与此同时也增强了模型的特征提取能力，有助于提升模型的学习精度。5.个性化联邦个性化联邦在电信网络中，联邦学习通过分布式学习所有参与的网络设备或终端设备的本地数据而获得更泛化的全局模型，但同时缺少了捕获每个客户端或设备个性化信息的能力。此外，联邦学习在实际复杂的电信网络中应用时需要解决设备在数据、计算和通信能力方面的异构性和根据其应用场景所需要的模型异构性问题等。个性化联邦学习通过在设备、数据和模型级别上进行个性化处理，来减轻异构性并考虑每个客户端所获得的个性化模型，主要包括迁移学习、元学习、多任务学习、分层多模型迁移学习、元学习、多任务学习、分层多模型等。其中迁移学习迁移学习通过将全局共享模型迁移到分布式网络或边缘设备上，并进一步对模型进行个性化处理，从而减轻网络中设备之间的异构性问题。元学习中，模型是由一个能够学习大量相似任务的元学习-24-者来训练的，训练模型的目标是从少量的新数据中快速适应新的相似任务。联邦元学习联邦元学习将元学习中的相似任务作为设备的个性化模型，将联邦学习与元学习相结合，通过协作学习实现个性化处理。分层多模型联邦学习分层多模型联邦学习中的模型采用分层结构，首先对所有层进行全局训练，每层有多个功能相同的模块。同层的不同模块可以使用不同的神经网络，也可以使用不同的计算学习算法。因此可以根据终端的性能差异选择不同的模块或算法进行个性化实现。联邦多任务学习联邦多任务学习的目标是同时学习不同设备的不同任务，并试图在保护隐私安全的情况下捕捉模型之间的关系，并利用模型之间的关系来使得每个设备模型可以获取其他设备的信息，从而既实现模型的个性化又能够提高模型的泛化能力。三、电信联邦学习应用（一）基于横向联邦学习的（一）基于横向联邦学习的 ONT 精准识别应用精准识别应用1.背景需求背景需求随着家庭宽带服务业务的多样化和个性化升级，目前国内外运营商开始向家庭用户推出针对不同应用场景，例如电竞场景、VR/AR场景的光网络终端（Optical Network Terminal,ONT）套餐，通过各家庭用户 ONT 上的 AI 模型识别接入网络的应用，来保证对相关应用的宽带服务。然而，由于不同地区每个家庭用户接入网络应用的数据样本不同，且不断有新的应用数据产生，AI 模型劣化、泛化能力弱，-25-导致应用识别准确率低。同时，各地海量 ONT 上应用识别过程涉及家庭用户个人数据，由于隐私保护需求难以将数据集中训练，导致应用识别项目的产品上市时间（Time-to-Market,TTM）时间长。各家庭用户进行应用识别时所需的特征标签一致，因此可以在不同的家庭用户之间利用横向联邦学习来提高模型的识别准确率和泛化能力。2.技术方案技术方案如图 10 所示，基于横向联邦学习架构，通过向各家庭用户 ONT配置部署联邦学习客户端（Federated Learning Client,FLC），当 ONT发现新的未知应用或检测到特征发生漂移，上报联邦学习服务器（Federated Learning Server,FLS）需重新进行模型训练；FLS 下发模型到各个 FLC 进行模型的增量学习，并利用差分隐私和多方可行计算解决 ONT 和 FLS 之间的通信隐私安全，利用参数冻结和节点调度技术来提高海量 ONT 之间共同参与联邦学习的通信效率；并利用持续学习、自适应聚合等训练优化技术来解决各 ONT 数据样本不同以及新应用数据产生带来了模型准确率下降等问题。-26-图 10 基于横向联邦的 ONT 应用识别3.前景价值前景价值通过海量 ONT 之间的横向联邦学习，有效解决家宽服务识别模型劣化、准确率下降、泛化能力弱等问题，实现 ONT 家庭应用的精准识别，提升品质家宽增值业务的产品上