2023联邦学习全球研究与应用趋势报告.pdf

清华大学深圳国际研究生院知识工程研究中心 北京智谱华章科技有限公司 开放群岛开源社区 2023 联邦学习全球研究与应用趋势报告 I 主要发现 “中美双雄”引领全球联邦学习发展 中国和美国的联邦学习论文发布量遥遥领先于其他国家。六成以上高被引论文来自中美两国，中美两国论文合作数量也是全球最多；七成以上最佳论文来自中美两国。联邦学习全球高被引论文领先的机构是谷歌（11 篇）、卡内基梅隆大学（7 篇）。中国的高被引论文量较多的机构是北京邮电大学、香港科技大学、中山大学以及深圳市大数据研究院。最佳论文数量则是卡内基梅隆大学与香港科技大学各以 3 篇而并列第一。全球高被引论文作者主要聚集在中美，美国的高被引论文作者数量是中国的 2.3 倍。全球专利受理数量以中国地区最多，约占全球受理总量的七成。专利申请数量前三名机构全部是中国机构。联邦学习的九成以上国家自然科学基金资助是青年科学基金项目和面上项目。开源框架主要来自中美，其中 OpenMined 推出的 Pysyft、FATE开源社区的 FATE 热度超过 4000，居于第一梯队；FedML.AI 的FedML、Adap 的 Flower、谷歌的 TFF 等框架的热度也较高，热度超过 2000，且 FATE 和 FedML 两个框架目前已推出 LLM 模块。未来联邦学习研究趋势将更多与算法模型和安全隐私技术相关 目前联邦学习研究热点主要聚焦在机器学习方法、模型训练、隐私保护三方面。未来几年研究将更多涉及算法模型和安全隐私技术，如数据隐私、差分隐私、边缘计算、物联网、同态加密等。可信联邦学习成为重要趋势，联邦大模型技术、模型产权保护（IPR）、模型定价等正在初步探索。行业应用越来越成熟，应用研究方向呈现出更多与物联网、区块链、客户端、电子设备等融合的态势。II 目录 1.报告说明.1 1.1 数据范围.3 1.2 联邦学习知识树.3 2.引言.5 3.联邦学习技术研究与应用现状.10 3.1 技术研究现状.10 3.1.1 科研论文成果现状.10 1 论文发表量复合年增长率为 38.6%.10 2 论文发布量以中美两国为引领.11 3 研究热点涵盖应用、系统和模型设计、安全隐私三个领域.12 3.1.2 高被引论文分析.20 1 六成以上高被引论文来自中美两国.20 2 美国的论文被引用量全球显著领先.21 3 谷歌拥有最多数量的高被引论文.23 4 联邦学习十大算法.23 5 高被引论文 TOP10 解读.25 6 中美两国论文合作数量全球最多.33 7 美英两国合作论文被引量全球领先.34 8 七成以上论文存在跨机构合作现象.35 9 物联网期刊是发布高被引论文最多的渠道.36 10 国际顶会相关论文收录量逐年增加.37 3.1.3 联邦学习的特刊、书籍和综述.38 1 特刊.38 2 书籍.41 3 综述.44 3.1.4 联邦学习研讨会最佳论文.47 1 七成以上最佳论文来自中美两国.47 2 卡内基梅隆和香港科大最佳论文量并列第一.48 3 FL-IJCAI 获奖作者人次以中国居首，FL-NeurIPS 则以美国领先.49 4 FL-ICML 系列最佳论文作者次数最多的机构是瑞士 EPFL 与韩国 KAIST III .52 5 FL-AAAI 系列最佳论文作者半数以上为华人.53 3.1.5 高被引论文作者的人才地图与画像.54 1 全球高被引论文作者主要聚集在美国和中国.54 2 美国高被引论文学者量是中国的两倍以上.55 3 谷歌是高被引论文学者量最多的机构.56 4 近三成高被引论文作者供职于企业.57 5 不同研究方向的代表学者画像.58 3.1.6 专利申请现状.75 1 全球专利申请总体呈现上升趋势.75 2 全球专利受理情况以中国地区最多.76 3 中国是联邦学习技术第一大来源国.77 4 国内专利申请以北京、广东和浙江领先.77 5 两家金融机构专利申请量较为突出.78 6 专利技术创新点最多聚焦于客户端与区块链.79 7 专利申请最多布局在机器学习与数据存取访问平台保护两个 IPC 分类 80 8 引入新兴技术创新点的联邦学习专利已开始萌芽.82 3.1.7 国家自然科学基金项目资助分析.84 1 NSFC 相关资助项目数量与金额近年来明显增加.85 2 香港地区基金资助项目多于澳门基金资助量.89 3 基金国际合作项目较多资助了安全与隐私研究方向.91 3.2 联邦学习框架与系统现状.92 3.2.1 开源框架.93 1 OpenMinedPySyft.97 2 FATE 开源社区FATE.98 3 FedML.AIFedML.100 4 谷歌TensorFlow Federated，TFF.102 5 字节跳动Fedlearner.103 6 百度PaddleFL.104 7 京东九数联邦学习 9NFL.105 3.2.2 非开源框架与系统.106 1 腾讯Angel PowerFL.110 2 京东科技Fedlearn.111 IV 3 平安科技蜂巢.112 4 富数科技FMPC.113 5 星云 Clustar AIOS.115 6 光之树科技天机、云间.116 7 翼方健数翼数坊 XDP.118 8.AIIA电信领域联邦学习技术架构.120 9.中国工商银行工行联邦学习平台框架.121 3.3 联邦学习行业应用现状.122 4.联邦学习发展趋势.135 4.1 研究趋势.135 4.1.1 总体趋势.135 4.1.2 联邦学习与大模型技术的融合趋势.136 1 联邦大模型是 AI 大模型时代的产物.136 2 联邦学习大模型相关论文.141 4.2 技术成熟度.143 4.3 市场化与商业化趋势.146 4.4 国内外相关标准.147 4.5 生态建立与发展.149 5.结语.151 附录一 联邦学习领域顶级国际期刊会议列表.153 附录二 联邦学习架构和应用规范简介.154 附录三 联邦学习特刊的部分已发表文章.155 Computer Networks 联邦学习特刊已发表文章.155 Computers&Security 联邦学习特刊已发表文章.157 IEEE INTELLIGENT SYSTEMS 联邦学习特刊已发表文章.158 Electronics 联邦学习特刊已发表文章.160 Wireless Communications and Mobile Computing 联邦学习特刊已发表文章.161 参考文献.165 致谢.171 版权说明.172 V 人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 编写团队 顾问 李涓子 清华大学人工智能研究院知识智能中心 唐杰 清华大学人工智能研究院知识智能中心 编写团队 张淼 张建伟 张淳 商莹玥 孙旭东 徐洁 数据 仇瑜 赵慧军 宋健 孙尧 排版设计 边云风 韩宇 周凯杰 人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 1 1.报告说明 联邦学习全球研究与应用趋势报告是一个追踪联邦学习领域动态和进展的非营利性项目。2023 年度报告是本系列第三期，旨在更新展示联邦学习科研成果与技术应用的最新动态。在过去的一年里，AI 世界已经进入一个以大模型引领的新的发展阶段。人们在惊叹大模型的强大能力的同时，也在担忧其训练数据来源合规性、数据使用的偏见性等安全风险隐患；同样，在行业监管环境越来越规范化、信息安全与隐私数据越来越受重视的背景下，联邦学习研究和应用趋势也逐渐迈向可信联邦学习。联邦学习（Federated Learning）是在进行分布式机器学习的过程中，各参与方可借助其他参与方数据进行联合建模和使用模型。参与各方无需传递和共享原始数据资源，同时保护模型参数，即在数据不出本地的情况下，进行数据联合训练、联合应用，建立合法合规的机器学习模型1。联邦学习是一种新兴的人工智能基础技术，其概念于 2016 年由谷歌公司 H.Brendan Mcmahan 在论文Federated Learning of Deep Networks using Model Averaging 23 中最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，后来经香港科技大学与微众银行杨强教授所领导团队在 2018 年将其扩展为机构间 B2B 分布式联合建模架构，包括按样本、特征分割以及异构多方建模，同时可以建立去中心协调器的 Peer-to-Peer 架 1 杨强、刘洋、陈天健等：联邦学习，中国计算机学会通讯，2018 年版第 11 期，第 49-55 页.2 McMahan,H.B.,Moore,E.,Ramage,D.,&y Arcas,B.A.(2016).Federated learning of deep networks using model averaging.arXiv preprint arXiv:1602.05629.3 注：该论文后于 2017 年以Communication-Efficient Learning of Deep Networks from Decentralized data 为标题发表于 AISTATS 2017。人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 2 构形式，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率、安全、可靠的机器学习。联邦学习同时包括鼓励多方持续参与合作生态的激励机制，建立正向激励的数据价值交易市场机制。当下，联邦学习已经被大量应用于金融4、安防5、医疗6、在线推荐系统7等领域。联邦学习有望成为下一代人工智能协同算法、隐私计算和协作网络的基础。2023 年，美国白宫发布了 国家人工智能研发战略计划，其中，“促进联邦机器学习方法（Federated ML）”被列为首要战略的十大优先事项之一，即列入“对基础和负责任的人工智能研究进行长期投资”战略。2023 联邦学习全球研究与应用趋势报告主要从技术研究、学者画像、主流框架、行业应用，以及发展趋势几大方面，较为全面深入地介绍联邦学习自 2016 年诞生以来到2022 年的技术研究和应用进展，并展望该技术的未来发展方向与前景。本期报告不仅将数据范围扩展到 2016-2022 年、更新了相关技术数据统计、现状进展等内容，重点突出展示了该领域具有较高技术质量、创新力的科研成果，例如，对科研实践具有较大影响力的高被引论文及其作者的分析、来自知名人工智能国际顶会的联邦学习专题研讨会最佳论文相关分析等，而且增加了联邦学习领域的国家自然科学基金获批项目分析、以及融合了大模型技术 4 https:/www.fedai.org/cases/utilization-of-fate-in-anti-money-laundering-through-multiple-banks/5 Liu,Y.,Huang,A.,Luo,Y.,Huang,H.,Liu,Y.,Chen,Y.,Feng,L.,Chen,T.,Yu,H.,&Yang,Q.(2020).“FedVision:An Online Visual Object Detection Platform Powered by Federated Learning,”Proceedings of the AAAI Conference on Artificial Intelligence,34(08),13172-13179.6 Li W.et al.“Privacy-Preserving Federated Brain Tumour Segmentation,”In:Suk HI.,Liu M.,Yan P.,Lian C.(eds)Machine Learning in Medical Imaging.MLMI 2019.Lecture Notes in Computer Science,vol 11861.Springer,Cham.7 Ben Tan,Bo Liu,Vincent Zheng,and Qiang Yang.2020.A Federated Recommender System for Online Services.In Fourteenth ACM Conference on Recommender Systems(RecSys 20).Association for Computing Machinery,New York,NY,USA,579581.DOI:https:/doi.org/10.1145/3383313.3411528 人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 3 的联邦学习论文和专利分析，以展示更加丰富的联邦学习新方向和新探索。1.1 数据范围 本报告研究数据范围是科技情报大数据挖掘与服务系统平台 AMiner 数据库所收录的2016-2022 年期间与联邦学习研究主题强相关的论文数据、专利数据以及公开数据等。论文的引用量数据统计截止日期为 2023 年 3 月 31 日。1.2 联邦学习知识树 本报告根据联邦学习的关键技术和相关技术，以及该领域高被引学术论文的研究主题，将挖掘出的全球活跃的联邦学习重要技术点表征为知识树结构，如图 1 所示。人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 4 图图 1 1 联邦学习知识树联邦学习知识树 人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 5 2.引言 人工智能未来能否可持续发展面临三大困境。一是数据困境。人工智能和机器学习算法具有对数据强依赖的特性。现实中，多数行业领域存在着数据有限且质量较差的问题，并且数据以碎片化的形式分散存在，不足以支撑人工智能技术的实现。同时，数据源之间存在着难以打破的壁垒。由于行业竞争、隐私安全、行政手续复杂等问题，数据还多是以孤岛形式存在的。此外，研究界和企业界目前的情况是收集数据的一方通常不是使用数据的一方。因此，将分散在各地、各机构的数据进行整合用于机器学习所需的成本非常巨大。二是法律挑战。当前，重视数据隐私和安全已经成为世界性的趋势，各国都在不断地推出和加强对数据安全和隐私保护相关法规的完善。欧盟 2018 年正式施行通用数据保护条例（General Data Protection Regulation,GDPR）。在中国，全国信息安全标准委员会先后于 2017 年 12 月和 2020 年 3 月发布了两版 信息安全技术个人信息安全规范（GB/T 35273-2017、GB/T 35273-2020），对个人信息收集、储存、使用做出了明确规定。此外，在 2017 年起实施的中华人民共和国网络安全法8 和中华人民共和国民法总则9 中也指出网络运营者不得泄露、篡改、毁坏其收集的个人信息，并且与第三方进行数据交易时需确保在合同中明确约定拟交易数据的范围和数据保护义务。2021 年陆续公布实施了数 8 中华人民共和国网络安全法，中共中央网络安全和信息化委员会办公室、中华人民共和国国家互联网信息办公室,http:/ 9 中华人民共和国民法总则，中华人民共和国中央人民政府，http:/ 人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 6 据安全法10、个人信息保护法11、关键信息基础设施安全保护条例12，为数据安全提供了法律保护，更规范了数据的合法合规使用。三是算力困境。尽管计算设备的性能不断提升，但 AI 算法的复杂性和计算需求也在同步增长。算力不足成为当前人工智能发展面临的另一个困境。分布式计算通过将计算任务分散到多个计算节点上来提高计算能力和效率，既可以减轻集中计算的压力，又可以通过动态调整计算节点的数量来适应不同的计算需求，具有可靠性和可扩展性，有助于解决人工智能发展的算力困境。针对以上困境，“狭义”联邦机器学习的概念于 2016 年由谷歌研究人员首先提出，随后成为解决数据孤岛问题、满足隐私保护和数据安全的一个可行性解决方案 13。联邦学习的特征是数据不出本地、各个参与者的身份和地位平等，它能够实现多个参与方在保护数据隐私、满足合法合规要求的前提下进行机器学习，协同地进行模型训练与结果预测，并且建模效果和将整个数据集放在一处建模的效果相同或相差不大（在各个数据的用户对齐（user alignment）或特征对齐（feature alignment）的条件下）13，从而实现企业间的数据融合建模，解决数据孤岛问题。“广义”联邦学习的概念由香港科技大学杨强教授所领导的微众银行 AI 团队在 2018 年提出，该团队将联邦学习扩展为机构和个人间的 B2C 模式和不同机构间 B2B 分布式联合建模架构，包括按样本、按特征分割以及异构多方建模，同时可以建立去中心协调器的 Peer-10 中华人民共和国数据安全法，中国人大网，2021 年 06 月 10 日，http:/ 11 中华人民共和国个人信息保护法，中国人大网，2021 年 08 月 20 日，http:/ 12 关键信息基础设施安全保护条例，中国政府网，2021 年 08 月 17 日http:/ 13 杨强、刘洋、陈天健等：联邦学习，中国计算机学会通讯，2018 年版第 11 期，第 49-55 页.人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 7 to-Peer 架构形式，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率、安全、可靠的机器学习和模型使用。联邦学习同时包括鼓励多方持续参与合作生态的激励机制，建立正向激励的数据价值交易市场机制。如上所述，根据孤岛数据的分布特点（用户与用户特征的重叠情况），联邦学习可以分为横向联邦学习、纵向联邦学习与联邦迁移学习 14。联邦学习能够成功的一个重要根基，在于与激励机制、隐私和安全保护等技术的融合。联邦学习激励机制研究的是如何量化每个参与方对数据联邦带来的收益，公平地与参与者分享部分收益以此作为激励，从而实现数据联邦长期的可持续经营15。为了防止攻击者通过梯度匹配和模型反演等攻击手段复现原始数据，联邦学习通过与安全多方计算（Secure Multi-Party Computation,MPC）、同态加密（Homomorphic Encryption,HE）、差分隐私（Differential Privacy,DP）和可信执行环境（Trusted Execution Environment,TEE）等隐私计算技术相融合，进一步提升对数据的隐私保护。然而，隐私保护方法的使用往往带来联邦学习中模型性能的损失或者模型训练（或推理）效率的下降。因此联邦学习与隐私计算技术的融合通常需要在模型精度、模型训练效率和隐私（或安全）保护程度这三个维度之间进行权衡。这三个维度也是可信联邦学习中最重要的三个优化目标。如何能够在这三个维度上得到综合性的提升，是联邦学习的一个热点研究方向1617。随着联邦学习的研究和应用 14 Liu Y,Chen T,Yang Q.Secure Federated Transfer Learning FrameworkJ.IEEE Intelligent Systems,vol.35,no.4,pp.70-82,1 July-Aug.2020.15 杨强，刘洋，程勇，康焱，陈天健：联邦学习，电子工业出版社：北京，2020 年:99-99.16 Girgis,Antonious M.,Deepesh Data,Suhas Diggavi,Peter Kairouz,and Ananda Theertha Suresh.Shuffled model of federated learning:Privacy,accuracy and communication trade-offs.IEEE journal on selected areas in information theory 2,no.1(2021):464-478.17 Zhang,Xiaojin,Yan Kang,Kai Chen,Lixin Fan,and Qiang Yang.Trading off privacy,utility and efficiency in 人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 8 不断深化，可信联邦学习所涉及的目标维度也在不断延伸，比如，联邦学习的模型鲁棒性18，公平性19，可解释性20，模型的产权保护21等都是支撑可信联邦学习的重要维度。近年来，大模型（又称大型语言模型，Large Language Model，简称 LLM）进入了快速发展的时期。先进的大模型 ChatGPT 2223 在各种自然语言处理任务上的卓越表现，进一步激发了研究机构和各大企业对大模型进行研究和应用的热情，各种通用和垂直领域大模型层出不穷。然而，大模型在实际应用中面临诸多挑战，主要包括：1）训练大模型所需的公域数据即将耗尽；2）模型训练和使用过程中涉及数据隐私保护问题；3）所需巨额的数据、算力等资源带来的高门槛使中小型机构望而却步，不利于技术普惠。联邦学习是应对这些挑战的一个很有潜力的工具。它能够使不同规模的企业利用各自的私有领域数据共同地训练或微调一个或多个大模型，而不必担心私有领域数据的泄露。目前，联邦大模型的研究还处于早期阶段，主要集中在如何使联邦学习参与方高效地微调大模型 24。联邦大模型中的隐私、安全、鲁棒性等问题仍处于探索阶段。federated learning.ACM Transactions on Intelligent Systems and Technology(2022).18 Xie,Chulin,Minghao Chen,Pin-Yu Chen,and Bo Li.Crfl:Certifiably robust federated learning against backdoor attacks.In International Conference on Machine Learning,pp.11372-11382.PMLR,2021.19 Li,Tian,Shengyuan Hu,Ahmad Beirami,and Virginia Smith.Ditto:Fair and robust federated learning through personalization.In International Conference on Machine Learning,pp.6357-6368.PMLR,2021.20 Li,Anran,Rui Liu,Ming Hu,Luu Anh Tuan,and Han Yu.Towards Interpretable Federated Learning.arXiv preprint arXiv:2302.13473(2023).21 Li,Bowen,Lixin Fan,Hanlin Gu,Jie Li,and Qiang Yang.FedIPR:Ownership verification for federated deep neural network models.IEEE Transactions on Pattern Analysis and Machine Intelligence 45,no.4(2022):4521-4536.22 Vaswani,Ashish,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.Gomez,ukasz Kaiser,and Illia Polosukhin.Attention is all you need.Advances in neural information processing systems 30(2017).23 Introducing ChatGPT，https:/ 24 Zhang,Zhuo,Yuanhang Yang,Yong Dai,Qifan Wang,Yue Yu,Lizhen Qu,and Zenglin Xu.FedPETuning:When Federated Learning Meets the Parameter-Efficient Tuning Methods of Pre-trained Language Models.In Findings of the Association for Computational Linguistics:ACL 2023,pp.9963-9977.2023.人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 9 联邦学习作为未来 AI 发展的底层技术，它依靠安全可信的数据保护措施下连接数据孤岛的模式，将不断推动全球 AI 技术的创新与飞跃。随着联邦学习在更大范围和更多行业场景中的渗透及应用，它不仅能辅助人类的工作及生活，也将逐步改变人类的认知模式，促进全社会智能化水平提升，并以“合作共赢”的模式带动跨领域的企业级数据合作，有效降低技术应用的成本和门槛，催生基于联合建模的新业态，进而推动社会经济及发展25。截至目前尚没有关于联邦学习技术发展的权威统计，本报告将主要回顾其从 2016 年诞生至 2022 年的技术发展趋势，作为学者们了解该技术进展的重要渠道。未来我们将定期进行该技术的阶段性回顾。25 微众银行人工智能部、鹏城实验室、腾讯研究院、中国信通院云大所、平安科技、招商局金融科技、电子商务与电子支付国家工程实验室(中国银联)：联邦学习白皮书 V2.0，深圳，2020 年，第 5-7 页.人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 10 3.联邦学习技术研究与应用现状 3.1 技术研究现状 3.1.1 科研论文成果现状 1 论文发表量复合年均增长率为 38.6%基于 AMiner 系统，通过关键词组26在标题和摘要中检索 2016 年至 2022 年论文数据。结果显示，研究时段内联邦学习相关论文共计 6861 篇，自 2016 年被提出以来，研究论文数量逐年增多，2016-2022年的复合年均增长率为38.6%，相关论文趋势如图 2所示。26 联邦学习关键词检索式：federated machine learning OR federated optimization OR federated learning OR federation learning OR(privacy AND distributed AND data mining)OR(secure AND distributed AND data mining)OR(secure AND multiparty)OR(secure AND multi-party)OR(privacy AND multi-party)OR(privacy AND multiparty)OR(privacy AND distributed AND machine learning)OR(secure AND distributed AND machine learning)OR(privacy and joint learning)OR(secure and joint learning)OR(privacy AND distributed AND deep learning)OR(secure AND distributed AND deep learning)人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 11 图图 2 2 联邦学习研究论文趋势（联邦学习研究论文趋势（2 2016016-20222022 年）年）2 论文发布量以中美两国为引领 根据论文作者所在机构所属国家进行排序分析，发现研究时段内联邦学习论文发布量TOP 10 国家依次是中国、美国、英国、印度、加拿大、澳大利亚、德国、俄罗斯、日本和韩国。论文量较突出的国家是中国（2217 篇）和美国（1723 篇），详细信息如图 3 所示。图图 3 3 联邦学习论文发表量联邦学习论文发表量 TOP 10 TOP 10 国家（国家（2 2016016-20222022 年）年）人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 12 3 研究热点涵盖应用、系统和模型设计、安全隐私三个领域（1）总体研究热点 总体来看，基于 AMiner 系统的论文热词分析，发现 2016-2022 年联邦学习领域的研究热点 TOP 10 按热度递减依次包括：Internet of Things（物联网）、aggregation（聚合）、optimization（优化）、blockchain（区块链）、edge computing（边缘计算）、privacy preserving（隐私保护）、differential privacy（差分隐私）、deep network（深度网络）、healthcare（医疗保健）、robustness（鲁棒性）等，如图 4 所示。可见，在研究时段内，联邦学习的主要研究热点是关于应用及相关算法模型，同时，安全272829和 27 Xie,Chulin,Minghao Chen,Pin-Yu Chen,and Bo Li.Crfl:Certifiably robust federated learning against backdoor attacks.In International Conference on Machine Learning,pp.11372-11382.PMLR,2021 28 So,Jinhyun,Baak Gler,and A.Salman Avestimehr.Byzantine-resilient secure federated learning.IEEE Journal on Selected Areas in Communications 39,no.7(2020):2168-2181.29 Li,Bowen,Lixin Fan,Hanlin Gu,Jie Li,and Qiang Yang.FedIPR:Ownership verification for federated deep neural network models.IEEE Transactions on Pattern Analysis and Machine Intelligence 45,no.4(2022):4521-4536.人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 13 隐私303132、效用和效率333435，以及可信和可信赖相关的联邦学习3637成为研究的关键因素。此外，reinforcement learning（强化学习）、multiparty computation（多方计算）、homomorphic encryption（同态加密）、privacy leakage（隐私泄露）、communication efficiency（沟通效率）、vehicle（车辆交互）、wireless communication（无线通信）等相关研究也较热，但在本期报告内没能进入热点 TOP 10。30 Bonawitz,Keith,Vladimir Ivanov,Ben Kreuter,Antonio Marcedone,H.Brendan McMahan,Sarvar Patel,Daniel Ramage,Aaron Segal,and Karn Seth.Practical secure aggregation for privacy-preserving machine learning.In proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security,pp.1175-1191.2017.31 Wei,Kang,Jun Li,Ming Ding,Chuan Ma,Howard H.Yang,Farhad Farokhi,Shi Jin,Tony QS Quek,and H.Vincent Poor.Federated learning with differential privacy:Algorithms and performance analysis.IEEE Transactions on Information Forensics and Security 15(2020):3454-3469.32 Zhang,Chengliang,Suyi Li,Junzhe Xia,Wei Wang,Feng Yan,and Yang Liu.BatchCrypt:Efficient homomorphic encryption for Cross-Silo federated learning.In 2020 USENIX annual technical conference(USENIX ATC 20),pp.493-506.2020.33 McMahan,Brendan,Eider Moore,Daniel Ramage,Seth Hampson,and Blaise Aguera y Arcas.Communication-efficient learning of deep networks from decentralized data.In Artificial intelligence and statistics,pp.1273-1282.PMLR,2017.34 Konen,Jakub,H.Brendan McMahan,Felix X.Yu,Peter Richtrik,Ananda Theertha Suresh,and Dave Bacon.Federated learning:Strategies for improving communication efficiency.arXiv preprint arXiv:1610.05492(2016).35 Liu,Yang,Xinwei Zhang,Yan Kang,Liping Li,Tianjian Chen,Mingyi Hong,and Qiang Yang.FedBCD:A communication-efficient collaborative learning framework for distributed features.IEEE Transactions on Signal Processing 70(2022):4277-4290.36 Zhang,Xiaojin,Yan Kang,Kai Chen,Lixin Fan,and Qiang Yang.Trading off privacy,utility and efficiency in federated learning.ACM Transactions on Intelligent Systems and Technology(2022).37 Trustworthy federated learning,Springer Cham,2023 人工智能之联邦学习 2023 联邦学习全球研究与应用趋势报告 14 图图 4 4 20162016-20222022 年联邦学习领域研究热点词云图年联邦学习领域研究热点词云图 （2）年度研究热点 分年度来看，联邦学习研究热点从机器学习到优化、从信息统计到量子密码、从数据隐私到行业应用，学者们不断探索落地联邦学习的方法，一方面是利用交替方向乘子法（ADMM）、量化、压缩等方式进行联邦学习算法优化，另一方面是引入区块链、密码学、物联网等技术建立全局共享的数据集，并对抗恶意攻击和信息泄露。同时，学者们也对多任务