面向Non⁃IID场景的联邦学习客户端选择算法研究.pdf

联邦学习（FederatedLearning，FL）是一种新兴的机器学习范式，在服务器的协调下，分布式终端设备利用本地数据共同训练一个增强的全局模型，从而保护数据隐私，解决数据孤岛问题。然而在联邦学习过程，客户端数据异质性严重降低了FL的性能。针对上述问题，本文提出了联邦动态客户端选择算法（Fed-eratedDynamicClientSelection，Fe d D CS），该算法通过评估客户端性能，判断局部更新的优化趋势是否与全局优化趋势一致来筛选符合条件的客户端，并动态调整客户端在聚合步骤中的权重。实验结果表明，在不同数据异质性程度下，FedDCS算法与其他基线算法相比最多可提高16.45%的精度，最多能减少8 9.4%的通信轮数。关键词：联邦学习；客户端选择；模型聚合中图分类号：TP391文献标志码：A文章编号：10 0 9-0 3 12（2 0 2 3）0 3-0 0 2 4-0 8随着物联网的快速发展，各种移动设备和物联网设备每天都会产生海量的数据，这为人工智能（ArtificialIntelligence，A I）发展提供了机会 。在传统的分布式机器学习方式中，为实现对具有数百万参数的复杂模型进行训练，用户需要将在设备上生成的数据上传至远端服务器。但是在实际应用中，由于带宽限制和愈发严格的大数据隐私保护等问题2】，此类机器学习范式将不再适用。为打破数据孤岛和行业壁垒，建立健康、可持续的AI生态系统，Google首先提出了一种新兴的机器学习范式，称为联邦学习（FederatedLearning，FL）。在基于FL的分布式训练架构下，边缘侧终端设备可以利用自身采集数据在本地执行训练任务，再将训练好的模型相关信息上传至云服务器进行模型聚合。与传统的机器学习范式相比，联邦学习只涉及模型参数或梯度信息的传输，能有效降低数据传输成本，同时保护用户隐私3-5 。因此，联邦学习被应用到越来越多的领域，如智能城市6 、医疗保健7】禾和推荐系统8 等。虽然FL可以在一定程度上解决数据共享与隐私保护之间的矛盾问题，但FL在技术上仍存在一定的挑战。一般来说，不同的用户可能收集不同来源、不同工具、不同条件下的数据，或者只能获得部分或有偏见的数据，这可能导致客户端数据服从非独立同分布（non-identicallyInde-pendently Distributions，No n-IID）规律，即造成客户端数据异质性问题。数据异质性问题显著降低了FL训练的稳定性9-10。为了解决上述问题，现有研究从不同角度提出了改进算法去优化在Non-IID场景下的FL算法。如加人约束条件，减少优化差异，排除不必要的更新12-13 。然而这些研究工作大多数都是均等地对待所有设备，未考虑到设备数据特征分布的差异性，这将给资源有限的设备带来额外的通信回合，降低了模型性能。为解决联邦平均算法（Federated Averaging，FedAvg）算法5】在Non-IID场景下性能降低的问题，本文提出了一种两阶段客户端选择算法，通过过滤低性能和与全局优化趋势偏差较大的客户端更新来提高FL的性能。具体来说，在每一轮全局模型聚合前，算法先通过性能评估策略选择训练损失较大的客户端，再利用余弦相似度来衡量局部更新与全局更新的优化趋势之间的一致性，以此筛选出对增强全局模型有利的局部更新。最收稿日期：2 0 2 2-0 9-3 0作者简介：张婷（1997 一），女，四川自贡人，硕士生，主要从事联邦学习研究，Email：12 6 12 442 3 0 q q.c o m。*通讯作者：吴宇（198 2 一），男，北京人，副教授，博士，主要从事联邦学习、区块链、物联网等研究，Email：w u y u d g u t.e d u.c n。K25第3 期张婷，等：面向Non-IID场景的联选择算法研究后根据余弦相似度动态调整客户端在全局聚合步骤中的权重，从而聚合得到更优的全局模型。该算法通过选择合适的客户端和动态加权聚合策略，提高联邦学习在图像分类任务的分类精度，同时加快模型的收敛速度。本文的主要贡献如下：1）提出了一种新颖的联邦动态客户端选择(Federated Dynamic Client Selection，Fe d D CS）算法。该算法通过客户端模型与全局模型之间的余弦相似度对客户端的数据异质性程度进行量化，利用相似度信息和客户端模型性能指标来筛选更具潜力的客户端模型。并在此基础对FedAvg算法的聚合策略进行改进，根据相似度信息设计了一个动态加权聚合策略。从而降低来自Non-IID数据的影响，提高全局模型的精度和收敛效率。2）在三个真实数据集上进行了大量实验以评估本文所提出的FedDCS算法的性能。实验表明，与基线算法相比，使用FedDCS算法进行FL训练可以大大减少通信轮数，提高模型精度1相关工作客户端数据异质性在现实的FL场景中很常见，当直接对Non-IID数据应用传统的FL方法时，性能会显著下降。因此，一些FL优化方法致力于提高在Non-IID场景下的FL算法性能。例如，在FedAvg算法的基础上，Li等人】提出的FedProx算法使用正则项来约束局部损失函数，以此平衡全局-局部目标的优化差异。然而，正则项只是限制了本地模型更新相对于初始模型的更新幅度。这会在一定程度上抑制模型的学习能力从而导致精度下降，并不能解决客户端数据异质性问题。为了解决数据异质性导致的“局部漂移”问题，Karimireddy等人【12】提出了一种名为SCAFFOLD的随机控制平均方案，但是该方案使用全局控制变量纠正本地更新会带来较高的通信开销。不同于以往的工作，Li等人3】基于模型对比学习提出了MOON算法，可以修正局部模型与全局模型的偏差。但是MOON算法在训练期间需要同时存储并传递模型，这需要大量的额外资源。综上所述，这些方法限制了局部收敛的潜力，增加内存或计算的开销，增加了FL的成本。由于客户端数据异质性，在跨设备的FL中如何挑选符合条件的客户端参与聚合成为一个关键问题。因为在数据高度异质性情况下，如果贸然聚合质量参差不齐的局部更新会造成全局模型性能下降。为此Cho等人14】扶提出了有偏见（bi-ased）的客户端选择策略，即优先选择具有较高本地损失的客户端。尽管该算法能加快收敛速度，但没有分析数据异质性对客户端选择的影响。受到聚类算法的启发，Sattler等人15】提出了CFL算法，该算法允许数据相似的客户端相互协作，同时最大限度地减少数据不同的客户端之间的干扰。但是CFL算法的时间复杂度较高，增加了通信负担。更多的研究者注意到了在Non-IID环境下，参与聚合的客户端数据质量更加重要。Zhao和Li等人9.16 研究发现，当客户端拥有Non-IID数据时，受到数据质量的影响，FedAvg算法中基于数据样本量加权聚合的策略忽略了数据质量和数据分布的影响，这会减缓FL的收敛速度。为此，Wang等人【17 提出基于信誉感知的节点选择算法来消除表现不佳的本地模型贡献，从而改善移动环境中的FL性能。2方法2.1预备知识一般来说，联邦学习的目标是在一个中央服务器协调下，多个客户端使用本地数据协作训练共享的全局模型，其训练过程如图1所示：1）在每次迭代中，服务器随机选择客户端的子集，并将当前全局模型参数发送给选定的客户端；2）客户端根据接收到的模型参数，利用其本地的数据样本对模型进行更新；3）在本地训练完后，客户端将更新后的模型参数上传到服务器；4）服务器根据客户端的数据样本量将各局部模型加权平均融合成一个增强型的全局模型。上述步骤不断迭代，直到达到指定的通信轮次或者模型收敛为止【3 O考虑一共有K个客户端，客户端kkE1,2,K拥有一个本地数据集D（数据集大小D=丨D）。客户端与中央服务器相连，并寻求合作找到一个最优的全局模型参数文w*，以最小化所有客户端的加权平均损失：K=argmin F(w)=ZpiFk(w)，*W(1)其中p是客户端k的权重，P0并且P=1。=1F（w）表示的局部优化目标：262023年东莞理工学院学报下载全局模型客户端训练模型上传本地模型聚合模型A g g r e g a t i o nWW221ClientClient2.Clientk.图1FedAvg算法示意图F.(w)ZI(w;),(2)DEED其中l（w；）是损失函数，表示模型w对数据样本的推理损失。为了优化这一目标，McMahan等人5】提出了FedAvg算法，这是一种迭代算法，包含多个通信轮次。定义第t轮中客户端k的模型为w，全局模型为w。服务器从客户端中选择一个子集SCK，然后将全局模型w-I发送给所选客户端。然后客户端同步其本地模型w=wo-，并执行随机梯度下降（SGD）以优化其局部目标，训练得到w：1-nVul(wl;D)(3)其中m是第t轮中的学习率。然后，服务器将从客户端接收的本地模型聚合为新的全局模型w：W(4)k=1D其中Pk是客户端k的聚合权重。FedAvgD算法已被证明能够有效地以低通信成本最小化目标，同时保护隐私。然而，如果不同客户端之间的数据分布不一致，则可能会导致联邦学习的性能下降92.2Non-IID数据如何影响联邦学习性能FedAvg算法的聚合策略中，通过对客户端模型参数进行平均化来进行模型聚合。当客户端数据分布服从IID规律时，该算法能够较好的逼近集中式训练的模型5 。然而在实践中，由于Non-IID数据的存在，FedAvg算法收敛不稳定，甚至可能发散9。该问题是由客户端局部目标与全局目标之间的不一致引起的。由于局部目标F（w）与数据分布密切相关，因此大量的局部更新会导致模型朝着局部目标F（w）的最优方向发展，而不是朝着全局目标F（w）【12】优化。随着迭代的进行，局部模型的模型F（w）和全局目标F（w）之间的优化趋势分歧不断累积，需要更多的通信轮次才能达到收敛，降低了联邦学习的性能18 。因此，具有多个局部更新的局部训练可能会损害收敛性，甚至导致发散-12.19-20。全局模型w和局部模型w之间的优化趋势分歧可以用图2 来理解。在第t轮训练中，当数据是IID设置时，对于客户端k，局部模型w和全局模型w的优化趋势基本一致，它们的差异很小。当数据是Non-IID设置时，对于客户端，由于数据分布之间的距离，w和w的优化趋势出现分歧，并随着迭代次数不断累积，分歧逐渐增大。因此在Non-IID设置下，设计有效的联邦学习优化算法是一项具有挑战性的工作。IID SettingsNon-IID SettingsW1Wt+1W+1W5+12Wt+1WtWi+1+1W+1global modelclien 1 modelclien2modelclientk model图2使用IID和Non-IID数据进行联邦学习的优化趋势分歧说明2.3FedDCS算法本小节将对提出的FedDCS算法进行详细的阐述。FedDCS算法假设存在一个中央服务器和K个客户端，每个客户端都有不同的原始数据，客户端利用私有的原始数据对局部模型进行本地训练，并将训练损失和局部模型信息发送到中央服务器中进行全局分类模型聚合。FedDCS算法整体实现流程如表1所示。表1算法1FedDCS算法伪代码Algorithm1FedDCSInput通信轮数：T，客户端集合：K，每轮送代选取的客户端比例：C，客户端子集：S，参与方k的数据集：Dk，本地送代次数：E，学习率：n，局部批量大小：B，P：选择平均训练损失最大的客户端个数Output全局模型w1Server Executes:2Initialize：w/对全局模型进行随机初始化3fort=l,2,.,Tdo4m-max(C K,1)5S(randomsetofmclients)/随机选择m个客户端6fork eSinparallel do7wit,lost-ClientUpdate(k,w)/客户端本地训练27张婷，等：面向Non-IID场景的联邦学瑞选择算法研究第3期89CL+1/客户端选择10w+I Equation(7)）/全局聚合11FunctionClientUpdate（k,w)/客户端本地训练算法12$(splitDintobatchesof sizeB)13fori=l,.,Edo14forbatchbedo15wEquation(3)16loss一Equation（5）/计算客户端k的平均训练损失17retunw,loss18FunctionClient Selection（Lo s s,W,w)/客户端选择算法19CSort(Loss)*p/选取平均训练损失排名前p的客户端20Cos-1121for k=1,.,C do22forwinWdo23CoskEquation(6)）/计算余弦相似度24if Cos:O do25Cos+Cosk26return C,Cos根据算法1伪代码，FedDCS算法主要包含以下几个步骤。1）初始化全局模型参数（算法第2 行）：中央服务器首先初始化全局模型参数w。2）客户端更新并上传本地模型（算法第3-8行）：在每轮全局通信中，确定参与训练的客户端S。客户端k利用w和本地数据资源Dk，根据SCD算法进行本地更新得到本地模型参数wl*，根据公式5计算本地平均训练损失losst+1（算法第11-16 行）。然后将wl+和loss*l上传至服务器。1l=I DI1（5.)2.(5)DieDk3）客户端选择（算法第9行）：服务器对客户端的损失值进行排序，选取损失排名Top-p的客户端子集C+1。这里的p根据经验性选择设置为7 5%。然后使用上一轮通信的全局模型w-1和客户端上传的局部模型w来计算余弦相似度Cos+1，以判断客户端的优化趋势是否有利于增强全局模型（算法第18-2 6 行）。由于模型的优化通常是平滑的，因此本文认为相邻两轮的模型参数顺序差异较小，可以用上一轮的全局模型做参考7。余弦相似度计算公式如下。(6)COS4）聚合模型（算法第10 行）：在模型聚合阶段，一些训练效果不理想的局部模型不仅不能加快模型的收敛速度，还会占用大量的网络传输资源。因此，最好过滤掉不必要的客户端更新，以减少额外的通信成本，增强全局模型。FedDCS算法优先选择余弦相似度为正值、训练损失大的客户端，以减轻高数据异质性客户端带来的模型偏差，同时提高收敛速度。接下来服务器将基于局部模型和全局模型的余弦相似度量化客户端数据异质性，动态为客户端分配聚合权重，加权聚合公式如下：coSktW*Wk(7)cosk=1重复以上步骤，直至全局模型收敛或者达到指定的迭代次数为止。3实验结论3.1实验设置硬件环境：本文所有实验在基于Intel（R）Core（T M）i 7-97 50 H CPU 2.6 0 CH z 处理器的Windows10操作系统，搭配GeForceCTX1650GPU显卡的计算机上运行。实验使用Py-Torchl.10模拟了联邦学习环境，研究了图像分类任务，对算法进行了仿真验证。基线算法：为了更全面评估提出的FedDCS算法，本文选取FedAvg算法5、FedProx算法和Power-of-Choice算法14作为对比，在同等实验条件下，使用全局测试精度和达到目标测试精度所需通信轮数作为性能度量来评估4种算法性能表现。数据集与数据分布：在MINIST，Fa s h i o n-MNIST和CIFAR-1O数据集上训练与McMahan等人5】相同的卷积神经网络（Convolutional NeuralNetwork，CNN）。并且对10 0 个参与的客户端模拟了三种数据异质性情况：对于ID设置，数据样本被随机打乱，然后将样本随机均匀地分给所有的客户端。对于Non-IID设置，在此情况下客户端只持有来自少数有限类的数据：针对MNIST和Fashion-MNSIT，按照数字标签对数据进行排序并划分为两种极端情况。Casel：每个客户端的数据只属于一个标签；Case2：每个客户端的数据只属于两个标签。由于在CIFAR-10数据集上的图像分类任务相对复杂，实验采用Dirichlet分布来模拟Non-IID设置2 1。是浓度参数（0），可以调整的值来控制客户端数据异质性程度，其中越小表示数据异质性越高，Casel：=0.5，Case2:=5。2023年28工学院学报东莞理超参数：为了模拟通信资源有限的真实场景，假设一共有10 0 个客户端，每一轮训练中参与客户端的比例设置为0.2，学习率m设置为0.0 1，客户端训练回合数E设置为5，客户端训练的批样本大小B设置为10，学习衰减率为0.995。对于FedProx算法，将正则项的权重系数设置为0.01，以控制正则项权重。对于Power-of-Choice算法，选择损失最大的客户端个数d设置为10。3.2实验结果3.2.1数据非独立同分布对FL的影响为阐明Non-IID数据对联邦学习性能的影响，本文探究了在IID和Non-IID设置下FedAvg算法在三个数据集上训练CNN模型的模型性能情况。如图3所示，随着数据异质性的程度增大（Case2-Casel），Fe d A v g 算法在精度和收敛速度大幅度下降，甚至出现不收敛的情况，尤其是在Casel设置下，与ID设置相比，训练10 0 轮后FedAvg算法在三个数据集上测试精度分别下降2 3.11%，32.35%，2 8.17%。实验结果表明，客户端数据异质性问题会严重影响FL全局模型的收敛性，使得模型性能下降。通过实验也进一步说明了在FL中考虑数据Non-IID的重要性。MNISTFashion-MNISTCIFAR-101001905080807040606050304040302020IIDIID-LIDCase220Case2Case2CaseiCase10Case1020406080100020406080100020406080Communication Rounds图3数据非独立同分布对联邦学习的影响3.2.2在不同Non-IID设置下比较不同FL方法的收敛性表2 展示了在不同数据异质性情况下，四种联邦学习算法在三个数据集上训练10 0 轮后的测试精度。为了公平比较，所有的实验都用不同的随机种子重复5次，该实验计算了最后10 轮的平均结果。从表2 中可以发现，在不同的数据异质性设置下，FedDCS算法均优于基线算法，精度有较大的提升。以CIFAR-10数据集上的图像分类任务为例，在Casel设置时，FedDCS算法的精度分别比FedAvg，Fe d Pr o x 和Power-of-Choice算法提升16.45%，6.45%，10.2 5%。在Case2设置时，FedDCS算法的精度分别比FedAvg，Fe d Pr o x 和Power-of-Choice算法提升17.9 8%，6.6 7%，10.91%。在ID设置时，FedDCS算法精度分别比FedAvg，Fe d Pr o x 和Power-of-Choice算法提升9.39%，3.6 7%，5.14%。实验结果表明，无论数据的异质性程度如何变化，FedDCS算法在图像分类任务上的性能都优于基线算法。图4描述了在不同数据异质性设置下的三个数据集上四种联邦学习算法的测试精度趋势。从表2 在在不同Non-IID情况下的FL算法准确度Test Accuracy/%HeterogeneityDatasetPower-of-SettingsFedAvgFedProxFedDCSChoiceCase 167.2269.0269.2971.62MNISTCase291.8494.4094.4197.38IID97.5097.9897.6098.83Case 162.5659.7254.7466.29Fashion-Case 283.4083.1082.0984.49MNISTIID90.0589.7489.8990.78Case 129.8039.8036.0046.25CIFAR-10Case 231.1242.4338.1949.10ID46.8552.5751.1056.24图4可以发现，与其他基线算法相比，在不同的数据异质性设置中，FedDCS算法总能达到更高的精度和更快的收敛。尤其在分类任务相对复杂的CIFAR-10数据集上，在训练一开始，FedDCS就超过了其他基线算法，在三种数据异质性设置下（从左到右），分别达到了46.2 3%，49.6 1%，56.14%的精度。而其他基线算法，最高只能达到37.66%，43.6 9%，53.38%的精度。3.2.3通信开销比较为了评估FedDCS算法的有效性，表3记录29第3期张婷，等：面向Non-IID场景的联邦学瑞选择算法研究-FedAvgFedDCSFedProxPower-of-Choice901001008090807080606050404050304020120301020020406080100020406080100020406080100#of rounds#of rounds#of rounds(a)MNIST with Case 1(b)MNIST with Case 2(c)MNIST with IID7090806050854080302030751020020406080100020406080100020406080100#of rounds#of rounds#of rounds(d)Fashion MNIST with Case 1(e)Fashion MNIST with Case2(f)Fashion MNIST with IID501504550404035403030253020201520101010020406080100020406080100020406080100#of rounds#ofrounds#of rounds(g)CIFAR-10 with Case 1(h)CIFAR-10 with Case 2(i)CIFAR-10 with IID图4不同FL方法在不同non-IID情况下的收敛性比较了四种FL算法训练的模型在三个数据集上运行300轮后达到目标精度所需的通信轮数，用ToAx表示，其中x表示模型的目标精度。表3中的“_”表示在有限数量的通信次数中无法达到目标精度。实验结果表明，在三个数据集上，在达到相同目标精度的情况下，FedDCS算法所需总体通信轮数最少，加快了全局模型的收敛并提高了稳定性。与其他基线算法相比，FedDCS算法在MNIST，Fa s h i o n-M NI ST 和CIFAR-1O数据集上分别最多能减少7 4.4%，8 9.4%，7 3.3%的通信轮数。在MNIST数据集上，与FedAvg算法相比，在ToA0.5-Casel设置时，FedDCS算法能够减少7 4.4%的通信轮数；而在ToA0.7-Casel设置时，FedDCS算法则能减少31.6%的通信轮数。在Fashion-MNIST数据集上，在ToA0.5-Casel设置时，与FedProx算法相比，FedDCS算法能够减少8 2%的通信轮数；在ToA0.7-Case2设置时，与FedAvg算法相比，FedDCS算法能减少89.4%的通信轮数。在CIFAR-10数据集上，在ToA0.3-Case1设置时，与FedAvg算法相比，表3不同联邦学习算法运行30 0 轮达到目标精度所需通信轮数ToA0.5ToA0.7DatasetAlgorithmCase1Case 2Case 1Case 2FedDCS3231695FedAvg125824715MNISTFedProx73818117Power-of-Choice82822612FedDCS545一8Fashion-FedAvg2897一76MNISTFedProx2987一17Power-of-Choice2534一18ToA0.3ToA0.5Case1Case 2Case1Case2FedDCS2019288100FedAvg7543296199CIFAR-10FedProx5142286196Power-of-Choice5343287197FedDCS算法能够减少7 3.3%的通信轮数；在ToA0.5-Case2设置时则能减少49.8%的通信轮数。此外，在Fashion-MNIST数据集上的ToA0.7-Casel设置时，所有算法均无法达到7 0%的精度。在CIFAR-10数据集上的ToA0.5-Casel设置时，所有FL算法达到50%精度所需通信轮次几乎没有区别，可能是因为分类任务相对复杂，在302023年东莞理工学院学报如此高异质性情况下，实验使用比较简单的CNN模型去学习到的特征有限，从而需要更多的通信轮次来完成训练。以上实验证实了在Non-IID情况下，与基线算法相比，FedDCS算法具有更高的通信效率，并且对于不同数据异质性情况具有较好的鲁棒性。4结语为优化在Non-IID场景下的FL全局模型的精度和收敛速度，本文提出了一种兼顾性能和优化趋势感知的FedDCS算法。该算法优先选择训练损失大，与全局优化趋势一致的客户端模型参与聚合，以提高FL全局模型的质量。除此之外，还提出了一种简单有效的动态加权聚合策略。该策略根据局部和全局模型的余弦相似度为客户端分配权重，从而平衡客户端上Non-IID数据对全局模型引人的偏差，从而减少了FL训练的通信轮数。实验结果表明，与基线算法相比，使用FedDCS算法的FL训练减少了多达8 9.4%的通信轮数，提高了最多16.45%的精度。参考文献1ZHOU Z,CHEN X,LI E,et al.Edge intelligence:Paving the last mile of artificial intelligence with edge computingJJ.Proceedings of theIEEE,2019,107(8）:17 38-17 6 2.2SOLLINS K R.IoT big data security and privacy versus innovationJ.IEEE Internet of Things Journal,2019,6(2):1628-1635.3KAIROUZ P,McMahan H B,Avent B,et al.Advances and open problems in federated learning JJ.Foundations and Trends in MachineLearning,2021,14(1-2):1-210.4KONECNy J,MCMAHAN H B,YU F X,et al.Federated learning:Strategies for improving communication efficiency EB/OLJ.(2017-10-30）2 0 2 2-0 8-2 3.h t t p s:/a r x i v.0 r g/a b s/16 10.0 5492.5MCMAHAN B,MOORE E,RAMACE D,et al.Communication-efficient learning of deep networks from decentralized data CJ/Artificial in-telligence and statistics.PMLR,2017:1273-1282.6ZHENG Z,ZHOU Y,SUN Y,et al.Applications of federated learning in smart cities:recent advances,taxonomy,and open challengesJ.Connection Science,2022,34(1):1-28.7LIU Q,CHEN C,QIN J,et al.Feddg:Federated domain generalization on medical image segmentation via episodic learning in continuous fre-quency space C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021:1013-1023.8HARTMANN F,SUH S,KOMARZEWSKI A,et al.Federated learning for ranking browser history suggestions EB/OL.(2019-11-26)2022-08-23.https:/arxiv.org/abs/1911.11807.9ZHAO Y,LI M,LAI L,et al.Federated learning with non-id dataEB/0L.(2022-07-21)2022-08-23.https:/arxiv.org/abs/1806.00582.10LUPING W,WEI W,BO L I.CMFL:Mitigating communication overhead for federated learningCJ/2019 IEEE 39th international confer-ence on distributed computing systems(ICDCS).IEEE,2019:954-964.11LI T,SAHU A K,ZAHEER M,et al.Federated optimization in heterogeneous networksJJ.Proceedings of Machine Learning and Systems,2020,2:429-450.12KARIMIREDDY S P,KALE S,MOHRI M,et al.SCAFFOLD:Stochastic Controlled Averaging for On-Device Federated Learning CJ/Proceedings of the 37th International Conference on Machine Learning.PMLR,2020:5132-5143.13LI Q,HE B,SONG D.Model-contrastive federated learning CJ/Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2021:10713-10722.14CHO Y J,WANG J,JOSHI G.Client selection in federated learning:Convergence analysis and power-of-choice selection strategies EB/OL.（2 0 2 0-10-0 3）2 0 2 2-0 8-2 3.h t t p s:/a r x i v.o r g/a b s/2 0 10.0 12 43.15SATTLER F,MULLER K R,SAMEK W.Clustered federated learning:Model-agnostic distributed multitask optimization under privacy con-straintsJ.IEEE transactions on neural networks and learning systems,2020,32(8):3710-3722.16LI X,HUANG K,YANG W,et al.On the convergence of fedavg on non-id dataEB/OL.(2020-06-25)2022-08-23.https:/arx-iv.0rg/abs/1907.02189.17WANG Y,KANTARCI B.A novel reputation-aware client selection scheme for federated learning within mobile environments CJ/2020IEEE 25th International Workshop on Computer Aided Modeling and Design of Communication Links and Networks(CAMAD).IEEE,2020:1-6.18MOHRI M,SIVEK G,SURESH A T.Agnostic federated learning CJ/International Conference on Machine Learning.PMLR,2019:4615-4625.19WANG J,LIU Q,LIANG H,et al.Tackling the objective inconsistency problem in heterogeneous federated optimizationJJ.Advances in31张婷，等：面向Non-IID场景的联邦学习名端选择算法研究第3期neural information processing systems,2020,33:7611-7623.20LI Q,DIAO Y,CHEN Q,et al.Federated learning on non-id data silos:An experimental study CJ/2022 IEEE 38th International Confer-ence on Data Engineering(ICDE).IEEE,2022:965-978.21HSU T M H,QI H,BROWN M.Measuring the effects of non-identical data distribution for federated visual classificationEB/OLJ.(2019-09-132022-08-23.https:/arxiv.org/abs/1909.06335.Research on Federated Learning Client SelectionAlgorithm for Non-llD ScenariosZHANG TingWUYu?*(1.School of Computer Science and Technology,Dongguan University of Technology,Dongguan 523808,China;2.School of Cyberspace Security,Dongguan University of Technology,Dongguan 523808,China)Abstract Federated Learning(FL)is a new machine learning paradigm in which distributed end devices jointly train anenhanced global model with local data under the coordination of servers,thus protecting data privacy and solving the problem of datasilos.However,in the federated learning pr