基于粒子群优化的差分隐私深度学习模型.pdf

第 49卷 第 9期2023年 9月Computer Engineering 计算机工程基于粒子群优化的差分隐私深度学习模型张攀峰1，2，吴丹华1，董明刚1，2（1.桂林理工大学 信息科学与工程学院，广西 桂林 541006；2.广西嵌入式技术与智能系统重点实验室，广西 桂林 541006）摘要：在深度模型差分隐私保护中，过大的梯度扰动噪声会造成数据可用性下降。提出一种基于粒子群优化算法的深度学习模型，根据粒子群优化策略，将粒子的位置映射到网络参数，寻找个体历史最优位置和全局历史最优位置。对全局最优粒子位置所得梯度进行扰动重新参与模型训练，在不改变参数和梯度结构的前提下利用网络传播属性对噪声参数进行优化，运用带扰动的位置参数获取目标函数，最小化经验风险函数，降低噪声对模型效用的损害。在联邦学习模式下，本地客户端利用粒子位置参数更新出本地环境中个体和全局历史最优位置，找到当前最优参数加以扰动，再上传至中心服务器。当每个客户端再次训练时，从服务器请求获取优化、扰动和聚合后的广播参数，参与合作学习。实验结果表明，该算法模型在保护隐私的同时能更好地保留模型可用性，相比 DP-SGD 算法，在 Mnist、Fashion-Mnist和 Cifar-10数据集上的准确率分别提高了 5.03%、9.23%和 22.77%，能够加快联邦学习中的模型收敛，在独立同分布和非独立同分布数据上都具有较好的表现。关键词：差分隐私；噪声参数；粒子群优化；网络训练；联邦学习开放科学（资源服务）标志码（OSID）：源代码链接：https：/ J.计算机工程，2023，49（9）：144-157.英文引用格式：ZHANG P F，WU D H，DONG M G.Differential privacy deep learning model based on particle swarm optimization J.Computer Engineering，2023，49（9）：144-157.Differential Privacy Deep Learning Model Based on Particle Swarm OptimizationZHANG Panfeng1，2，WU Danhua1，DONG Minggang1，2（1.College of Information Science and Engineering，Guilin University of Technology，Guilin 541006，Guangxi，China；2.Guangxi Key Laboratory of Embedded Technology and Intelligent System，Guilin 541006，Guangxi，China）【Abstract】Excessive noise from gradient perturbations can lead to usability degradation in deep models with differential privacy protection.A deep learning model with Differential Privacy（DP）based on the Particle Swarm Optimization（PSO）algorithm is proposed to address this issue.The algorithm maps particle positions to network parameters according to the PSO strategy，identifying individual and global historical optimal positions.These global optimal particle positions are then used as gradients，which are perturbed and incorporated into model training.By leveraging network propagation properties without altering the parameters and gradient structure，noise parameters are optimized to realize the objective function.The model is then updated using optimized parameters with perturbation，minimizing the empirical risk function and reducing the impact of noise on model utility.In federated learning，local clients update individual and global historical optimal positions using particle position parameters within their local environment.They identify current optimal parameters to be perturbed before uploading them to the central server.Clients then request optimized，perturbed，and aggregated broadcast parameters from the server for further training in this cooperative learning process.Experimental results demonstrate that the proposed algorithm model effectively preserves model utility while protecting privacy.Compared to the DP-SGD algorithm，the accuracy of Mnist，Fashion-Mnist，and Cifar-10 datasets increases by 5.03%，9.23%，and 22.77%，respectively.The proposed algorithm accelerates model convergence in federated learning and exhibits strong performance with IID and non-IID data.基金项目：国家自然科学基金（61862019）；广西科技基地和人才专项（2018AD19136）；桂林理工大学科研启动基金（GLUTQD2017065）；广西嵌入式技术与智能系统重点实验室项目。作者简介：张攀峰（1978），男，讲师、博士，主研方向为信息存储、信息安全、人工智能；吴丹华，硕士；董明刚（通信作者），博士。收稿日期：2022-08-25 修回日期：2022-10-17 Email：网络空间安全文章编号：1000-3428（2023）09-0144-14 文献标志码：A 中图分类号：TP391第 49卷 第 9期张攀峰，吴丹华，董明刚：基于粒子群优化的差分隐私深度学习模型【Key words】Differential Privacy（DP）；noisy parameters；Particle Swarm Optimization（PSO）；network training；federated learningDOI：10.19678/j.issn.1000-3428.00655900概述 人工智能与大数据的联合应用模式近年来得到研究人员广泛关注，然而在人工智能与大数据技术快速迭代的同时，相关数据的隐私安全问题也日益严重。由于隐私泄露引发的社会风险层出不穷，在既保证数据的持续有效性又保护用户隐私不被披露的前提下，从海量数据共享问题中找到一种通用的交互方案尤为重要。差分隐私（Differential Privacy，DP）作为一种具有理论安全基础的数学模型，不仅可以直接应用于数据隐私保护，而且还能在人工智能深度学习领域提高模型的安全性，保护训练数据的隐私安全。差分隐私可以被应用于推荐系统1、网络踪迹分析、运输信息保护2、搜索日志保护等领域。苹果公 司 使 用 本 地 化 差 分 隐 私 手 段 来 保 护 iOS 和MacOS 系统的用户隐私，并将该技术应用于 Emoji、QuickType输入建议、查找提示等领域，如使用 CMS算法帮助其获得最受欢迎的 Emoji表情用来进一步提升 Emoji使用的用户体验。苹果公司要求应用商店中上线的应用都必须增加“隐私标签”，以符合“应用跟踪透明度”功能的要求。谷歌公司运用该项技术开发出隐私沙盒，允许广告客户展示有针对性的广告，但不会直接访问用户个人的详细信息。此外，区块链技术、联邦学习等也可与该隐私手段相结合。例如，随着区块链的不断应用，环签名可以隐藏交易发起方，但不能保护区块链存储的数据，因此区块链的数据保护也可通过满足差分隐私得以保护3。联邦学习技术将来自不同隔离状态的数据尽可能统一，打破了数据孤岛障碍。同时，用户可以在不暴露原始数据的情况下参与深度学习，既能实现高质量模型的训练，又能保护隐私4，因此差分隐私联邦学习能进一步预防攻击者从共享参数中推理出敏感信息。建设理想的人工智能世界需要数据、模型学习模式和智能算法，在这些需求下用户的隐私保护非常重要，基于差分隐私的保护技术已逐渐渗透到各个行业，成为除匿名、聚类、图修改5-6外的又一重要的隐私保护手段。然而，在算法模型中引入差分隐私机制后数据的可用性可能会下降，权衡算法高效性和隐私保护程度仍然是研究该领域的难题。为此，本文结合算法模型在训练过程中的特点，对扰动后的参数进行优 化，提 出 一 种 基 于 粒 子 群 优 化（Particle Swarm Optimization，PSO）算法的差分隐私模型训练方案，对网络中的梯度进行隐私保护，防止模型攻击中窃取的参数造成用户数据泄露。最后在集中式和联邦学习架构上进行训练和验证，防止数据的效用缺失。1相关工作 ABADI等7将深度学习方法与差分隐私机制相结合，针对非凸优化且包含大量参数的复杂神经网络中隐私损失较大的问题，提出运用 DP-SGD 算法计算训练模型。此外，通过高阶矩追踪隐私损失的详细信息，分析差分隐私框架下的隐私成本，提高隐私计算效率。该算法的提出为差分隐私深度模型训练在收敛性8-9、隐私分析、剪裁阈值10-12、超参数选择13-15等研究奠定了基础。然而，随着模型的加深和迭代次数的积累，噪声也会相应变大。为解决上述问题，YU 等16提出一种 GEP 算法，将模型梯度映射到一个低维的锚子空间后再做扰动，绕开了维度依赖，并用辅助数据估计一个锚子空间，将敏感梯度映射到锚子空间中，得到一个低维的嵌入梯度和一个满足最小范数的残差梯度，分别在嵌入的梯度及残差梯度中添加噪声进行干扰，保证一定的差分隐私预算，由此实现比原来的梯度干扰低得多的扰动，且能保证相同的隐私水平。随后文献 17 提出一种基于重参数化的 RGP 算法，通过两个低维的梯度载流子矩阵和一个残差权重矩阵对每个参数矩阵进行参数化，以近似的方式将投影梯度逼近原始梯度，对梯度-载波矩阵上的梯度进行扰动，并从有噪声的梯度中更新原始权重，但该方法在每一轮网络训练中都需要两个参数矩阵的参与，提高了网络计算的复杂度，对算力的需求较高，且投影梯度的方法忽略了参数结构的内在几何，阻碍经验风险的最小化。许多主流差分隐私深度学习算法都是对计算过程扰动的优化，文献 18 通过对梯度进行编码，将其映射到更小的梯度空间进行扰动，并把梯度编码到一个有限的向量空间，使用数值技术来获得给定噪声分布的差分隐私边界以确定更好的效用-隐私权衡。DPTTAE 算法19使用一个更精确的近似张量打破高维参数矩阵约束，并利用差分隐私提供一个有保证的隐私和张量序列来压缩权重张量。YANG等20在 DP-SGD 算法中对每个样本进行剪裁和归一化 后，再 添 加 噪 声 来 模 糊 原 始 梯 度 信 息，在 DP-NSGD 中引入一个正则因子以控制加速收敛，相应地实现了偏差和噪声权衡。文献 21 通过黎曼流提出一个黎曼优化框架，向遵循黎曼度量的切线空间黎曼梯度添加噪声，实现了经验风险最小化函数的差分隐私。梯度包含了数据集的相关信息，在进行参数更新之前的梯度中添加噪声，即对用户的数据进行扰动，可以保证最终的输出是被扰动过的。梯度扰动依赖期望曲率使之成为差分隐私深度学习的有效算法8，在梯度扰动算法中加入的噪声和优化算法会相互影响，噪声会使优化算法避开最优曲率1452023年 9月 15日Computer Engineering 计算机工程方向，而优化算法的收缩性则可以弱化之前步骤所添加的噪声。噪声对模型依赖性较小，而添加的噪声会与模型规模成正比，从而影响算法性能，因此在前沿深度网络中仍存在巨大挑战。本文算法是对计算过程进行扰动，与梯度空间分析转换不同，根据模型训练的特有传播属性，使其自学习出每一轮满足隐私的最优权重，减少了权重参数化后对几何空间表述能力的依赖，且在保护隐私的同时仍具有较好的效用。由于上述工作均采用模型训练时扰动的方式满足差分隐私，本文在多个数据集上进行了实验，并在实验过程中选择较为典型的算法进行对比，对简单的单通道数据集 Mnist 和 Fashion Mnist 采用 2 种对比算法，对更为复杂的数据集 Cifar-10采用 4种算法进行对比。最后，将本文算法在联邦学习模式下进行验证和评估。本文主要贡献如下：1）提出一种基于 PSO 的噪声参数优化方法，通过随机寻优或自适应寻优方案决定每一轮网络的初始权重，利用网络模型中参数的前向和反向传播特点，找到每一轮引入随机化后的最优参数，以提高模型的最终输出性能。2）将网络每一轮训练时的初始化参数设为当前带扰动的最优参数，且在联邦学习客户端中使用同样的参数优化策略，使每个参与训练的客户端最终返回带扰动的本地最优参数，中心服务器聚合的参数也为当前最优。3）相较其他复杂的参数提取、分解和重构等方案，基于 PSO 的参数优化方式更加便捷，处理速度更快。2预备知识 2.1差分隐私差分隐私作为一种模糊查询工具，使得个人用户在数据集中对结果影响非常微小。在需要预防泄露的查询上添加噪声，并将其查询操作返回的实际结果隐藏起来或者模糊化，直至无法区分，从而实现私人数据的保护。差分隐私定义如下22：PrM(D)S exp()PrM(D)S+（1）对于差别为一条记录的数据集D和D，通过随机算法M的输出结果为 S子集的概率来满足差分隐私。隐私保护开销 反映了隐私保护水平，越小，隐私保护水平越高，映射出关于数据集的有用的信息程度越深，但在相同情况下，越小，数据可用性越低。差分隐私保护可以通过在查询函数的返回值中注入噪声来实现，但是噪声的大小相应地会影响数据的安全性和可用性。通常使用敏感性作为噪声大小的参数，表示删除数据集中某一记录对查询结果造成的影响。常用扰动通过拉普拉斯、高斯和指数机制来实现差分隐私保护。其中，拉普拉斯和高斯机制用于数值型结果的保护，指数机制用于离散型结果的保护。在相同或不同数据库上可以重复使用差分隐私算法，其满足组合理论23。定理 1 假设有 n 个随机算法M，当其中任意两个Mi的随机过程相互独立且满足i-差分隐私，则Mi(1 i n)组合后的算法满足i-差分隐私。定理 2 假设有 n 个随机算法M，当其中任意两个Mi的随机过程相互独立且满足i-差分隐私，则Mi(1 i n)组合后的算法也满足max(i)-差分隐私。2.2神经网络模型神经网络中每个节点表示一个感知器，模拟生物细胞网络中的电信号通过突触传递给神经元，当神经元收到的信号总和超过一定阈值后，细胞被激活，通过轴突向下一个神经元细胞发送电信号以加工完成外界传递的信息。常见的多层感知机包含一个输入输出层和多个隐藏层，所有层都采用全连接方式。卷积神经网络由可以处理多维数据的输入层、隐藏层和输出层构成，其中隐藏层一般包含卷积层、池化层和全连接层三类架构。卷积层的反向传播使用交叉相关计算，如式（2）所示：()LAlij=k=1Klx=1fy=1fwl+1k(xy)()LAl+1s0i+xs0j+ykf()Alij wl=wl+1-()Lwk=wl+1-Al+1()LAl+1k（2）其中：L为风险管理误差；f 为激活函数导数；为学习率。ResNet7克服了训练深度增加导致的网络退化问题，并通过残差学习向上堆叠新层来建立更新网络，相比普通网络在卷积层之间增加了短路机制，使得对特征向量的学习发生改变。假设对输入x学习到的特征是H(x)，残差是H(x)-x，原始的学习特征就变为F(x)+x，使得残差学习相比原始特征学习变得更容易。2.3粒子群优化算法粒子群优化算法24-25的目标是使所有粒子在搜索空间中找到最优值。在初始化时，给空间中所有粒子分配初始随机位置和初始随机速度，根据每个粒子的速度、问题空间中已知的全局最优位置和粒子已知的个体位置依次迭代推进每个粒子的位置。随着计算的推移，通过探索和利用空间中已知的有利位置，粒子围绕一个或多个最优点聚合。在搜索过程中，保留全局最优位置和个体历史最优位置信息，有 利 于 加 快 收 敛 速 度，避 免 过 早 陷 入 局 部 最优解。146第 49卷 第 9期张攀峰，吴丹华，董明刚：基于粒子群优化的差分隐私深度学习模型3方案的设计与实现 3.1基于 PSO的差分隐私方案在深度学习中，模型通常需要基于观察数据 x，x可以是输入数据或特征值，对应输出一个概率分布p(x；)。常见的优化算法是基于梯度的，模型训练的基本任务是优化如下的目标函数：F()=1Aa=1Ayafa(p(x；)（3）其中：y为独热编码的真实数据标签；a 12A。根 据 式（3），可 知 优 化 函 数 关 于 参 数的 梯度为：F()=1Aa=1Ayafap(x；)（4）采用差分隐私引入梯度噪声到式（4），参数的下降过程可表示为：t+1=t-(F()+N(2C2I)=t-1Aa=1Ayafap(x；)-1AN(2C2I)（5）梯度扰动间接参与了参数的更新过程，保持既定方法会很大程度上影响参数收敛，使其在距离最优参数较远的位置来回振荡。随着参数权重的不断迭代，权重值会减小，而噪声规模占比增大，概率分布的方差也随之增大，最终导致模型过度拟合训练数据中的噪声。考虑到差分隐私梯度扰动机制是在反向传播的梯度信息中加入随机噪声，这一过程会影响输出概率的期望，扩大神经网络最大似然估计参数的后验分布输出概率偏差和方差。本文提出一种基于粒子群优化（PSO）算法的参数寻优策略，目的是弥补因梯度脱敏造成的模型可用性下降的缺陷。如图 1所示，在 N 个样本参数空间为p d的搜索空间中，假设N 是粒子总数，每一个粒子都对应一个由目标函数决定的适应值。通过适应值找到当前情况下的最优解，即参数i，将当前参数进行位置更新后作为每一轮网络前向传播的初始参数，根据更新后的目标函数反向求位置参数的梯度。为保证数据隐私安全，在梯度上进行剪裁并用噪声机制进行干扰，返回更新后的参数。每个粒子适应度值将用于判断该轮更新后的样本参数是否参与下一轮的训练，若该粒子适应度是当前最优，则更新参数样本空间，否则保留历史最优粒子样本空间。在迭代结束后，粒子群优化得到的参数为全局最优，且神经网络训练过程满足差分隐私。鉴于上述思路，基于 PSO 参数优化的差分隐私架构如算法 1 所示，用粒子的位置表示网络中各神经元优化后的权重参数，目标是在有限迭代中找到粒子最优位置，即在隐私保护的前提下找到神经网络的最优参数。将网络的损失函数作为衡量粒子位置是否为最优的适应度函数。在网络训练过程中引入粒子群优化算法，在梯度下降的基础上，每一次粒子速度和粒子位置的更新，就是神经网络经历的一个训练轮次。算法 1 基于 PSO的差分隐私网络输入 迭代次数 T，粒子数 N，惯性权重 w，粒子位置 p，粒子速度 v，初始个体历史最优位置 Pp，初始全局历史最优位置 Pa，适应度V，个体历史最优适应度 Vp，全局最优适应度 Va，网络权重，数据集X x1，x2，xk，批大小 B，损失函数L()=1KiL()，xi，噪声规模，梯度裁剪边界 C，超参数学习率，衰减权重输 出 具 有 最 佳 参 数 的 差 分 隐 私 神 经 网 络，privacy cost(，)种群参数初始化 p，v，Pp，Pa，V，Vp，Va1.for t in range（0，T）do：2./更新每个粒子矢量的速度和位置3.vt wv+c1rand()(perbest(pt)-pt)+c2rand()()allbest()pt-pt4.pt pt+vt5./用pt训练网络并更新参数t6.for b in range（0，len()X B）do：7.gt(xi)tL(t，xi)，i range(0，B)/梯度计算8.g t(xi)gt()ximax()1，gt()xi2C/梯度裁剪9.1B(ig t(xi)+N()2C2I)/噪声扰动10.t+1 t-tg t/梯度下降11.End for12.V Li(t)，i 1，N13./根据V评估粒子群：14.for i in range（0，N）do：15.Update Pp：perbest(pt+1)Vi16.End for17.Update Pa：allbest(pt+1)V18.Update net weight t+1 allbest(pt+1)19.End for在迭代开始前，首先随机初始化粒子群中的位图 1本文方案的参数优化策略Fig.1Parameter optimization strategy of the proposed scheme1472023年 9月 15日Computer Engineering 计算机工程置 p和速度 v，然后初始化相应的个体历史最好位置Pp和群体最优位置 Pa、个体历史最优值 Vp和种群历史最优值 Va，初始适应度值为零。在每一轮迭代中，首先确定速度变化vt和位置变化pt，一般情况下的速度成分由惯性项w v、量化过去表现的认知部分c1 rand()(perbest(pt)-pt)和量化邻居信息的社会部分c2 rand()(allbest(pt)-pt)组成，速度vt决定了新位置的方向和大小，所以两者都为矢量。在分批训练中，将 N 个粒子的位置参数作为网络参数t依次在网络中执行计算。计算过程使用随机梯度下降来最小化经验损失函数L()，即对每一批采样数据计算当前梯度tL(txi)，对所得梯度进行剪裁 防 止 梯 度 爆 炸 或 消 失，剪 裁 后 的 梯 度 表 示 为gt(xi)，每个样本梯度添加服从N(02C2I)的噪声来更新参数。梯度下降的步骤与传统的方法相同，但区别在于参加运算的参数已经是基于 PSO 的当前最优，梯度也是基于当前参数得到的，更新过程能一直保证梯度隐私。根据得到的适应度值V，遍历 N个粒子，若某粒子适应度分数小于个体历史最优值，则记下当前参数perbest(pt+1)，更新出的个体最优粒子流入到下一轮继续更新。根据该轮种群最优位置选出最小得分的粒子，其对应的参数为当下全局最优粒 子 位 置allbest(pt+1)，即 一 轮 结 束 后 的 网 络 新参数。在新一轮训练开始前，采用惯性权重 w、粒子位置 p 和粒子速度 v 等自定义参数更新每个粒子的速度和位置，本文中称为随机优化。若将每一次网络迭代后的参数作为调整方向和速度后的粒子矢量，称为自适应优化，则该情况下的 w、p、v 每一轮训练前都会动态改变，但实验中只需粒子矢量位置，无须对这些值做进一步定量研究。如此循环，达到停止条件时可得到一个满足差分隐私的模型和扰动后的最优参数，根据()可知隐私保护水平。3.2隐私参数修正分析上述基于粒子群优化后的差分隐私网络，其目标函数如式（6）所示：F()allbest()i=1Aa=1Ayafa()p()x；allbest()i（6）每一轮训练后，当前网络最优参数allbest(i)的梯度为：allbest()iF()allbest()i=allbest()iF()allbest()i+N(2C2I)=1Aallbest()ia=1Ayafap()x；allbest()i+N(2C2I)（7）其中：allbest(i)=PSO(i)i(0N)，这里的函数表达式为显性连续函数，可直接微分得到梯度。本文主要观察参数变化，故在梯度下降算法中，记yafa(p(x；)为fa()，yafap(x；allbest(i)为fa(best()，在不添加噪声的情况下，一般神经网络训练目标记为：min p dF()=1Aa=1Afa()（8）本文网络训练目标记为：min p dF(best()=1Aa=1Afa(best()（9）在实际应用中需要采用分批训练的方式，因为数据集样本数A B，每一次从训练集中随机抽样，然后进行梯度估计，即随机梯度下降（SGD）算法。本文假设批大小 B=1，即每次取一个样本参数更新方程，表示如下：t+1=t-f(t)（10）应用粒子群优化策略后，随机梯度下降更新过程可以表示为：t+1=t-f(t)+(best(t)-t)+f()best(t)-f()t（11）记(best(t)-t)+f(best(t)-f(t)为DV(t)，则下降过程可表示为如下形式：t+1=t-f(t)+DV(t)=t-f(t)+DV(t)+f()t-ft()t（12）best(t+1)=best(t)-f(best(t)+f(best(t)-ft(best(t)（13）其 中：t为 取 值 在12A/B上 的 独 立 同 分 布（Independent Identically Distribution，IID）随机变量。式（13）是对式（10）的修正结果，满足随机微分方程的弱近似。DV(t)可以看作是在p d空间中的随机矢量，DV(t)+f(t)-ft(t)也为该 d 维空间中的随机 矢 量，最 终f(best(t)-ft(best(t)记 为Vt，为d 维随机矢量，显然Vt依赖于当前的best(t)。由此可假设一个扩散过程来近似，考虑DV(t)的均值和方差，显然均值为 0，扩散系数为：(best()=1Aa=1A()f()best(t)-ft()best(t)(f(best(t)-ft(best(t)T（14）随机微分方程表达式为：d(best(t)=b(best(t)dt+(best(t)dWtbest(0)best(0)=0（15）将式（15）连续过程离散化，迭代过程可以变体为如下形式：best(t+1)=best(t)+Dtb(best(t)+t(best(t)Zt（16）其中：Zt N(0I)，对照式（13），设置t=，b f，=，就可以得到式（15）这一连续过程的弱近似。148第 49卷 第 9期张攀峰，吴丹华，董明刚：基于粒子群优化的差分隐私深度学习模型为使离散逼近连续，弱近似的定义如下：定义 1 令0 0，且N=A，G 为多项式增长函数的集合，g G，即存在常数T，当t 0时，满足|g()|0，与 独立，并且对于所有t=12N，满足：|Eg(Xt)-g(xt)|Ca（17）则称随机方程W是随机梯度下降的阶近似。若随机过程为t，对于t 0T满足：dt=-f(t)dt+()tdWt（18）则式（18）是随机梯度下降的一阶近似。若随机过程为t，对于t 0T满足：dt=-(f(t)+4|f(t)|2)dt+()tdWt（19）则式（19）是随机梯度下降的二阶近似。因为式（11）是在原始参数t上进行优化的，根据梯度修正后的连续函数，显然函数的期望和方差会更小，所以证实该隐私参数更新方法在理论上具有可行性。3.3隐私证明神经网络经由一轮采样、梯度计算、梯度剪裁和添 加 高 斯 噪 声 组 成 的 训 练 后，会 得 到 一 组 满 足()-DP的参数t，不同的是本文中的参数在粒子群算法优化后，best(t)的值作为新的参数出现在下一轮的计算，这里传入的参数优于常规的梯度扰动更新方法，但不影响满足差分隐私。经过 T 轮训练后，模型收敛。根据矩会计法 7可以计算训练系统的总体隐私损失，其基本思想是将每一轮训练的隐私损失等价于随机变量，而将总隐私损失等价于各轮随机变量的和进行分布，通过计算随机变量的矩生成函数得到更精准的隐私上界。对于 t时刻的训练机制Mt，差分隐私目标是让其在相邻数据集上得到的参数t的分布尽量相似，即对所有的数据集dd D，满足：sup Tdd|logaMt()d()PSO()tiMt()d()PSO()ti|（20）可知t时刻的位置由t-1时刻变化得到，采用随机梯度下降法在数据集上训练时，可定义随机变量如下：c(tiMtti-1dd)=logaMt()PSO()ti-1d()iMt()PSO()ti-1d()i（21）其中：i Mt(PSO(ti-1)d)，i(0N)，取每一轮得到的最优随机变量记为c(iMti)。由组合定理7，26可知，对于 T 个差分隐私机制组成的训练系统，在不同t 时刻输出的参数独立同分布，训练体系的总体机制M1：T的随机变量可由多个时刻的隐私随机变量的和组成，即t=1Tc()PSO()iMt。考虑到相邻数据集的分布需要尽可能一致，则随机变量c(iMti)的阶矩估计应尽可能地逼近 0。c(iMti)的对数矩生成函数为：TddMt()=logaEMt()PSO()ti-1dexp(c(tiMtti-1dd)（22）累积隐私为：TM()t=0TTMt()（23）故训练时整个模型满足差分隐私，隐私预算为TM()。3.4联邦学习中的 PSO差分隐私策略联邦学习差分隐私模型采用局部噪声机制，对于每轮训练而言，当客户端更新完本地模型后，都需要将模型权重或者更新的梯度上传至中心服务器进行汇聚。实验中为满足本地差分隐私，采用剪裁操作和噪声干扰来对模型权重或梯度进行处理，然后上传至中心服务器。本文方法采用聚合方式进行训练，客户端和服务器计算包含如下流程：在本地计算时，首先初始化寻优所需的粒子位置参数p0、速度参数v0、个体历史最优位置pp、全局最优位置pa、适应度值V、个体历史最优值Vp和当前所有粒子中的最优值Va。客户端k根据本地数据库Xk，将全局服务器模型授予的t作为本地参数，即=t，进行梯度剪裁和下降策略，采用粒子群最优算法更新参数。在客户端的每一轮训练过程中，根据适应度函数值V更新该轮的历史个体 最 优 参 数 为perbest(pt)，全 局 历 史 最 优 参 数 为allbest(pt)。该轮更新结束后，网络参数t为当前最优，继续进入下一轮。客户端训练结束后，模型训练会将得到的参数Dt+1 -t、Dt+1n传给服务器，其中 n表示范数，此时上传的客户端参数是基于多轮 PSO 优化后的最优参数。在模型扰动时，每个 客 户 端 产 生 一 个 符 合 高 斯 分 布 的 随 机 噪 声N(02C2I)。因 此，经 过 扰 动 的 本 地 参 数 为kmax()kC+N(02C2I)。服务器使用 FedAVG 算法27聚合从客户端收到的Dt+1，得到新的全局模型参数t+1，此时模型参数是扰动后的，符合差分隐私。然后当有客户端需要训练时会进行模型广播，服务器将新的模型参数广播给每个客户端。客户端接收新的模型参数重新进行本地计算，更新本地参数再扰动后回传到聚合中心。1492023年 9月 15日Computer Engineering 计算机工程算法 2 基于 PSO的差分联合策略输入 迭代次数 T，客户端数量 K，参与训练的客户端比例Cf，本地客户端迭代次数 E，本地客户端网络权重，本地训练批大小 B，损失函数L()，噪声规模，梯度裁剪边界值 C，超参数，衰减权重，本地客户端粒子数 N，惯性权重 w，粒子位置 p，粒子速度 v，初始个体历史最优位置 Pp，全局历史最优位置 Pa，适应度V，个体历史最优适应度 Vp，全局历史最优适应度 Va1./服务器进程2.Initialize 03.for t in range（0，T）do：4.m max(CfK，1)5.St random set of m clients/随机选择St个客户端6.for each client k St in parallels do：7.kt+1 ClientUpdate(k，t)/调用客户端函数8.End for9.t+1 t+1mk=1KDkt+10.End for11.Return DP server，privacy cost(，)12./客户端进程 ClientUpdate(k，t)13.初始化 p0，v0，Pp，Pa，V，Vp，Va14.copy parameters t15.for each local epoch in range（0，E）do：16./用pt训练网络并更新参数t17.for batch b in range（0，B）do：18.-L(，b)19.End for20.V Li(t)，i 1，N21./根据V评估粒子群22.for i in range（0，N）do：23.Update Pp：perbest(pt+1)Vi24.End for25.Update Pa：allbest(pt+1)V26.Update net weight t+1 allbest(pt+1)27.End for28.t+1 -t+1，t+1n29.t+1=t+1max()kC+N(0，2C2I)30.Return t+14实验结果与分析 4.1实验设置实验基于 Python3.8 解析器和 PyTorch 框架，在3.30 GHz 3.29 GHz双核 CPU，128 GB RAM 的 win10系统下，使用 NVIDIA GeForce RTX 3090 GPU 实现加 速。实 验 数 据 集 使 用 Mnist、Fashion-Mnist 和Cifar-10，其中，Mnist是标注为 09 的手写数字图片数据，Fashion-Mnist由 10 种衣物类别组成，2 个数据集的图片均为单通道，包含 60 000 张训练图片和10 000 张测试图片。Cifar-10 由 10 类真实物体的三通 道 彩 色 图 组 成，包 含 50 000 张 训 练 图 片 和10 000张测试图片。训练模型包括自定义的 MLP、CNN 和 ResNet20网络。MLP 网络由包含 300 个和 100 个神经元的隐藏层构成，自定义 CNN网络包含两个通道数为 32和64的卷积模块，卷积核大小都为 3，步长设置为 2，每个卷积层之后都使用 ReLU作为激活函数，输出采用10 分类的全连接层实现。ResNet20 由包含 19 个核大小为 3、步长为 1，2、通道数为 16，32，64 的卷积层以及 1个全连接层构成。其中联邦学习差分隐私的测试分析在自定义 CNN网络上完成。4.2PSO超参数分析粒子群优化算法中各参数的选取对模型的表现至关重要，故在无隐私情况下讨论确定各 PSO 超参数对模型的增益。由于粒子位置 p、粒子速度 v等参数与神经网络权重相辅相成，因此只讨论超参数粒子群数 N、惯性权重 w 和最大迭代次数 T 对模型的影响。当取不同粒子数 N 时，模型的准确率和训练时间如表 1 所示，可知当粒子数为 3 时，模型已经具有较好的表现，当粒子数为 10时，准确率提升很小，但时间却增加了 4 倍，当粒子数取到 20 时，耗时相对N=3 更长，但准确率提升较小。在进行不同粒子数下的模型训练时，迭代轮次都为 100，惯性权重都设为 0.1。当惯性权重 w 变化时，模型的准确率如图