基于风格的数据集水印算法.pdf

基于风格的数据集水印算法盛钡娜,潘旭东,张谧(复旦大学计算机科学技术学院,上海200438)通信作者:盛钡娜,E-mail:摘要:开源数据集加速了深度学习的发展,但存在许多不合理使用数据集的现象.为保护数据集的知识产权,近期工作提出数据集水印算法,在数据集发布前预先植入水印,当模型在此数据集上训练时该水印会被附着在模型中,之后通过验证可疑模型是否存在水印来追溯数据集的非法使用.但已有数据集水印算法无法在小扰动下提供有效并且隐蔽的黑盒水印验证.为解决这一问题,本文首次提出利用独立于图像内容与标签的风格属性来植入水印,并限制对原数据集的扰动不涉及标签的修改.通过不引入图像内容与标签的不一致性和额外的代理模型保证水印隐蔽性和有效性.在水印验证阶段仅使用可疑模型的预测结果通过假设检验给出判断.本文在 CIFAR-10 数据集上与现有 5 种方法相比较,实验结果验证了本文提出的基于风格的数据集水印算法的有效性与功能不变性.此外,本文开展的消融实验验证了本文所提的风格优化模块的必要性,算法在不同超参设定以及不同数据集下的有效性.关键词:数据集水印;数据集知识产权保护;图像风格;风格迁移;假设检验引用格式:盛钡娜,潘旭东,张谧.基于风格的数据集水印算法.计算机系统应用,2023,32(8):140150.http:/www.c-s- Dataset Watermarking AlgorithmSHENGBei-Na,PANXu-Dong,ZHANGMi(SchoolofComputerScience,FudanUniversity,Shanghai200438,China)Abstract:Open-sourceddatasetsacceleratethedevelopmentofdeeplearning,whileunauthorizeddatausagefrequentlyhappens.Toprotectthedatasetcopyright,thisstudyproposesthedatasetwatermarkingalgorithm.Thewatermarkisembeddedintothedatasetbeforeitisreleased.Whenthemodelistrainedonthisdataset,thewatermarkisattachedtothemodel,whichallowsillegaldatasetusagetobetracedbyverifyingwhetherthewatermarkexistsinasuspectmodel.However,existingdatasetwatermarkingalgorithmscannotprovideeffectiveandcovertblack-boxverificationundersmallperturbations.Giventhisproblem,themethodofembeddingthewatermarkbyastyleattributeindependentoftheimagecontentandlabelisproposedforthefirsttimeinthisstudy,andtheperturbationontheoriginaldatasetisconstrainedtoavoidthemodificationoflabels.Thecovertnessandvalidityofthewatermarkareensuredwithoutintroducingtheinconsistencybetweentheimagecontentandlabelorextrasurrogatemodel.Inthewatermarkverificationstage,onlythepredictionresultsofthesuspectedmodelareappliedtogivethejudgmentviaahypothesistest.TheproposedmethodiscomparedwiththeexistingfivemethodsontheCIFAR-10dataset.Theexperimentalresultsvalidatetheeffectivenessandfidelityoftheproposedalgorithm.Besides,theablationexperimentsconductedinthisstudyverifythenecessityoftheproposedstylerefinementmoduleandtheeffectivenessoftheproposedalgorithmundervarioushyper-parametersettingsanddatasets.Key words:datasetwatermarking;datasetcopyrightprotection;imagestyle;styletransfer;hypothesistest计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(8):140150doi:10.15888/ki.csa.009207http:/www.c-s-中国科学院软件研究所版权所有.Tel:[phone]收稿时间:2023-01-07;修改时间:2023-03-01,2023-03-14;采用时间:2023-03-23;csa 在线出版时间:2023-05-22CNKI 网络首发时间:2023-05-24140软件技术算法SoftwareTechniqueAlgorithm高质量的数据集是深度学习蓬勃发展与广泛应用的基本前提13,例如,ImageNet 数据集2及其 ILSVRC挑战赛孕育了许多经典且至今仍被广泛使用的模型结构,如 ResNet3,VGG4和 SENet5等模型结构.受开源精神影响,很多公司与研究机构会公开发布所收集整理的数据集来加速学术研究进程.但这类开源数据集通常不希望被用于未授权的商业用途中1,2,68,因此,需要一种针对数据集的知识产权保护方案,以验证商业模型是否存在在无授权数据集上训练的行为,进而保护数据集所有者的合法权益.数据集水印(datasetwatermarking)这一机制应运而生911.通常数据集水印方案包含两部分:数据集水印植入模块与数据集水印验证模块.前者是指在数据集发布之前将持有方指定的水印添加到数据集中.不同于模型水印(modelwatermarking)12,13,数据集持有方即水印嵌入者无法控制数据集窃取者会使用何种模型结构,训练超参等信息,因此要求所植入的水印能附着于任意在此数据集上训练所得到的模型中.后者则是指给定可疑模型白盒或黑盒访问权限,通过验证模型是否含有水印来判断该模型是否存在数据集的无授权使用行为.在现有文献中,仅有少数工作关注到数据集水印任务并提出相应的解决方案,但这些工作都存在各式问题.Li 等人9利用传统后门攻击14对数据集植入后门,之后通过检测模型是否存在后门来进行验证.但水印植入过程涉及对原数据集标签的修改,使得样本语义内容与其标签不一致,进而缺乏隐蔽性.Sablayrolles等人10则是关注白盒验证场景,在模型参数中植入水印.这要求验证方拥有对可疑模型的白盒访问权限,但目前大多商业模型提供的预测 API 接口仅返回模型预测标签或者各类置信度,因此白盒验证假设是不切实际的.近期,Li 等人11针对上述两个问题提出了满足干净标签限制且能支持黑盒验证的 UBW-C 算法,其中干净标签限制指水印嵌入中不扰动原数据标签,保证数据语义内容与标签的一致性.但这一算法在植入水印时需要引入代理模型,使得其在不同模型结构下的水印效果欠佳,尤其是限制植入水印能对训练集的可扰动比率较小时.本文工作探索图像风格特征,一个独立于图像语义内容与标签的特征,来设计在干净标签和扰动比例较小限制下仍有效的且可以支持黑盒验证的数据集水印算法.具体地,本文利用风格迁移模型15,16对目标类的少部分样本嵌入特定风格,之后通过验证模型是否能将含有该指定风格的其他类图像分类为目标类别来判断模型是否在含水印数据集上训练获得.此外,为了使植入的水印更加隐蔽,在水印植入阶段设计了风格优化模块,对原本随机选取的风格在特定风格迁移模型和目标类别上优化,使得在目标类中额外嵌入的水印更加隐蔽.本文首先在 CIFAR-10 数据集上对提出方法进行实验评估,与现有 3 个数据集水印工作和复用的两个干净标签下的数据投毒攻击工作相比,本文提出的数据集水印算法有效性最佳.其次,本文开展了消融实验验证了算法的风格优化模块的必要性,分析不同风格强度和扰动比例对算法性能的影响,另外在CIFAR-100 和 ImageNet 子集上的实验结果表明算法可应用于更复杂的数据集上.总体而言,与之前的数据集水印算法相比本文主要有以下两方面优势.(1)本文在干净标签与黑盒验证限制下,提出了基于风格的数据集水印算法.在同样的较小扰动比例下,实验表明本文所提的算法在更严格的限制下有更强的有效性与相当的功能不变性.(2)本文提出的基于风格的数据集水印算法在水印植入与验证阶段都不依赖于具体模型,使得算法在验证不同结构的可疑模型时更可靠.本文组织如下:第 1 节介绍数据集水印任务的相关工作;第 2 节给出数据集水印的形式化定义与要求;第 3 节介绍基于风格的数据集水印算法;第 4 节介绍实验设置以及实验结果;第 5 节进行总结与展望.1相关工作 1.1 模型水印数字水印(digitalwatermarking)研究如何在图像,视频,语音等数字信号中添加水印信息以期声明其所有权1719.受数字水印启发,研究者提出模型水印概念来保护深度神经网络模型的知识产权.近期工作设计了不同的水印信息,例如随机的 0-1 比特串13,2023,随机样本集合12,24,25等,并将这类水印信息嵌入到模型的特定层参数2022,特定层激活值的概率密度函数13,23又或者模型对于预先选定输入样本集合的预测结果12,24,25中.然而模型水印任务的目标是保护一个特定的深度神经网络模型,而非本文所关注的整个数2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法141据集,因此仍然需要数据集水印工作单独地对数据集的知识产权进行保护.1.2 数据集水印不同于模型水印,仅有少数工作关注深度学习数据集的知识产权保护.文献 2628 利用模型对于参与训练样本和非训练集样本的预测行为之间的差异做数据集推断(datasetinference),判断可疑模型是否在私有数据集上训练.但这类工作不预先对数据集做任何改动,而本文主要关注在数据集发布前预先植入水印的数据集水印任务.Li 等人9首次提出数据集水印的概念,并设计了 BEDW 算法.BEDW 使用后门攻击14对数据集投毒植入后门,后续在验证阶段依据可疑模型是否存在后门来判断模型是否在水印数据集上训练获得.但 BEDW 在水印植入阶段不仅需要扰动原数据集的图像内容还需要修改对应标签,引入了样本语义内容与标签的不一致性,导致数据集水印缺乏隐蔽性,容易被检测过滤29.Sablayrolles 等人10提出放射性数据集(radioactivedata),通过对训练集样本添加指定方向扰动向模型分类层参数植入水印,但在水印验证阶段要求验证方拥有可疑模型的白盒访问权限,即能直接获取可疑模型具体参数等信息,而当前商业化模型所提供的预测 API 接口大多只返回模型预测类别或者各类别预测置信度.因此,验证方拥有可疑模型的白盒访问权限假设过强,不符实际情况.Li 等人11提出可支持黑盒验证 UBW 算法,其中为提高水印隐蔽性,进一步设计了 UBW-C 干净标签版本,在水印植入过程中不扰动原样本的标签信息.但 UBW-C 算法需要引入代理模型生成扰动,导致 UBW-C 添加的水印在使用了不同模型结构的可疑模型中效果相对较差.本文在此基础上提出在干净标签和扰动比例较小限制下仍有效的且可以支持黑盒验证的数据集水印算法.1.3 数据投毒攻击数据投毒攻击(datapoisoningattacks),包括后门攻击(backdoorattacks),是期望通过扰动训练数据集以使在此数据集上训练得到的模型在推理应用阶段有特殊预测行为,例如模型将指定样本分类出错30或分类为特定类别14.近期,研究者提出复用数据投毒攻击于防御用途9,12.同时,为提高数据投毒攻击的隐蔽性,研究者提出在干净标签限制下或使用特征碰撞3034设计攻击算法或将问题形式化为双层优化问题,通过部分展开35,梯度匹配36,37,一阶梯度近似38等方式求解.本文受此启发在数据集水印任务上提出满足干净标签限制的,更为隐秘的水印算法.但正如 Schwarzschild 等人39所述,当前的干净标签后门攻击工作在脱离对受害者模型(victimmodel)的假设后并不能达到理想的攻击效果,因此本文不考虑直接复用当前已有的干净标签下的数据投毒攻击工作,而是创新性地提出基于风格特征的数据集水印算法.2数据集水印PX,YDori=(xi,yi)Ni=1xiX Rdyi Y=0,L1 NDoriDwm同已有数据集水印工作911一样,本文也先关注图像分类数据集的知识产权保护,对其他领域的数据集水印扩展留待之后的工作探索.考虑从联合分布中采样得到的分类数据集,其中,为样本数量.数据集水印算法是预先在原数据集中植入水印得到嵌入水印后的数据集.之后,当有可疑模型出现时,算法需提供可以判断该模型是否在嵌入水印后的数据集上训练的能力.形式化地,数据集水印算法主要包含以下两个模块:Dwm,mv Embed(Dori,m)DorimDwmmv(1)水印嵌入:嵌入算法,即给定原数据集和数据集持有方独有的隐秘信息,输出嵌入水印后的数据集和之后用于验证的信息.bv Verify(F,mv)Fmvbv 0,1(2)水印验证:验证算法,即给定一个可疑模型和验证信息,输出表示模型是否含有水印.F Train(D,A)FADDwmF+F+Train(Dwm,A)F方便起见,记表示模型的训练算法涉及数据集.则给定含水印数据集,本文称为正例模型当且仅当,即其训练过程使用了水印数据,否则该模型被称作负例模型,记为.数据集水印方案要求满足以下两点.ADwm,mv Embed(Dori,m)(1)有效性(effectiveness):能准确检测出正例与负例模型,形式化地,对任意和植入的水印与验证信息有:PrF+Train(Dwm,A)Verify(F+,mv)=1=1(1)PrFTrain(Dori,A)Verify(F,mv)=0=1(2)(2)功能不变性(fidelity):使用相同结构和训练方计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第8期142软件技术算法SoftwareTechniqueAlgorithmF+Train(Dwm,A)F Train(Dori,A)式的正例与负例模型性能应当相似,形式化地,对任意,有:Pr(x,y)DtestF+(x)=y Pr(x,y)DtestF(x)=y(3)DtestPX,Y其中,为从中采样的干净测试样本集合.3基于风格的数据集水印算法正如第 2 节中给出的关于数据集水印基本定义,本文提出的基于风格的数据集水印算法主要包括数据集水印嵌入和数据集水印验证两个模块.3.1 数据集水印嵌入Embed(Dori,m)mxs XGyt Y如图 1 左半部分所示,本文将中的水印信息 设计为一个数据集持有方指定的风格图像,特定的风格迁移模型 以及目标类别.值得注意的是,上述 3 类信息的选取是不公开的,由数据集持有方自定义不对外公布.目标类 ytAutomobilexc内容图像Gc1c2cMxc.xv风格图像xs风格迁移模型用于验证的风格化图像黑盒可疑模型预测标签假设检验H0 vs.H1数据集水印嵌入1数据集水印验证2用于水印嵌入的风格化图像oriwm图 1基于风格的数据集水印算法示意图n=rpNytXc=xcini=1rpNytxcixsGxcixsxcixcixciDorinXcDwmEmbed(Dori,m)mvMxviMi=1xviMi=1mv(xvi,yt)Mi=1为了能在满足干净标签限制下嵌入水印,本文提出在独立于图像语义内容与标签的特征,即图像风格维度中嵌入水印.具体地,先随机从目标类图像中选取张图像作为内容图像,记做,其中为扰动比例,为原数据集目标类样本数量.给定内容图像与风格图像,本文利用风格迁移模型 生成迁移后的具有的内容与的风格的图像.之后,将原数据集中的用风格迁移后图像代替,同时不对标签做任何修改,保持其原有的真实标签不变.如此,替换原数据集中选择的 张图像后即可得到嵌入水印后的数据集.另一方面,在嵌入水印算法中还需生成后续用于验证的信息.具体地,先随机选取张干净测试集中其他类样本作为内容图像,并以同样的方式利用风格迁移模型获取风格化图像.最终,验证信息为.风格优化模块:考虑到风格图像和风格迁移模型的选取是随机的,这可能导致在部分风格图像和模型下嵌入水印相关的图像是相对容易被察觉.为使风格化后的图像变得更不易察觉,一种简单的方法是为每个数据集精心挑选合适的风格图像或对风格迁移模型精心调整超参数.但这样的方式即费时又费力,因此本文提出直接对随机选取的风格图像进行优化.考虑到在图像风格迁移任务中通常使用结构相似性指标(structuresimilarityindex,SSIM)40作为图像语义内容xcixci保留程度的衡量指标,因此本文使用结构相似性指标作为优化目标.具体地,通过优化风格图像来最大化原始图像和风格化后图像之间的 SSIM,即:xs=argminxsExciXcSSIM(xci,xci)(4)x=G(c,s)csx在本文中,风格迁移模型选用任意风格迁移算法(arbitrarystyletransferalgorithms)15,16,即模型以风格图像和内容图像为输入,可以提取任意风格图像的风格信息并将其添加到内容图像上,输出风格化后的内容图像.这一过程可表示为,其中,和 分别表示内容和风格图像,为风格化后图像.依据不同的风格迁移机制,任意风格迁移模型大致可分为两类:G(c,s)x=G(c,s)=argminxLst(x,c,s)Lst(1)基于优化的风格迁移模型(optimization-basedstyletransfermodel):为计算得到预先定义优化目标的一个迭代式的优化过程,即.通常,优化目标是内容损失和风格损失的组合,自 Gatys 等人15首先提出基于优化的风格迁移方式后,后续工作沿着如何设计更合适的内容损失或者风格损失发展41.G(c,s)(2)前馈式风格迁移模型(feed-forwardstyletransfermodel):为精心设计的映射.例如 Yoo 等人16使用统计特征直接混合风格与内容特征,Svoboda 等人42则是利用生成对抗网络(generativeadversarialnetworks,GAN)生成风格化图像.2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法143xci=G(xci,xs)xcixci对于前馈式风格迁移模型,可以直接使用基于梯度的优化器优化式(4),但对于基于优化的风格迁移模型,由于风格化图像本身牵涉到优化,因此最大化原始图像和风格化后图像之间的 SSIM问题转变为如下的双层优化问题:xs=argminxsExciXcSSIM(xci,xci)(5)s.t.xci=argminxciLst(xci,xci,xs),i=1,n(6)KK=2对于式(6)的内层循环,通常需要几百轮的迭代优化,因此直接求解整个双层优化问题是不切实际的.本文使用部分展开技术43,对每轮式(5)外层优化的迭代,仅优化步来近似估计内层优化目标,在具体实现中设置.3.2 数据集水印验证FmvVerify(F,mv)Verify(F,mv)给定一个仅有黑盒访问权限的可疑模型和验证信息,算法需要确定模型是否在含有水印的数据集上训练.为提供具有一定置信度水平的所有权声明,本文用假设检验实现算法.mvxviMi=1ciMi=1ytbiMi=1bi=1(ci=yt)1()biMi=1k Mi=1bi B(M,p)B(,)pH0p=(1ACC)/(L1)ACCLF如图 1 右半部分所示,首先使用验证信息中的风格化图像查询可疑模型获取模型预测标签,之后与验证信息中的目标标签 相比获得二元值,其中,为指示函数.由于所有的风格化图像都已嵌入风格信息且是独立同分布的,因此可将收集到的观测值也视作独立同分布变量,且有,其中,为二项分布,为可疑模型错分风格化图像为目标类的概率.基于此,本文定义零假设为可疑模型在无水印数据集上训练,即模型将风格化图像预测为目标类的近似概率为,其中为模型对正常测试集的准确率,为类别数目.当且仅当零假设被拒绝,算法才声称可疑模型是在水印数据集上训练得到的.使用零假设中的近似概率和二项分布假设,可通过式(7)式(9)计算 p 值(p-value):p1=Pr(X k)=Mi=k(ni)pi(1 p)Mi(7)p2=Pr(X k)=ki=0(ni)pi(1 p)Mi(8)p-value=2min(p1,p2)(9)Verify(F,mv)bv=1(p-value )=0.05 bv=1H0Fbv=0H0Fp 值给出了当零假设为真时,比所得到的样本观察值更极端的结果出现的概率.在算法的具体实现中,输出最终结果,其中,为置信度阈值,在具体实现中设置.意味着零假设被拒绝,即模型是在水印数据集上训练的,而则意味着零假设被接受,模型并未在水印数据集上训练.4实验分析 4.1 实验设置33232(1)数据集与模型.本文主要在 CIFAR-10 数据集44上进行实验,该数据集包含了 60000 张来自 10 个不同类别的图像,每张图像大小为,其中训练集中每类有 5000 个样本,测试集中每类也有 1000 个样本.关于正负例可疑模型所使用结构,本文选用 3 个主流DNN 模型结构:ResNet183,VGG164和 Efficient-Net45,并依照 CIFAR-10 的数据大小对模型的卷积核大小做适当调整.本文使用这 3 个主流 DNN 模型分别在原数据集和添加水印后的数据集上训练得到负例和正例可疑模型用于后续测试评估.此外,在第 4.3 节的消融实验评估中使用了 CIFAR-10044和 ImageNet1的子集来验证本文提出的基于风格数据集水印算法在数据集类别和分辨率大小不同时的性能.(2)基线模型.本文选取如下 3 种现有数据集水印算法作为基线模型.33BEDW9:复用传统有毒标签后门攻击 BadNet14,从数据集其他类别随机挑选一定比例图像添加触发器,即右下角的白色块,并将样本标签修改为目标类别.验证时查询模型对于干净样本与对应添加触发器的样本在目标类上的置信度,之后通过配对样本 T 测试计算 p 值.Radioactivedata(RD)10:对目标类别中部分样本的特征添加数据集所有者指定的方向扰动,通过逆向优化得到输入空间图像上具体的扰动形式,并将该扰动添加到原始数据集中以植入水印.验证时,查询含特定方向扰动的样本特征,并计算该特征与指定方向的余弦相似度,将其作为观测量通过 Fisher 法计算结合p 值.UBW-C11:在干净标签限制下,将数据集水印任务形式化为双层优化问题生成对部分样本的扰动,其中外层的优化目标为特定类别样本在添加了特殊图案计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第8期144软件技术算法SoftwareTechniqueAlgorithm后正例可疑模型将会预测错误.验证时,查询模型对于干净样本与对应地添加了特殊图案的样本上在真实标签类上的置信度,之后同样通过配对样本 T 测试计算p 值.此外,考虑复用已有的干净标签下的后门攻击工作到数据集水印任务中,本文选取经典的具有代表性的工作 LabelConsistent33和当前干净标签下后门攻击任务的前沿工作 SleeperAgent37作为本文方法的基线模型.LabelConsistent33:先对原始数据集中目标类的部分图像使用 PGD 算法生成对抗样本,再在对抗样本上添加后门触发器后替换原始数据集中的干净样本来植入后门,即本文复用后的数据集水印信息.验证时,使用本文提出的验证算法计算 p 值.SleeperAgent37:将干净标签下的后门攻击形式化为双层优化问题,内层优化是在投毒训练集上针对模型的正常训练过程,外层优化是针对添加的投毒样本,其优化目标即为后门攻击目标.之后使用梯度匹配的方式进行求解得到应添加的投毒样本.验证时,使用本文提出的验证算法计算 p 值.log10p(3)评估指标.本文分别使用验证阶段数据集水印算法对正负例可疑模型计算的 p 值和在添加水印后的数据集上训练得到正例可疑模型的准确率(ACC)来评估数据集水印算法的有效性和功能不变性.具体地,验证时对正例可疑模型的 p 值越低,负例可疑模型的p 值越高,意味着该数据集水印算法越有效.若含水印的正例模型 ACC 接近相同结构的模型在无水印数据集上训练的 ACC,则意味着该水印算法具有功能不变性.另外,为突显 p 值的变化,第 4.3 节消融实验中使用 p 值的负对数()评估算法的有效性.ytGxs(4)实现细节.在本文提出的基于风格的数据集水印算法的具体实现中,设置 CIFAR-10 数据集的目标类为“汽车(automobile)”;风格迁移模型 分别选用经典的基于优化的和前馈式风格迁移模型:Gatys 和 WCT2,并且分别将使用了这两个风格迁移模型的数据集水印算法记做 Gatysw/refine 和 WCT2w/refine,其中 w/refine表示使用了风格优化模块对风格图像进行优化,另外记 w/orefine 表示未使用风格优化模块;风格图像则是先随机选自域外图像,再经过特定迁移模型和目标类优化后获得.对于基线模型的实现,本文均采用原文献提供的官方开源代码.特殊地,RD,UBW-C,LabelConsistent和 SleeperAgent 算法在数据集水印嵌入阶段都需要引入特定代理模型生成水印相关样本,在本文的具体实现中,设置的代理模型结构为 ResNet18 模型,即这4 种算法利用 ResNet18 模型对数据集添加水印,后使用该水印数据集在 3 种模型结构上进行测试评估.给定已添加水印的数据集或原始数据集,本文使用同样的训练方式得到正负例模型.具体的训练方式如下:设置训练轮数为 200 轮,批大小为 32,梯度下降的优化器为 SGD 优化器,其中设置学习率为 0.1,动量为 0.9,权重衰减为 5E4,调度器为 CosineAnnealingLR调度器,其中最大迭代次数为 200.ytrp另外,为保证评估的公平性,所有基线模型的目标类别,水印嵌入中数据扰动比例以及模型训练方式等都与本文提出方法的实现保持一致.4.2 数据集水印算法性能本节首先从有效性与功能不变性两个角度评估本文提出算法的性能.表 1 展示了不同数据集水印算法验证时对正负例模型所得的 p 值,以及模型在已添加水印的数据集上训练得到模型的 ACC.=0.05先关注各水印算法在正例模型上的 p 值,由于本文设定的在水印嵌入阶段可对数据集添加的扰动比例较小,对于 CIFAR-10 数据集仅可修改 500 个样本,导致 RD,UBW-C 和 LabelConsistent 方法的表现都相对较差.当验证置信度阈值时,RD 对 3 种模型结构的正例模型都判断错误,而 UBW-C 和 LabelConsis-tent 方法则是分别对 VGG16 和 EfficientNet 结构下的正例模型判断出错.除本文提出方法和 BEDW 之外,其他基线模型在水印嵌入阶段都需引入代理模型,在具体实现中是以 ResNet18 模型作为代理模型生成的水印数据集.这导致了这些方法在使用了相同模型结构的正例模型中可得到相对较小的 p 值,而在其他结构的正例模型所得的 p 值则较大,进而可能出现错误的判断.另一方面,在嵌入阶段未引入额外代理模型的BEDW 和本文提出的方法则对不同模型结构的正例模型都可取得相近的且较低的 p 值.这也反映出了数据集水印任务中若嵌入阶段涉及具体代理模型,则在其他模型结构上检测的准确率不高,即本身数据集水印算法的可迁移性较差.再观察负例模型上各个水印算法计算的 p 值,BEDW和 SleeperAgent 算法对部分负例模型的 p 值相对较2023年第32卷第8期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技术算法145低,且有可能将负例模型误判为是在水印数据集上训练得到的正例模型.而本文提出的算法所计算的 p 值不论是使用基于优化的风格迁移模型 Gatys 还是前馈式模型 WCT2 都相对较高,可以认为当前负例模型与水印数据集无关.结合正负例模型的 p 值,本文提出的基于风格特征的数据集水印算法相比其他算法可以更好地区分不同模型结构上的正负例模型,并且在较小的扰动比例下取得不错的有效性.表 1不同数据集水印算法在 CIFAR-10 数据集上的实验结果算法ResNet18VGG16EfficientNetp值ACC(%)p值ACC(%)p值ACC(%)F+FF+FF+F无水印95.3094.0191.02BEDW910480.335494.4910510.056393.3010540.307990.13RD100.46740.752594.530.46890.446293.040.87040.531591.69UBW-C110.00270.392194.600.07060.162093.120.03010.101490.28LabelConsistent33101090.096695.190.03800.143593.380.10530.633189.80SleeperAgent3710750.000294.76101110793.421050.078989.04Gatysw/refine102060.407695.25101900.512893.65101730.633190.31Gatysw/orefine102270.096695.13102130.143593.81101950.633190.64WCT2w/refine10950.592495.28101700.512893.4110790.633190.56WCT2w/orefine101660.407695.04101850.512893.32101740.366890.40对于数据集水印算法的功能不变性,表 1 结果显示,本文提出的数据集水印算法,现有的 3 个数据集水印工作以及复用的后门攻击工作基本都未破坏原始数据集本身的性能.具体地,5 个基线模型在 ResNet18,VGG16 和 EfficientNet 这 3 个模型上 ACC 下降平均幅度分别为 0.59%,0.76%和 0.83%,而本文提出方法(Gatysw/refine 和 WCT2w/refine)的 ACC 下降平均幅度分别为 0.04%,0.48%和 0.59%.由此可见本文提出的基于风格的数据集水印算法在 3 种模型结构上都具有更好的功能不变性.4.3 消融实验4.3.1风格优化模块影响本节从定性和定量两个角度分析第 3.1 节中提出的风格优化模块在数据集水印算法中的影响.定性地,图 2 给出了优化前和针对不同风格迁移模型优化后所使用的风格图像.如图所示,最初随机选择的风格图像中大面积的红色经过优化后被削弱了,这使得以优化后的图像作为风格图像得到的风格化模型在目标类中更为隐蔽.此外,对于不同的风格迁移模型,风格图像的优化方向各不相同,例如,对于Gatys 风格迁移模型的图像优化部分并不关注原风格图像中的黑色建筑部分,而 WCT2 方法却是将这部分亮度调高.定量地,本文计算了以优化前和优化后图像作为风格图像生成的风格化图像与原图之间的1079SSIM 分数,表 2 结果显示风格优化模块能有效提高了风格化图像与原图之间的 SSIM 分数.另外,除分析水印本身在使用风格优化模块前后的区别之外,本文也评估了使用原图作为风格图像时的水印性能.表 1 中的倒数第 3 行和最后一行实验结果表明了风格优化模块在提升水印的隐蔽性时,并不会对水印算法的有效性和功能不变性有太大的负面影响.即使在最糟糕的场景,即 EfficientNet 模型下使用 WCT2 方法进行风格迁移,前置使用风格优化模块的数据集水印算法对负例模型计算得到的 p 值仍然有,意味着可以在极高的置信度下声称这一负例模型是在水印数据集上训练得到的.(a)原风格图像(b)Gatys(c)WCT2图 2基于风格的数据集水印算法所使用的风格图像4.3.2风格强度影响直观地,本文提出的基于风格的数据集水印算法会随嵌入时的风格强度增大而更具有效性,但对功能不变性的影响未知,本节开展经验性实验探索风格强计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第8期146软件技术算法SoftwareTechniqueAlgorithm=1,2,3,4度对本文提出算法的影响.在图像的风格迁移任务中,通常使用格拉姆损失(gramloss)来评估模型生成的风格化图像的风格强度16.具体地,格拉姆损失是生成的风格化图像和风格图像格拉姆矩阵(grammatrix)之间的差异,其中格拉姆矩阵是图像各通道特征之间的偏心协方差矩阵,计算了各个特征之间的相关性,被视为可反映出整个图像的风格特征.本文沿用这一指标并计算 4 种水印所添加的风格强度.依照风格强度递增排序,4 种水印顺序为:WCT2w/refineGatysw/refineWCT2w/orefineGatysw/orefine,分别记作.表 2不同数据集水印算法的实验结果算法CIFAR-10Gatysw/orefine0.4314Gatysw/refine0.5406(+25%)WCT2w/orefine0.5138WCT2w/refine0.8896(+73%)图 3(a)展示了使用不同风格强度水印时本文提出算法对正例模型的 p 值负对数,该值越高意味着算法可以以更高的置信度声称正例模型是在水印数据集上训练获得.图 3(b)相应地给出了在嵌入了不同风格强度的水印数据集上训练得到的正例模型在测试集上的准确率.图 3 的实验结果经验性地论证了当水印使用的风格强度越大时,基于风格特征的数据集水印算法能更置信地声明版权,且对于数据集本身性能的影响并不会随着风格强度的增大而有明显变化.4.3.3扰动比例影响rprp第 4.2 节的实验结果展示了在扰动比例设置为10%情况下各算法性能,本节评估基于风格的数据集水印算法在不同扰动比例下的性能.图 4 给出了本文提出的算法在扰动比例分别设置为 1%,5%,10%,50%和 100%时,正例模型的 p 值与准确率.结果显示当扰动比例逐渐增大,算法对正例模型判断为含水印模型的置信度越高,而另一方面对数据集本身的功能有轻微影响,模型准确率有所降低,但其影响仍然较低,在 1%以内.4.3.4不同数据集上的表现为进一步验证本文提出的基于风格的数据集水印算法可以应用于更复杂的数据集中,本文在含有更多类别的 CIFAR-100 数据集和图像分辨率更高的 Image-Net 的 10 分类子集(记做 ImageNet-10)上与现有 3 种数据集水印算法进行对比实验评估.2501234123420