基于预测对抗网络的图像二分类模型.pdf

基于预测对抗网络的图像二分类模型余筝韵1,李春21(哈尔滨工业大学(深圳)理学院,深圳518055)2(深圳北理莫斯科大学计算数学与控制联合研究中心,深圳518172)通信作者:余筝韵,E-mail:摘要:正未标记学习仅使用无标签样本和正样本训练一个二分类器,而生成式对抗网络(generativeadversarialnetworks,GAN)中通过对抗性训练得到一个图像生成器.为将 GAN 的对抗训练方法迁移到正未标记学习中以提升正未标记学习的效果,可将 GAN 中的生成器替换为分类器 C,在无标签数据集中挑选样本以欺骗判别器 D,对C 与 D 进行迭代优化.本文提出基于以 Jensen-Shannon 散度(JS 散度)为目标函数的 JS-PAN 模型.最后,结合数据分布特点及现状需求,说明了 PAN 模型在医疗诊断图像二分类应用的合理性及高性能.在 MNIST,CIFAR-10 数据集上的实验结果显示:KL-PAN 模型与同类正未标记学习模型对比有更高的精确度(ACC)及 F1-score;对称化改进后,JS-PAN 模型在两个指标上均有所提升,因此 JS-PAN 模型的提出更具有合理性.在 Med-MNIST 的 3 个子图像数据集上的实验显示:KL-PAN 模型与 4 个 benchmark 有监督模型有几乎相同的 ACC,JS-PAN 也有更高表现.因此,综合 PAN 模型的出色分类效果及医疗诊断数据的分布特征,PAN 作为半监督学习方法可获得更快、更好的效果,在医学图像的二分类的任务上具有更高的性能.关键词:预测对抗网络;正未标记学习;医学图像分类;对抗性训练引用格式:余筝韵,李春.基于预测对抗网络的图像二分类模型.计算机系统应用,2023,32(10):275283.http:/www.c-s- Image Classification Based on Predictive Adversarial NetworksYUZheng-Yun1,LIChun21(SchoolofScience,HarbinInstituteofTechnology,Shenzhen,Shenzhen518055,China)2(JointResearchCenterforComputationalMathematicsandControl,ShenzhenMSU-BITUniversity,Shenzhen518172,China)Abstract:Positive-unlabeledlearning(PUlearning)onlyusesunlabeledsamplesandpositivesamplestotrainabinaryclassifier,whilegenerativeadversarialnetworks(GANs)obtainanimagegeneratorthroughadversarialtraining.InordertotransfertheadversarialtrainingmethodofGANstoPUlearningforhigherPUlearningperformance,thegeneratorinGANscanbereplacedwithaclassifierC,whichselectssamplesintheunlabeleddatasettodeceivethediscriminatorDandoptimize C andDiteratively.ThisstudyproposestheJS-PANmodel,whichusestheJensen-Shannondivergence(JS-divergence)astheobjectivefunction.Finally,accordingtothecharacteristicsofdatadistributionandcurrentneeds,therationalityandhighperformanceofthePANmodelappliedinthebinaryclassificationofmedicaldiagnosticimagesareexplained.ExperimentsonMNISTandCIFAR-10datasetsshowthattheKL-PANmodelhashigheraccuracy(ACC)andF1-scorethanthesimilarPUlearningmodels,andtheJS-PANmodelhashigherperformanceintermsoftwoindicatorsaftersymmetricimprovement,sotheJS-PANmodelismorereasonable.ExperimentsonthreeimagesubdatasetsofMed-MNISTshowthattheKL-PANmodelhasalmostthesameACCasthefourbenchmarksupervisedmodels,andJS-PANhashigherperformance.Therefore,inviewofboththeexcellentclassificationperformanceofthePANmodelandthedistributioncharacteristicsofmedicaldiagnosticdata,PAN,asasemi-supervisedlearningmethod,canachievefasterand计算机系统应用ISSN1003-3254,CODENCSAOBNE-mail:ComputerSystems&Applications,2023,32(10):275283doi:10.15888/ki.csa.009270http:/www.c-s-中国科学院软件研究所版权所有.Tel:[phone]基金项目:广东省基础与应用基础研究基金(2021A1515220073)收稿时间:2023-02-28;修改时间:2023-03-30,2023-04-07,2023-04-12,2023-05-11;采用时间:2023-05-17;csa 在线出版时间:2023-08-21CNKI 网络首发时间:2023-08-22ResearchandDevelopment研究开发275betterresultsandthusshowhigherperformanceinthetaskofbinaryclassificationofmedicalimages.Key words:predictiveadversarialnetworks(PAN);positive-unlabeledlearning(PUlearning);medicalimageclassification;adversarialtraining目前,深度学习在医学图像分析任务上取得很大成功1,2,此类模型的学习效果在很大程度上依赖于专家给出的人工诊断以及大量训练图像的可用性.半监督学习是利用无标签数据和一部分有标签数据进行训练,PUlearning 是半监督学习的一个重要分支.正未标记学习中,唯一可用的有标签数据是正样本,它利用无标签数据和正样本进行训练,学习出一个二分类器.它不仅符合此类诊断数据的分布特征,更好地利用无标签数据进行神经网络的训练,而且能有效解决高质量人工标注难以获得、数量较少的问题.同时,近年来对抗性训练被广泛应用在深度学习尤其是半监督学习中.将对抗性训练思想应用在医学诊断图像的深度学习模型中可以提升模型鲁棒性及稳定性,所以基于对抗网络的医学图像分类模型也受到广泛关注35.1模型相关工作 1.1 正未标记学习模型正未标记学习(PU 学习)的研究始于 21 世纪初.由于其在生活中的应用广泛,近年来人们对 PU 学习的兴趣激增.Denis6对 PU 学习进行理论分析;Liu等人7对 PU数据集样本的复杂性进行分析.这些 PU 学习的早期方法由两步骤组成:步骤 1,从无标签数据集中查找一些极有可能为负类的样本.步骤 2,使用正样本和步骤 1 的可能的负样本作为有标签的数据,再利用剩余的未标记集来构建单独的分类器.但是,此类两步过程容易受到错误的负标签的影响,因为当用错误的负类样本训练新模型时,错误会在后续迭代中传播.以上的 PU 学习方法都没有像 PAN 模型一样,将对抗性思想运用在 PU 学习中.1.2 生成式对抗网络生成式对抗网络(generativeadversarialnetworks,GAN)8起源于 Goodfellow 等人在2014年研究的噪声对比估计,它使用与GAN相同的损失函数.对抗性学习思想除了生成建模还有其他用途,可以应用于神经网络以外的模型.在控制论中,基于神经网络的对抗性学习被来训练博弈思想上的鲁棒性控制器,对抗性学习方法体现在最小化策略(控制器)和最大化策略(干扰)之间的交替迭代.2017年,GAN被用于图像增强领域9,其用于提高图像的逼真性而不是清晰度(像素精度),从而在高放大倍率下产生更高质量的图像.同年第 1 批图像被生成了,并于2018年2月在大皇宫展出.在2019年,StyleGAN10可以更加灵活地生成图像.2020年5月,Nvidia 研究人员研究出了一个AI系统(称为“GameGAN”)11,它只需通过观看游戏来重现Pac-Man游戏.Hou 等人12运用 GAN 生成正类和负类样本,然后将它们作为有标签数据,构建单独分类模型,训练得到最终分类器.Chiaroni 等人13提出了一种使用 GAN生成负样本的方法.这两篇论文采用的数据类型均为图像.使用 GAN 生成文本类型数据和其他形式的数据更困难.这些基于 GAN 的分类模型大多单独使用 GAN作为数据生成器,再利用其单独训练一个分类器.这些模型都没有将对抗性学习思想直接运用在对最终的分类器的训练中,分类器的训练数据输入也并不是只有正样本和无标签数据集.1.3 近年来正未标记学习的发展Xu 等人14都使用传统的基于决策边际(Margin)的方法训练分类器,但模型结果较差,尤其在图像分类中;Bekker 等人15研究 PU 学习的随机假设;这些模型的缺点在于,它们都需要一个先验概率.研究表明,如果先验概率的估计值不对,结果可能会很差.基于以上分析,Hu 等人16提出的基于对抗性训练网络的分类模型(PAN),在该模型中,作者们将对抗性思想引入 PU学习中,其分类效果较好,敏感性及鲁棒性较高,并且不需要先验概率,可运用在多种类型的数据上.2PAN 模型背景 2.1 正未标记学习与生成式对抗网络PUlearning 是半监督学习的一个重要分支.它利用无标签数据和正样本进行训练,学习出一个二分类器.GAN 是一种深度学习中的无监督学习模型,因其善于处理复杂分布的数据而广受关注.此模型框架中计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第10期276研究开发ResearchandDevelopment含有(至少)两个模块:生成器(generator)和判别器(discriminator),以下简称为 G 和 D.生成器 G 生成新的样本数据,鉴别器 D 评估它们的真实性,即决定它每个生成的数据样本是否来自有标记的实际训练集.生成式对抗网络就是通过 G 和 D 的互相博弈,迭代优化模型,最终学习出一个用于生成图像等数据的一个生成器.其中,对抗性神经网络的流程图如图 1所示.以图像数据为例,下面具体阐述GAN模型的原理.首先,本文有一组真实的图片作为训练集中有标签的正样本.生成器 G 先接收一组随机噪声 Z,把真实的图片加上这个噪声,生成假的图片,记作 G(z).因为本文只向网络输入噪声 Z,而不给它们添加任何标签(或期望的输出),所以这种训练过程是无监督学习.D 是一个判别网络,它的输入参数是真实图片 x 和假数据 G(z),分别输出 D(x)和 D(G(z),代表 x 和 G(z)被 D 鉴别为正样本的概率.若概率为 1,就代表 100%是真实的图片,若输出为 0,就代表不可能是真实的图片.真1假0LossD(x)D(G(z)噪声zPz(z)假数据G(z)真实数据xpdata生成器Generator鉴别器Discriminator图 1对抗性神经网络的流程图在GAN中,G 的功能是产生大量“假图片”来欺骗D,而 D 的功能是尽力将生成的假数据(负样本)与真实的有标签的训练数据(正样本)区分开来.所谓对抗性学习就是一个 G 和 D 动态博弈的过程.最后博弈的结果是:在最理想的状态下,G 可以生成“以假乱真”的图片 G(z),使得 D 难以判定 G 生成的图片究竟是不是真实的,因此 D(G(z)=0.5.通过轮番优化 G 和 D,从而可得一个生成数据的模型 G,训练的目的就达成了.GAN 的目标函数如下:minGmaxDV(D,G)=Expdata(x)logD(x)+EzPz(z)log(1D(G(z)(1)pdata(x)Pz(z)G(z)D(G(z)1D(G(z)首先,设 x 代表有标签的训练集样本,其中 z 代表传入生成器 G 的随机噪声.代表真实数据的数据生成分布,代表生成器生成的数据分布.生成器G 是一个网络,生成的数据为,在鉴别器 D 中得到的正概率为,则被鉴别器识别出假数据的概率即为.鉴别器 D 是一个二分类器,传入了真G(z)D(x)D(G(z)D(x)D(G(z)实数据 x 及假数据,对这两种数据 D 输出它们是正样本的概率分别为和,最终将概率和与 0.5 相比较,分别为其分配一个标签(y=0表示 D 认为这是 G 生成的假数据,y=1 代表是训练集的正样本).(1)D 的损失函数D 的损失函数可以用常见的二分类器损失函数二元交叉熵损失函数来定义.其中 k 为输入数据.由于当 k 为真实数据时 y=1,当 k 为生成器 G 生成的数据时 y=0,于是公式简化成:Dloss=1nnilog(D(xi)+log(1D(G(z)(2)(2)GAN 的目标函数DlossDloss对 D 而言,目的是将损失函数最小化,也就是最大化.于是,其目标函数为:maxDV(G,D)=Expdata(x)log(D(x)+Ezpz(z)log(1D(G(z)(3)pdata(x)PG(z)V(G,Z)对 G 而言,它的目的是缩小真实数据和产生的假数据的差异.对所有样本进行总体考虑,也就是最小化和之间的真假数据分布差异,这恰恰与 D的目标相反,于是优化 G 就是求解上述的最小值.于是整体优化函数可以定义为:minGmaxDV(D,G)=Expdata(x)logD(x)+EzPz(z)log(1D(G(z)(4)2.2 适应性对抗网络(Adapted-GAN)本文将对抗性思想直接运用在 PU 学习中得到的初级的 Adapted-GAN(A-GAN).由第 2.1 节,PUlearning与 GAN 两者都是利用一部分有标签数据和一部分无标签数据的半监督模型,且最终都训练出一个二分类器.将 GAN 的对抗性思想直接引进正未标记学习里,这个新型的正未标记学习模型可以理解为:模型在未标注的数据集里寻找被分为正类的概率大的样本,去欺骗鉴别器 D,让鉴别器 D 判别数据是有标签的正样本还是未标注的假样本.具体对比两者的差别,不同点是 PUlearning 里面的假数据是从无标签的数据集里面找的;而 GAN 的假数据是自身通过生成器生成的.因此,将对抗性思想直接运用在正未标记学习中,可将 GAN中的生成器 G 换成一个分类器 C,当于将GAN 改造成一个对抗性 PU 学习模型,这就得到了最初级的 Adapted-GAN(A-GAN).其目标函数如下:2023年第32卷第10期http:/www.c-s-计 算 机 系 统 应 用ResearchandDevelopment研究开发277minCmaxDV(D,C)=ExpPp(xp)logD(xp)+Exs=argxuPu(xu)C(xu)=1log(1D(xs)(5)XpD(Xp)XsD(Xs)Pp(Xp)Pu(Xu)其中,代表有标签的训练集样本,代表鉴别器对正样本的判别概率;代表无标签数据集中被分类器 C 选出的数据样本,代表鉴别器 D 将它们归到正类的概率.代表真实数据的数据生成分布,代表未标记集的数据分布.D(Xp)=1XsD(Xs)=01D(Xs)=1和 GAN 模型的公式推导原理相似:对于 D 而言,要尽量把标记的正样本判别为正类,最大化的概率,同时要尽量把 C 从未标记集中挑出的假数据判别为负类,最小化的概率,也就是最大化的概率.对于 C 而言,它无法影响第 1 项(即 D 对标记的正样本判别为正类的概率),而对第2 项的影响与 D 的目标恰恰相反,由相似的推导,轮番优化 D 和 C,得出优化函数如上.值得注意的是,当本文在训练 C 时,相当于保持鉴别器 D 的各参数不变(固定 D 的分类标准).首先,此时函数中第 2 项(即鉴别器 D 将假数据辨认出来的概率)对于固定的无标签数据集 U 而言,它的分布与 U 中数据的分布是有一一映射关系.而 U 中的数据分布为离散型,则函数中第 2 项的数据分布在训练 C 时是离散的;其次,对于 C 而言,第 1 项是一个固定的无关量,优化C 只与第 2 项有关.于是,对于此离散型的优化函数,本文采用强化学习中的策略梯度算法来训练 C.在强化学习的训练中,这一项被视为优化 C 的奖励.此种策略梯度算法在后面提出的 PAN 模型中也有运用.3PAN 模型本文对 Adapted-GAN(A-GAN)模型在对抗性思想上的运用进行改进,研究了一个更高级的模型预测性对抗网络(PAN).PAN 同样构建 PU 分类器C 替代 GAN 中生成器 G,但它采用了一种新的方式来运用对抗性学习思想.3.1 PAN 模型提出以上 GAN 及 A-GAN 两个模型均用二分类模型的交叉熵函数来定义 D 的损失函数,再基于此考虑C 的功能,提出整体优化函数.这个优化函数本质就是通过迭代更新 C 和 D,优化鉴别器 D 分类正确的概率.而这两个模型的对抗性思想运用在 C 和 D 的博弈中,直接优化鉴别器 D 分类的总体准确度(ACC).本文研究的 PAN 模型则做出以下改进:它不在 D 分类的总体准确度上使用对抗性学习思想,而是在 D 和 C 的整体分布上使用对抗性学习思想.C(X)=1C(X)=0D(X)=1D(X)=0C(X)D(X)对于单个无标签数据集 U 中的样本 x,若 C 选中则,否则,若 D 判断为正类则,否则.对于 U 中的所有样本点,也就是总体样本 X,将 C 和 D 分别作用后得到两个矩阵,记为和.C(X)D(X)C(X)D(X)D(X)C(X)C(X)对 D 而言,D 试图区分 C 选中的负样本与 P 中的正样本,也就是增大和的数据分布差异.对C 而言,C 又试图在无标签数据集 U 中找到最可能分为正类的无标签样本(负样本)去迷惑 D,也就是缩小和的数据分布差异.于是对抗性体现在:C 和D 分别希望减小、增大和的数据分布差异.于是本文可以将这个“数据分布差异”作为优化函数,用对抗学习的思想轮番对其求最大最小值.因此,PAN首先使用来拟合 D 在总体样本上的概率分布,然后根据衡量分布差异的目标函数,轮流对 D 和 C 进行参数的更新,最终训练出一个而分类器 D.3.2 PAN 模型中 C 的分类原理PAN 模型计算 D 和 C 总体概率分布差异,通过迭代优化 D 和 C 进行对抗性训练,学习出一个二分类器D.由于 PAN 以 D 作为二分类器的模型输出,它不仅希望 C 选出的无标签样本很难用鉴别器 D 来区分,以达到迷惑鉴别器 D 的效果,同时也希望剩余的 U 中样本点很容易被鉴别器 D 区分.于是,C 在训练过程中,不仅要给 U 中 D 难以区分的样本赋予高概率,而且还要给 D 容易区分的数据赋予低概率.针对以上目标,C 从无标签数据集 U 中选取假的“正类样本”的原理可以表述如下:C 是一个二分类器,功能是找到一个超平面将数据分成正负两类,两类样本点的距离就叫做边际(Margin).C 的训练过程就是在不断调整这个超平面的参数,最终训练目标是找到使得 Margin 最大的超平面.这与支持向量机(supportvectormachine,SVM)的二分类原理相同.总的来说,PAN 追求的是 C 分类整体的精准性,而不仅只追求把正样本识别出来,而忽略对负样本输出概率的考虑(后者容易导致高精确度,低召回率的现象).3.3 PAN 模型中衡量分布差异的函数在 PAN 中,本文先利用 KL 散度度量分类器 C 和鉴别器 D 的概率分布差异.随后研究 KL 散度的对称化,得到 JS 散度作为差异衡量函数.计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第10期278研究开发ResearchandDevelopment(1)Kullback-Leibler 散度(KL 散度)对连续型概率分布,KL 散度的定义如下:KL(pq)=Rp(x)lnq(x)p(x)dx(6)对离散型概率分布,KL 散度的定义如下:KL(P|Q)=iPP(xi)log(PP(xi)PQ(xi)(7)(2)Jensen-Shannon 散度(JS 散度)M=(P+Q)/2采用 KL 散度衡量 D 和 C 概率分布差异可以最大限度地减少两个概率分布之间的信息损失,但是 KL散度不符合三角不等式及对称性,所以不符合严格的“距离”的定义.因此,我们对 KL 散度进行对称化,设,从而可得到如下 JS 散度:JS(PQ)=12KL(PM)+12KL(QM)(8)3.4 PAN 模型的目标函数基于 KL 散度及 JS 散度的 PAN 模型的目标函数分别如式(6)和式(7):minCmaxDV(D,C)=ni=1KL(PpuiDpui)|z I+n0i=1KL(DuiCui)|z IIn0i=1KL(DuiCui)|z III(9)minCmaxDV(D,C)=ni=1JS(PpuiDpui)|z I+n0i=1JS(DuiCui)|z IIn0i=1JS(DuiCui)|z III(10)PpuiXpuXpXuDpuinn0CuiCui本文规定这个二分类模型中,正类概率为 1,负类为 0,本文默认无标签数据集中样本全为负类(即 U 中样本真实标签均为 0).样本通过 D 和 C 后输出结果均满足 0-1 分布.其中,是给定 PU 数据(包括正和未标记数据)中第 i 个样本的概率分布,是鉴别器 D 对这个样本的分类结果的概率分布.和分别是 PU 数据集中无标签数据集 U 中的样本的总数.表示的相反分布.目标函数中,第 I 项代表 PU数据集中第 i 个样本nn0的真实概率分布与鉴别器输出结果的概率分布差异,由于 PU 数据集中的样本满足 0-1 分布,是离散型随机变量,本文对 个样本求和得到 PU 中总体样本的概率分布差异.注意到这一项与 C 无关,只有在优化 D 的时候起作用.对于 D 而言,要最小化这个和函数,也就是最大化第 1 项,这一项的功能是帮助 D 从 PU 数据集里有标签的正样本中学习判别规则.在训练初期D 的判别能力较弱,这一项对 D 的学习就尤其重要;第 II 项代表无标记数据集 U 中第 i 个样本通过分类器 C 与鉴别器 D 后输出结果的概率分布差异,由于U 数据集中的样本满足 0-1 分布,是离散型随机变量,本文对个样本求和得到 U 中总体样本通过 C 和D 分类后的概率分布差异.优化 D 时,D 试图检测假样本,要最大化与 C 的分布差异;优化 C时,为了实现了用 C欺骗 D 的目标,要最小化它,于是本文得到了优化函数的第 2 项.这两个项已经可以执行 PAN 的功能;对于第 III 项,如上文 PAN 中 C 的分类原理所提,PAN 模型可以同时考虑和优化无标签数据集中的正样本和负样本的输出结果.但是如果优化函数只有前两项,则第2 项中 C 和 D 的正负样本将在训练过程中产生不对称梯度,可能导致正样本和负样本点间的不平衡训练,因此导致高精度和低召回率.为此,本文需要找到一个对称的函数,使得对 C 优化时,C 分类为正样本时不存在梯度,而分类为负样本时存在与第 2 项相同的梯度.于是,根据对称性构造出第 III 项,此项作为梯度平衡项.最后,再在第 2 和第 3 项整体前面加上超参数,便于在训练时通过调整它的值提升训练效果,利用这 3 个项,本文得到了 PAN 模型的优化函数,通过上述最小化和最大化操作,即 D 和 C 之间的最小值博弈,构建了 PU 学习的对抗性学习方法.3.5 PAN 模型的优势(1)它不需要先验概率,而很多同类的先进分类器需要先验概率,但是在实际问题中先验概率是未知的,所以这是 PAN 模型对比起同类模型的一大优势.(2)应用范围广.由于 PAN 没有生成器,它可以应用在不同类型的数据上,而不仅限于图像类.实验得出,对比起同类的 PU 模型,在文本类数据上 PAN 模型表现优异.(3)模型效果好.将 PAN 模型和 PU 学习的其他高级模型在不同数据集上进行对比.实验证明,在给予其他模型准确的先验概率条件下,PAN 的精确度、F1-score 和鲁棒性都强于所有同类模型.对结果进行灵敏2023年第32卷第10期http:/www.c-s-计 算 机 系 统 应 用ResearchandDevelopment研究开发279性分析后,本文得出如果在未知先验概率的条件下,其他模型的表现会更差.4训练过程本文利用小批量随机梯度下降算法,对 PAN 模型进行训练.设置总训练次数为 k,流程图如图 2.是否PAN小批量随机梯度下降初始化C和D输入P及U小批量梯度下降更新D小批量梯度下降更新C1.在U中小批量采样2.随机梯度下降最大化优化函数第VI项,更新D的参数1.在U及P中小批量采样2.随机梯度下降最小化整个优化函数,更新D的参数Trainingsteps=k?结束训练输出二分类器D图 2小批量随机梯度下降的流程图5实验分析实验分别采用两个普通图像数据集、3 个医学图像数据集,以同类正未标记学习模型,官网给出的基准模型及原论文的 PAN 模型结果作为对比,测试模型的精确度、F1-score 指标.5.1 相关指标定义精确度(Accuracy,ACC),也称准确度,表示的是分类器正确预测占总预测的比例;召回率(Recall)表示正样本中被预测正确的比例;误报率表示负样本中预测为正样本的比例;F1-score 是精确率和召回率的调和平均数,最大为 1,最小为 0.对二分类模型而言,精确度(ACC)及 F1-score 是重要的衡量指标.研究者在 PU 学习中希望通过网络找出所有的正类数据,从而进行后续分析;如果模型在找出部分正类数据的同时,漏掉了很多其他正类样本,则将大大降低模型的可解释性,达不到研究目的.5.2 数据集介绍及准备工作PU 数据集有如下特点:其一,包含了少量标签数据和大量无标签数据;其二,数据集的分类结果只有两类(正类与负类)因此,我们需要将实验数据集改造成以一定比例的标签数据组成的,且标签数据只含有正负两类的 PU 数据集.本文分别以 ratio=0.5,0.6,0.7,0.8,0.9 共 5 种无标签数据的比例进行实验,以模拟不同情况下的数据集实验情况.关于实验采用的 3 个数据集的示意图如图 3.以下分别介绍本文对每个数据集的二分类标签准备工作.(a)MNIST(b)CIFAR-10(c)Medical-MNIST图 3数据集示意图(1)MNIST17MNIST 是一个手写体数字的图片数据集,标签为09 的数字,共 10 种.本文将标签为奇数的 5 类样本作为负类,偶数的 5 类样本作为正类,创建二分类的MNIST 数据集.(2)CIFAR-10183232CIFAR-10 是一个 60 万张用于识别普适物体的彩色图片的数据集.这个数据集一共包含 10 个不同类别的彩色图像,图片的尺寸为.本文挑选飞机、手机、卡车和轮船 4 类图像作为正类数据,其余 6 类作为负类数据,构建二分类数据集.(3)Medical-MNIST1928282828Medical-MNIST(简称 Med-MNIST)是一个新型开放医疗图像数据集,提供共十类的医学图像分类数据集.数据集中的图像分辨率为,标签均为个位数字且奇偶标签的样本个数相当.Med-MNIST数据集在轻量级图像上执行分类任务,主要用于医疗图像模态分类和多样化的数据规模.本文挑选 Medical-MNIST中不同尺寸输入的 3 个数据集:3D 数据集Synapse-MNIST3D,2D-1 通道数据集 Tissue-MNIST及 2D-3 通道 Retina-MNIST.本文将标签为奇数的样本作为负类,偶数的样本作为正类,创建 Med-MNIST数据集种有标签的部分.5.3 实验结果首先,本文在 MNIST 和 CIFAR-10 数据集上,以NNPU20,UPU21和 NNPUSB22模型为对比的 baseline,设置 CPU 个数为 8,epochs 为 200,间隔 400 个点取样,实验结果分别为表 1 及表 2.在MNIST数据集上,PAN计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第10期280研究开发ResearchandDevelopment模型的 ACC 及 F1-score 分别为 96.35%及 96.49%,均远胜于其他 baseline 的模型,这说明 PAN 模型分类精确、真实可信,与预期分析一致.运用对称化 KL 散度后,本文得到 ACC 及 F1-score 分别为 96.68%及 96.61%,分别有了约 0.33%及 0.12%的效果提升.在 CIFAR-10数据集上,由表 2 可见 PAN 模型的 ACC 及 F1-score 都略胜于其他 baseline 的模型,说明 PAN 模型分类效果较好;运用对称化 KL 散度后,本文得到 ACC 及 F1-score分别为 89.81%及 87.29%,分别有了约 0.40%及 0.65%的效果提升.由于篇幅有限,本文以基于 KL 散度的PAN 模型在 MNIST 数据集上的训练数据为代表,给出损失收敛曲线及精确度曲线随训练轮数 epoch 的变化图,如图 4 所示.表 1在 MNIST17数据集上的测试结果模型ACCF1-scoreNNPU200.95350.9540UPU210.95550.9560NNPUSB220.96510.9555KL-PAN160.96350.9649JS-PAN0.96680.9661表 2在 CIFAR-1018数据集上的测试结果模型ACCF1-scoreNNPU200.88840.8609UPU210.88960.8620NNPUSB220.88590.8656KL-PAN160.89410.8664JS-PAN0.89810.87290.8Accuracy0.95002575125175200100150Epoches(a)Accuracy4020Loss0205002575125175200100Epoches(b)Loss150图 4MNIST 数据集的精确度及损失收敛曲线最后,本文在 Med-MNIST 的 3 个子数据集 Synapse-MNIST3D,Tissue-MNIST,Retina-MNIST 上,实验设置 CPU 个数为 8,epochs 为 200,间隔 400 个点取样,以 Auto-Sklearn23,ResNet-18(28)24,ResNet-50(28)25和 AutoKeras26模型为对比 benchmark,实验结果如表 3.可以看到,基于 KL 散度的 PAN 模型的 ACC 都远胜于其他 baseline 模型,说明 PAN 模型在 Medical-MNIST医疗图像数据集上分类精确度高,与预期分析一致;同时,对称化改进后的 PAN 模型也在 3 个数据集的 ACC上有了不同程度的提高,说明对称化的合理性.证实了PAN 模型在正未标记学习中有出色的二分类表现.表 3在 Med-MNIST19的 3 个子数据集上的精确度模型Synapse-MNIST3D Tissue-MNIST Retina-MNISTAuto-Sklearn230.7300.5320.515ResNet-18(28)240.6960.6760.524ResNet-50(28)250.7090.6810.528AutoKeras260.7240.7030.503KL-PAN160.84120.69660.7775JS-PAN0.85310.69870.79256PAN 模型在医疗诊断图像的分类运用本文着重研究 PAN 模型在医疗诊断图像数据集上的二分类表现.以下将从领域特点、实验分析两个角度说明正未标记学习模型 PAN 在医疗诊断领域图像二分类中有较高的性能.6.1 领域特点(1)数据集特点医学诊断领域的数据特点突出.除了少量确诊病例的各类数据(例如 CT 图像、MRI 和 PET 等),医院接收新的病人将有海量未诊断的新数据产生,未知疾病状况,没有对应的标签;同时数据库中较少留存被完全排除疾病可能性的病例样本.结合以上分析,医学诊断领域数据集大致满足“包含少量正样本(positivesamples)和大量无标签样本点(unlabeledsamples)”的特征,与深度学习中正未标记学习(positive-unlabeledlearning,PUlearning)的训练数据条件较为相符.PAN 作为正未标记学习的模型,十分符合医学诊断图像的分类应用背景.(2)现状与需求目前,深度学习在医学图像分类模型有以下几个局限性:一方面,由于诊断费时且只有相关疾病专家才能对数据进行标注,获取高质量的人工标注进行训练成本高、强度大,精确标注的训练数据少成为在医学图像上运用深度学习模型的主要障碍;另一方面,如何最大化利用无标签的数据进行神经网络的训练是此领2023年第32卷第10期http:/www.c-s-计 算 机 系 统 应 用ResearchandDevelopment研究开发281域的另一个难题.最后,由于有标签的数据少,训练时需要采取加噪声等措施进一步提升鲁棒性及稳定性,以避免模型过拟合.综上,此领域中获取高质量的数据标记的成本大且耗时长,模型的学习效果在很大程度上依赖于专家给出的人工诊断以及大量训练图像的可用性.PAN 作为正未标记学习模型这种无监督模型之一,需要的标注数据较少,可以利用大量无标签数据;同时 PAN 的半监督特点又可获得更快、更好的训练效果;另外,PAN模型中采取的鉴别器与分类器互相对抗的思想,进一步提升了模型的鲁棒性及稳定性.因此,本文研究的 PAN模型在医学图像的二分类的任务上具有更高的性能.6.2 实验分析(1)模型评价指标在医疗诊断领域中,若模型主要用于辅助诊断,则精确度(ACC)无疑是一个最重要的评价指标这将关系到患者是否得到准确的疾病信息,从而接受及时的治疗;若模型主要用于挑选样本以供医疗工作者研究,对比起无病样本,医疗研究者更关注患病样本,以从中找到疾病相关信息.这就需要模型尽可能将正类样本全部识别出来,因此除了 ACC 外,召回率(Recall)这一指标也非常重要.而 F1-score 作为 ACC 和 Recall两者的调和平均数,是针对正样本的一个综合衡量性指标,可以很好地综合代表模型用于医疗领域研究的图像二分类效果.综上,在医疗诊断领域中的二分类模型效果主要由 ACC 和 F1-score 作为主要衡量指标.因此我们主要采取这两个指标对 PAN 模型在 CIFAR-10和 MNIST 两个数据集上的分类效果进行评估,同时由于 Med-MNIST 官网没有 F1-score 数据,只采取了ACC 作为对比