注意力融合双流特征的局部GAN生成人脸检测算法.pdf

第 卷第 期 年 月东 南 大 学 学 报(自 然 科 学 版)().:./.注意力融合双流特征的局部 生成人脸检测算法陈北京王 鹏喻乐延舒华忠(南京信息工程大学计算机学院 南京)(南京信息工程大学雷丁学院 南京)(东南大学影像科学与技术实验室 南京)摘要:为解决现有局部生成式对抗网络()生成人脸检测算法在检测经过后处理的图像时性能严重下降的问题提出一种注意力融合双流特征的局部 生成人脸检测算法.该算法利用双流网络分别从 颜色空间和 颜色空间中提取鲁棒特征并引入注意力特征融合模块在不同网络层上融合双流特征以获得更鲁棒的特征.同时采用多层次特征融合决策提高网络对局部生成区域特征的提取和辨别能力.实验结果表明所提算法的鲁棒性优于现有算法尤其是针对 压缩和双边滤波后处理.在 规则子集上与次优算法相比该算法在 种强度的 压缩和双边滤波上的平均准确率分别提高了.和.在 不规则子集上与次优算法相比该算法在 种强度的 压缩和双边滤波上的平均准确率分别提高了.和.关键词:生成式对抗网络()生成人脸 网络特征融合注意力机制中图分类号:.文献标志码:文章编号:()()()():().().().:()收稿日期:.作者简介:陈北京()男博士教授博士生导师.基金项目:国家自然科学基金资助项目().引用本文:陈北京王鹏喻乐延等.注意力融合双流特征的局部 生成人脸检测算法.东南大学学报(自然科学版)():.:./.:/.随着基于生成式对抗网络()的人脸生成技术的出现与发展许多人脸处理工具被相继提出使得人脸身份认证技术变得不再安全.人脸伪造检测也成为数字图像盲取证领域的热点研究方向之一.近年来人们提出了许多检测方法 来识别恶意的 生成人脸.这些方法大致可以分为 类:基于内在统计特征的方法 和基于深度学习的方法.前者利用自然图像和 生成图像之间某一类型属性的不一致进行辨别如人脸属性、全局对称性和颜色信息等.然而由于这些基于内在统计特征的方法大都以手工方式提取特征其检测性能受到限制.而基于深度学习的方法则通过网络自动学习来提取所需的特征通常比前者更有效.等通过结合 矩阵和 网络来提取全局纹理特征以提高检测网络的鲁棒性.等利用浅卷积神经网络提取多个颜色空间的色度分量来提高检测网络的鲁棒性.等进一步研究发现亮度分量和色度分量对 生成人脸检测网络的鲁棒性都起着重要作用并且在、和 四种颜色空间中使用 颜色空间和 颜色空间更有利于提高网络对不同后处理图像的检测性能因此采用双流网络从 颜色空间和 颜色空间提取特征来检测 生成人脸.等提出结合全局特征和局部特征来检测 生成人脸并取得了较好的泛化性.上述生成人脸检测算法的提出均基于整张人脸都是生成的即均为全局 生成人脸检测算法.但在一些实际情况中只有小部分甚至极小部分的区域是生成的且随机出现在人脸中的某个位置导致特征更难提取和分辨.以上全局 生成人脸检测方法在局部 生成人脸检测任务中可能效果受限.为此 等首次针对局部 生成人脸检测任务开展了研究利用空洞卷积技术和特征金字塔改进 网络以用于检测并取得了较好的检测效果.然而在实际场景中生成的人脸常常伴随着一些后处理操作如 压缩、噪声和模糊等.而该工作在检测经过后处理的人脸图像时检测性能大大降低.本文提出了一种注意力融合双流特征的局部 生成人脸检测算法.利用 生成图像的伪影痕迹在 和 颜色空间中更稳定的特性设计了一个双流网络从这 种颜色空间中提取鲁棒特征并采用注意力特征融合模块融合双颜色空间特征以增强关键特征信息获得更鲁棒的特征表示.同时设计多层次特征融合决策以有效提升网络对局部生成区域特征的提取能力和辨别能力.实验表明本文算法针对多种后处理操作的鲁棒性优于现有算法.注意力融合双流特征算法本文提出的注意力融合双流特征算法总体架构如图 所示.首先采用双流网络从 和 颜色空间中提取特征并利用注意力特征融合模块在浅、中、深 个网络层上自适应地融合 个颜色空间特征然后将融合后的浅、中、深层特征图分别经过全局平均池化和全连接层映射得到 个具有判别信息的特征向量最后将它们相加融合得到最终的特征向量来进行分类决策.颜色空间转换 等比较了、和 四种颜色空间对不同后处理人脸图像检测性能的影响发现使用 颜色空间和 颜色空间取图 注意力融合双流特征算法总体架构图东南大学学报(自然科学版)第 卷:/.得了更好的性能尤其对于 压缩使用 颜色空间时检测性能最佳并且这 种颜色空间对不同的后处理操作有不一样的影响.因此本文同时从 和 颜色空间中提取鲁棒特征.颜色空间已经广泛应用于图像和视频压缩标准如 压缩和 压缩等.颜色空间和 颜色空间之间的转换关系如下:.()式中、和 分别为 颜色空间中的亮度分量、蓝色色度分量和红色色度分量、和 分别为 颜色空间中的红色色度分量、绿色色度分量和蓝色色度分量.待检测 人脸图像通过式()可转换得到 颜色空间图像随后将 种不同颜色空间的待检测人脸图像分别输入到对应的 流和 流特征提取网络.特征提取网络是卷积神经网络 的改进版.文献认为通道之间的相关性和空间之间的相关性需要分开处理因此将 中的普通卷积改为深度可分离卷积.不同于普通卷积深度可分离卷积将卷积操作分成 步:在输入特征的每个通道上分别使用空间卷积进行卷积操作 使用 卷积将上一步得到的特征在通道上进行加权组合.深度可分离卷积的这种操作方式不仅可以降低网络的参数数量同时也可以减少运算量.文献 和文献 分别在 生成人脸检测任务和伪造人脸视频检测任务中对一些经典网络的检测性能进行了对比发现 网络均展现了最好的性能.因此本文采用 作为 个分支的特征提取网络.特征提取网络的结构如图 所示可图 特征提取网络结构图第 期陈北京等:注意力融合双流特征的局部 生成人脸检测算法:/.分为输入流、中间流、输出流 个部分.其中输入流为特征提取网络中的浅层网络中间流为中层网络输出流为深层网络.由于后续多层次特征融合决策的设计本文省去了输出流中的全局平均池化层和全连接层.注意力特征融合模块特征融合是指将多个特征组合成一个比其中任一输入特征更具鉴别性的新特征.在图像取证任务中融合 种或更多类型的特征可以有效提高网络的检测精度和鲁棒性.如前所述 颜色空间和 颜色空间在抵抗不同后处理操作的影响上各有优势.显然融合 种颜色空间的特征可以获得更好的检测效果.此外由于局部 生成人脸中的生成区域较小伪影痕迹难以捕获有必要引导网络学习更重要的特征.因此本文引入包含通道注意力和空间注意力的注意力特征融合模块通过 种注意力机制来增强 流和 流特征再将增强后的特征相加融合.注意力特征融合模块的结构如图 所示主要由通道注意力模块和空间注意力模块组成.通道注意力模块和空间注意力模块的结构分别如图 和图 所示.在通道注意力模块中首先根据尺寸为 的输入特征构造尺寸为 的通道加权向量然后将输入特征与通道加权向量相乘得到尺寸为 的输出特征目的是使网络更关注含有重要信息的特征通道.在空间注意力模块中首先根据尺寸为 的输入特征构造尺寸为 的空间加权矩阵然后将输入特征与加权矩阵相乘得到尺寸为 的输出特征目的是使网络更关注含有重要信息的位置.图 注意力特征融合模块结构图 通道注意力模块结构图 空间注意力模块结构 如图 所示在注意力特征融合模块中首先将尺寸均为 的 颜色空间特征 和 颜色空间特征 分别用 个注意力模块进行增强.然后将相同类型的注意力增强特征相加后进行卷积操作得到通道注意力增强特征 和空间注意力增强特征 其计算公式如下:()()()()()()式中()为步长为 的 卷积操作()和()分别为通道注意力模块和空间注意力模东南大学学报(自然科学版)第 卷:/.块中的操作.最后将通道注意力增强特征 和空间注意力增强特征 相加后进行卷积操作得到尺寸为 的融合特征 即 ()().多层次特征融合决策由于局部 生成人脸中的生成区域通常较小这些局部生成区域经过包含多个卷积层的深度网络传播后在最终输出的特征图中可能会缩小至一个点甚至完全消失从而导致最终的特征向量无法进行有效的分类决策.因此本文采用多层次特征融合决策首先利用注意力特征融合模块分别在特征提取网络的浅、中、深 个网络层上融合 颜色空间和 颜色空间特征得到尺寸依次为 、和 的浅层特征图、中层特征图和深层特征图然后分别将这 个特征图经过全局平均池化和全连接层映射得到 个具有判别信息的特征向量多层次特征融合决策中的全连接层均含有 个神经元最后将 个特征向量相加融合得到最终的特征向量并进行 分类决策.整个网络的损失函数采用交叉熵函数表达即 ()()()()式中 为交叉熵函数 为第 个样本为真实标签为预测结果对应标签的概率.实验.实验数据集本文使用 数据集和 数据集作为实验数据集.其中 数据集为真实人脸图像数据库包含 幅不同年龄、种族、性别的高质量自然人脸图像.数据集是 等在 数据集基础上创建的局部 生成人脸数据集 数据集制作流程如图 所示.图中局部生成区域对应于二值图 中的白色区域包括规则矩形和不规则形状 种类型每种类型均考虑了.、.、.、.、.、.六种不同的整张图像生成区域比例且每种比例的二值图 数量均为 幅.首先将 数据集中所有图像分辨率调整为 像素并将调整后的 数据集与这 种类型的种不同比例的二值图 组合得到 种含有待生成区域的人脸图像数据集.然后使用 等提出的多元修复算法修复这 种含有待生成区域的人脸图像数据集得到的 数据集共有.幅图像图像分辨率为 像素.本文从 数据集中选取图像根据图像中的生成区域是否规则将选取的图像分为规则子集和不规则子集每个子集均有 幅图像并分别与调整分辨率后的 数据集组合成 规则子集和 不规则子集 个数据集用于实验.图 数据集制作流程 实验中本文采用和文献同样的数据集划分方式将上述 个数据集分别按 的比例分为训练集、验证集和测试集且训练集、验证集和测试集中 种生成区域比例的图像数量相等.其中验证集用于调整模型训练过程中设置的超参数如学习率、批处理大小等.此外为了测试本文算法的鲁棒性分别对 个测试集进行 种常见的后处理操作包括 压缩(压缩质量因子为、)中值滤波(卷积核大小为 、)椒盐噪声(噪声比为.、.、.)高第 期陈北京等:注意力融合双流特征的局部 生成人脸检测算法:/.斯滤波(卷积核大小为 、)双边滤波(卷积核大小固定为 参数分别为()、()、().实验设置所有实验均在 框架上进行并在 、.、的环境下训练模型.在训练阶段使用 优化算法并采用学习率固定为.的学习率策略.本文使用二分类任务中常用的标准度量准确率作为算法性能的评价指标.消融实验为了验证所提出的双流特征提取、注意力特征融合和多层次特征融合决策这 个改进方法的有效性本节对 种不同算法的消融实验结果进行了对比:仅将 图像输入 网络进行分类的 算法 将 图像转换到 颜色空间后输入 网络进行分类的 算法 首先将双流特征提取网络最终的输出特征相加融合然后利用融合后的特征进行决策的 算法 首先利用注意力特征融合模块()融合双流特征提取网络的最终输出特征然后利用融合后的特征进行决策的 算法 首先在双流特征提取网络的浅、中、深 个网络层上分别利用 融合双流特征然后利用多层次特征融合决策()的 算法.种不同算法在 规则子集和 不规则子集上的消融实验结果分别如图 和图 所示.从图中可知 颜色空间和 颜色空间对不同后处理操作有着不同的影响.因此 算法同时使用这 种颜色空间作为输入是有意义的.相较于将特征简单地相加融合 算法利用注意力特征融合模块获得了更好的检测性能且 算法利用多层次特征融合决策有效提高了网络的检测性能.在 规则子集上相较于最初的 算法本文算法 在 压缩、中值滤波、椒盐噪声、高斯滤波和双边滤波上的平均检测准确率分别提高了.、.、.、.和.在 不规则子集上相较于最初的 算法本文算法 在上述 种后处理上的平均检测准确率分别提高了.、.、.、.和.消融实验准确率结果不但充分验证了双流特征提取、注意力特征融合和多层次特征融合决策单个改进方法的有效性而且证明了这 个方法融合后可以获得最佳的检测效果.()压缩()中值滤波()椒盐噪声()高斯滤波 ()双边滤波 图 在 规则子集上的消融实验结果.性能测试为了评估本文算法的有效性将提出算法与文献中的现有算法进行对比.其中文献算法采用的是 版本由于该版本适用的分辨率为 像素因此将该算法的输入图像分辨率调整为对应大小.本文算法在未经后处理的 规则子集和 不规则子集上与其他算法的准确率对比结果如表东南大学学报(自然科学版)第 卷:/.()压缩()中值滤波()椒盐噪声()高斯滤波 ()双边滤波 图 在 不规则子集上的消融实验结果表 本文算法与其他算法的准确率对比算法 规则子集 不规则子集文献算法.文献算法.文献算法.文献算法.文献算法.本文算法.所示.从表中可以看出在检测未经后处理的图像时所有算法都表现良好并且本文提出的算法优于其他算法.本文算法在 规则子集和 不规则子集上的准确率分别比次优算法提高了.和.本文算法在经不同后处理操作的 规则子集和 不规则子集上与其他算法的鲁棒性能比较分别如图 和图 所示.从图中可以看出各算法的检测准确率都随着后处理操作强度的加强而降低.由于本文算法采用了 和 两种颜色空间同时利用注意力特征融合模块()压缩()中值滤波()椒盐噪声()高斯滤波 ()双边滤波 图 在 规则子集上与其他算法的鲁棒性能比较第 期陈北京等:注意力融合双流特征的局部 生成人脸检测算法:/.()压缩()中值滤波()椒盐噪声()高斯滤波 ()双边滤波 图 在 不规则子集上与其他算法的鲁棒性能比较对双流特征进行了增强融合并利用多层次特征融合决策提高了网络对局部生成区域特征的提取和辨别能力因此本文算法的检测性能总体上优于相关对比算法.尤其是针对 压缩和双边滤波后处理在 规则子集和 不规则子集上本文算法在 种强度的 压缩和双边滤波上的检测性能均为最优.在 规则子集上与次优算法相比该算法在 种强度的 压缩和双边滤波上的平均准确率分别提高了.和.在 不规则子集上与次优算法相比该算法在 种强度的 压缩和双边滤波上的平均准确率分别提高了.和.结论)针对局部 生成人脸检测算法鲁棒性不足的问题采用双流网络从 和 两种颜色空间中提取鲁棒特征通过引入注意力特征融合模块在不同网络层融合双流特征以获得更鲁棒的特征并设计了多层次特征融合决策提高网络对局部生成区域特征的提取和辨别能力.)在 规则子集和 不规则子集上进行消融实验.结果表明同时采用 颜色空间和 颜色空间引入注意力特征融合模块以及设计多层次特征融合决策均有助于提升本文局部 生成人脸图像检测算法的鲁棒性.)性能测试实验结果表明本文算法的鲁棒性总体上优于现有算法尤其是针对 压缩和双边滤波这 种后处理操作本文算法的检测性能均为最优.在 规则子集上与次优算法相比本文算法在 种强度的 压缩和双边滤波上的平均准确率分别提高了.和.在 不规则子集上与次优算法相比本文算法在 种强度的 压缩和双边滤波上的平均准确率分别提高了.和.参考文献().:/().:.:./.欧阳军林伍家松 等.鲁棒的复制 缩放粘贴篡改检测方法.东南大学学报(自然科学版)():.:./.()():.:./.().()():.:./.东南大学学报(自然科学版)第 卷:/./.:.:././().:.:././().:.:./.:.:././.:.:././().:.:./.():.:./.():.:./.:.:./.:/().:.:././().:.:./.:?/().:.:././.:.:././().:././().:.:././().:.:./.:/.().:/./.:/.().:/././.第 期陈北京等:注意力融合双流特征的局部 生成人脸检测算法