基于空域频域融合的深度伪造检测方法.pdf

收稿日期:作者简介:程晴晴()女安徽亳州人硕士生文章编号:()基于空域频域融合的深度伪造检测方法程晴晴范智贤(安徽理工大学 计算机科学与工程学院安徽 淮南)摘要:针对目前人脸伪造检测中提取的面部特征不充分、检测准确率低等问题提出了一种基于空域频域相结合的深度伪造检测方法 由空域、频域双流网络组成空域分支利用 滤波器和注意力模块捕捉真实与篡改区域间的差异频域分支使用 个可学习的频率滤波器挖掘伪造模式 结果表明:在压缩和跨数据集情况下检测的准确率均有不同程度的提升具有一定的迁移性 此外消融实验验证了每个模块的有效性关键词:人脸伪造检测深度伪造频域双流网络 滤波器中图分类号:文献标志码:近年来得益于图像、视频和音频编辑软件的迭代更新深度伪造技术的进步和开源人脸伪造技术的门槛普遍降低使不具备专业技能和设备的用户也能够使用现成的模型一键合成高质量的伪造视频 然而伪造视频在为人们提供娱乐的同时往往会被恶意传播甚至被用作误导舆论、身份欺诈和勒索的工具这对社会稳定造成严重的信任和安全威胁针对这一问题人们先后提出了许多检测方法 等人利用面部 射线揭示篡改后的人脸和背景图像之间存在混合边界定位被篡改的轨迹 等人提出了一种像素区域关系网络把真假区域分开通过测量两个区域之间的不一致性进行检测 然而这些方法在处理低质量数据时检测性能下降 等人利用频率感知分解和局部频率统计来捕获频域内的伪造痕迹 等人设计单中心损失来指导频率感知的鉴别特征学习提取内在特征表示 等人提出对同一张人脸图像进行不同方式的数据增强去学习更多特征表示并利用余弦一致性损失训练检测器以达到更好的检测效果 然而这些方法可能会削弱部分伪造痕迹造成泛化性不足的问题 等人结合空间域和频率域采用不同尺度下的拉普拉斯高斯算子提高了模型的泛化性能但增大了网络结构且增加了训练复杂度鉴于以上问题作者提出了一种基于空域与频域相结合的深度伪造检测方法 在空域分支堆叠噪声特征和 特征并使用注意力进行通道筛选可靠特征在频域分支提取频率特征分量来学习频域感知的伪造模式灵活地捕获伪造痕迹通过双流网络融合空域与频域的互补信息训练网络进而提高人脸伪造的检测精度 相关技术介绍.基本伪造原理对于伪造人脸检测方法的研究需要先洞悉伪造过程中普遍使用的理论和方法 图 展示了生成人脸的典型流程大致可以分为 个处理阶段即假脸创建和假脸混合 在第一阶段由复杂的深度网 络 生 成 假 脸 或 基 于 模 型 模 板、进行渲染不同的操作方法产生不同的纹理模式 在第二阶段生成的人脸被进一步细化和扭曲回原始图像这一阶段通常包括一些后处理操作如颜色校正和图像混合第 卷 第 期 年 月兰州工业学院学报 .图 换脸方法基本流程.伪造方法与检测重要性目前的深度伪造大致分为两类即假脸生成和人脸操纵 其中假脸生成主要采用已经训练好的生成对抗网络()依据随机变量创造出世界上不存在的人脸相对于人脸操纵这种方法生成的图像对社会的威胁较小 人脸操纵一般是对成对的人脸进行的可细分为人脸替换和面部属性编辑人脸替换是用图像处理手段将目标视频或图像中的人脸替换为源图像中的人脸以达到类似于变脸的效果该技术在社交娱乐、影视制作、虚拟现实、刑事侦查中都有着重要的作用 面部属性编辑主要是在不改变目标人物身份信息的情况下对视频人脸的外观和动作属性进行篡改可以对目标人脸添加指定条件进而驱使目标人脸执行指定内容如给定某一段语音信息通过篡改目标人物的唇形来契合语音信息的口型实现高逼真度的视觉效果 然而这一技术往往被滥用于名人政客的演讲视频中以假乱真的效果对社会稳定影响较为严重这让有效、稳健的深度伪造检测研究成为迫切的需求 模型设计本文提出的基于双流网络的检测方法 的整体框架结构如图 所示包括频率特征提取模块和空域特征提取模块 其中频域分支通过离散余弦()变换将原始人脸图片转化到频域空间并结合低、中、高、全频 个频段信息挖掘微妙伪影空域分支利用 滤波器提取噪声特征后利用注意力模块筛选重点关注的特征图最后融合两个分支的互补特征来实现二分类.频率特征提取大多数现有的脸部篡改方法都是基于深度学习的其中上采样操作会导致篡改的面部区域出现异常的频率统计特征因而本文引入频率信息来挖掘真实区域和伪造区域之间的本质区别 具体来说首先使用离散余弦变换()将原始人脸图片 从 域转换到频域生成人脸频谱图其中低频分量能量较高集中在频谱空间的左上角中频分量以带状形式分布于中间高频分量能量较低位于右下角 受 等人启发本文使用 个手动设计的二进制基滤波器 将频域划分为 个频段 为了对基滤波器之外感兴趣的频率进行自适应选择将 个可学习的滤波器 添加到二进制基滤波器中将这 种滤波器进行组合可表示为()()()()式中:为归一化旨在限制可学习的滤波器值在 到 之间图 整体框架结构 因频域与原始图像的平移不变性和局部一致性不匹配通过逆离散余弦变换()将频域信息转换回 颜色空间得到频域所期望的表示输入图像 分解后的图像分量 可表示为()().()式中:表示离散余弦变换表示逆离散余弦变换表示点乘运算 表示滤波器 表示滤波器个数因为分割的频率可能不足以获得真假脸之间的细微伪影使用 种二分类滤波器将低频、中频、高频和整个频谱各自提取出来以提供更完备的频域信息 并将分离的频率分量在通道方向上进行堆叠重组后送入卷积神经网络进一步提取特征.空域特征提取空域特征提取模块的目的是在空间域上尽可能地捕捉有效特征减少压缩造成的干扰能对频域信息进行补充提升检测准确率 主要由 部分组成:滤波器模块、注意力模块 兰州工业学院学报 第 卷.滤波器 等人研究表明可以将被修改区域的某些像素视为隐写嵌入改动挖掘真实和篡改区域之间的噪声不一致性 本文使用 个内核大小为 的 滤波器将人脸图像 转化为噪声图 在噪声空间中挖掘图像特征的不一致性其输出层通道大小是 权重设置如图 所示图 滤波器权重 图 对真伪图像进行了噪声分析可见真实人脸和伪造人脸图像的噪声图在局部区域(图中红色方框)有差异具体表现为真实人脸的噪声图中脸部五官区域与周围边界区域等背景内容近似而伪造人脸噪声图中五官区域和篡改边界等背景内容略显不同图 真伪图像噪声分析示例.通道注意力在通道维度上将人脸图像特征图和噪声特征图进行简单拼接并没有显式建模特征通道之间的相互 依 赖 关 系 受 等启 发 使 用 压 缩()和激活()操作根据特征图中每一个通道表征能力强弱为其分配一个自适应的权重使网络模型关注感受视野中激励更强的区域提取更具指向性的特征 如式()所示对拼接后的特征使用 卷积做全局平均池化将空间特征压缩为一个数值来增强特征图通道间的相关性 再经过全连接层将通道数扩张为原来大小经 激活函数得到一个激活后的结果由 映射得到各个通道所对应的权重系数 在降低复杂度的同时学习各通道之间的非线性关系()()式中:表示初始拼接得到的特征图 表示平均池化 表示激活函数 表示 函数最后将学习到的各个通道的权重值乘以原始二维特征图的对应通道获得重点关注能够区分真假人脸关键通道的特征图 计算方式如式()所示().()式中:表示特征图 与权重 的点乘操作 实验验证为了验证本文方法的有效性在目前较为主流的基准数据集 和 进行实验训练中的模型使用 作为主干网络使用 进行人脸提取和对齐并将对齐的人脸尺寸调整到 大小由 预先训练的参数初始化主干网络优化器使用 学习步长设置为.、批处理大小设置为、所有数据在该分类模型下都训练 轮.评估指标对模型性能的评估实验采用 数据集进行训练在 数据集进行验证评估指标采用()和()对实验结果进行评估 表示正确预测真假人脸的样本数量与测试样本总数的比值 表示 曲线下面积的大小介于.到 之间这个指标越大表示效果越好而且 曲线可直观反应不同模型的分类优劣程度.实验结果分析.跨压缩率鲁棒性评估为了评估模型对不同压缩率视频的检测效果在 数据集的、和 版本上分别进行训练和测试并与目前比较先进的 和 方法进行了比较 从表 所示的测试结果可知模型的检测性能在不同压缩率下有差异压缩率高的视频丧失部分细节特征使检测难度增加 相对 和 而言本文的方法 在 和 压缩场景下的 值的下降率均最低对抗压缩的能力颇为优异尤其是在高压缩率的视频检测上这表明第 期 程晴晴等:基于空域频域融合的深度伪造检测方法 在保证高质量视频检测精度的同时也提升了低质量视频检测精度 这是因为 仅学会了识别数据集内非常敏感的边界而 结合空域频域特征学习了更鲁棒的表示对压缩视频的检测具一定的优越性表 数据集上不同质量视频的检测结果方法 下降率/./././.注:表示使用官方代码在统一实验设置下重新训练.跨数据集迁移性评估不同的数据集之间使用的伪造算法各有不同特征分布存在明显差异现有的大部分深度伪造检测方法虽然在数据集内的检测效果优异但在跨数据集上的检测效果不佳甚至接近随机猜测的概率 为了评估 在不同场景下的检测性能对不同测试数据集进行了迁移性评估 模型在()数据集上进行训练 数据集上测试并与当前较为先进的如、等 种检测方法进行比较 从表 的实验结果来看大多数方法在 数据集的检测效果普遍下降而 在 上有一定的提升在 数据集上获得了媲美 的 分数且在 数据集上具有比 更优秀的表现比如在和 数据集上 分数分别达到了.和.高于大多数此前的方法这表明 可以有效的的捕捉更通用的人脸异常特征提升检测效果表 不同方法在()数据集上的 结果方法.注:加粗字体表示各列最优结果表示使用官方代码在统一实验设置下重新训练.消融实验为了测试每个模块对模型产生的增益在()数据集上进行消融实验结果如表 所示 表示仅以原始图像作为输入的基线 模型作为对照组 可以看出随着每个模块的逐步增加模型的性能逐渐提高证明了每个模块的加入都对模型起到正向作用 而且本文提出的融合空域频域信息的双流网络模型()在所有实验结果上都优于空域单流网络模型()和频域单流网络模型()表明这 种模式具有互补性有利于提取到更加充分的特征线索进行真假分类表 每个模块对模型产生的增益空域频域注意力.为了更直观的显示每个模块对检测性能带来的影响使用 ()数据集的实验结果进行绘图如图 所示 与基线相比随着每个模块的加入准确率均有不同程度的提升 从整体来看本文的方法要比基线收敛速度更快这表明本文所提出的方法在各个模块具有一定的稳定性和有效性图 每个模块对模型产生的增益对比 结语利用空域和频域相结合的深度伪造检测方法可以有效鉴别真假人脸特征在检测精度上有一定的提升 实验表明 在跨数据集和不同压缩级别情景下的检测准确率较高具有较好的鲁棒性模型的各个模块也带有相应增益参考文献:杨少聪王健孙运莲等.多级特征全局一致性的伪 兰州工业学院学报 第 卷造人脸检测.中国图象图形学报():.林佳滢周文柏张卫明等.空域频域相结合的唇型篡改检测方法.网络与信息安全学报():./:.:.:.:/:.:./:.:/:./:.:.:/:./:./:.:/:.:/:.():.:(责任编辑:曾贤灏)第 期 程晴晴等:基于空域频域融合的深度伪造检测方法