基于掩码预测和多尺度上下文聚合的人脸图像修复算法.pdf

年 无线电工程 第 卷 第 期：引用格式：孙剑明，吴金鹏，沈子成，等基于掩码预测和多尺度上下文聚合的人脸图像修复算法无线电工程，（）：，（）：基于掩码预测和多尺度上下文聚合的人脸图像修复算法孙剑明，吴金鹏，沈子成，彭俄祯（哈尔滨商业大学 计算机与信息工程学院，黑龙江 哈尔滨）摘要：针对现有图像修复算法存在生成不合理的内容和修复后纹理不清晰等问题，在生成对抗网络（，）的框架下，提出了一种基于掩码预测和多尺度上下文聚合的人脸图像修复算法。算法通过堆叠多层的多尺度上下文聚合模块（，）构造的生成器进行特征提取，融合了来自不同感受野的特征，可以捕捉遥远距离的上下文信息和感兴趣的模式进行上下文推理。使用掩码预测的（，）判别器，迫使判别器区分真实和生成的的纹理细节。使用跳跃连接将编码器中每一层卷积层的输出与解码器对应位置的输入在通道维度上拼接，使图像的上下文信息向更高层分辨率特征图传播。使用对抗损失对判别器训练，使用损失、对抗损失、感知损失和风格损失的加权联合损失函数对生成器进行训练，并在公开数据集下进行实验。实验结果表明，所提修复算法在破损比例为 掩码下的损失为 ，峰值信嗓比（，）为，结构相似性（，）为，弗雷歇初始距离（，）为，该算法能够有效修复人脸图像且修复结果语义一致性高、纹理细节清晰。关键词：图像生成；图像修复；生成式对抗网络；掩码预测；多尺度上下文聚合中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（），（，）：，（），（），（），（），（）（）：；收稿日期：基金项目：国家自然科学基金（）：（）信号与信息处理 引言图像修复是指利用已知上下文信息填充图像中缺失的区域。尽管研究人员已经提出许多图像修复方法，无论是传统算法还是现有深度学习算法，在修复图像时都难以同时恢复合理的内容和清晰的纹理。早期的图像修复工作试图通过基于扩散或基于补丁的算法来解决这一问题。基于扩散的算法将上下文信息从边界传播到等照度线方向的孔洞（缺失区域）中。基于补丁的算法通过从未损坏的图像区域或外部数据库复制相似的补丁来合成缺失区域。现有的深度模型在低分辨率图像的语义修复方面已经表现出良好的效果。但在更高分辨率（如 ）使用这些深度模型往往会生成不合理的内容且纹理细节不真实，阻碍了用户在高分辨率图像中的实际应用。为了克服以上种问题，提出了一种基于掩码预测和多尺度上下文聚合的人脸图像修复模型。它包括一个以编码器、多尺度上下文聚合模块（，）、解码器为框架的生成器网络和一个以掩码预测为训练任务的判别器网络。为了在破损图像生成合理的内容，通过堆叠多个。通过使用各种扩张率的空洞卷积来利用遥远的距离上下文信息进行上下文推理，同时通过拼接多个特征图来实现多尺度的特征融合。使用跳跃连接将编码器中每一层卷积层的输出与解码器对应位置的输入在通道维度上拼接，使得图像的上下文信息向更高层分辨率传播，从而为缺失区域生成更合理的内容。为了生成真实的纹理细节，使用了一种新颖的掩码预测任务来训练判别器。大多数现有的深度模型使用了带有谱归一化的判别器，从而迫使判别器将修复图像中的所有补丁块预测为假，而忽略了那些缺失区域之外的补丁块确实来自真实图像的事实。因此，这些深度模型可能难以生成逼真的细粒度纹理。为了克服以上问题，使用掩码预测的（，）判别器，迫使判别器区分真实和生成的小块（缺失区域）的纹理细节。换句话说，对于修复图像，判别器期望从真实图像中分割出合成的图像块。这样的学习目标导致了一个更强的判别器，并且反过来促进生成器来合成逼真的细粒度纹理。本文的贡献如下：首次提出了和判别器。进行特征提取，融合了来自不同感受野的特征图，可以用来捕捉遥远距离的上下文信息和感兴趣的模式增强上下文推理。判别器迫使判别器区分真实和生成的小块（缺失区域）的纹理细节，进一步提升人脸面部修复性能。设计了一种基于掩码预测和多尺度上下文聚合的人脸图像修复网络，以便生成合理的内容和逼真的纹理。本文设计的模型与其他主流的基于深度学习模型进行定量、定性评估，且评价结果优于其他深度模型。相关工作由于图像修复对图像编辑应用（如物体移除和图像复原）的重要实用价值，图像修复已然成为近几十年来活跃的研究课题之一。现有的修复算法可以分为类：基于传统的算法和基于深度学习的算法。基于传统的图像修复算法基于扩散的算法沿着等照度线方向将上下文像素从边界传播到孔洞。具体地，在像素传播期间，通过使用偏微分方程来施加许多边界条件。然而，这些方法通常会引入扩散相关的模糊，因此无法完成大面积缺失区域。基于补丁的算法通常通过从已知的图像上下文或外部数据库复制和粘贴相似的补丁块来合成丢失的内容。然而，这些方法在完成复杂场景的大面积缺失区域的语义修复方面存在不足。这是因为基于补丁的方法严重依赖于通过低级特征的逐片匹配。这种技术不能合成已知区域中不存在类似补丁的图像。传统算法往往在修复面积较小、纹理结构较为简单时有比较好的效果。一旦缺失区域比较大（以上）时，修复效果往往会特别差。这是因为传统的图像修复算法往往不能深层地理解图像中的语义信息。因此，随着年之后深度学习的火热，越来越多从事图像修复的研究人员开始采用深度学习方法以获取更深层次的语义信息理解以及更高质量的修复效果。基于深度学习的图像修复算法深度特征学习和对抗训练的出现使得图像修复取得了重大进展。与基于传统算法相比，深度修复模型能够为复杂的场景生成合理的内容和逼真的细粒度纹理。信号与信息处理 年 无线电工程 第 卷 第 期 等提出了上下文编码器（，）模型，利用潜在特征空间中的通道等宽全连接层（）将编码特征和解码特征连接。该模型首次使用生成对抗网络（，）框架，生成器由编码器、解码器组成。取前层作为编码器，解码器部分则由反卷积实现从高维特征向图像真实大小的转变。通过模型已经能使街景、人脸生成有希望的结果。然而，由于使用了通道等宽全连接层，使得该模型只能处理固定大小（）的图像。结构如图所示。图结构 针对上述问题，等提出在全卷积网络（，）建立模型，使得该模型能处理任意大小的图像。为了生成逼真的细粒度纹理，通过采用的框架进行语义修复，已经取得了重大进展。通过生成器和判别器之间的博弈论最小最大博弈，基于的修复模型能够生成更清晰的纹理。为了进一步改进判别器网络，通过全局和局部判别器进行联合训练，从而达到全局和局部一致性。结构如图所示。图结构 然而，由于中判别器网络使用了全连接层，局部判别器只能处理固定形状的缺失区域。为了解决这一问题，等继承了判别器，判别器旨在区分真实图像的和修复图像的。但基于的模型通常忽略了这样一个事实：那些缺失区域之外的补丁块确实来自真实图像的事实，并且盲目地促进判别器来区分这些相同的补丁块是假的，因此会削弱生成器生成缺失区域之外的真实块的真实内容。除此之外，为了捕获基于的远距离上下文，提出了上下文注意力模块，以通过逐片匹配从上下文中找到感兴趣的补丁块。等提出的网络结构如图所示。图上下文注意力机制网络结构 等提出部分卷积层代替标准卷积来处理缺失区域内外颜色差异和伪影的问题。部分卷积将像素分为有效和无效像素，且只对有效像素做卷积。等在上下文注意力模块的基础上使用了门控卷积学习掩码的分布，进一步提升了修复性能。等提出了上下文残差聚合（，）机制，该机制可以通过对上下文信息中的残差进行加权聚合来生成缺失区域的高频残差，提出的网络仅需输入低分辨率图像，再将低分辨率修复结果和高频残差合并得到高分辨率图像。传统的图像修复算法只适用于修复与背景相似的纹理，但人脸图像面部成分之间存在紧密的相关性，人脸修复结果应当具有全局语义的合理性，如眉信号与信息处理 毛对齐、眼睛对齐等。因此，传统的图像修复算法不适用于人脸图像修复。随着的发展，有关深度学习的人脸图像修复算法性能不断提升。现有基于深度学习的人脸图像修复算法主要分为类：基于全连接层的算法、基于的算法、基于注意力机制的算法和基于掩码更新的算法。文献提出的网络使用通道等宽全连接层完成脸部特征的长程迁移，但由于使用了全连接层，其网络只能使用固定大小的人脸图像。针对这一问题，文献首次提出使用进行人脸修复，使其能处理任意大小的人脸图像。文献提出了上下文注意力模块，该模块具有优秀的脸部特征长程迁移能力。但是，这个模块大尺寸图像会占用巨大的显存，因此无法在多尺度特征上使用，修复结果仍然会出现全局语义信息不合理的情况。文献和文献使用不同掩码更新策略进一步提升了局部语义修复性能。但是，其在全局语义上存在如左右眼不对称等不合理的问题。网络结构 受 网络的启发，将标准卷积层拆分为个子层，每个子层拥有较少的输出通道，如图所示。首先，使用个不同大小（、）的转化为个特征图。其次，将具有个输出通道的标准卷积层拆分为个子层，使得每个子层具有个输出通道。每个子层通过使用不同扩张率（、）的空洞卷积来执行上一层输出特征图的不同变换。具体来说，通过在连续位置之间引入零来扩展卷积核。使用较大的扩张率使得卷积核能够“看到”输入图像的较大区域，而使用较小扩张率只能使卷积核关注于较小感受野的局部区域。随后通过在通道维度上拼接多尺度感受野的不同变换。最后使用标准卷积层进行多尺度上下文聚合。通过能够聚合遥远距离的上下文信息和感兴趣的模式来增强上下文推理。图 信号与信息处理 年 无线电工程 第 卷 第 期 判别器在早期深度修复模型的判别器中，通常采用函数输出一个整张图像是否为真实的概率。最近的深度修复模型使用了带有谱归一化的判别器。然而，使用函数的判别器对于不规则破损图像修复是不适用的。尽管，判别器适用不规则破损图像修复，但判别器会将修复图像中的所有补丁块预测为假，而忽略了那些缺失区域之外的补丁块确实来自真实图像的事实。因此，无论是函数的判别器，还是判别器都可能导致边缘处结构扭曲、产生伪影。为了促进生成器生成细粒度的纹理，本文算法使用判别器。图为训练不同判别器的说明。图训练不同判别器的说明 具体来说，对输入掩码进行下采样，作为真实图像掩码预测任务的真实值。使用补丁级别的软掩码作为生成图像掩码预测任务的真实值，它通过高斯滤波获得。通过计算判别器生成的真实图像的预测掩码和输入掩码均方误差（，），再通过计算判别器生成的修复图像的预测掩码和补丁级软掩码的。将判别器的对抗性损失表示为：（）（）（），（）式中：为判别器，为生成器，为下采样和高斯滤波的合成函数，为修复图像，为掩码，为与掩码相同大小的元素全为的矩阵，为真实图像，（）为补丁级别软掩码。相应地，生成器的对抗性损失表示为：（），（）式中：为判别器，为生成器，为修复图像，为掩码，为逐像素相乘。仅对缺失区域的合成块的预测被用于优化生成器。通过这样的优化，使得判别器从缺失区域之外的真实上下文中分割缺失区域的合成块，从而增强判别器的性能，反过来可以帮助生成器合成更真实的纹理。算法整体框架基于掩码预测和多尺度上下文聚合的人脸图像修复算法在设计上采用了框架，用编码器解码器为框架构造了生成器。首先，通过将真实图像和不规则掩码图像合并成受损图像作为输入图像。然后，编码器提取图像高层次的语义信息。再通过堆叠层捕获遥远距离的上下文特征和丰富的感兴趣模式来增强上下文推理。使用跳跃连接将编码器每一卷积层的输出和解码器对应位置上的输入在通道维度上做拼接，使得图像的上下文信息向更高层分辨率特征图传播。最后通过解码器使得提取的特征图向真实图像的分辨率大小转变，通过重建损失、对抗损失、感知损失、风格损失的联合损失函数训练生成器模型。本文算法在判别器上改用判别器，通过对抗损失进行判别器训练。该判别器用于区分真实和修复的，从而生成更为清晰的纹理。本文算法结构如图所示。信号与信息处理 图基于掩码预测和多尺度上下文聚合的人脸图像修复模型 损失函数图像修复优化目标既要保证像素重建精度，又要保证修复图像的视觉效果。为此，遵循大多数现有深度修复模型，选择个优化目标：重建损失、对抗损失、感知损失和风格损失。采用对抗损失来优化判别器，采用个损失的加权联合损失来优化生成器。重建损失首先，使用损失，以确保像素级别的重建精度，重建损失表示为：（），），（）式中：为真实图像，为生成器，为逐像素相乘，为与掩码相同大小的元素全为的矩阵，为掩码，为范数。感知损失和风格损失由于感知损失和风格损失对于图像修复的有效性已经得到广泛验证，将它们包括在内以提高感知重建的准确性。具体而言，感知损失旨在最小化修复图像和真实图像的激活图之间的距离，感知损失表示为：（）（），（）式中：为真实图像，为修复图像，为范数，为来自网络的第层的特征图，为中的元素数量。类似地，风格损失被定义为修复图像和真实图像的深度特征的格拉姆矩阵之间的距离，表示为：（）（）（）（）。（）在本文算法优化中，感知损失计算网络前层修复图像和真实图像的激活图之间的距离。风格损失计算网络前层修复图像和真实图像的深度特征的格拉姆矩阵之间的距离。联合损失使用重建损失、对抗损失、感知损失和风格损失加权联合损失函数优化生成器模型。联合损失函数表示为：，（）式中：，。信号与信息处理 年 无线电工程 第 卷 第 期 实验及分析 数据集来源本文在公开数据集中训练和测试模型，包括 张分辨率为 的人脸图像，其中训练集 张，验证集 张，测试集 张。本文使用了等提供的任意形状掩码数据集，其中包括 张不同破损比例的任意形状掩码图像。数据集样例如图所示。图数据集样例 参数设置本文所有实验均在平台下进行，本文算法基于 、和 实现。为 ，为 。使用算法优化模型，动量衰减指数 、，学习率为，批量大小为。现有深度模型深度模型及其缩写和简要介绍如下：是一个由粗到细的两阶段模型。它使用一个基于的非局部模块，即上下文注意力模块。采用提出部分卷积层代替标准卷积来处理缺失区域内外颜色差异的问题。在上下文注意力模块的基础上，结合了用于图像修复的门控卷积和判别器。采用提出上下文残差聚合模块，该模块通过加权聚合上下文的残差来产生缺失内容的高频残差。将高频残差和上采样后生成图像聚合来生成高分辨率图像，且用同一组注意力分数多次注意力转移。注意力分数的共享实现了更少的参数以及在模型训练方面更好的效率。是首个基于的人脸修复网络，其提出的多头上下文注意力模块能够获取长距离的上下文信息提升脸部修复能力。是目前人脸修复领域里算法。定性分析为了证明本文提出的人脸修复算法的优越性，将本文算法与、和五种算法的修复结果进行定性比较，如图所示。结果表明，大多数深度模型在完成强语义的极大缺失区域修复时效果不理想。具体来说，模型通过提出的上下文注意力模块可以从已知图像内容中寻找与待修复区域相似度最高的，然后使用这个的特征做反卷积从而重建该，但如果已知图像内容和待修复区域差距很大，往往会产生不合理的内容，人脸的五官会出现扭曲（如图（）所示）。模型通过提出的部分卷积对每一卷积层的更新，从而优化修复结果，将已知区域内的像素视为有效像素，将缺失区域内的像素视为无效像素，且只对有效像素进行卷积，使用部分卷积代替标准卷积，能在一定程度上避免缺失区域内外颜色差异的问题，但眼睛会产生伪影（如图（）所示）。模型通过提出的门控卷积优化部分卷积中更新机制，该更新机制是可学习的，但模型使用判别器驱使已知区域像素改变，进而影响修复结果（如图（）所示）。模型通过多次的注意力转移导致了严重的伪影（如图（）所示）。模型通过多头上下文注意力模块以及架构的优势，其获取长距离的上下文信息和全局感受野也能带来不俗的修复性能（如图（）所示）。而本文通过提出的来捕捉遥远距离的上下文信息和更多感兴趣的模式和训练掩码预测的判别器来增强判别器的性能，以此生成更合理的内容和更清晰的纹理（如图（）所示）。信号与信息处理 图不同深度模型在测试集上的修复结果 定量分析为了客观评价本文模型在人脸图像修复效果，对、和本文提出的模型进行定量比较。评价指标包括、峰值信噪比（，）、结构相似性（，）和弗雷歇初始距离（，）（如式（）、式（）、式（）、式（）所示），分别衡量修复图像和原始图像像素级差异、整体相似度、感知相似度以及特征相似度，其中、越低修复效果越好，、越高修复效果越好。具体来说，使用了验证集的所有图像。在不同孔洞率的掩码下，对上述方法分别做测试。对于每个测试图像，随机采用自由形状的掩码作为测试掩码。为了公平起见，在掩码孔洞率一样的情况下，对所有方法的相同图像都使用了相同的掩码。，（）式中：为样本的数量，、分别为图像的宽度、高度以及通道数，为修复图像，为真实图像。（，）()，（）式中：为图像最大的像素值，取，为修复图像和真实图像的，计算如下：（，）（，）（，），（）式中：为修复图像，为真实图像，、分别为图像的高度和宽度。（，）（）（）（）（），（）式中：为真实图像，为修复图像，、分别为和的均值，、分别为和的方差，为和的协方差，、为个常数，避免除零。（，）()()，（）式中：、分别为修复图像在 输出的 维特征向量集合的均值和协方差矩阵，、分别为真实图像在 输出的 维特征向量集合的均值和协方差矩阵，为矩阵的迹。定量分析结果如表和表所示。不难看出，本文模型在、和指标下都优于模型、模型、模型、模型。本文模型与模型的定量分析结果如表所示，不难看出，本文模型的、均优于现阶段人脸修复模型，由此说明本文提出的模型与现有先进深度模型相比，具有更优秀的人脸面部修复能力。信号与信息处理 年 无线电工程 第 卷 第 期 表模型、模型和本文模型在测试集下的平均指数对比 ，注：加粗表示最优值。表模型、模型和本文模型在测试集下的平均指数对比 ，注：加粗表示最优值。表模型和本文模型在测试集下的平均指数对比 注：加粗表示最优值。结束语本文提出了一种基于掩码预测和多尺度上下文聚合的高分辨率人脸图像修复模型。该模型由一个生成器和一个判别器组成。生成器由编码器、多层和解码器组成。为了生成看似合理的内容，提出了来构造生成器，融合了来自不同感受野的特征，且可以捕捉遥远距离的上下文信息和感兴趣的模式进行上下文推理。为了改善纹理合成，通过使用判别器迫使它区分真实和生成的小块（缺失区域）的纹理细节。此外，使用跳跃连接将编码器中每一层卷积层的输出与解码器对应位置的输入在通道维度上拼接，使得图像的上下文信息向更高层分辨率特征图传播。实验表明，本文模型在人脸图像修复任务中能够生成合理的内容和逼真的细粒度纹理。?参考文献，：，：，（）：信号与信息处理 ，（）：，（）：，（）：，（）：，：，：，（），（）：，：？，?，（）：，：，：，：，：，?，：，：，（）：，（）：，（）：，：，：，（）：，：（）：，：，：，（）：，（）：，：，：，：（）：，：（）：作者简介孙剑明男，（），博士，教授。主要研究方向：机器视觉、深度学习。（通信作者）吴金鹏男，（），硕士研究生。主要研究方向：图像处理、深度学习。沈子成男，（），硕士研究生。主要研究方向：机器视觉。彭俄祯女，（），硕士研究生。主要研究方向：图像处理。信号与信息处理