基于残差变换器的并行傅里叶卷积修复算法.pdf

第 50 卷 第 8 期2 0 2 3 年 8 月Vol.50，No.8Aug.2 0 2 3湖 南 大 学 学 报（自 然 科 学 版）Journal of Hunan University（Natural Sciences）基于残差变换器的并行傅里叶卷积修复算法李海燕 1，宋应清 1，郭磊 1，周丽萍 2，陈泉 3（1.云南大学 信息学院，云南 昆明 650050；2.云南大学学报（自然科学版）编辑部，云南 昆明 650050；3.阿尔多瓦大学 人文学院，法国 阿拉斯市 62000）摘 要：为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷，提出了基于残差变换器的并行傅里叶卷积修复算法.首先，提出基于变换器的改进残差网络模块提取待修复图像的纹理特征；然后，设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息；最后，提出门控双特征融合模块交换和结合图像的结构与纹理分量，融合上下文特征，改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验，实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域，生成结构合理、纹理细腻和语义丰富的高保真图像，并能用于高分辨率图像的目标移除.关键词：图像修复；残差变换器；并行傅里叶卷积；门控双特征融合中图分类号：TP391.4 文献标志码：AParallel Fast Fourier Convolutions Inpainting Algorithm Based on Residual TransformerLI Haiyan1，SONG Yingqing1，GUO Lei1，ZHOU Liping2，CHEN Quan3（1.School of Information Science and Engineering，Yunnan University，Kunming 650050，China；2.Journal of Yunnan University（Natural Science Edition），Yunnan University，Kunming 650050，China；3.Faculty of Humanities，University of Artois，Arras 62000，France）Abstract：To solve of the defects of the existing image inpainting algorithms，such as the lack of contextual information and effective perceptual field，leading to poor performance when recovering large random damages and being restricted to low-resolution images，a parallel fast Fourier convolution generation inpainting algorithm based on residual transformer is proposed.Firstly，a transformer-based improved residual network module is proposed to extract the texture features from the image to be inpainted.Subsequently，a parallel fast Fourier convolution module is designed to enhance highly effective sensory field and capture the structural information from the corrupt areas.Finally，the gated dual-feature fusion module is developed to exchange and combine the structural and texture 收稿日期：2022-08-27基金项目：国家自然科学基金资助项目（6226049，62166048），National Natural Science Foundation of China（6226049，62166048）；云南省万人计划“云岭教学名师”项目，“Yunling Famous Teacher”of Yunnan 10，000 Persons Program；云南省高校重点实验室建设计划资助项目（202101AS070031），Key Laboratory Construction Plan of Universities in Yunnan Province（202101AS070031）作者简介：李海燕（1976），女，云南红河人，云南大学教授，博士 通信联系人，E-mail：文章编号：1674-2974（2023）08-0042-10DOI：10.16339/ki.hdxbzkb.2023276第 8 期李海燕等：基于残差变换器的并行傅里叶卷积修复算法components of the images to fuse the contextual features and improve the fine-grained nature of the generated textures.Qualitative and quantitative experiments are conducted on two public datasets，and the experimental results show that the proposed algorithm can effectively restore random irregular large broken regions with complex structures and fine textures，generate high-fidelity images with reasonable structures，fine textures and rich semantics，and can be used for target removal of high-resolution images.Key words：image inpainting；residual transformer；parallel fast Fourier convolutions；gated dual feature fusion图像修复的目的是填补缺失区域，使其具有合理的结构、精细的纹理细节和语义一致的内容.现有图像修复算法主要分为传统算法和基于深度学习的两类.传统修复算法从非损坏区域中借用纹理和搜索相似补丁迭代填补缺失区域或基于稀疏表示修复图像.Bertalmio等1提出基于偏微分的修复算法，在水平方向以纹理优先原则将边缘信息填充到破损区域.但是该算法修复大面积缺失图像时结构性差.Criminisi等2提出基于样本的修复方法，在破损区域边缘选择一个缺失块，然后在未破损区域搜寻最合适的块进行匹配.但在损失区域大时很难匹配到合适的块.周李洪等3采用基于稀疏表示的图像信息修复算法，利用二维直方图构建离散测度矩阵，获取受损区域的相关特征，其修复效率较高，但其矩阵映射范围较小，无法修复大面积受损.王欢等4利用线性系统构建集合字典求解破损区域的稀疏系数，线性组合字典与系数获取破损区域的全局特征，利用相似特征估计其局部特性，将全局特征和局部特征线性加权，以完成破损区域填充.该算法能解决纹理填充错误、结构不连贯的问题，但未能获取图像深层特征，只能修复破损痕迹窄小的图像.总之，传统方法因无法感知破损区域的上下文信息，仅利用稀疏表示或对已知区域进行信息迭代或复制，不能有效重建大面积破损区域的纹理和结构.针对传统算法的不足，基于深度学习的修复算法利用大规模数据集训练修复网络，使其学习图像的高级特征以生成高保真度的图像.近期有学者引入变分自编码器及混合空洞卷积5-6等模型对图像语义进行优化，但此类方法因其较小的感受野无法修复大面积随机破损图像.Yeh等7提出基于深度卷积生成对抗网络的修复算法，利用先验误差和生成对抗网络将噪声转化为图像，以期有效修复大面积破损区域，但仍因无法捕获有效感受野，其修复结果的纹理不够细腻，含有大量色差及伪影.Yu等8提出上下文注意力机制，参考破损区域周围的图像特征匹配背景补丁，能生成合理结构，显著提高图像纹理细腻度，但处理大面积残缺时，因全连接层过滤了部分上下文信息，修复结果会残留掩码痕迹.为修复大面积缺失区域图像，Guo等9针对图像修复中的深度生成问题设计联合预测滤波和生成网络，能自然填充大面积缺失区域.但该算法修复不规则破损图像时，因没有足够大的感受野有效提取图像结构特征，修复的结构模糊且色彩有伪影.为修复不规则缺失图像，Liu等10用部分卷积结合自动掩码更新机制处理多种形状的缺失，但随着受损区域的增大，会出现结构扭曲、纹理模糊的现象.Guo等11提出双流网络模型，以耦合的方式约束纹理合成和结构重建进行修复，结合权重可学习的注意力模块提高修复结果的全局一致性.然而，在处理大面积缺损时，该方法无法在单个共享架构中充分互补纹理和结构，因而缺乏清晰的结构细节.为有效修复大面积随机破损图像，Zhu等12使用掩码感知及级联细化方式修复随机缺失图像，但是缺失区域较大时，因不能捕获到足够的上下文信息，难以生成清晰的纹理细节.Zhang等13引入已训练好的语义模型并从中提取语义先验信息，可集成全局语义和局部特征，但难以获取大面积缺失的有效细节信息.Lama算法14利用快速傅里叶卷积对具有全局感受域的频域特征进行编码，捕捉图像高感受野以获取图像整体结构，该算法可修复大面积随机破损的图像，但主要提取纹理特征，损失大量的结构信息，因而生成图像结构细节模糊、清晰度低且掩码处含有色彩伪影.综上所述，现有修复算法存在不能有效捕获图像上下文信息及感受野有限等缺陷，在修复不规则大面积破损图像时，生成图像出现结构模糊、纹理不够细腻、与真实图像相似性不够且仅能修复低分辨率图像等问题.针对这些问题，本文提出基于残差变43湖南大学学报（自然科学版）2023 年换器的并行傅里叶卷积修复算法，主要创新点在于：1）改进基于变换器的残差网络模块，提出多头上下文注意力机制，从输入图像中提取远程标记，捕获其间的上下文交互信息，去除传统的层归一化，由输入掩码初始化动态掩码，使用空间约束和远程交互进行更新，提高建模效率，捕获更多的图像纹理信息；2）设计并行快速傅里叶卷积模块，扩大动态感受野范围，捕获图像多尺度结构信息，提高网络感知质量和参数效率；3）设计门控双特征融合模块，交换和组合图像的多尺度结构特征和纹理信息，提高纹理的细腻度，细化生成结构，增强生成图像的整体和局部一致性.1 基于残差变换器的并行傅里叶卷积修复算法1.1 修复整体模型如图 1 所示，提出算法的主要架构由卷积头、残差变换器网络、卷积尾、并行快速傅里叶卷积模块以及门控双特征融合模块组成.首先使用卷积头对已叠加掩码的真实图像提取标记，然后由两个阶段构成的残差变换器网络针对图像不同的分辨率使用不同数量的标记，以获取细节信息，再由多头上下文注意力机制模拟远程交互.对来自残差变换器网络的输出标记，采用基于标准卷积的重建模块将空间分辨率提升到输入大小.此外，利用快速傅里叶卷积具有大感受野的优势，设计并行快速傅里叶卷积模块捕获不同尺度的结构信息，下采样的每个卷积层均由快速傅里叶卷积、批量归一化层及激活函数层组成，上采样的每个卷积层均由标准卷积层、批量归一化层及激活函数层组成.最后，通过门控双特征融合模块结合和交换纹理和结构信息，细化高频细节.1.2 残差变换器网络模型残差变换器网络通过建模远程交互处理标记，以捕获图像纹理特征.提出算法包含两个残差变换器块.如图 2 所示，残差块由 Swin Transformer 层（STL）和卷积层构成，给定 i 个残差块的输入特征Fi，0，首先通过STL提取中间特征Fi，1，Fi，2，Fi，j：Fi，j=HSTLi，j(Fi，j-1)；j=1，2，L（1）式中：HSTLi，j()是残差网络的第i个变换器的第j个STL.1.2.1 Swin变换器层Swin Transformer 层（STL）15基 于 原 始 Transformer layer的标准多头自注意力16，能有效获取远程标记间的交互信息.提出算法去除层归一化（LN）17，采用动态掩码引导的多头上下文注意力（MCA）取代标准多头自注意力（MSA）.如图2所示，模块将注意力的输入和输出串联起来，并使用一个完全连接层（FC）：Xi，j=FC(MCA(Xi，j-1)，Xi，j-1)（2）Xi，j=MLP(Xi，j)（3）式中：Xi，j是第i个变换器的第j个MLP输出.因为33卷积可为变换器提供位置信息18-19，所以采用具有全局剩余连接的卷积层作为变压器块中的位置嵌入，因而动态掩码的引导取决于特征相似性，促进了长期远程交互.1.2.2 多头上下文注意力机制为处理大量图像标记和给定标记中的低保真度（最多90%的标记无效），多头上下文注意力机制利用移位窗口15和动态掩码使某些可行标记进行非局部交互.如图2所示，有效标记表示为，无效标记为.箭头表示计算有效标记的加权作为多头上下文注意力模块的输出，同时忽略无效标记：图1 基于残差变换器的并行快速傅里叶卷积生成网络模型Fig.1 Parallel fast Fourier convolution generating network model based on residual transformer44第 8 期李海燕等：基于残差变换器的并行傅里叶卷积修复算法Att(Q，K，V)=Softmax(QKT+Mdk)V（4）式中：Q、K、V是查询、键及值矩阵，1/dk是比例因子.掩码M表示为：M=0，若标记k有效；-，若标记k无效（5）式中：为正整数，实验设置为100.因此无效标记的聚合权重几乎为0.1.2.3 动态掩码策略为识别图像标记是否有效，以获取标记间大量的交互信息，降低纹理信息的损失，将输入掩码初始化为掩码M，并在传播过程中自动更新，使得至少有一个有效标记的窗口在通过MCA机制作用后，所有标记都会被更新为有效，如果窗口中所有标记都无效，则注意力机制作用后它们仍然无效.如图 3 所示，通过从（a）到（b）的注意力机制后，左上角窗口中的所有标记都变为有效，而其他窗口中的标记仍然无效.在多次窗口移动和注意力作用后，掩码将更新为完全有效.1.3 快速傅里叶卷积生成模型修复不规则大型缺失图像时，生成合理的内容需要足够的全局上下文信息，而传统的完全卷积模型如ResNet20，存在有效感受野增长缓慢的不足21.因此，在网络的下采样中，33卷积核感受野不足，导致网络中间层缺乏全局结构特征，上采样则需浪费计算资源重新获取全局结构，而对于高分辨率图像的大型掩码，具有特定位置生成器的整个感受野可能位于掩码内，从而仅能捕捉到损失的像素.因此提出算法使用如图4所示的快速傅里叶卷积模块，以期在网络下采样中获取图像全局感受野，并利用并行卷积模块捕获图像多尺度结构特征.快速傅里叶卷积（FFC）22在下采样运算中使用全局信息.FFC基于通道对图像特征进行快速傅里叶变换（FFT）23以捕获整个图像的感受野.如图4所示，FFC将信道分成两个并行分支：1）局部分支使用常规卷积，2）全局分支使用实FFT表示全局语义并利用11卷积运算对其进行维度变换.实FFT仅应用于实值信号，逆实FFT确保输出值为实值.与FFT相比，实FFT只使用一半的频谱.FFC先采取以下步骤，再将局部和全局分支的输出融合在一起.a）将实FFT2d应用于输入张量并连接实部和虚部：RH W C CH W2 C（6）CH W2 C RH W2 2C（7）b）在频域中应用卷积块：RH W2 2C RH W2 2C（8）c）应用逆变换恢复到空间结构：RH W2 2C CH W2 C（9）CH W2 C RH W C（10）1.4 门控双特征融合模型为进一步融合图像的纹理和结构特征，设计门控双特征融合模块以交换两种特征之间的消息.该模块利用软门控制速率细化图像特征，同时使纹理图2 单个变换器结构Fig.2 The single transformer structure图3 动态掩码示例Fig.3 The example of dynamic mask图4 快速傅里叶卷积模块Fig.4 The fast Fourier convolution module45湖南大学学报（自然科学版）2023 年和结构具有感知能力.如图5所示，残差变换器网络输出的纹理特征表示为Ft，并行快速傅里叶卷积输出的多尺度结构特征映射表示为Fs.为构建纹理感知的结构特征，控制纹理信息集成程度的软门表示为：Gt=(SE(g(Concat(Ft，Fs)（11）式中：Concat()为通道级联，g()是核大小为3的卷积层构成的映射函数，SE()为捕获重要信道信息的挤压激励运算24，()为Sigmoid激活函数.通过Gt，自适应地将Ft合并为Fs：Fs=(GtFt)Fs（12）式中：是初始化为0的训练参数，而和分别表示逐像素相乘和逐像素相加.相同地，结构感知纹理特征Ft的计算如下：Gs=(SE(h(Concat(Ft，Fs)（13）Ft=(GsFs)Ft（14）公式（13）中：h与g遵循相同的模式.最后，该模块通过信道级联融合Fs和Ft得到特征映射Fl：Fl=Concat(Fs，Ft)（15）1.5 损失函数网络中加入原始监督损失可帮助生成器精确修复破损图像，但其已知区域难以包含足够的语义信息.因此，使用原始监督损失会使修复结果模糊.感知损失25通过预训练网络()评估从预测图像中提取的特征与目标图像之间的距离，不需要精确重建，有助于网络对大面积破损图像整体结构的理解.因此，提出算法引入能快速增长感受野的感知损失LHRFPL14，其高感受野基础模型为HRF()：LHRFPL(x，x)=M(HRF(x)-HRF(x)2)（16）式中：-2为单元操作，M为连续的两阶段均值操作，HRF(x)可使用空洞卷积实现.提出算法采用对抗性损失以确保修复模型f(x)生成自然的局部细节，定义作用在局部补丁的鉴别器D()以区分“真”和“假”补丁，给缺失区域相交的补丁贴上“假”的标签.有监督的HRF感知损失使生成器很快学会复制输入图像的已知部分，鉴别器将生成图像的已知部分标签为“真”.提出算法使用对抗性损失的模型为：LD=-ElogD(x)-Ex，mlogD(x)m-Ex，mlog(1-D(x)(1-m)（17）LG=-Ex，mlogD(x)（18）LAdv=sg(LD)+sg(LG)min，（19）公式（17）（18）中：x是数据集的样本，m是合成掩码，x=f(x)是x=stack(xm，m)的修复结果；式（19）中：sg是停止梯度，sg是停止梯度，LAdv为将要优化的联合损失.同时，提出算法采用R1=x/D(x)/2梯度惩罚26及基于鉴别网络LDiscPL的感知损失27，提高网络收敛速度和稳定网络训练并提高修复性能.本算法的最终损失函数：Lfinal=LAdv+LHRFPL+LDiscPL+R1（20）式中：权重=10，=30，=100，=0.001.LAdv和LDiscPL使网络生成合理的局部细节，LHRFPL提高生成内容与全局结构的一致性.2 实验结果与分析2.1 数据集及实验环境实验使用CelebA-HQ28和Places29数据集验证算法的有效性.CelebA-HQ包含30 000张人脸图像，选择其中2 000为验证集，100张为测试集，27 900张为训练集.Places为包含复杂结构的物体数据集，选择其中四个类别，每个类别含5 000张图像，从每个场景随机选取500张作为验证集，25张构成测试集.实验在 Windows10 系统单个 NVIDIA GeForce RTX 3090（24GB）的PyCharm平台完成，代码使用的框架为PyTorch 1.8.1.受计算资源的限制，调整测试图像的高度和宽度为256256像素，高分辨率图像目标移除测试图像分辨率为1 504984，批量大小为8，Places 数据集的训练回合数为 70，CelebA-HQ 数据集的训练回合数为40回合.使用Adam优化器30，生成器和鉴别器的学习率固定为0.001和0.000 1.将提出算法与三种基于神经网络的修复方法MADF12算法、SPL13算法和 LaMa14算法中的 LaMa-Fourier图5 门控双特征融合模块Fig.5 The gated dual feature fusion module46第 8 期李海燕等：基于残差变换器的并行傅里叶卷积修复算法模型进行对比，以验证提出算法的有效性.2.2 主观实验结果图 6（b）为 CelebA-HQ 数据集叠加 40%左右不规则掩膜的待修复图.如图所示，掩码区域覆盖人脸和头发的主体部分，缺失区域约占人脸的 70%.图6（c）是 MADF 算法修复的结果，图中左侧的头发细节不清晰，鼻子的结构不合理.图6（d）是SPL算法修复的结果，图中右侧嘴角纹理混乱，眼睛与鼻子的结构扭曲.图6（e）是LaMa算法修复的结果，鼻子与嘴唇结构合理，信息连续，但左侧头发纹理细节不清晰，右眼结构扭曲.图6（f）是提出算法修复的结果，能正确修复图像纹理，修复结构较好，整体效果强于对比算法.图 7（b）CelebA-HQ 数据集叠加 60%左右不规则掩膜的待修复图，掩码覆盖了图像的左侧主体区域.MADF修复结果的人脸左侧存在结构扭曲现象，且人脸纹理细节模糊.SPL算法的修复结果整体比较混乱，右眼结构信息缺失，头发处存在伪影.LaMa修复结果的部分结构合理，但红框处存在信息丢失，未能合理修复左肩.提出算法修复的结构与原图相似度高，纹理清晰且掩码处无伪影.图 8是在 Places数据集叠加50%左右不规则掩码训练的修复效果对比，图像缺失区域背景复杂.MADF算法在墙壁、门和地毯处出现大面积浅色伪影，图像边缘缺失.SPL算法修复结果有明显的掩码痕迹，纹理不够细腻，整体信息较模糊.LaMa算法修复结果的左下红框处存在像素丢失及内容不明确的现象，生成图像存在大面积伪影且掩码痕迹较重.提出算法的修复结果整体视觉效果较好，结构更完整，更接近原图逼真度.图 9是在 Places数据集叠加60%左右不规则掩膜的修复效果对比，破损部分包括水面、小船和树林，背景复杂.MADF算法的修复结果在水面出现浅色伪影，红框处生成的纹理细节和结构比较混乱，出现像素点丢失的现象.SPL算法的生成内容含有较重的掩码痕迹，无法修复树林的大致结构.LaMa算法能修复船尾的简单结构，但红框处的生成图细节丢失，水面区域含蓝色伪影.相比较而言，提出算法修复的图像结构更相似、语义信息更合理、纹理更清晰.（a）原图 （b）受损图 （c）MADF算法 （d）SPL算法 （e）LaMa算法 （f）本文算法图6 CelebA-HQ数据集叠加40%掩码的效果对比Fig.6 Comparison of effect of superimposed 40%mask on CelebA-HQ dataset （a）原图 （b）受损图 （c）MADF算法 （d）SPL算法 （e）LaMa算法 （f）本文算法图7 CelebA-HQ数据集叠加60%掩码的效果对比Fig.7 Comparison of effect of superimposed 60%mask on CelebA-HQ dataset （a）原图 （b）受损图 （c）MADF算法 （d）SPL算法 （e）LaMa算法 （f）本文算法图8 Places数据集叠加50%掩码的效果对比Fig.8 Comparison of effect with superimposed 50%maskon Places dataset47湖南大学学报（自然科学版）2023 年2.3 定量评价为了客观评价提出算法的图像修复效果，选择三种定量评估指标进行效果对比，使用学习感知图像补丁相似度（LPIPS）度量生成图像与真实图像之间的差别，其值越低表示两张图像越相似.使用峰值信噪比（PSNR）对比图像在纹理以及像素层面的差别，利用结构相似度（SSIM）对比图像在结构、亮度以及对比度上的差别.对所有算法使用相同的训练机制和掩码进行公平比较，表 1 和表 2 分别表示在CelebA-HQ和Places数据集叠加不规则掩码的修复性能指标.如表 1和表2 所示，提出算法的PSNR、SSIM 和LPIPS 指标均优于对比算法.其中，CelebA-HQ数据集的不规则掩码修复数据表明，提出算法较LaMa算法的 PSNR 提高了 3.51%，SSIM 提高了 2.3%，LPIPS降低了12.9%.Places数据集的不规则掩码修复数据表明，提出算法较LaMa算法的PSNR提高了5.32%，SSIM提高了6.25%，LPIPS降低了42.35%.评价结果表明提出算法在全局结构、局部细节以及语义感知方面均优于对比算法.2.4 消融实验一为了验证提出算法对每个模块的有效性，使用Places数据集对不同模块进行定性和定量评估，以LaMa生成网络为基础模型，逐步添加并行快速傅里叶卷积模块、门控双特征融合块及变换器残差模块，定性研究结果如图 10 所示，定量评价结果如表 3所示.图10（a）（f）分别为原图、受损图、基础模型的修复效果、添加并行卷积效果的修复效果、再添加门控双特征融合模块和变换器残差模块的修复效果.图10（d）相较于（c），生成图像有较浅的掩码痕迹.图10（e）相较于（d），可修复出合理且连贯的结构，但部分结构上的纹理细节不够细腻.图10（f）相较于（e），表1 CelebA-HQ数据集的不规则掩码修复对比Tab.1 Comparison of irregular mask restoration for the CelebA-HQ dataset模型MADFSPLLaMa本文算法PSNR/dB26.194 226.234 525.633 826.527 5SSIM0.861 90.870 10.852 60.870 6LPIPS0.076 70.086 00.021 80.019 3表2 Places数据集的不规则掩码修复对比Tab.2 Comparison of irregular mask restoration for the Places dataset模型MADFSPLLaMa本文算法PSNR/dB26.184 025.770 625.769 027.137 3SSIM0.846 50.834 00.799 90.850 9LPIPS0.126 70.175 90.170 40.098 0 （a）原图 （b）受损图 （c）基础模型 （d）并行卷积 （e）融合模块 （f）完整模型图10 消融实验定性研究Fig.10 Qualitative study of ablation experiment表3 消融实验定量评估Tab.3 Quantitative evaluation of ablation experiment修复算法基础模型并行卷积融合模块完整模型PSNR/dB25.769 025.942 326.112 527.137 3SSIM0.799 90.804 40.816 00.850 9LIPIS0.170 40.151 30.136 00.098 0 （a）原图 （b）受损图 （c）MADF算法 （d）SPL算法 （e）LaMa算法 （f）本文算法图9 Places数据集叠加60%掩码的效果对比Fig.9 Comparison of effect with overlay 60%maskon Places dataset48第 8 期李海燕等：基于残差变换器的并行傅里叶卷积修复算法修复的纹理特性与结构特征更加平衡，能有效优化图像细节，提升视觉真实性.从表 3可以看出，加入每个模块以后，PSNR和SSIM的指标均有提高，LIPIS的指标均有降低，说明在加入各个模块后性能均有提升.PSNR、SSIM 分别提升了 5.3%和 6.38%，LIPIS 降低了 42.5%.由此说明，提出的残差变换器网络、并行快速傅里叶卷积模块和门控双特征融合模块在结构、纹理和语义层面明显提升了修复效果.2.5 消融实验二为验证提出算法中感知损失和生成对抗损失等函数的作用，在CelebA-HQ数据集上叠加不规则掩码对其进行消融实验.图11（a）（g）分别为原图、受损图、去感知损失LHRFPL后的结果、去梯度惩罚R1后的结果、去鉴别器感知损失LDiscPL后的结果、去对抗损失LAdv的结果及本文算法的生成效果.由图11可知，相较于图11（g），去LHRFPL后眼睛部位结构扭曲，眼睛下方出现红色修复痕迹；去R1后眼睛细节不自然，无法生成精细的结构；去LDiscPL后造成缺失处大量信息丢失，无法完成修复；去LAdv后上眼眶纹理细粒度欠佳，脖子部位红色痕迹较重.如图11（g）所示，所提算法未造成信息丢失，不仅能保持颜色与纹理的一致性，还能兼顾人脸全局结构一致性，修复结构与原图更接近.表 4 为损失函数消融实验的定量比较，去掉LHRFPL、R1、LDiscPL和LAdv后，相比较完整损失函数，PSNR 降低了 0.50.84 dB，SSIM 降低了 0.010.02，LIPIS升高了0.0080.01.由此可知，感知损失和对抗损失等损失函数均能提升算法修复性能.2.6 高分辨率图像目标移除本文算法应用于高分辨率图像目标移除的结果如图12所示，图像尺度为1 504984像素.将本文算法与LaMa算法中LaMa-Fourier模型进行对比，其中LaMa-Fourier模型大小为 27 M，而所提模型大小为33.5 M.两幅图中移除的目标均为人物，图 12（b）（a）原图 （b）LaMa算法 （c）本文算法图12 高分辨率图像目标移除应用Fig.12 High resolution image target removal applications （a）原图 （b）受损图 （c）去LHRFPL （d）去R1 （e）去LDiscPL （f）去LAdv（g）本文算法图11 损失函数消融实验定性研究Fig.11 Qualitative study on loss function ablation experiment49湖南大学学报（自然科学版）2023 年（c）分别为LaMa算法及本文算法目标移除的效果.上图中，LaMa 算法修复结果在人物缺失部分有伪影，纹理不够清晰；下图中，LaMa算法修复结果存在明显修复痕迹，生成结构模糊，内容不连贯.相比之下，本文算法得到的结果视觉效果更好，结构信息与纹理特征合理，无信息缺失，整体清晰度更优.3 结论本文提出了一种基于残差变换器的并行傅里叶卷积修复模型.使用残差变换器网络捕获图像标记间的交互信息，建模图像局部纹理信息；利用并行快速傅里叶卷积生成模块提高网络获取图像有效感受野的能力，增强模型对多尺度信息提取以及表达能力，感受图像整体结构细节；采用门控双特征融合模块，组合和交换图像的纹理细节和结构特征，提升修复效果的纹理清晰度、结构连续性及语义合理性.在两个公共数据集上进行对比实验，实验结果表明，在Places数据集中，相较于对比算法，本文算法在峰值信噪比（PSNR）和结构性相似度（SSIM）上分别提升0.951.37 dB和0.0050.051，能生成与原图逼真度接近的纹理和结构特征.参考文献1BERTALMIO M，SAPIRO G，CASELLES V，et al Image inpaintingC/Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques New York：ACM，2000：417-4242CRIMINISI A，PEREZ P，TOYAMA K Object removal by exemplar-based inpaintingC/2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Madison，WI，USA：IEEE，20033周李洪，龚金科，李兵基于稀疏表示的车用带钢表面图像信息修复J湖南大学学报（自然科学版），2021，48（8）：141-148ZHOU L H，GONG J K，LI BImage information restoration of automotive strip steel surface based on sparse representation JJournal of Hunan University（Natural Sciences），2021，48（8）：141-148（in Chinese）4王欢，李利，李庆，等一种结合全局一致性与局部连续性的壁画修复方法 J 湖南大学学报（自然科学版），2022，49（6）：135-145WANG H，LI L，LI Q，et alA global uniform and local continuity repair method for murals inpaintingJ Journal of Hunan University（Natural Sciences），2022，49（6）：135-145（in Chinese）5张雪菲，程乐超，白升利，等基于变分自编码器的人脸图像修复 J 计算机辅助设计与图形学学报，2020，32（3）：401-409ZHANG X F，CHENG L C，BAI S L，et alFace image inpainting via variational autoencoderJ Journal of Computer-Aided Design&Computer Graphics，2020，32（3）：401-409（in Chinese）6李海燕，吴自莹，郭磊，等基于混合空洞卷积网络的多鉴别器图像修复 J 华中科技大学学报（自然科学版），2021，49（3）：40-45LI H Y，WU Z Y，GUO L，et al Multi-discriminator image inpainting algorithm based on hybrid dilated convolution networkJ Journal of Huazhong University of Science and Technology（Natural Science Edition），2021，49（3）：40-45（in Chinese）7YEH R A，CHEN C，LIM T Y，et alSemantic image inpainting with deep generative modelsC/2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）Honolulu，HI，USA：IEEE，2017：6882-68908YU J H，LIN Z，YANG J M，et alGenerative image inpainting with contextual attentionC/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Salt Lake