联合特征推理和语义增强的渐进式壁画修复.pdf

第 50 卷 第 8 期2 0 2 3 年 8 月Vol.50，No.8Aug.2 0 2 3湖 南 大 学 学 报（自 然 科 学 版）Journal of Hunan University（Natural Sciences）联合特征推理和语义增强的渐进式壁画修复陈永 1，2，赵梦雪 1，陶美风 1（1.兰州交通大学 电子与信息工程学院，甘肃 兰州 730070；2.甘肃省人工智能与图形图像处理工程研究中心，甘肃 兰州 730070）摘 要：针对现有深度学习算法修复壁画图像时，未充分考虑破损区域与完好区域信息的一致性，导致修复结果易出现边界效应和纹理模糊等问题，提出了一种联合特征推理和语义增强的渐进式壁画修复算法.首先，设计区域渐进结构，实现了待修复区域的渐进式收缩修复.然后，利用特征推理模块，对缺失像素的特征值进行迭代推理填充，减小壁画修复重构误差，增强壁画破损区域与完好区域之间的相关性.最后，将各层特征图自适应融合，并采用语义增强模块进行纹理细节迁移，提升壁画补全区域和整体的一致性.敦煌壁画数字化修复实验表明：所提方法修复结果具有更好的纹理细节一致性，在主客观评价指标上均优于比较算法.关键词：图像处理；壁画修复；渐进式修复；语义增强；特征推理中图分类号：TP391.41 文献标志码：AProgressive Mural Inpainting Method Based on Joint Feature Reasoning and Semantic EnhancementCHEN Yong1，2，ZHAO Mengxue1，TAO Meifeng1（1.School of Electronic and Information Engineering，Lanzhou Jiaotong University，Lanzhou 730070，China；2.Gansu Provincial Engineering Research Center for Artificial Intelligence and Graphics&Image Processing，Lanzhou 730070，China）Abstract：To solve the problem that the existing deep learning algorithms do not fully consider the consistency of the information between the damaged area and the intact area when repairing mural images，which leads to boundary effects and texture blur in the repair results，we proposed a progressive mural inpainting algorithm combining feature reasoning and semantic enhancement.Firstly，the progressive structure of the region was designed to realize the progressive contraction of the region to be repaired.Then，the feature reasoning module was used to iteratively fill the feature values of the missing pixels，reduce the reconstruction error of the mural restoration，and enhance the correlation between the damaged area and the intact area of the mural.Finally，the feature maps of each layer were adaptively fused，and the semantic enhancement module was used to transfer the texture details，so as to improve the consistency of the mural completion area and the whole.The digital restoration experiments of Dunhuang 收稿日期：2022-08-23基金项目：国家自然科学基金资助项目（61963023），National Natural Science Foundation of China（61963023）；教育部人文社会科学研究青年基金资助项目（19YJC760012），Humanities and Social Sciences Youth Foundation of Ministry of Education（19YJC760012）；兰州交通大学基础研究拔尖人才项目（2022JC36），Lanzhou Jiaotong University Basic Top-notch Personnel Project（2022JC36）；兰州交通大学天佑创新团队项目（TY202003），Tianyou Innovation Team of Lanzhou Jiaotong University（TY202003）作者简介：陈永（1979），男，甘肃武威人，兰州交通大学教授，博士 通信联系人，E-mail：文章编号：1674-2974（2023）08-0001-12DOI：10.16339/ki.hdxbzkb.2023292湖南大学学报（自然科学版）2023 年murals show that the restored murals by the proposed method have better consistency of texture details，and are superior to the comparison algorithms in subjective and objective evaluation indicators.Key words：image processing；mural inpainting；progressive inpainting；semantic enhancement；feature reasoning敦煌莫高窟壁画作为世界级文化遗产，记载着十六国至明清的彩绘艺术，具有极高的研究价值.然而莫高窟地处干旱戈壁沙漠，受大自然侵袭、人为破坏等因素影响，大多数壁画出现了裂纹、剥落、酥碱等病害1.将数字化修复技术应用于古代壁画遗产的修复保护，已成为当前的研究热点2.目前，图像修复算法主要包括：以纹理合成和稀疏表示等为主的传统修复算法和深度学习修复方法.其中，传统类修复3-5主要将先验信息采用复制合成的方式补全缺失像素，该类算法对壁画裂纹等小区域破损有较好的修复效果，但对于脱落等较大区域破损修复时，易出现结构紊乱、无效填充等问题6.对于缺失区域较大的图像，深度学习是目前的主流图像修复方法.深度学习方法一般需要设计相应的学习网络，利用已知图像的完好信息生成未知破损信息7-9.壁画图像结构复杂且包含较多的语义信息，采用深度学习方法时，一般设计卷积神经网络、生成对抗网络或者编解码器等方法，学习壁画图像深层语义特征来实现对于较大破损区域的壁画修复10-15.Yu等7提出了基于生成对抗网络的双阶段修复算法，但精修复阶段编码器在编码时采用整体编码的形式进行重构，修复后图像局部与全局有较大差异，易出现块效应问题.Nazeri等8提出了基于结构预测和内容补全的联合生成对抗修复模型，采用边缘结构预测的方法可以较好地拟合壁画结构信息，但该方法重构过程未考虑破损区域和完好信息的相关性，修复结果存在模糊的问题.Li等9提出了一种基于视觉重建的修复网络，通过线条结构和颜色特征重建的方法进行修复，但该方法采用连续下采样和反卷积，易出现边界像素丢失，其重构结果存在语义偏差.Xiong等10提出了基于轮廓引导的双阶段修复模型，通过结构拟合的方式引导修复，但该方法采用Sobel算子检测轮廓时存在方向单一的问题，导致对于复杂纹理图像修复效果欠佳.Guo等11提出通过全分辨率残差网络来填充不规则孔洞的修复方法，但在修复过程中多次将特征图映射回RGB空间，存在映射信息丢失而失真的问题.Liu 等12提出了互编码器-解码器的图像修复模型，通过多尺度和深浅层特征联合作用恢复图像的结构和纹理特征，但修复过程未区分无效信息，修复结果易出现纹理细节模糊的现象.上述深度学习算法由于采用整体特征提取的方法，易引入无效像素参与卷积，往往会导致壁画修复结果出现语义不明和像素紊乱等问题.因此，区分无效像素、加强有效信息利用程度对提升壁画修复结果具有重要意义.Li等13提出了基于循环推理卷积特征映射完成修复的方法，该方法增强了对于破损信息的修复约束性，但该方法采用标准卷积层级联的方式进行编解码，易引入无效像素参与修复，导致修复结果存在伪影现象.Wadhwa 等14提出基于超图卷积的粗细双阶段图像修复方法，但该方法对结构纹理等先验信息考虑不足，导致修复结果存在结构紊乱纹理模糊等现象.胡凯等15提出了一种基于边缘生成的双阶段图像修复算法，通过预测缺失区域边缘结构引导完成重构图像，但该方法未充分考虑破损区域与完好信息的一致性，其结果存在局部模糊的现象.综上所述，现有深度学习图像修复算法在修复壁画时，一般采用对破损壁画进行整体特征提取的方式进行修复，该过程中未充分考虑破损区域与完好区域信息的一致性，导致修复结果中易出现边界效应和纹理模糊等问题，因此本文提出了一种联合特征推理和语义增强的渐进式壁画修复方法.主要工作有：1）首先，设计区域渐进结构，通过部分卷积的掩膜更新机制，实现待修复区域的渐进式收缩，避免了对破损壁画特征整体提取的盲目性.2）然后，构建了由共享编码、门控卷积和标准卷积联合解码的特征推理模块，采用提出的特征推理机制对缺失像素的特征值进行迭代推理填充，加强对破损区域的约束，减小壁画重构误差，增强壁画破损区域与完好区域之间的相关性.3）最后，将各渐进迭代层输出的2第 8 期陈永等：联合特征推理和语义增强的渐进式壁画修复特征图自适应融合，并采用语义增强模块对重构图像与原始壁画间的纹理细节进行迁移，使其生成更加符合视觉一致性的重构结果.实验结果表明，本文方法能够更有效地修复真实敦煌壁画，主客观评价均优于对比方法.1 本文方法1.1 网络整体架构壁画往往呈现出复杂结构和纹理的特点1.大多数深度学习模型，通常将待修复破损壁画视为整体，采用特征提取或多阶段修复的方式，对待修复壁画进行整体特征学习.然而，壁画破损区域与完好信息之间有较强的相关性，整体特征提取的修复方式忽视了破损区域与完好信息的一致性，会导致修复结果易出现边界效应和纹理模糊等问题13.因此，本文提出了一种联合特征推理和语义增强的渐进式壁画修复方法，其网络整体框架如图1所示.该网络模型主要包括：区域渐进模块、特征推理模块、特征融合模块以及语义增强模块四部分，如图1所示.模型工作时，首先，将原始壁画图像和破损掩膜输入模型，通过由部分卷积构成的区域渐进模块，仅对破损掩膜区域进行修复，避免了传统编码器对图像特征提取时，采用整体特征提取，未区分破损区域和完好区域的差异性的缺点.接着设计特征推理编码器，进行渐进式推理修复，并通过门控卷积与标准卷积构成的双通道解码器解码生成修复后特征图.该过程中，在编解码器之间利用跳跃连接的方式，提升特征信息的长程迁移能力，增强推理特征图之间的相关性.然后，更新当前修复完成后的破损掩膜边界，继续反馈至修复模块，循环进行特征推理修复，直至整个破损区域完成渐进式收缩修复.最后，将每次循环解码得到的特征图进行自适应融合，并通过语义增强模块将原始壁画图像的整体纹理色彩等特征信息迁移至重构图像，用于增强破损区域修复结果与壁画先验信息的整体一致性，提升重构壁画的全局语义合理性，最终输出修复后壁画图像.图1中各部分模块功能如下.1.2 区域渐进模块在壁画修复过程中，破损掩膜为待修复的壁画区域，该区域内像素均为初始待修复的无效像素.为了避免对壁画整体特征学习的盲目性，本文提出区域渐进模块，采用部分卷积来确定和更新每次渐进迭代过程中需要修复的区域.现有深度学习方法在壁画图像修复时，一般采用普通卷积对壁画图像进行特征提取，卷积核内所有像素均参与计算，如图2（a）所示，但该操作未区分壁画中完好区域和破损区域的像素，会导致大量无效像素也参与特征提取，无效像素将逐层前向传播，导致出现错误混叠的问题9.为了避免上述普通卷积只能进行整体特征学习的不足，本文采用部分卷积进行特征提取.部分卷积示意图如图2（b）所示，该卷积方式仅针对输入壁画中的完好区域有效像素进行卷积操作，而对破损掩膜区域像素不进行任何特征提取.在图2（b）中，破损掩膜区域像素因为是破损无效像素，部分卷积权重均为0，表示破损无效像素不参与特征提取，从而有效避免了无效像素参与卷积过程而导致结构紊乱和视觉伪影问题16.在区域渐进模块，采用部分卷积只针对壁画完好区域特征进行提取，可以避免破损掩膜区域无效图1 本文总体模型框架Fig.1 Model framework of proposed method3湖南大学学报（自然科学版）2023 年像素参与卷积过程，从而减小破损区域对修复结果的影响.该模块结构图如图3所示.在图3所示区域渐进模块中，通过部分卷积实现破损掩膜更新和特征映射，经过规范化层和Leaky ReLU激活函数处理后，从而得到当前渐进待修复壁画.在此过程中，部分卷积层计算后进行标准化特征映射公式，如式（1）所示.f*x，y，z=WTz()fx，ymx，ysum(1)sum(mx，y)+b，if sum(mx，y)！=0；0，else（1）式中：fx，y，z表示zth通道中输出壁画（x，y）位置的特征值，WTz是当前迭代层中的第z个卷积核权重.fx，y和mx，y分别是以壁画（x，y）位置为中心的当前滑动窗口的特征图和对应的二进制掩膜，表示特征图对应位置点对点相乘，sum(1)代表当前滑动窗口区域值为1的个数，sum(mx，y)为对应掩膜区域中值为1的总数，sum(1)/sum(mx，y)为比例因子，当卷积过程中掩膜发生变化时，即有效像素的输入数值发生变化时调整其结果，b为偏置值.生成的位置x，y处的壁画破损区域新边界值如式（2）所示：m*x，y=1，if sum(mx，y)！=00，else（2）式中：m*x，y代表更新后的掩膜，sum(mx，y)代表mx，y掩膜区域中值被标记为1的总数，若总数不等于0，则将卷积块中值为0的像素置为1.完成一次卷积操作后，即可获得一次迭代后的新掩膜，从而动态完成一次掩膜的渐进更新.更新后的破损掩膜和当前层输入掩膜之间的差异定义为当前迭代层中需要修复的区域.更新后的破损掩膜在壁画当前层计算过程中被保留，直到在下一层修复过程中被进一步渐进收缩.1.3 特征推理模块在完成待修复壁画破损区域渐进式确定后，紧接着对待修复壁画Oim+M进行特征推理.为了增强对于缺失破损壁画信息的推理能力，本文提出由共享编码器和双通道解码器构成的特征推理模块对破损壁画图像进行渐进修复.其中，共享编码器由部分卷积层级联构成，双通道解码器由门控卷积层和标准卷积层对特征图进行联合解码.特征推理模块结构图，如图4所示.图 4特征推理模块，首先将区域渐进修复确定的破损壁画Oim+M采用部分卷积级联的方式进行特征提取.接着，将特征图采用语义一致性模块进行破损像素的特征推理，并在完成特征推理后采用门控卷积和标准卷积联合解码器融合输出.在该过程中，将编码器和解码器层进行跳跃连接，使编码器和解码器的特征融合共享，减少编解码器网络层之间的信息丢失.在壁画修复过程中，为了增强壁画破损区域与完好区域信息的一致性，本文引入语义一致性注意力（Semantic Consistency Attention，SCA）机制来进行缺失像素的特征推理，通过计算语义一致性注意力分数来指导特征匹配块与缺失像素块之间的特征推理过程，语义一致性注意力分数计算过程如图 5所示.图3 区域渐进模块Fig.3 Area progressive module图4 特征推理模块Fig.4 Feature reasoning module（a）普通卷积（b）部分卷积图2 普通卷积和部分卷积示意图Fig.2 Schematic diagram of ordinary convolutionand partial convolution4第 8 期陈永等：联合特征推理和语义增强的渐进式壁画修复在图5特征推理注意力分数计算过程中，从特征图Fi有效区域中选取33的特征匹配块作为卷积滤波器，选定余弦相似度作为掩膜缺失像素块和壁画完好区域特征匹配块之间的匹配准则.在壁画完好区域按照从左至右从上到下的顺序，依次计算以像素点(x，y)为中心的特征匹配块与以像素点(x，y)为中心的缺失像素块之间的特征相似度，以此评价二者之间的相似度.像素点之间余弦相似度计算如式（3）所示：simix，y，x，y=fx，yfx，y，fx，yfx，y（3）式中：simix，y，x，y表示位置(x，y)与位置(x，y)之间的像素特征相似度，fx，y表示位置(x，y)处的像素特征值，fx，y表示位置(x，y)处的像素特征值.为了计算得到缺失像素块与壁画完好区域匹配特征块之间的相似度值，通过式（3）可以分别求解得到大小为k k块内部每个像素点的余弦相似度，然后求平均，该过程计算公式如式（4）所示.simix，y，x，y=p，q-k，ksimx+p，y+q，x，yk k（4）在通过式（4）得到缺失像素块和壁画完好区域特征匹配块的相似度值后，采用全局平均池化操作，将通道数和卷积结果共同作为Softmax激活函数的输入，计算出位置(x，y)处的注意力分数scorei.当前迭代层中的注意力分数分别是当前层的初始得分和之前迭代中最终累加得分的加权和，最终注意力分数计算公式如式（5）所示.scoreix，y，x，y=scoreix，y，x，y+(1-)scorei-1x，y，x，y（5）式中：为可学习参数，scorei-1x，y，x，y为上层递归中位置(x，y)处像素的注意力分数.若位置(x，y)的像素在上层递归中被视为无效参数，则忽略该像素对其不进行任何额外操作，当前层递归中该像素的最终注意力分数计算如式（6）所示.scoreix，y，x，y=scoreix，y，x，y（6）最后，利用推理出的注意力分值重建特征图，位置(x，y)处的新特征图，计算过程如式（7）所示：fix，y=x 1，w；y 1，hscoreix，y，x，yfix，y（7）式中：w和h为特征图维度.然后将推理后的特征图F采用门控卷积解码器和标准卷积解码器进行联合解码，解码过程如图6所示.在图6中，联合解码时，采用门控卷积和标准卷积联合的方式进行解码.一般情况下，特征在图像中越重要，被选取的概率往往越大，即采用门控机制可以提取到更丰富、更关键的语义特征信息17.其中标准卷积层对编码特征图进行逐层上采样操作，输出图5 注意力分数计算过程Fig.5 Attention score calculation process图6 双通道解码过程Fig.6 Dual channel decoding process5湖南大学学报（自然科学版）2023 年解码后的特征图Fi，解码过程如式（8）所示：Fi=H(WiFi)+bi)（8）式中：Fi为标准卷积层输出的重构特征图，H为上采样操作，为激活函数，Wi为权重值，Fi为特征推理后的特征图，bi为偏置值.门控卷积层对编码特征图进行解码重构过程如下，通过式（9）对特征图进行卷积操作，利用Sigmoid激活函数将其输出门控值映射在0和1之间，代表各像素特征值的重要程度：Gating=Sig(WgFi)（9）式中：Gating为门控值；Sig()为Sigmoid激活函数；Wg为卷积滤波器；Fi为特征推理后的壁画特征图.其次，利用式（10）计算得到解码特征值：Feature=(WfFi)（10）式中：Feature为特征值；为 ReLU 激活函数；Wf为与Wg不同的卷积滤波器；Fi为特征推理后的壁画特征图.然后，对解码特征值和输出门控值进行逐元素相乘，在当前卷积层的输出结果输入到下一个卷积层之前对其进行加权，门控卷积层最后输出的解码特征图Oi如式（11）所示：Oi=FeatureGating（11）最后，将两个解码分支各自输出的特征图进行通道连接，得到当前层双通道解码结束后的重构特征图Fi，其计算公式如式（12）所示：Fi=Concat(Fi，O*i)（12）式中：Fi为联合解码后的特征图；Concat()为通道连接函数，Fi为标准卷积解码特征图；O*i为门控卷积解码特征图.1.4 特征融合模块破损壁画渐进式收缩修复过程中，破损掩膜区域所有无效像素被推理填充完时，迭代收缩修复结束.在该过程中，若仅使用最后迭代输出的特征图用于重构壁画，会存在特征图在多次迭代中误差累积的问题，重构后误差较大12.因此，本文采用特征融合模块对渐进生成的一系列的重构特征图Fi进行多特征图融合，以提高重构精度.本文采用渐进融合的方式对重构特征图Fi中像素(x，y，z)处的特征值进行融合计算，增强壁画破损区域与完好区域之间的相关性.在计算时，因为初始破损区域无效像素掩膜值为0，被修复后掩膜值变为1，因此通过统计在渐进修复过程中，待融合像素点的掩膜值为1的次数，即通过计算待融合像素参与修复的有效次数，从而可以得到该像素点的融合特征均值，该过程计算如下：fx，y，z=i=1Nfix，y，zi=1Nmix，y，z（13）式中：fx，y，z为特征图Fi第z通道中(x，y)位置的融合特征值，fix，y，z为第z通道中(x，y)位置的特征值，mix，y，z是特征图Fi对应的二进制掩膜值，N 为特征图的数量.1.5 语义增强模块在完成待修复壁画特征融合后，为了进一步提高修复后结果的全局语义一致性，本文设计了语义增强模块，用于提升壁画重构图像的全局语义一致性，其结构图如图7所示.语义增强模块由提取和迁移两个单元构成，提取单元主要用于提取输入壁画的整体风格.将融合后的壁画特征za输送进提取单元，利用提取单元对编码特征进行提取，接着通过迁移单元对提取到的特征进行风格迁移，从而减少重构图像与原始图像的风格差异，实现修复过程的全局性调节.图7 语义增强模块Fig.7 Semantic enhancement module6第 8 期陈永等：联合特征推理和语义增强的渐进式壁画修复图7中，提取单元首先利用自注意力模块获取壁画图像的全局信息使其具备更大的感受野和上下文信息，从而捕获壁画图像的全局依赖关系.然后，采用残差块级联的方式对编码进行下采样，完成编码za的特征提取，最后通过全连接将求和后的特征映射为单通道风格向量，从而为迁移单元提供所需的归一化参数，经全连接层映射调节后的风格向量zsa更能有效反映壁画图像的全局语义信息.在提取单元之后，迁移单元主要用于提升修复壁画图像的全局语义合理性.采用自适应实例归一化操作18，即调整内容输入的平均值和方差以匹配样式输入的方式对编码za进行风格迁移，将重构壁画的内容与原始壁画的风格相结合，实现原始壁画图像的特征细节信息的传递.迁移时首先采用LeakyReLU激活函数和维度为3 3的空洞卷积块对其进行卷积操作，得到对应的迁移特征图，并对其进行自适应归一化操作，进一步调节壁画图像的整体语义一致性，其定义如式（14）所示：fm，n=fm，n-(fm，n)(fm，n)m，n+m，n（14）式中：fm，n为第m个迁移块经过ReLU激活函数后输出的特征图，(fm，n)和(fm，n)分别为均值和方差，m，n和m，n为风格向量映射的归一化参数，fm，n为经过风格迁移后的特征图，m为迁移块个数，n为每个迁移块的第n次归一化操作.1.6 损失函数本文方法损失函数包括生成合理特征的感知损失、增强整体一致性的风格损失、有效像素损失和无效像素损失.其中，感知损失如（15）式所示：Lp=i=1N1CiWiHi|OIpooli-predpooli|1（15）式中，pooli表示固定特征映射，Hi、Wi、Ci分别表示第i个壁画特征图的高度、宽度和通道数，N为语义增强模块中特征提取器生成的特征图的数量.感知损失有助于捕获高层结构，但缺乏保持风格一致性的能力，因此进一步引入风格损失，使其从背景中学习整体纹理风格和颜色等信息.风格损失计算公式如（16）式所示：stylepooli=pooliTpooli（16）Ls=i=1N1Ci Ci|1CiWiHi(stylegtpooli-stylepredpooli)|1（17）通过壁画有效像素损失值Lv和无效像素损失值Linv来分别计算壁画完好区域和破损区域的L1差值，本文模型的总损失函数计算公式如（18）式所示：Ltotal=invLinv+vLv+sLs+pLp（18）式中：为可学习参数，Linv为壁画无效区域的计算损失值，Lv为壁画有效区域的计算损失值，Ls为重构壁画和原始壁画间的风格损失值，Lp为感知损失值.2 实验结果与分析本文通过在敦煌壁画中选取山水类、佛像类等不同类别高清壁画图像，构成自制敦煌壁画数据集，通过数据集扩展形成20 000余张壁画数据集进行实验，其中训练数据集壁画图像12 000余张，验证集壁画图像2 200张，测试集壁画图像5 800张.为了验证所提方法的有效性，在自制敦煌壁画数据集的基 础上，采用人为添加随机破损和真实破损敦煌壁画进行修复实验，并与文献 8 边缘引导修复方法、文献 12 互编解码联合修复方法、文献 13 循环特征推理方法、文献 14 超图卷积双阶段修复方法进行对比分析.对比实验均在相同的软硬件环境下进行.使用Python 3.6以及PyTorch 1.1编程实现，硬件环境为 Intel（R）Core（TM）i7-10700K CPU 3.80 GHz，32GB RAM，NVIDIA GeForce GTX 2060 SUPER.采用评价准则峰值信噪比PSNR和结构相似性SSIM分别进行修复实验对比及客观性量化评价.2.1 人为添加破损实验首先进行人为添加随机破损修复实验，选取佛像类、山水动物类、飞天类、藻井类等10组壁画进行修复对比实验，如图8所示.其中，图8（a）为壁画原始图像，图8（b）为掩膜图像，图8（c）为文献 8 修复结果，可以看出文献 8 边缘连接edge-connect修复结果中出现了块效应及修复不彻底的问题.如对于第一幅藻井图中，修复结果存在结构紊乱、区域模糊的问题.对于第二幅佛弟子头像图，佛光部分出现线条错位的现象.第三幅毛驴图和第四幅建筑楼阁，存在较多修复残留，无法有效完成修复.对于第八幅窟顶图，文献 8 算法修复结果中存在结构线条不平整、错误像素值溢出以及区域填充模糊的问题.上述问题是由于文献 8 算法通过预测破损区域结构边缘并填色进行修复，但是破损区域内修复结果存在7湖南大学学报（自然科学版）2023 年 （a）原始图像 （b）掩膜图像 （c）文献 8 （d）文献 12 （e）文献 13 （f）文献 14 （g）本文算法图8 人为添加破损壁画修复实验结果对比图Fig.8 Comparison of repair experiments results for artificial broken murals8第 8 期陈永等：联合特征推理和语义增强的渐进式壁画修复结构线条出现预测错误和结构扭曲现象，存在色差、印痕明显等问题.图 8（d）为文献 12 修复结果，可以看出文献12 算法修复结果中存在纹理模糊和印痕残留的问题.如对于第一幅藻井图、第十幅菩萨图中，其修复结果中存在明显的纹理紊乱且模糊的问题.对于第二幅佛弟子头像图以及第八幅纹样图，其修复结果仍残留掩膜，未修复完成.图 8（e）为文献 13 修复结果，可以看出文献13 算法修复结果中存在棋盘效应以及结构缺失等问题.如对于第一幅藻井图中，圆环边缘部分线条结构错位，存在结构偏差及棋盘效应.对于第二幅佛弟子头像图，佛光线条结构存在偏差，导致线条弧度发生扭曲，视觉一致性较差.第三幅毛驴图和第四幅建筑楼阁，均存在明显的修复块效应，结构断裂，无法有效完成修复.对于第八幅窟顶图和第九幅弥勒降生局部图，修复结果中均存在明显的修复印痕及结构紊乱问题.这是因为文献 13 算法采用标准卷积级联的方式对破损壁画进行整体编码，未能区分无效像素，导致无效像素对修复结果出现严重影响.图8（e）为文献 14 修复结果，对于大面积破损其修复结果存在非常明显的纹理模糊问题及修复残留问题，未能有效完成修复，如第三幅毛驴修复后仍存在孔洞现象.图8（f）为本文算法修复结果，从图中可以看出本文算法采用渐进式推理方式，修复后重构误差较小，修复后破损区域与完好区域之间的一致性更强.如第一幅藻井图中，对于破损圆弧实现了较好的推理，拟合后结构更加合理.第二幅佛弟子头像部分的像素推理值较为合理集中，佛光部分结构也更加连贯自然.第3幅毛驴图的腿部，得到了更符合语义的修复结果，修复更加彻底.相较于对比算法，本文算法采用提出的联合特征推理和语义增强的渐进式壁画修复方法，修复结果因采用推理机制及语义增强模块对纹理细节进行迁移，使其修复结果更加符合视觉一致性，块效应问题得到了明显的抑制，修复后整体更加清晰.为进一步验证修复结果的质量，下面采用客观评价指标峰值信噪比PSNR和结构相似性SSIM对图8的修复结果进行定量评价，比较结果见表 1.其中PSNR和SSIM值越大，表示修复后失真越少.从表1中观测得出，本文算法在 PSNR和SSIM均优于其他对比算法，表明本文方法修复质量更好，从而验证了本文方法对于人为破损壁画修复的有效性.2.2 真实破损壁画修复为了进一步验证本文算法的有效性，下面采用4组真实破损壁画图像进行修复实验，其修复结果如图9所示.对于第一幅“北壁弥勒经变局部图”壁画，文献 8 的修复结果中佛光部分存在结构断裂以及残留的掩膜痕迹，文献 12 和文献 13 也存在同样的问题；文献 14 的修复结果好于前者，但修复的佛光部分存在结构错位的问题；而本文算法修复结果更加连贯流畅.对于第二幅“莫高窟二一七窟龛顶 罗睺罗献食认父局部图”壁画，文献 8 和本文算法均取得了较好的修复结果，而其余三种对比算法修复后均存在明显的裂纹修复印痕以及结构不连续等问题.对于第三幅“敦煌莫高窟壁画 供养菩萨局部图”壁画，文献 8 算法修复后存在明显的裂纹印痕以及供养菩萨手部细节缺失的现象；文献 13 算法修复过程中出现修复残留，供养菩萨手部未能完成表1 人为破损壁画修复试验结果对比Tab.1 Comparison of restoration results of artificially damaged murals图像Image1Image2Image3Image4Image5Image6Image7Image8Image9Image10文献 8PSNR/dB24.935 622.745 326.276 620.755 025.761 221.392 323.779 722.771 825.807 023.363 3SSIM0.780 70.837 80.846 40.884 60.891 90.830 80.834 00.866 90.767 70.798 7文献 12PSNR/dB25.536 022.002 526.736 529.712 527.241 421.383 822.013 623.583 324.763 823.422 7SSIM0.813 90.889 60.883 80.968 70.882 60.782 30.842 10.855 80.759 50.779 3文献 13PSNR/dB23.845 221.998 028.002 423.835 224.292 722.641 625.503 122.433 726.916 223.535 7SSIM0.819 40.860 10.862 60.907 50.890 00.908 00.867 80.869 10.800 80.818 1文献 14PSNR/dB21.304 522.434 524.427 520.026 025.777 820.560 723.813 222.463 823.308 620.831 2SSIM0.723 40.843 40.802 20.869 80.853 10.770 40.806 70.836 70.736 30.692 4本文算法PSNR/dB25.406 024.538 428.081 223.239 026.376 225.252 725.552 424.157 125.406 024.538 4SSIM0.830 80.884 20.937 70.932 30.897 90.917 90.868 10.873 10.830 80.884 29湖南大学学报（自然科学版）2023 年修复；文献 12 和文献 14 虽恢复出了手部细节，但也存在印痕残留的现象；而本文算法修复结果中菩萨手部结构细节特征均取得较好的重构效果.对于第四幅“莫高窟壁画 普贤变局部图”壁画，文献 8算法修复结果中菩萨头发部分以及袈裟部分均出现严重的块效应现象，未能达到满足视觉的重构效果；文献 12 和文献 13 算法修复结果同样存在明显的破损残留，结构线条不连续且纹理细节丢失，修复痕迹明显；文献 14 算法修复结果的袈裟部分存在明显纹理模糊现象；而本文算法修复后更加彻底，如菩萨的头发部分完成了有效修复，并且视觉一致性效果更好，袈裟线条纹理部分推理痕迹明显弱化，取得了较好的修复结果.为进一步直观清晰地观察对于细小样本块的修复效果，下面分别选取上述实验中两组人为破损修复结果：第八幅纹样图、第十幅菩萨图以及两组真实破损修复结果第一幅和第四幅进行局部修复细节比较.图10中，第1列为壁画原图，对于第1行和第2行人为添加破损局部修复放大图，可以看出文献 8、文献 12 和文献 14 均出现了明显的块效应现象，文献 13 出现了结构断裂和马赛克现象，本文方法较好地拟合了结构线条并且修复后更加彻底.第 3行和第4行为真实破损壁画修复结果局部放大图，可以看出文献 14 方法修复后存在较为严重的模糊现象，其他文献均存在修复不彻底的问题，而本文方法对于真实壁画修复后更加自然清晰.由于真实破损壁画缺少相应的标准参考图像，因此对于其修复结果，本文采用无参考图像质量评价方法进行评估.采用无参考评价指标平均主观分值MOS（Mean Opinion Scores，MOS）进行评价，其值为观测者根据评价准则，对待评价图像按照视觉效果做出质量判断的质量分数19-20，该值越大，表明修复效果越满足人眼视觉效果，其与破损量对应关系见表2.采用MOS指标的图9真实破损壁画修复实验 （a）原始图像 （b）掩膜图像 （c）文献 8 （d）文献 12 （e）文献 13 （f）文献 14 （g）本文算法图9 真实破损壁画修复实验对比图Fig.9 Comparison of repair experiments for real broken murals表2 真实破损壁画修复主观评价及量化表Tab.2 Subjective evaluation and quantification table for the restoration of real damaged murals质量准则优良中差劣损伤不能发现能发现，但在可接受范围稍微不能接受不能接受非常不能接受MOS值5432110第 8 期陈永等：联合特征推理和语义增强的渐进式壁画修复评价结果如表3所示.从表3中可以发现，本文MOS评价结果优