基于结构-纹理分解的数字图像分层修复算法.pdf

220第40 卷第6 期2023年6 月真机仿算文章编号：1 0 0 6-9348(2 0 2 3)0 6-0 2 2 0-0 5基于结构-纹理分解的数字图像分层修复算法孙宇，李哈2（1.新疆理工学院信息工程学院，新疆阿克苏8 430 0 0；2.辽宁工业大学电子与信息工程学院，辽宁锦州1 2 1 0 0 0）摘要：采用目前方法进行数字图像修复时，没有对边缘的衔接效果和灰度跳变问题进行考虑，导致视觉效果差、SSIM与PSNR值低的问题。提出基于结构-纹理分解的数字图像分层修复算法，首先运用TV-L模型完成数字图像的结构-纹理拆分，然后利用快速行进法对图像进行预填充，最后对数字图像结构-纹理部分进行分层修复，在结构部分运用结合1 2 个邻域点的加权组合更新受损点，获取更好的衔接效果，纹理部分采用Criminisi算法，用局部搜索代替全局搜索，完成数字图像的分层修复。通过实验结果可以看出，所提方法能够有效地改善视觉效果，提高SSIM与PSNR值。关键词：结构-纹理分解；数字图像；分层修复；快速行进法中图分类号：TP391.41文献标识码：BDigital Image Layered Restoration Algorithm Based onStructure-Texture DecompositionSUN Yu,LI Han(1.School of Information Engineering,Xinjiang Institute of Technology,Aksu Xinjiang 843000,China;2.School of Electronic and Information Engineering,Liaoning University of Technology,Jinzhou Liaoning 121000,China)ABSTRACT:When the current method is used for digital inpainting,the problem of edge connection effect and grayscale jump is not considered,resulting in poor visual effect and low SSIM and PSNR values.Therefore,a layered res-toration algorithm of digital image based on structure-texture decomposition was proposed.First of all,TV-L modelwas used to decompose the structure and texture of digital image.And then the image was pre-filled based on the fast-marching method.Finally,the structure and texture of digital image were repaired layer by layer.In the structurepart,the weighted combination including twelve neighborhood points was used to update the damaged points and to ob-tain better connection.In the texture part,Criminisi algorithm was used to replace the global search with local search.Thus,the layered restoration of digital image was completed.Experimental results show that the proposed method caneffectively improve the visual effect and increase SSIM and PSNR values.KEYWORDS:Structure-texture decomposition;Digital image;Layered restoration;Fast marching method1引言图像修复是根据图像的已知区域特征修补图像受损区域或移除图像多余的区域1 ，使修复后图像能够满足视觉要求的方法。随着科技的不断发展，数字图像技术不断提基金项目：辽宁省博士科研启动基金计划项目（2 0 1 9-BS-121）；中央引导地方科技发展专项资金（2 0 2 0 JH6/10500067）收稿日期：2 0 2 1-1 1-1 55修回日期：2 0 2 2-0 1-0 5升2 ，图像修复技术受到更高的关注，已被广泛地应用于电影电视修复，艺术作品修复、医学影像修复、工业图像修复等行业之中，因此对数字图像修复技术进行更加深人的研究至关重要。李雪瑾3 等人将数据集解析的样本作为概率分布的样本点，通过GANs输出伪造图像，通过附近待修复图像的编码构建模型,运用该模型来预测受损内容，从而完成图像的修复。韩栋4 等人通过曲率约束因子构建优先级度量函数，将调整后的样本块边缘作为约束,结合SSD模型对受损图像221(1U)进行修复。裴晨5 等人将图像转换到CIELab空间内完成a，b分量的聚类运算并获取K个聚类中心，根据迭代次数变化进行粗分割，通过细化分割结果，分离目标与环境，将色彩迁移后完成图像修复。以上方法没有对边缘的衔接效果进行考虑，导致视觉效果差、SSIM与PSNR值低的问题。为了解决上述方法中存在的问题，提出基于结构-纹理分解的数字图像分层修复算法。2数字图像结构一纹理分解对于待处理图像，可以将其表示为f(i,j)的形式,f(i,j)中包含纹理及噪声等振荡部分6 ,将其表示为(i,i)，图片处理就是从f(i,j)中提取出有用的部分，可以将其理解为逆问题7 ,即对于给定的f(ij),找到与其相似的u(ij),使其无限接近f(i,j)u即为f(i,j)的结构部分,遵循f(i,j)=u(i,j)+(i,i),图像修复的目的是从f(i,j)提取u(ij),u中纹理代表的模式为重复的小规模细节，噪音代表的模式为随机的小规模细节8 ，两者可通过振荡函数加以区分。设图像的全区域用Q表示，受损区域用D表示，拉格朗日乘子用入表示9，将TV模型和L范数模型L（Q）和L?(Q)相结合得到TV-L模型和空间BV(Q）的表达形式如下1 0 infI Du I+入Illi(0)F=u+veBVxL2(0)nBV(0)=(u e L(0)I J1 Dul)(1)u E BV(Q),U E L(Q)设梯度的模用/Vul表示，图像局部梯度模函数用p（IVuI）和q（/Vu l）表示，为保证fu+u=u+d i u s 前提的参数，入和为结合实际情况取值的参数，建立L范数自适应模型如下所示1infVu/g(IVul)f=u+veBVxL2(0)VuI1+入Ilf-u-diut i(o)+jVuIP(IVul)(2)Vulq(I Vu l)=1-exp(-/VuI2)lim,g(I Vul)=2(3)IVul-0lim_q(I Vul)=1Vul式(2)为一个能量泛函式1 ,其中的第一项为规整项,第二项为L的逼近项，第三项为图像中的能量，通过范数表示，u和分别所处的空间为对偶空间,所以存在(1/p)+(1/q)=1,通过变分法求解式（2），得到满足诺依曼条件的欧拉拉格朗日方程的如下所示1 2 u=f-dius+-(Vf-u-dint)?+adi(I Vul-2 Vu)u-f+a.5i+a.52usi(5i+5i)P-2=入o(f-u-diut)+au-f+a.5i+a.52ut2(5i+$)P-2=入a,Vf-u-divt)?+a)(4)式（4)中,51 和2 为拉格朗日中值定理参数，为惩罚因子，根据图像模值可以将式（4分为以下两种情况：图像模值很大当图像的模值很大时,根据式(3)得到q1,p1,该情况下的式（4）可表示为如下形式VuVf-u-dit)+a)di(5)VuI图像模值趋近于零当图像的模值趋近于零时，q2,p 2,该情况下的式（4）可表示为如下形式u=f-divs(Vf-u-dint)?+o)di(Vu)u-f+divs一usS/f-u-diue)2+a)u-f+divt=入S2Vf-u-divt)+o)(6)在式(5)和式（6)中为了避免分母为零的情况，引人参数8，使其满足di(l wu)-2 u)di(/Vul+(ivwl)-2,Vu)(7)通过以上计算，完成数字图像结构与纹理的分解。3数字图像分层修复方法3.1图像预填充因为在结构部分中只存在光滑区域和边缘的特点，可以将结构部分看作近似于处处连续的函数，将像素I（y）在点x处依据泰勒公式展开得到I(y)=I()+VI(x)(y-x)+o(l y-x/2)(8)其中,o(ly-xl2)为高阶项,将其舍弃后得到I(y)=I(x)+VI()(y-x)(9)设受损区域边界上的随机一点用p表示，以为半径的p点的邻近区域用B表示，P点的初始值为其邻近区域的加权平均值，权重用W(p,9)表示，B,中的随机一点用q表示，根据式（9)得到初始值填充I(p）如下所示EBPnxknounW(p,q)(I(q)+VI(q)(p-q)I(p)W(p,q)222为了保障受损区域能够按照由边界向内部的顺序拓展，基于结构-纹理分解的数字图像分层修复算法引人快速行进法进行计算【1 3,结合点q处参数T(q)的大小，得到权重W(p,9)的计算公式如下T(q)W(p,q)(11)T(q)9EBPxknown结合实际情况对更新参数T进行修正，设点q的邻近区域内四个点用9折9.9。和9，表示，得到修正后公式如下T(q)=min/T(q),minisolve(qw,q,),solve(qe,q,),solve(qe,qn),solve(qw,qn)/)(12)3.2结构修复算法在传统的TV算法中,若受损区域中某点为（i,j)，（i,j)通过其邻近区域内四个点pE（i 1,j），（i-1,j），（i,j+1），（i,j-1）的加权组合进行更新，对应的权值w，分别为(1/Vu+,1,1/u-+;1,1/Vuij|,1/Vuij-+B,Vu为梯度。而在基于结构-纹理分解的数字图像分层修复算法运用的修复模型中，通过（i,j)邻近区域的1 2 个点的加权组合对其进行更新，因此获取到的修复结果在受损区域边界处拥有效果更好地衔接效果，避免了灰度跳变的情况。在图像修复的过程中，为了避免修补受损区域后造成的全局模糊，基于结构-纹理分解的数字图像分层修复算法对上文运用的修复模型进行改进，设（x,y）是受损区域D内的一点，t=f(x,y）,得到改进后表达式如下所示：(Qu(x,y)Vu(x,y)Adiu,(x,y)E DatVu(x,y)T(13)(u(x,y)=u(x,y),(x,y)E Deu当式（1 3）到达稳定状态时，满足曲率diu=0,IVul即经过拉普拉斯运算的曲率结果等于零，将等照度线通过曲率变化率为常数的曲线进行连接1 4，与传统模型相比，式（1 3)的连接性更为优异。此外，两者拥有不同的信息传播优先级，在式（1 3)中，更新幅度由曲率的拉普拉斯运算控制，根据拉普拉斯运算的特点，信息在区域内的传播速度与曲率变化值成正比，即依据式（1 3）的图像修复由角点开始，更加符合视觉的连接性准则为了避免信息的无效传递，引人等照度线的方向概念，入为松弛因子，结合向量VI。与等照度线方向N的夹角对修复模型进行优化，得到优化后的权重w，如下所示w,=(Vl,M)w,=cos w,(14)与传统TV模型相比，基于结构-纹理分解的数字图像分层修复算法运用的修复模型具有以下几个优点：在对待修复先进行修复时选取邻近区域的1 2 个点的加权组合对其进行更新，获取到的修复结果具有更好的衔接效果，避免了灰度跳变的问题对修复模型进行改进后避免了对受损区域修复时全局模糊的情况。遵循视觉的连接性准则，对等照度线方向进行考虑，使信息传播的效率更高。3.3纹理修复算法通过统计法对BSDS300数据库中图像的局部相似性进行统计分析1 5】，首先选定块的尺寸，记作（2 pSize+1）（2 p Si z e+1），在全部图像中任意选取中心点，记作（xo，y o），根据中心点确定尺寸为（2 pSize+1）（2 p Si z e+1）的块，然后在全部原图像、结构图像和纹理图像中提取每个可能的尺寸为（2 pSize+1)(2pSize+1)的图像块，图像块的中心坐标为（x,y），再对块和图像块之间的曼哈顿距离1 6 以及两者中心点的欧氏距离1 7 进行计算，最后获取两者中心距离为Dis的块和图像块的平均距离。对计算结果进行统计分析可知，获取到的图像具有局部相似性特征，引入改进的Criminisi算法，在寻找最佳匹配块过程中用运用局部搜索代替全局搜索，在受损区域边界为B的范围内寻找最佳匹配块以提高算法效率，在Criminisi算法中，全部已知点对相似度的贡献值均一致,因此将其转换为与距离相关的加权相似度贡献方式，设中心点p到点x，的距离为dist(xp，p），以p为中心的区域用，表示，已知信息区域用表示，q为上一点，以q为中心的区域用。表示，得到相似度d（山。，。）计算方式如下1d(t，山,）2dist(xp,p)(山,nd),x.Et(15)通过以上计算，完成基于结构-纹理分解算法的数字图像分层修复。4实验与结果为了验证基于结构-纹理分解的数字图像分层修复算法的整体有效性，需要对该算法进行测试。实验计算机设备选取Interi7-4600,2.10CHz主板，8 GB内存，Windows10系统。为了验证修复效果，选取四组不同的待修复图像进行修复，将所提方法处理的图像与文献3和文献4 处理的图像进行对比分析,处理结果如图1 所示。由图1 人像移除修复结果可以看出,在文献3 的处理结果中,边缘部分存在部分残留，影响视觉效果,文献4 的处理结果路沿部分及围栏部分严重变形，出现视觉不连贯的情况，地面与路沿的颜色不均匀，阴影过渡不自然，所提方法的修复结果中路面与路沿连接处表现出横向一致的效果,路面及围栏均保持原形态，符合视觉需求。由图2 物体移除修复结果可以看出，在大面积简单结构和局部细微纹理结构均有受损的情况下,文献3 处理结果表现不佳，受损区域在处理后出现明暗交叠的色块重复情况，严重影响视觉效果，整体不流畅，而且整个图像的清晰度下降，图像质量出现模糊情况，文献4 处理结果中受损部位边缘未完全消除，且修补处出现大面积色块，严重偏离原图223(a)待处理图像(b)所提方法处理结果(c)文献3 处理结果(d)文献4 处理结果图1人像移除修复结果(a)待处理图像(b)所提方法处理结果(c)文献3 处理结果(d)文献4 处理结果图2物体移除修复结果效果，整体效果不好，所提方法处理结果对光亮与阴影情况均有考虑并加以合适的处理，使光影过渡更加自然，视觉效果更好。(a)待处理图像(b)所提方法处理结果(c)文献3 处理结果(d)文献4 处理结果图3粗划痕修复结果对图3粗划痕修复结果进行分析，在同时包含大面积均匀渐变（皮肤）和结构渐变（面部轮廓）受损的情况下，经过文献3 方法处理的结果面部轮廓明显有突出,边界与背景混合造成大面积色块，影响视觉感受，且全局像素降低出现模糊情况，文献4 处理结果面部向背景过渡处出现大面积模糊，效果不够自然，出现明显的明暗交界，没有对光泽的明暗变化情况加以考虑，视觉效果差，所提方法对于面部过渡的处理优于两种方法，面部轮廓较为清晰。tentinpainting(a)待处理图像(b)所提方法处理结果(c)文献3 处理结果(d)文献4 处理结果图4去文字修复结果对图4去文字修复结果进行分析，在大面积区域受损的情况下,文献3 处理结果仍有文字边缘存在，修复效果不佳，影响原图像效果，文献4 虽将文字去除，但云彩过渡明暗效果不自然，视觉效果不够流畅，所提方法对于文字的消除处理效果更为顺畅，更接近原图效果。通过结构相似性指数（SSIM）和峰值信噪比（PSNR）对三种方法的修复结果进行客观对比，SSIM和PSNR均与图像的修复效果成正比，得到检测效果如图5所示：一一图1一世一图2图1一图2图3图4一图3.图40.9834330.97320.96310.95WISS300.94290.9328270.92260.91250.9024所提方法文献3 方法文献4 方法所提方法文献3 方法文献4 方法图5SSIM与PSNR检测效果对图5分析可以看出，所提方法的SSIM与PSNR值均比文献3 方法和文献4 方法优异，因为所提方法在对受损区域进行修复时，选取了待修复点邻近区域的1 2 个点的加权组合进行更新，获取到更好的衔接效果，避免了灰度跳变的情况，从而使所提方法的修复效果更好。224上接第1 2 4页）5结束语图像是人们获取信息的主要途径，这说明了图像处理技术至关重要，而图像修复是其中不可或缺的一部分，对图像修复进行深人的研究与应用是图像处理技术发展的关键。为了解决目前方法中存在的视觉效果差、SSIM与PSNR值低问题，提出基于结构-纹理分解的数字图像分层修复算法，通过TV-LI模型将数字图像拆分为结构部分和纹理部分，并分别进行修复，完成数字图像的分层修复。该方法能够有效地改善视觉效果，提高SSIM与PSNR值，为更好地进行数字图像修复奠定基础。参考文献：1张雪菲，程乐超，白升利，等.基于变分自编码器的人脸图像修复J.计算机辅助设计与图形学学报，2 0 2 0,32（3）：40 1-40 9.2唐钱龙，谭园，彭立敏，等.基于数字图像技术的隧道衬砌裂缝识别方法研究J.铁道科学与工程学报，2 0 1 9,1 6（1 2）：30 41-3049.3李雪瑾，李昕，徐艳杰。基于生成对抗网络的数字图像修复技术J.电子测量与仪器学报，2 0 1 9,33（1）：40-46.4韩栋，王春华.基于曲率约束因子与边缘加权法则的图像修复算法J.西南师范大学学报（自然科学版），2 0 1 9,44（3）：95-100.5裴晨，徐国彬，于艺铭，等.基于改进K均值聚类的图像修复方法J.包装工程,2 0 2 0,41（2 3）：2 55-2 6 2.6谌华，郭伟，闫敬文.综合边界和纹理信息的合成孔径雷达图像目标分割J.中国图象图形学报,2 0 1 9,2 4（6）：8 8 2-8 8 9.5售鲁亮，陈凯芳，黄子恒基于静力试验的体外预应力自复位框架地震响应数值模拟J.地震工程与工程振动,2 0 1 9,39（1）：138-145.6吴王平，刘书贤，刘书会，等，强震作用下大跨度钢筋混凝土输煤栈桥抗震性能研究J.建筑结构学报，2 0 1 8,39（4）：7 4-8 1.7黎璟，杨华平，钱永久，等。非一致激励下大跨度铁路斜拉桥地震响应规律J.铁道建筑，2 0 1 9,59（6）：1 4-1 6,32.8石岩，张奋杰，韩建平，等.高墩大跨度连续刚构桥典型施工阶段地震损伤分析J.振动与冲击，2 0 2 0,39（2 2）：8 9-95.9潘晋，黄义飞，夏天，等.基于AIS数据的桥梁防船撞结构冲击响应分析J.桥梁建设，2 0 2 0,50（1）：32-37.10包龙生，张远宝，桑中伟，等.波纹管连接装配式桥墩抗震性7田淑侠，李广棵，陈振茂，等.基于逆问题算法的ITER超导线缆断线率检测J.核电子学与探测技术，2 0 1 9,39（4）：50 8-516.8杨华.基于稀疏主成分分析的图像噪声估计方法J.液晶与显示,2 0 1 9,34(9)：91 3-92 0.9胡沛然，陈少辉.权重归一化拉格朗日插值及其空间降尺度应用J.遥感信息，2 0 1 9,34（6)：6 3-7 1.10徐静，刘俊皓.一种改进的原始对偶法求解TV-L1图像去噪模型J.应用数学学报，2 0 2 0,43（4）：6 8 4-6 99.11韩明，王敬涛，孟军英，等。结合局部熵能量泛函与非凸正则项的图像分割J.计算机工程与应用，2 0 1 9,55（6）：1 6 0-167.12郝亚娟，郭茜茜，陈佳慧.相容拉格朗日一欧拉法求解黏性流体中弹性圆柱壳的振动J.振动与冲击，2 0 1 9,38（3）：2 6 7-270+278.13 杨泽富，战荫伟，杨荣骞.脑血肿CT图像分割的改进快速行进方法J.计算机工程与设计，2 0 2 0,41（5）：1 37 3-1 37 8.14潘振兴，韩峰,王博，等.基于曲率变化特征的既有线路整正算法设计J.铁道标准设计，2 0 1 9,6 3（9)：6-1 0.15彭磊，杨秀云，张裕飞，等。基于全局与局部相似性测度的非刚性点集配准J.计算机应用，2 0 1 9,39（1 0）：30 2 8-30 33.作者简介孙宇（1 98 3-），女（土家族），湖南龙山人，硕士研究生，讲师，研究方向：美术学、数字媒体、图像艺术。李晗（1 98 4-），男（汉族）,辽宁锦州人，博士，讲师，研究方向：复杂网络、体域网、嵌人式系统。能拟静力试验与数值模拟J.中国公路学报,2 0 1 8,31（1 2）：242-249.11赵建锋，孟庆一，李刚.预制拼装桥墩墩底隔震数值模拟及隔震影响因素分析J.世界桥梁，2 0 1 9,47（6）：51-57.12沈超，钱德玲.高层框筒结构建筑抗震性能试验研究与数值模拟J.结构工程师，2 0 1 9，35（5）：1 6 4-1 7 3.作者简介艾建杰（1 98 6-），男（汉族），山西原平人，副教授，主要研究领域为路桥工程。张玉苹（1 992-），女（汉族），四川西昌人，硕士研究生，讲师，主要研究领域为材料工程。