基于最佳缝合线的图像拼接创新实验设计_王宇.pdf

ISSN 1006 7167CN 31 1707/TESEACH AND EXPLOATION IN LABOATOY第 42 卷 第 2 期Vol42 No22023 年 2 月Feb 2023DOI:10 19927/j cnki syyt 2023 02 010基于最佳缝合线的图像拼接创新实验设计王宇，张哲，杨絮(长春理工大学 电子信息工程学院，长春 130022)摘要:设计了以搜寻最佳缝合线为基础的图像拼接实验项目。该实验主要应用能量函数进行设计，并提出了一种基于混合范数的能量函数形式，将 L1和 L2-范数相结合计算相邻像素的能量，并采用指数形式放大色差权重，加强重叠区域中对齐位置和非对齐位置区域的区分。同时通过实验进行了对比验证，结果表明，该算法能够避免搜寻到的缝合线穿过重合区域中的未对齐位置，从而提高图像拼接效果。该实验项目采用模块化结构设计，可直接用于数字图像处理课程的实验教学中，具有较好的灵活性和扩展性。关键词:图像拼接;能量函数;最佳缝合线中图分类号:G 642文献标志码:A文章编号:1006 7167(2023)02 0048 04Innovative Experiment Design of Image Stitching Based on Optimal SeamWANG Yu，ZHANG Zhe，YANG Xu(College of Electronic and Information Engineering，Changchun University of Science and Technology，Changchun 130022，China)Abstract:An innovative experimental project on image stitching based on searching for the optimal seam is designedBecause the important role of energy function in searching seam lines，the experiment is mainly designed for the energyfunction A hybrid paradigm-based energy function is proposed，in which L1and L2norms are combined to calculate theenergy of adjacent pixels，and the color difference weights are amplified in exponential form to enhance the distinctionbetween aligned and non-aligned position regions At the same，it was verified by experiments，and the results show thatthe algorithm can avoid the stitching line searched from crossing the unaligned positions in the overlapping regions，thusimproving the image stitching effect The experimental project is designed with a modular structure，which can bedirectly used in the experimental teaching of digital image processing courses，with good flexibility and expansibility forexperiments and innovationsKey words:image stitching;energy function;optimal seam收稿日期:2022-06-24基金项目:吉林省教育科学“十四五”规划 2021 年度重点课题(ZD21022)作者简介:王宇(1974 )，女，吉林梨树人，教授，现主要从事图像处理与计算机视觉方向研究。Tel:[phone];E-mail:muxie2002126 com0引言图像拼接就是将同一场景下的多个有不同角度、存在重叠区域的图像，拼接为 1 个高分辨率且自然的大视角图像，该技术在大场景视频获取1、医疗2、智能驾驶3 以及卫星遥感4 等多个领域都有着广泛的应用。图像拼接实验以搜寻 2 幅待拼接图像的最佳缝合线为基础，很多学者进行了最佳缝合线搜寻算法的研究5-7。因能量函数对最佳缝合线具有重要影响，所以实验主要针对能量函数的设计和改进进行。Li等8 基于感知的最佳缝合线搜寻算法，其利用 sigmoid函数来衡量色差，并将显著性度量和人类感知特性引入能量函数。Qiu 等9 利用 L1-范数的 5/2 次幂作为第 2 期王宇，等:基于最佳缝合线的图像拼接创新实验设计能量函数，可以使拼接图像避免不需要的接缝和鬼影。Li 等10 采用边缘增强能量函数的最优缝合线检测方法，根据纹理复杂度指数、图像差分和一致性约束去除无效的图像边缘，基于图割法从边缘增强的能量函数中找到最佳缝合线。本文提出一种基于混合范数的能量函数形式，将L1和 L2-范数相结合计算相邻像素的能量，并采用指数形式放大色差权重，加强重叠区域中对齐位置和非对齐位置区域的区分，从而提高图像拼接效果，并在课程实验中设计了图像拼接实验项目。1搜寻最佳缝合线的原理图割法是一种常见的能量优化算法，其本质是求解最大流最小割的问题11。基于图割法搜寻最佳缝合线是较为经典的算法，主要依据在 2 幅图像的重叠区域构造出有向图。如图 1 所示的缝合线搜寻示意图，1 个源顶点 S、1 个目标顶点 T，以及多个其他节点，这些顶点和节点对应于图像中的像素点。同时有向图中也存在多条边，边上的权值称之为能量，即对应于图像中相邻像素之间的相似程度。在图像拼接中，根据能量函数计算出每条边的能量以表示相邻像素的相似程度。如果能量值越小，说明这条边两侧的像素点越相似，那么断开这条边的代价越小，最终的拼接图像效果越好;反之，能量值越大，说明这条边两侧的像素点差异越大，则断开该边的代价越大，最终的拼接图像则会有模糊或重影等问题。图 1缝合线搜寻示意图图 2 所示为搜寻最佳缝合线的流程图，其搜寻过程:利用 SIFT 算法完成 2 幅待拼接图像配准，根据单应性矩阵对图像进行矩阵变换;在 2 幅图像的重叠区域内遍历所有的像素点，根据能量函数，分别计算每个图 2搜寻最佳缝合线流程图像素点与其四邻域像素点间的能量。从起始点 S 开始，寻找最小能量的链路，直到结束点 T 为止，所有最小能量的链路便构成了最佳缝合线。2能量函数的设计在图像重叠区域构建有向图的过程中，最为重要的是确定图中每条边的能量大小。通常，能量函数包括数据项和平滑项8，其表达式为E()l=pEd(p，lp)+(p，q)NEsp，q，lp，l()q(1)式中:Ed为数据项;Es为平滑项;p、q 为图中相邻的 2个像素点;为重叠区域;lp和 lq分别表示重叠区域 中像素 p 和 q 所对应的标签;N 表示像素邻域。配准后的 2 幅图像分别为 I0和 I1，V=0，1 是一个标签集，“0”对应于 I0，“1”对应于 I1。寻找缝合线的过程也就是使能量函数 E()l 最小化的过程。数据项是为了确保缝合线上的所有像素都落在重叠区域内12，假设像素不在重叠区域，则数据项的值为无穷大，也无法满足使能量函数最小化的条件，即数据项Edp，l()p=0，if p +，else(2)平滑项在能量函数的定义中起着非常重要的作用，不同的能量函数会找到不同的缝合线，因此，本文主要针对能量函数的平滑项部分进行设计。2.1传统能量函数平滑项传统的能量函数平滑项采用 L2-范数定义13，表示为Esp，q，lp，l()q=lp lqIlp()p Ilq()p2+Ilp()q Ilq()q2(3)如果 lplq，则平滑项定义为重叠区域中像素的颜色差异。2.2基于 Sigmoid 函数的平滑项采用 Sigmoid 函数作为能量函数的平滑项8:Esp，q，lp，l()q=lp lq sigmoidI*()()p+sigmoid I*()()q(4)I*()x=I0()x I1()x2sigmoid()x=1/1+exp 4k(x )式中:为阈值，是利用 Ostu 算法14 确定的;k 为颜色辨别敏感度因子，通常，k=1/，为 Ostu 算法中使用的直方图的宽度。该平滑项中 的取值范围在 0 到 1之间，当前场景中物体较多时，无法获得良好的缝合线。2.3基于 L1-范数的平滑项采用 L1-范数的 5/2 次幂作为能量函数的平滑项9，可以放大2 幅图像在重叠区域的色差权重，避免拼接图像产生不需要的接缝和鬼影。基于 L1-范数的平滑项表示为94第 42 卷Es(p，q，lp，lq)=lp-lqIlp(p)-Ilq(p)152+Ilp(q)-Ilq(q)152(5)2.4基于混合范数的平滑项本文提出的基于混合范数最佳缝合线搜寻方法具有 2 个优势:在计算相邻像素的能量时，采用将 L1和 L2-范数结合的方式，可以很好地平衡图像平滑与未对齐像素色差、边缘等细节信息;能量函数中的平滑项采用指数的形式，可以放大色差权重，加强了重叠区域中对齐位置和非对齐位置区域的区分，从而避免搜寻到的缝合线穿过重合区域中的未对齐位置。基于混合范数的平滑项为Esp，q，lp，l()q=lp lq f()p+f()q(6)式中:f()*=I0()*I1()*2+(1-)I0()*I1()*14，2为 L2-范数;1为 L1-范数;为权重。3实验结果与分析为了验证提出的基于混合范数的最佳缝合线搜寻方法 的 有 效 性，利 用 公 开 的 图 像 拼 接 数 据 集SEAGULL15 对不同平滑项构成的能量函数进行对比实验，实验硬件采用 PC 机，配置为 Intel()Core(TM)i5-7300HQ CPU 2.50 GHz，内存 16 GB，运用软件为 Matlab 2016a。本文分 2 个实验进行对比:利用不同能量函数计算 2 幅图像重叠区域的色差图，比较不同色差图的对比度;利用不同算法进行图像拼接，对比最佳缝合线和图像拼接效果。3.1色差图实验首先对不同能量函数计算的色差图进行对比分析，如图3 所示，图3(a)和(b)为2 幅待拼接图像 1 和2，图 3(c)为 2 幅图像 1 和 2 的重叠区域，图 3(d)(g)分别为采用 4 种能量函数对图(c)计算的色差图。(a)待拼接图像 1(b)待拼接图像 2(c)重叠区域(d)传统算法(e)基于 sigmoid 函数算法(f)基于 L1-范数算法(g)本文算法图 3不同能量函数对应的色差图色差图代表了 2 幅图像重叠区域对应像素的颜色差异，色差值为零的区域表示对应像素值相等，实现了像素对齐;色差值非零区域表示对应像素值有差异，未能实现像素对齐。由图 3(d)(g)可见，本文算法得到的色差图对比度高，放大了色差权重，对未对齐像素赋予较大的惩罚，加强了重叠区域中对齐位置和非对齐位置区域的区分，能够避免搜寻到的缝合线穿过重叠区域的未对齐位置。3.2图像拼接实验图 4 所示为不同算法的重叠区域拼接结果，其中图 4(a)(d)分别采用了 L2-范数的传统算法、sigmoid 函数、L1-范数、本文算法作为能量函数，红色线标出了不同算法搜寻的最佳缝合线。为了便于观察细节，将 4 幅图像中的黄色框区域放大，如图 4(e)(h)。由图可见，图 4(e)、(f)、(g)中白色柱子的右上角都出现不同程度的拼接错位，而本文算法则能够保持良好、自然的拼接效果，没有出现拼接错位的问题。用峰值信噪比(Peak Signal to Noise ate，PSN)和结构相似性(Structural Similarity Index，SSIM)2 种客观评价指标对 4 种算法进行评价，结果见表 1。表 1不同算法下 PSN 和 SSIM 指标对比算法PSN/dBSSIM传统算法21 7550842基于 sigmoid 函数算法26 6330874基于 L1-范数算法27 8420881本文算法28 965091205第 2 期王宇，等:基于最佳缝合线的图像拼接创新实验设计(a)传统算法(b)基于 sigmoid 函数算法(c)基于 L1-范数算法(d)本文算法(e)图(a)区域(f)图(b)区域(g)图(c)区域(h)图(d)区域图 4不同算法的重叠区域拼接结果由表 1 可知，与其他 3 种算法相比，本文算法的PSN 分别提高了 33.1、8.8、4.0%，SSIM 值分别提高了 8.3、4.3、3.5%。本文算法的完整拼接结果如图 5所示，可以看出，本文算法在重叠区域的拼接图像失真较小，能够获得良好、自然的拼接效果。图 5本文算法拼接图像4结语本文对搜寻最佳缝合线的能量函数设计了图像拼接实验开发，通过不同算法的色差图实验和图像拼接实验，结果表明:定义不同的能量函数，可以搜寻到不同的缝合线，获得不同的图像拼接结果;算法上能量函数的改进，可以直观地看到实验效果;采用模块化结构，能够进行二次开发。本文开发的基于最佳缝合线的图像拼接实验直接用于实验教学中，具有较好的灵活性和扩展性进行实验和创新，有利于培养学生的创新意识和创新能力。参考文献(eferences):1杨思燕，贺国旗，刘如意 基于 SIFT 算法的大场景视频拼接算法及优化J 计算机科学，2019，46(7):286-2912Soundrapandiyan，Karuppiah M，Kumari S，et al An efficientDWT and intuitionistic fuzzy based multimodality medical imagefusion J International Journal of Imaging Systems Technology，2017，27(2):118-323苏建美 面向大场景的智能驾驶端到端算法研究D 成都:电子科技大学，20204赵迪迪，李加慧，谭奋利，等 基于分布度量和显著性信息的遥感图像拼接 J 激光与光电子学进展，2022，59(4):121-1295Jinwook J，Kyungkoo JA novel seam finding method usingdownscaling and cost for image stitchingJ Journal of Sensors，2016:1-86Liao T L，Chen J，Xu Y F Quality evaluation-based iterative seamestimation for image stitching J Signal，Image and VideoProcessing 2019，13(3):1199-12067罗永涛，王艳，张红民 结合最佳缝合线和改进渐入渐出法的图像拼接算法 J 红外技术，2018，40(4):382-3878Li N，Liao T L，Wang C Perception-based seam cutting for imagestitching J Signal Image and Video Processing，2018，12(3):1-89Qiu X Y，Li Q L Artefact-free image stitching via a better normedseam-cutting energy functionJ IET Image Process 2021，15(6):1371-1381 10Li L，Yao J，Xie P，et al Edge-enhanced optimal seamlinedetection for orthoimage mosaickingJ IEEE Geoscience andemote Sensing Letters，2018，15(5):764-768 11王震，刘健辰 基于图割法的无人机正射影像拼接J 北京测绘，2020，34(9):1179-1183 12林亚 双鱼眼摄像头视频拼接方法研究D 南京:东南大学，2019 13Kwata V Graphcut textures:image and video synthesis using graph J ACM Transactions on Graphics，2003，22(3):277-286 14Ostu NA threshold selection method from gray-histogramJIEEE Transactions on Systems，Man，and Cybernetics，1979，9(1):62-66 15Lin K，Jiang N，Cheong L F，et al Seagull:seam-guided localalignment for parallax-tolerant image stitchingC EuropeanConference on Computer VisionAmsterdam:Springer，2016:370-38515