基于边缘信息的RGB-D图像超像素分割算法.pdf

计算机时代 2023年 第9期0 引言在计算机视觉和图像处理领域，图像的边缘轮廓代表其形状信息，它通常是图像和视频的目标识别、目标跟踪和三维重建1的基石。图像边缘既表示图像中的区域，又含有图像特征暗示，而特征暗示的检测需要依赖边缘检测算子的实现。经典的边缘检测算子可以划分为两类，一类是基于一阶微分算法的边缘检测算子，也称为梯度算子如Roberts算子2、Prewitt算子3和Sobel算子4，该类算子将灰度图像与微分滤波器卷积寻找边缘信息；另一类是基于二阶微分算法的边缘检测算子如Laplacian算子5、Marr算子5和Canny算子6。在这些边缘检测算子中，检测效果最好的是Canny算子。目前，在图像轮廓检测中通常引入各向异性高斯核函数及其方向导数7-8。在文献7中提出结合各向同性高斯核函数以及各向异性高斯核函数，检测性能效果较好，但是该方法的检测结果中还是存在很多虚假的轮廓信息。而文献8在此基础上进行改进，将各向异性高斯核函数在用于灰度图像延伸至彩色图像，从而可以获得更好的边缘检测结果。DOI:10.16644/33-1094/tp.2023.09.023基于边缘信息的RGB-D图像超像素分割算法胡斌，张泽均(浙江师范大学物理与电子信息工程学院，浙江 金华 321004)摘要：针对简单线性聚类算法（SLIC）中需要初始预设超像素个数和大量重复聚类计算的问题，提出一种基于边缘信息的RGB-D图像超像素分割算法。利用各向异性高斯核提取彩色图像中边缘强度信息，在此之上，自适应地提取图像的初始聚类中心。仅对位于图像边缘附近的像素点进行重新聚类标记计算，这种策略在保证聚类准确的同时，大大降低了重新聚类计算的复杂度。同时，本文提出一种基于边缘信息的距离度量准则来度量两个像素点之间的空间距离。在公开的图像数据集上的实验结果表明，相比其他几种算法，本文算法的分割结果更能反应出场景中物体的轮廓信息，而且算法效率更高。关键词：RGB-D图像；超像素分割；各向异性高斯核；聚类中心点中图分类号：TP391文献标识码：A文章编号：1006-8228(2023)09-111-04RGB-D image superpixel segmentation algorithm based on edge informationHu Bin,Zhang Zejun（School of Physics and Electronic Information Engineering,Zhejiang Normal University,Jinhua,Zhejiang 321004,China）Abstract：Aiming at the problem of initial preset number of superpixel and repeating calculation in the simple linear iterativeclustering algorithm(SLIC),an RGB-D image superpixel segmentation algorithm based on edge information is proposed.The edgemapping map is obtained by edge detector over the color image using anisotropic Gaussian kernel filters,based on which theinitial clustering center can be obtained.Only the pixels around the edges need to recalculate their label,which significantlyreduces the complexity of recalculating label value while ensuring the accuracy of clustering.Meanwhile,an index based on edgeinformation is proposed to measure the spatial distance between two pixels.Experimental results on public datasets show that theproposed method obtains better results in contour information of objects and has higher efficiency in computation than some othermethods.Key words：RGB-D image;superpixel segmentation;anisotropic Gaussian kernel;cluster center收稿日期：2023-04-06作者简介：胡斌（1993-），男，浙江湖州人，硕士研究生，主要研究方向：数字图像处理。通讯作者：张泽均（1984-），男，贵州遵义人，博士，讲师，主要研究方向：数字图像处理、计算机视觉。111Computer Era No.9 2023在本文中，对象轮廓检测采用彩色图像，目的是提取出图像中高质量的区域边缘轮廓信息，而提取边缘映射图是引入了多尺度各向异性高斯核方向导数滤波器并且利用加权组合的方式来完成。1 SLIC超像素分割算法问题分析图像的超像素分割算法，是把图像分割成很多小的区域，每个区域内部的像素点均来自同一物体。图像的超像素分割算法主要分为两大类：基于图结构的分割算法和基于聚类的分割算法9。基于图结构的分割算法思想是，先将图像表示成一个无向图，然后将无向图分割成很多子图，每一个子图对应图像中的一个区域。基于聚类的超像素分割算法思想是，先在图像中初始化聚类中心，然后不断迭代地将图像中每一个像素点进行标记从而完成超像素分割。SLIC图像超像素分割算法10其实是一种基于 K均值聚类11的超像素分割算法，该算法主要分为两个步骤：将图像分割成K个矩形区域，将中心像素点33邻域内梯度极小值确定为聚类中心；不断迭代图像中每一个像素点，完成超像素分割，与传统的K均值聚类算法不同之处在于，该算法将全局搜索范围限制在局部范围内，这样就会降低算法的时间复杂度。文献11提出一种距离计算方法，该方法引入了深度图像中三维点云信息来完成超像素分割，有效的解决了在RGB-D图像中两个区域颜色相似但在不同位置分割成同一个区域这一问题。但是该方法不能正确的分割室内空间中不同墙面，这些墙面有着相同的颜色但是其方向上的差异非常大。还有学者在SLIC算法上进行一定的改进12-13。本文针对SLIC图像超像素分割算法中进行图像分割的初始需要，对超像素的个数进行预设，以及在迭代聚类过程中，图像中所有像素点均需要重复计算与聚类中心的距离值这两个问题进行研究，提出了基于边缘信息聚类的RGB-D图像超像素分割算法，该算法主要的思想是根据图像自身特性自适应构建初始化聚类中心，利用图像局部性，降低重复计算像素点标记的次数。2 边缘信息提取2.1 各向异性高斯核以及导数滤波器各向异性高斯核函数14是将高斯核函数在 x（y）轴上做一定的比例的压缩，再将各向异性高斯函数旋转一定的角度，就可以得到一组不同方向的各向异性高斯核函数，各向异性高斯核公式如下：g,()x=122exp()-122xTR()2002RxR=()cossinsincos其中，为核函数的各向异性因子，为尺度因子，x=xyT是平面坐标，R是旋转矩阵。相比于各向同性高斯核函数，它对图像噪声的平滑作用只取决于滤波器的尺寸因子的大小。尺寸因子越大，图像对噪声的抑制能力就越强，但是会使得边缘检测精度和分辨率降低；反之，当尺寸因子越小，边缘检测精度和分辨率相对提高，但是对图像中的噪声抑制就比较差，会检测出错误的边缘信息。并且各向异性高斯核函数对方向变化有着更强的敏感度，可以更好地捕捉方向变化的情况。2.2 图像边缘轮廓检测算法图像边缘轮廓检测算法主要是提取出彩色图像中的边缘信息，算法上采用的是大小不同的尺寸因子的高斯核方向导数滤波器来构造边缘强度映射图（ESM）。首先利用大尺度的高斯核方向导数滤波器抑制图像中的噪声，同时利用小尺度高斯核方向导数滤波器提取图像中边缘细节信息，将这两个不同尺寸的高斯核方向导数滤波器与原始图像进行卷积运算，从而提取原始图像在各个方向上的边缘信息；最后将两个高斯核方向导数滤波器在各个方向上获取到的变化信息结合，就构成了本文所用的边缘强度映射图（ESM）。ESM()x=argmaxg,()x I()x其中，表示卷积运算，I()x是原始图像。式表示在同一方向上，使用两个大小尺寸不同的高斯核方向导数滤波器对原始图像进行卷积运算，接着将它们进行乘积运算，由此得出原始图像在这一方向上的边缘强度映射ESM，最后取所有方向上最大的边缘强度就可以得到最终的边缘强度映射ESM。3 聚类算法3.1 自适应初始聚类算法自适应初始聚类算法流程如图1所示，它是根据图像自身的复杂度来确定需要分割的超像素个数，首先对边缘映射图ESM进行阈值化处理，将边缘强度小112计算机时代 2023年 第9期于这个阈值的像素点都置为零，大于这个阈值的像素点则保持不变。接着对小于这个阈值的区域进行连通区域标记。然后将大的连通区域均匀地分割成小的正方形区域，即获得图像的初始聚类中心区域。3.2 局部像素点聚类算法在初始聚类图像中存在四类像素点如图2所示：聚类中心点、完全聚类点、不完全聚类点和非聚类点。其中，聚类中心点和完全聚类点是不需要重新计算标记的，而不完全聚类点和非聚类点还需要重新计算标记。局部像素点聚类算法是对初始聚类图像中局部像素点进行重新标记。图2初始聚类图像中四类像素点在初始聚类图像中需要重新标记的像素点距离值计算公式如下：D()()r,c,()rc,cc=()dlab2+drc2+d3D2()1+dn+Dgeo()()r,c,()rc,cc其中，()r,c表示需要重新标记的像素点，()rc,cc表示聚类中心，、和为可调参数。上式中，dlab、drc、d3D和dn分别表示像素点()r,c和()rc,cc之间的彩色差异、二维平面位置差异、三维空间坐标差异和法向量差异，Dgeo的计算公式如下：Dgeo()()r,c,()rc,cc=()x,y S()r,c()rc,ccESM()x,y其中，S()r,c()rc,cc表示从需要重新标记的某一像素点()r,c开始到聚类中心()rc,cc结束直线连接上的所有的像素坐标集合，Dgeo表示这些像素点的边缘映射强度之和。4 实验结果与分析4.1 数据集在实验中，本文采用的是NYUv2数据集15，它是公开的室内场景深度图像数据集，包含了卧室、办公室、厨房、书房、运动室等大量的室内场景，总计1449幅图像，其中的每一幅图像都有人工标记的真实分割结果，为该算法提供了很大的便利。本文使用四种算法，即：本文算法、原始的SLIC超像素分割算法10、SLIC的改进算法（3D_SLIC）11和直接将原始的SLIC算法，应用到RGB-D图像数据构成的四维图像数据，该算法用4D_SLIC表示。4.2 视觉效果分析如图3所示为本文算法与原始的SLIC算法视觉比较结果。从视觉结果我们可以看出，本文算法结果更加符合室内场景的分割，从边缘分割精度上要优于原始的SLIC算法，场景中的物体分割会更加的整体，没有更多虚假边缘出现。4.3 数值指标对比在分割结果数值对比中，本文选用了三个数值指图1自适应初始聚类流程113Computer Era No.9 2023标16分别为：Boundary Recall（BR）指标、VI 和 GTCover。第一个指标Boundary Recall（BR），它是度量超像素分割算法分割区域的边缘与真实分割结果的边缘定位匹配度，这个指标越大说明超像素分割算法获得边缘定位精度更高。第二个指标VI是从信息论的角度来度量超像素分割算法分割区域与真实分割结果区域之间的距离，这个指标越小说明分割结果与真实分割结果最接近，分割效果也就越好。第三个指标GT Cover是度量超像素分割算法分割区域与真实结果分割区域的覆盖程度，这个数值越大，说明算法分割结果区域与真实分割结果区域的覆盖程度越高，超像素分割算法的性能也就越好。从表1中可以看出，本文提出的超像素分割算法的边缘定位能力优于SLIC10算法，但相比于其他两种算法效果要稍差一点。第二个指标VI可以看出，本文算法分割效果稍差于其他算法。第三个指标 GTCover可以看出本文算法与3D_SLIC11算法效果相当，优于SLIC10和4D_SLIC算法。表1不同分割算法的数值指标超像素分割算法SLIC4W_SLIC3D_SLIC本文算法BR0.9250.9510 0.9719710.94VI6.5396.5126 6.5055056.66GT Cover0.0580.0590 0.0600600 0.0600604.4 算法效率分析 算法运行时间比较在实验中本文对算法运行时间进行了测试，表2为100张图像的平均分割时间。从表中我们可以看出本文算法对比其他几种分割算法在时间上快了很多，其原因是图像中有许多大的区域内部像素点是不需要重新迭代聚类的，这是本文算法的最大优势所在。表2100张图像平均分割时间超像素分割算法SLIC4W_SLIC3D_SLIC本章算法平均分割时间253.65秒285.01秒340.33秒9595.4141秒本章算法提高的速度倍数2.662.993.57-算法时间复杂度分析从算法时间复杂度来分析，本文算法时间复杂度是O(m)，其中m表示图像的边缘像素点数，对于一副图像来说，图像边缘像素点数大大低于整幅图像像素点数n，面积的像素n与线段的像素m是平方级的关系。本文对比其他几种算法的时间复杂度是O(n)，也就是说，这几种算法的时间复杂度与整幅图像像素点数相关。因此，本文提出的算法时间复杂度O(m)远远小于其他几种算法时间复杂度O(n)。图3本文算法与SLIC算法分割结果可视化对比114计算机时代 2023年 第9期5 结论本文提出了一种基于边缘信息的RGB-D图像超像素分割算法，该算法主要的两个出发点是根据图像自身特性自适应构建初始化聚类中心和利用图像局部性，降低重复计算像素点标记的次数。首先利用各向异性高斯核滤波器将彩色图像转换成边缘映射图，然后把边缘映射图进行阈值化，自适应地构建聚类中心点，最后结合深度图像对需要重标记的像素点进行迭代聚类。实验结果表明，与其他几种算法相比，本文提出的算法在视觉效果和算法效率上都比其他几种算法好。下一步的研究方向是将该算法应用到实践项目中。参考文献(References):1 Hu Weiming,Zhou Xue,Li Wei,et al.Active contour-basedvisualtrackingbyintegratingcolors,shapes,andmotionsJ.IEEE Trans on Image Processing,2013,22(5):1778-1792.2 Roberts L G.Machine perception of three-dimensionalsolidsM.Cambridge:MIT Press,1965.3 Prewitt J M S.Object enhancement and extractionM.NewYork:Academic Press,1970.4 Sobel I E.Camera models and machine perceptionD.PaloAIto,Calif:Stanford University,1970.5 Marr D.and Hildreth E.Theory of edge detectionJ.Proceedings of the Royal Society of London,1980,207:187-217.6 Andreas K.and Mongi A.Detection and classification ofedgesincolorimagesJ.IEEESignalProcessingMagazine,2005,22(1):64-73.7 Ehsan N.Rabab K.W.A new scheme for robust gradientvectorestimationincolorimagesJ.IEEEtrans.Onimage processing,2011,20(8):2211-2220.8 Fu Ping Wang,Peng-Lang Shui.Noise-robust color edgedetectorusinggradientmatrixandanisotropicGaussiandirectionalderivativematrixJ.PatternRecognition,2016,52(2):346-357.9 朱凯俊.基于改进的FCM算法对图像分割的研究和应用J.重庆工商大学学报(自然科学版),2022,39(5):24-33.10 Achanta R,Shaji A,Smith K,et al.SLIC superpixelscompared to state-of-the-art superpixel methodsJ.IEEEtransactionsonpatternanalysisandmachineintelligence,2012,34(11):2274-2282.11 Yang J,Gan Z,Li K,et al.Graph-based segmentationforRGB-Ddatausing3-DgeometryenhancedsuperpixelsJ.IEEE transactions on cybernetics,2014,45(5):927-940.12 许晓东,张雷,焦小雪,等.基于改进的SLIC超像素分割算法J.电子制作,2023,31(2):58-60,111.13 陈莹莹,康艳,李文法,等.基于综合辨识信息的SLIC超像素分割算法J.高技术通讯,2021,31(8):816-823.14 李凯,张永生,童晓冲,等.基于各向异性和边缘强度修正因子的边缘检测算法J.计算机工程与科学,2021,43(7):1256-1263.15 Silberman N,Hoiem D,Kohli P,et al.Indoor segmentationandsupportinferencefromRGBDimagesJ.Proceedingsofthe12thEuropeanconferenceonComputer Vision,2012:746-760.16 Arbelaez P,Maire M,Fowlkes C,et al.Contour detectionand hierarchical image segmentationJ.IEEE transac-tionsonpatternanalysisandmachineintelligence,2010,33(5):898-916.5 胡翔宇.基于音频信号特征分析的风机叶片缺陷检测方法研究D.河北:华北电力大学,2020.6 张超,文传博.基于改进Mask R-CNN的风机叶片缺陷检测J.可再生能源,2020,38(9):1181-1186.7 曲忠侃,李学峰,李凤俊,等.基于Faster R-CNN的风机叶片缺陷图像多点检测系统设计J.电子设计工程,2021,29(4):57-61.8 李亦伦,成和祥,董礼,等.基于改进YOLOv4的风电机组叶片缺陷检测算法J.风机技术,2022,64(1):46-53.9 曾凯,李响,贾建梅,等.基于YOLOv3-spp的缺陷检测优化模型J.计算机系统应用,2022,31(2):213-219.10 周嘉灏,廖冠中.基于改进 YOLOX 的番茄病叶识别J.信息与电脑(理论版),2022,34(4):91-97.(上接第110页)CECE115