基于Hough-Harris的消音壁顶点检测.pdf

长春理工大学学报（自然科学版）Journal of Changchun University of Science and Technology（Natural Science Edition）Vol.46No.2Apr.2023第46卷第2期2023年4月收稿日期：2022-09-10基金项目：吉林省科技厅重点研发项目（20200401070GX）作者简介：李国旺（1997-），男，硕士研究生，E-mail：通讯作者：李英（1979-），女，博士，副教授，硕士生导师，E-mail：李国旺，等：基于Hough-Harris的消音壁顶点检测基于 Hough-Harris 的消音壁顶点检测李国旺，李英，马韵琪，夏晨旭（长春理工大学光电工程学院，长春130022）摘要：在消音壁领域中，消音壁的顶点检测是后续对消音壁毁伤评估、三维重建等任务的关键，检测出的顶点准确率直接影响后续任务的精确度。为提高检测出消音壁顶点的准确率，提出一种基于 Hough-Harris 的消音壁顶点检测算法。首先，使用 Hough 算法检测出的角点作为基点；然后，利用 Harris 检测出消音壁边框上的角点，选取以基点步长为 10 个像素的领域内角点作为样本点；最后，建立回归模型，利用高斯提出的最小二乘法求出最小误差，预测出消音壁顶点坐标。实验结果表明，本文算法预测顶点坐标与真实顶点坐标偏差量都小于 Hough 算法和 Harris 算法检测出的角点，IoU 评估指标高达 98%以上，高于 Hough 算法和 Harris 算法的 IoU 指标。关键词：Hough 算法；Harris 算法；顶点检测；消音壁中图分类号：TP274.3文献标志码：A文章编号：1672-9870（2023）02-0106-08Soundless Wall Vertex Detection Based on Hough-HarrisLI Guowang，LI Ying，MA Yunqi，XIA Chenxu（School of Opto-Electronic Engineering，Changchun University of Science and Technonlgy，Changchun 130022）Abstract：In the field of deadening wall，the detection of deadening wall vertices is the key to subsequent tasks such asdamage assessment and 3D reconstruction of deadening wall.The accuracy of detected vertices directly affects the accuracyof subsequent tasks.In order to improve the accuracy of detecting deadening wall vertices，this paper proposes a deadeningwall vertices detection algorithm based on Hough-Harris.Firstly，the corner point detected by Hough algorithm is used asthe base point.Then，Harris was used to detect the corner points on the bezel of the silenced wall，and the corner points inthe field with a base point step of 10 pixels were selected as sample points.Finally，the regression model was established，and the least square method proposed by Gauss was used to calculate the minimum error and predict the vertex coordinatesof the silenced wall.Experimental results show that the deviation between the predicted vertex coordinates of the proposedalgorithm and the real vertex coordinates is smaller than the corner points detected by Hough algorithm and Harris algo-rithm.The IoU evaluation index of the proposed algorithm is higher than 98%，which is higher than the IoU index ofHough algorithm and Harris algorithm.Key words：Hough algorithm；Harris algorithm；vertex detection；sound-absorbing wall消音壁领域中顶点检测是关键任务之一，其顶点在图像处理中可认为是角点，而角点一般定义为两条边的交点，是图像中重要的结构信息之一，在图像处理领域中有着关键性作用。目前对角点定义的数学公式不具有普遍性，根据不同领域内针对检测的角点需求不同，其表达方式也不一样，例如图像亮度变化剧烈的点和图像边缘曲线的曲率局部极大值点等。目前角点检测的方法主要分为两种：基于灰度强度变化检测和基于边缘轮廓检测1。由于基于灰度 强 度 变 化 的 检 测 算 法 简 单、实 时 和 稳 定 性高，因此被广泛应用。基于灰度强度变化的角点检测主要通过图像 局 部 灰 度 值 的 变 化 判 断 角 点。在 1977 年，Moravec2提出 Moravec 角点检测，在图像上通过二值矩形窗口滑动寻找最小灰度值变化的最大值；1988年受Moravec思想启发，Harris和Stephens3提出 Harris 角点检测，利用自相关矩阵求出特征值，来确定响应函数；1997 年 Smith 和 Brady4提出 SUSAN（Smallest Univalue Segment AssimilatingNucleus）角点检测，利用像素领域的圆形模板，判断此点是否属于 USAN 区域，进而判断是否为角点；1998 年 Trajkovic 和 Hedley5提出 FAST 角点检测，观察某点领域内经过该点的任意直线上的灰度变化情况，计算出水平和垂直方向灰度变化值，构建角点度量函数判断是否为角点。近年来，国内外科研人员也基于上述方法作出了一些改进，例如：2006 年 Rosten 和 Drummond6提出了高速角点检测算子，利用机器学习加速角点检测；2012 年 Bongjoep 等人7利用自适应于图像的结构张量检测角点，提高 Harris 算法的检测准确率；2013 年 He 等人8在 SUSAN 算法的基础上，提出角点预检测减少伪角点，减少计算量；2014 年 Qiao 等人9提出了一种改进的 Harris亚像素点检测算法，提高了对含有噪声图像角点检测的准确性；2017 年卢伟家等人10提出在Harris 算法中加入一种加权系数自适应的均值滤波，提高精确度和检测速度的同时减少伪角点的检测；2016 年王冠群等人11提出一种基于高斯变换的多尺度 SUSAN 角点检测方法，解决了传 统 SUSAN 算 法 在 单 一 尺 度 下 检 测 角 点 的 缺陷；2017 年 Wang 等人12针对 Harris 算法选取合适 阈 值 的 问 题，提 出 一 种 迭 代 阈 值 的 自 适 应Harris 角点检测方法；2017 年刘妍等人13提出一种基于 SAR-FAST 角点检测算法，以检测点为圆心，选择合适半径，根据圆周上进行滑动窗口检测，检测出的角点稳定性和重复性好；2020 年周伟等人14提出一种改进的 Harris 角点检测，结合多边形逼近方法提取目标轮廓拐角顶点；2021年苗荣慧等人15利用 Harris 算法和 RANSAC 去除误匹配点，实现图像精准匹配。综上所述，对图像检测角点的方法众多，都是对其检测角点坐标准确率、精准性、去伪角点或适应性进行改进。但是，这些方法大多数适应自身领域，对其他领域并没有较好的普遍适应性，目前消音壁毁伤评估还处于人工评估阶段，并没有对其顶点检测的方法。由于毁伤后造成消音壁边缘产生畸变，上述方法并不适用消音壁的顶点检测。因此，本文提出一种基于Hough-Harris 的消音壁顶点检测方法。首先，对图像进行霍夫直线检测，以拟合直线后得到的角点作为基点；然后，再通过 Harris 算法检测出消音壁边缘上存在的角点；最后，利用基点以及基点步长为 10 领域内的角点构建回归方程，采用基于高斯的最小二乘法求出最小误差，进行消音壁顶点预测。将 Hough 算法、Harris 算法检测出的角点以及本文算法预测出的角点与真实角点进行对比分析，计算坐标偏差，同时计算IoU（Intersection over Union）指标，验证本文提出的算法检测角点更符合真实角点，能提高角点检测准确性，减少后续毁伤评估、三维重建等工作任务中计算的误差。1消音壁顶点检测无人机拍摄消音壁获取图像时，因为拍摄时会产生抖动，获取的图像也并不是一副单独消音壁块，周围还有其他部分消音壁块。消音壁后续的毁伤评估不是对整体结构进行打包式评估，而是对具体的毁伤部分进行局部毁伤评估。因此，需要对图像进行顶点检测，通过检测出的李国旺，等：基于Hough-Harris的消音壁顶点检测第2期107长春理工大学学报（自然科学版）2023年顶点进行几何校正，将消音壁块从图像中分离出来。1.1霍夫直线检测霍 夫 变 换（Hough Transform）由 Hough16于1962 年首次提出，1972 年 Duda 和 Hart17将此方法推广使用。到目前为止，霍夫变换是图像检测几何形状的基本方法之一，其变换思想是两个不同坐标空间之间的相互转化，将一个空间中相同的曲线或直线一一映射到另一个空间的一个 点 上 形 成 峰 值。霍 夫 直 线 检 测（Hough LineDetection）具有连接不连续线段的特点，可以用于消音壁块的边框检测，坐标转换过程如图 1 所示。（a）直角坐标系（b）参数空间图 1坐标转换过程其中，直角坐标系中的直线表示为：y=kx+b（1）式中，k是直线的斜率；b是直线的偏置。而直角坐标系中点A的坐标为()x0,y0，经过点A的直线有无数条，这些经过该点的直线称为一簇直线，该簇直线表示为：y0=kx0+b（2）因为x0和y0为固定值，不同取值的k和b代表经过点()x0,y0的不同直线，可以将方程变换为：b=-kx0+y0（3）此时，可以将x-y空间中过点A()x0,y0的一簇直线转换为参数空间k-b中的一条直线。同理，再在x-y空间内增加点B()x1,y1，映射为参数空间中另一条直线，两条直线的交点反映射到x-y空间中为经过A和B的一条直线，如图 2 所示。（a）直角坐标系（b）参数空间图 2多参数转换图由此看出，经过上述转换后，直角坐标系中x和y变为参数空间中斜率和偏置，此时的直线也转换为过点()b0,k0的直线簇。但是当直角坐标系x-y中的直线垂直于x轴，其参数k为无穷大，参数空间将不能表示直角坐标系x-y中的直线。因此，将直角坐标系x-y转换为极坐标系，此时包含表示直线的所有范围，极坐标形式如式（4）所示：r=xcos+ysin（4）108其中，r为原点到直线的距离；为原点到直线垂直距离的交点与横轴的夹角。此时图像空间上的每一个点对应极坐标系上的一条正弦曲线。直角坐标系转换到极坐标的过程如图 3 所示。图 3转换过程霍夫直线检测就将图像中的直线转换到参数空间（极坐标系）中的点，通过参数空间中曲线的交点反过来求出图像空间的直线。将图像灰度化后进行 Canny 边缘检测和形态学处理，由于消音壁边框产生了畸变，利用霍夫直线检测边框为一些连续线段，检测线段映射到原图上的结果如图 4 所示，其中图 4（a）和图 4（b）为消音壁样图。（a）样图一（b）样图二（c）样图一直线检测（d）样图二直线检测图 4霍夫直线检测消音壁检测出消音壁四周边框上的线段后，由于线段仅为部分边框且不连续，需要对边框上的线段进行直线拟合，将拟合后的直线两两相交的交点作为消音壁顶点，交点坐标映射到原图的结果如图 5 所示。（a）样图一检测角点（b）样图二检测角点图 5拟合直线后的角点1.2Harris 角点检测Harris 角点检测算法的思想即用一个滑动窗口在图像上进行滑动时，会产生三种情况，在平坦区域、在边缘区域和在角点区域，如图 6 所示。在平坦区域滑动时，窗口内灰度值变化相对平缓；在边缘区域滑动时，窗口内灰度值会沿某一方向（X轴或者Y轴）产生相对较大的波动；窗口在角点区域滑动时，X轴和Y轴方向都会产生较大波动。（a）在平坦区域（b）在边缘区域（c）在角点区域图 6窗口在不同区域上的移动滑动窗口在图像上平移后产生灰度变化的相关性用 SSD（Sum of Squared Difference）计算，SSD 越大，相关性越差，中心点越有可能为角点，其数学表达式为：E()u,v=x,yw()x,yI()x+u,y+v-I()x,y2（5）其中，u和v为窗口偏移量；x和y为窗口内像素坐标位置；I()x,y为在()x,y坐标下的像素值。对I()x+u,y+v进行一阶泰勒展开为：I()x+u,y+v=I()x,y+Ixu+Iyv+O()u2,v2（6）代入式（5）中，由于局部移动量u,v较小，变化矩阵形式近似为：E()u,v u,v M uv（7）其中，自相关矩阵M表达式为：李国旺，等：基于Hough-Harris的消音壁顶点检测第2期109长春理工大学学报（自然科学版）2023年M=x,yw()x,y I2xIxIyIxIyI2y（8）通过自相关矩阵M可以求出该矩阵特征值1和2，利用这两个特征值确定角点检测响应函数R为：R=()12-k()1+22=det()M-k()tr()M2（9）式中，k为错误角点响应抑制常数，取值范围一般为 0.040.06。本文 Harris 角点检测采用核大小为5 5的滑动窗口进行检测特征值1和2，计算出角点响应函数R来判断该点是否是角点，检测出消音壁的角点结果如图 7 所示。（a）样图一检测角点（b）样图二检测角点图 7Harris 检测的角点1.3Hough-Harris 角点检测霍夫直线检测消音壁，能快速定位消音壁四周边缘直线，拟合直线后求得的四个交点为消音壁大致的四个顶点。但是，由于消音壁经过毁伤后四周边框产生了畸变，霍夫直线检测的直线并不能准确地表达消音壁四周边缘，而产生畸变后的边缘也不能被一条直线完整的检测到，本文霍夫直线检测后拟合的直线是通过消音壁与消音壁之间的距离产生的缝隙，扩大了直线检测的范围，所以，通过霍夫直线检测出的角点进行透射变换后，消音壁图像四周存在大量缝隙，较为严重的影响后续对消音壁毁伤评估等操作。Harris 算法能相对准确地检测出消音壁四个顶点，能有效避免大量缝隙并行透射到消音壁图中，但是，检测出的角点中存在大量伪角点，这些伪角点并不是需要的，而且计算机也无法自主判断。综上所述，霍夫直线检测和 Harris 角点检测针对消音壁顶点检测时，不能满足精度和准确需求。因此，本文提出了一种 Hough-Harris 角点检测方法，以霍夫直线检测的交点PL为基点，Harris 检测的角点PH为自变量，建立回归模型，构建回归方程，基于高斯提出的最小二乘法求参数，其PL与PH关系表达式为：Py=0+1Px+（10）其中，Py为PH与PL纵坐标差值；Px为PH与PL横坐标差值；0为偏置；1为斜率；为Px与Py之间的线性关系外的随机因素，即误差项。回归方程表达式为：E()Py=0+1Px（11）对于每个角点PH：Py()i=TPx()i+（12）由于误差服从高斯分布，则：G()()i=12 exp()-()()i222（13）将式（12）代入式（13）可得：G()Py()i|Px()i;=12 exp()-()Py()i-TPx()i222（14）则似然函数为：L()=i=1mG()Py()i|Px()i;=i=1m12 exp()-()Py()i-TPx()i222（15）对似然函数取对数后：logL()=logi=1m12 exp()-()Py()i-TPx()i222（16）化简后，求出最佳公式为：J*()=arg mini=1m()Py()i-TPx()i2（17）将式（17）代入回归方程（11）中，求偏导后求解可得：110 1=nPxPy-PxPynPx2-()Px20=-Py-1-Px（18）获取回归方程后，以霍夫直线检测的交点为原点，相邻的两个交点方向为坐标方向，构建参数空间，原点到对角交点的方向为预测真实角点的方向。为方便计算，将参数空间映射到直角坐标系中，与回归方程的交汇处为预测的角点。回归方程的计算选取距离原点步长不超过10 个像素点的 Harris 检测出的角点，而且在参数空间一、三象限内的角点。2实验结果分析本 文 实 验 硬 件 环 境 为：Intel Core i7-7700HCPU；内存为 16 GB；64 位 Windows10 操作系统。软件实施平台为 Visual Studio 2019，消音壁部分全景图如图 8 所示。（a）部分全景图一（b）部分全景图二图 8消音壁部分全景图选取图 4 验证本文 Hough-Harris 角点检测算法性能，其中，图 4（a）和图 4（b）为消音壁样图，图 5（a）和图 5（b）为霍夫直线检测的角点图，图7（a）和图 7（b）为 Harris 角点检测图，分别求出Hough、Harris 和 Hough-Harris 算法检测出的角点坐标，与真实值进行对比。结果如表1、表2所示。表 1样图一检测角点坐标（单位：像素）Hough算法PLx1721180189PLy1419618194Harris算法PHx202020202021242424252528182182183183184187187188188PHy11121317181961981992001981991961314141516189190190191本文算法PLHx2022181186PLHy1719515191真实值PTx2225182187PTy1619414191表 2样图二检测角点坐标（单位：像素）Hough算法PLx2888321389PLy3333719303Harris算法PHx33333435343589949394318319318319320317318319385385384385384385384385PHy3739393940403303303313311414151515161616295296297297298298302302本文算法PLHx3392316385PLHy3833214300真实值PTx3390318384PTy3733314303李国旺，等：基于Hough-Harris的消音壁顶点检测第2期111长春理工大学学报（自然科学版）2023年根据表 1 和表 2 可知，图像中 Harris 检测出的角点个数根据响应函数选取的阈值T变化而不同：阈值T越小，角点响应越强烈，获取的角点也越多；阈值T越大，角点响应越微弱，检测出的角点也越少。阈值T大小的选取影响角点检测个数，同时，也影响计算机运算时间，每个角点响应都需要计算，阈值选取过小时，会产生大量伪角点，大量增加了计算机运算负荷。因此，本文选取阈值T为 85，在能检测出角点的同时，减少伪角点的出现，提高计算机计算性能。样图二的 Harris 检测出的角点较多，本文仅选取离基点欧氏距离最近的前 8 个角点进行验证。霍夫直线检测角点、Harris 检测角点和本文算法检测角点与真实角点偏差对比分析，本文算法检测的角点普遍靠近原点，结果如图 9 所示。从表 3 可以看出，Hough 算法的PLx和PLy偏差最大，本文算法的PLHx和PLHy偏差最小。然后，利用各种算法检测出的角点，计算四边形面积，通过 IoU 计算评估算法，IoU 计算的是“预测的边框”和“真实的边框”的交叠率，即他们的交集和并集的比值。理想情况下比值为 1，即完全重叠。IoU 计算过程如图 10 所示，计算结果如表 3所示。图 10IoU 原理表 3IoU 结果对比分析样图图一图二Hough算法/%93.3796.02Harris算法/%95.8296.51本文算法/%98.1398.71由表 3 可知，样图一和样图二通过 Hough 算法检测角点形成面积的 IoU 为 93.37%和 96.02%；通 过 Harris 算 法 检 测 角 点 形 成 面 积 的 IoU 为95.82%和 96.51%；而本文算法检测形成的 IoU 能达到 98.13%和 98.71%。本文算法检测的 IoU 比Hough 算 法 和 Harris 算 法 检 测 的 IoU 分 别 高4.76%、2.69%和 2.31%、2.20%。因此，本文算法检测消音壁角点更接近真实值，透射变换后图像如图 11 所示。（a）校正后样图一（b）校正后样图二图 11校正后的消音壁3结论为了更精确地检测出消音壁四个顶点，本文提出一种基于 Hough-Harris 的消音壁顶点检测算法。本文算法以 Hough 算法检测的角点为基点，以基点自身步长在 10 以内 Harris 算法检测的角点为样本点，构建回归方程，基于高斯提出的（a）Hough 算法（b）Harris 算法（c）本文算法图 9角点偏差分析112最小二乘法求解最小误差，能有效去除 Harris 算法检测的伪角点，预测出消音壁四个顶点坐标。实验结果表明，本文算法预测顶点坐标与真实顶点坐标偏差量都小于 Hough 算法和 Harris 算法检测出的角点；本文算法的 IoU 评估指标高达98%以上，高于 Hough 算法和 Harris 算法的 IoU 指标。因此，本文算法能较精确地检测出消音壁顶点的同时，也有助于提高后续对消音壁毁伤评估、三维重建等工作任务的精度。参考文献1 姚依妮，王玮.Harris 角点检测算法的应用研究 J.智能计算机与应用，2022，12（8）：148-151.2MORAVEC H P.Towards automatic visual obstacleavoidanceJ.Morgan Kaufmann Publishers Inc，1977，5（1）：584.3HARRIS C G，STEPHENS M J.A combined corner andedge detector C.UK，University Manchester，1988.4SMITH S M，BRADY J M.SUSAN-A new approach tolow level image processingJ.International Journal ofComputer Vision，1997，23（1）：45-78.5TRAJKOVIC M，HEDLEY M.Fast corner detectionJ.Image and Vision Computing，1988，16（2）：75-87.6ROSTEN E，DRUMMOND T.Machine learning for veryhigh-speed corner detection J.Lecture Notes in Computer Science，2006，31（5）：430-443.7BONGJOE K，JIHOON C.Robust corner detection basedon image structureJ.Circuits System and Signal Processing，2012，31（2）：1443-1457.8HE L，ZHOU X.An auto-adaptive threshold pre-detection SUSAN corner detection algorithmC.International Conference on Intelligent Human-machine Systems&Cybernetics.IEEE Computer Society，2013.9 QIAO Y，TANG Y，LI J.Improved Harris sub-pixel corner detection algorithm for chessboard imageC.20132nd International Conference on Measurement，Information and Control，IEEE，2013：1408-1411.10 卢伟家，刘缠牢.一种基于 Harris 特征点检测的改进 算 法J.仪 表 技 术 与 传 感 器，2017（12）：98-100+104.11王冠群，马苗，张艳宁，等.基于高斯变换的多尺度 SUSAN 角点检测方法 J.计算机工程与应用，2016，52（12）：184-188.12WANG Z C，LI R，SHAO Z H，et al.Adaptive Harriscorner detection algorithm based on iterative thresholdJ.Modern Physics Letters B，2017，31（15）：1750181-1-7.13 刘妍，余淮，杨文，等.利用 SAR-FAST 角点检测的合成孔径雷达图像配准方法J.电子与信息学报，2017，39（2）：430-436.14 周伟，巢渊，李龑，等.基于改进 Harris 角点检测的芯片图像快速校正J.电子测量与仪器学报，2020，32（10）：74-81.15 苗荣慧，杨华，武锦龙，等.图像块改进 Harris 角点检测的农田图像拼接 J.现代电子技术，2021，44（2）：75-80.16HOUGH P.Method and means for recognizing complexpatterns J.U.s.patent，1962（18）：3069654-1-4.17DUDA R O，HART P E.Use of hough transformationto detect lines and curves in picturesJ.Communications of the ACM，1972，15（1）：11-15.李国旺，等：基于Hough-Harris的消音壁顶点检测第2期113