基于峰谷特征和组合投票法的钢板计数算法_梁田.pdf

基于峰谷特征和组合投票法的钢板计数算法doi:10.3969/j.issn.1674-7100.2023.03.011收稿日期：2023-04-17基金项目：湖南省自然科学基金资助项目（2021JJ50051）作者简介：梁 田（1997-），男，湖南株洲人，湖南工业大学硕士生，主要研究方向为图像处理与机器视觉、智能检测与 控制，E-mail：梁 田 龙永红汤汶龙 刘芸萌湖南工业大学轨道交通学院湖南 株洲 412007摘要：针对传统的人工计数方法存在效率低和危险系数高等问题，设计了一种基于峰谷特征和组合投票法的钢板计数算法。采用帧差法检测感兴趣区域，并对其进行图像预处理和边缘检测，利用每块切分的钢板边缘图像进行纵向投影获得灰度投影曲线并去噪，对投影曲线做一阶向前差分和二阶向前差分，得到钢板的波峰、波谷点，再对多块图像的波峰和波谷点进行组合投票，得到钢板数。实验结果表明，本文算法的钢板点张准确率在 95%以上，能满足实际业务需求。关键词：峰谷特征；组合投票法；钢板点张；灰度投影中图分类号：TP317.4 文献标志码：A文章编号：1674-7100(2023)03-0085-06引文格式：梁 田，龙永红，汤汶龙，等.基于峰谷特征和组合投票法的钢板计数算法 J.包装学报，2023，15(3)：85-90.2023 年 第 15 卷 第 3 期 Vol.15 No.3 May 2023包 装 学 报 PACKAGING JOURNAL031 研究背景随着机器视觉和图像处理技术的迅猛发展，越来越多的工厂将图像处理融入至生产工艺流程中，从而实现无人化车间改造。钢板生产和加工企业的生产作业环节（如钢板加工、转运等）中，钢板堆放场景日益增加。传统的人工钢板点张方法效率低，且需操作人员靠近钢板，具有一定的危险性。因此，研究基于图像处理的自动识别钢板数量算法具有重要意义。目前，国内外的研究者大多采用基于灰度图像边缘特征的方法进行计数，如基于纹理、边缘和形态学等1-4方法。其核心思想是从灰度图像中提取边缘特征5-7。王富治等8研究发现，测地重建图像的灰度分布具有极大值区域和非极大值区域，将极大值区域和非极大值区域分别标记为 0 和 1，即形成明暗条纹图像。胡名雨等9将层叠纸张边棱的直条纹当作条纹纹理，并对纸张边棱进行倾斜校正，结合频域和时域特征，以解决部分失真问题。李毅等10分析了二维 Gabor 滤波器和逐行频率分析提取纸张边棱的效果。结果表明，两种算法各有优缺点：基于二维Gabor 滤波器的算法省时，但对图像比较挑剔；基于逐行频率分析的算法费时，但不受图像质量的影响。此外，还有常用的像素投影法。目前，现有研究对物体堆放平整度要求较高，因而适用范围有限。提高边缘提取准确度成为钢板自动计算技术发展的关键。为解决厚度为 1530 cm 的钢板计数问题，本文提出基于图像投影曲线的峰谷特征和组合投票法的钢板计数算法。先获取与前端感知摄像头呈同一水平高度的钢堆侧面图像，再得到钢板边缘灰度图像，并根据灰度投影曲线的峰谷特征标记数量，对多个检测结果投票统计，最后获得钢板数量。2 钢板图像分析图 1 为工厂现场摆放的钢板，其材质和厚度基本一致。在日常生产中，工厂堆放的钢板较为随意。钢-86-的投影进行处理，得到运动区域左边缘 S1和右边缘S2。检测结果为坐标轴上 T1、T2、S1、S2这 4 个坐标点组成的感兴趣区域，检测示意图如图 4 所示。2023 年 第 15 卷 第 3 期 Vol.15 No.3 May 2023包 装 学 报 PACKAGING JOURNAL03堆图像具有如下特点：1）钢板边缘基本保持平行。相邻钢板边缘两侧的灰度高低对比明显。钢板灰度值较小，但其边缘灰度值较大，灰度对比呈有规律的条纹状分布。2）钢板表面缺陷较少。在焦距倍数较大的情况下，钢板自身的缺陷与其边缘纹理不易混淆，避免了检测误差的产生。3 钢板计数设计钢板计数算法的流程如图 2 所示。首先将工业摄像头采集到的钢板图像用帧差法提取出感兴趣区域，使其灰度化，并将感兴趣区域内的钢板切成 N个竖条，然后用灰度投影法得到 N 个钢板边缘竖条灰度图像的灰度曲线，根据得到的灰度投影曲线波峰或者波谷初步得到钢板数量，最后利用组合投票法综合 N 个竖条的结果，输出最终钢板计数结果。3.1 感兴趣区域提取帧差法是一种在视频序列中进行运动目标检测的方法。在视频序列中，动态目标的像素值变化量比静态背景大，因而可以通过对连续 2 帧或 3 帧图像进行像素点之间的灰度差分（见图 3），来检测视频序列中发生位置变化的区域，从而提取出目标运动轨迹。三帧差分法具有更高的检测精度，因此本文采用三帧差分法。图 1 现场堆放的钢板Fig.1 Steel plates stacked on site图 2 钢板计数算法流程Fig.2 Algorithm flow for steel plate counting a）图像 1 b）图像 2 c）目标区域轮廓图 3 帧差法效果图Fig.3 The effect of frame difference method图 4 感兴趣区域检测示意图Fig.4 Area of interest detection diagram从视频序列中获取 3 个连续帧的图像 In-1、In和In+1，先将相邻两帧图像进行差分运算，即：，（1）。（2）再将两个差分图相减，得到增量图像 ，（3）随后，对增量图像进行阈值处理、连通性分析，即可提取目标区域轮廓。钢板区域面积大，且运动区域范围较大，因此对帧差法结果进行水平方向的投影。采用固定阈值 R对投影直方图从上到下遍历，得到运动区域上边缘T1；从下到上遍历得到下边缘 T2。同理，对垂直方向-87-3.2 灰度投影法对钢板二维图像进行灰度投影操作，不仅可以降低图像的维数，减少计算的复杂度，还能方便地分析图像的特征。灰度投影法的主要思想是，将图像在水平和垂直方向上的灰度分布转化为一维信号。本文只需对钢板边缘灰度图像进行水平投影。具体步骤如下：1）将原始的灰度图像进行二值化处理，得到一个二值图像。2）在水平方向上，将每一行的像素值相加，并将结果存放在一个一维数组中，即为水平投影数组。3）通过分析水平数组得到图像的各种特征，例如边缘、峰值等。水平投影计算公式为 ，（4）式中：Ph(j)为图像在第 j 列的水平投影值；I(i,j)为像素点(i,j)的灰度值；n 为图像的行数。对钢板边缘灰度图像进行水平投影，得到钢板边缘图像投影曲线，如图 5 所示。3.3 峰谷点的判断与组合投票法对灰度投影曲线做一阶向前差分、二阶向前差分，并对其差分值进行判断。对于离散函数，根据二阶向前差分的正负性，可用一阶向前差分来判断曲线中的波峰点和波谷点。波峰点的特征是一阶向前差分为极大值且二阶向前差分为负数，波谷点的特征是一阶向前差分为极小值且二阶向前差分为正数。根据钢板上边缘（Y1）和钢板中心（Y2）以及钢板下边缘（Y3）的有效配对关系，得到有效的波峰、波谷点集合，即钢板边缘和中心的坐标值，进而得到当前图像块的钢板位置、钢板像素厚度、钢板块数。通过计算波谷点数量来统计钢板数量，该方法简单明了，但是受噪声、图像模糊、图像倾斜等因素影响较大，易产生漏检、误检。针对此问题，本文引入组合投票法。将感兴趣区域的水平边缘图像从纵向平均切分成 N 块，对每块图像进行钢板点张检测，通过设置的规则遍历投票，剔除虚钢板块或者假钢板块，得到最终的钢板数量。组合投票法的原理如图 6所示。假设未被投票钢板是 A，遍历其他图像块中的钢板是 K，通过判断两者的边缘和中心的位置关系进行投票。钢板投票规则为：当钢板 A 的中心位在钢板 K 的边缘范围内时，即 Y1,A Y2,K Y3,A或Y1,K Y2,A Y3,K，则认为这两块小图像对应的钢板是同一块，则钢板 A 获得钢板 K 的投票；当钢板 A获得的投票数大于 0.5N（N 为钢板总块数）时，则认为钢板 A 属于真实钢板，保留在集合中，否则从集合中去掉。第一轮投票后，将剩余的钢板再逐块进行第二轮遍历投票。每块钢板仅进行一次被投票，已投出票的钢板不再被投票。当互相投票的两块小钢板同属大块钢板时，为两者创建一个预选钢板块。第二轮投票规则与第一轮相同，完成所有钢板投票后，得到所有预选钢板块。当预选钢板获得投票数大于 0.5N 时，认为钢板 A 属于真实钢板，得到钢板点张值。4 实验结果与分析 本文验证了钢板数量检测的准确性，将本文算法与李毅等10所提 Gabor 边缘增强算法、王富治等8所提基于峰谷形态学的方法、像素投影法进行比较。4.1 投影曲线峰谷点的提取为了验证本文算法检测峰谷点的准确性，对与前端感知摄像头呈同一水平高度但像素不同（通过调节摄像头焦距，得到不同像素的图像）的钢板图像进行图 5 钢板边缘图像投影曲线Fig.5 Steel plate edge image projection curve图 6 组合投票法原理图Fig.6 schematic diagram of combination voting基于峰谷特征和组合投票法的钢板计数算法梁 田，等03-88-2023 年 第 15 卷 第 3 期 Vol.15 No.3 May 2023包 装 学 报 PACKAGING JOURNAL03计数。不同焦距下的钢板边缘投影曲线如图 7 所示。从图 7 可以看出，在不同焦距下，本文算法都能得到钢板边缘投影曲线的峰谷点。4.2 钢板的识别检测用本文算法计算钢板数量时，先用不同颜色的色条标记计数结果，如图 8 所示，再用组合投票法输出钢板数量和厚度。通过天车吊钩将不同的钢堆吊起，并与工业球机平行，再利用本文算法计算钢板数量，测试效果如图9 所示。从图 9 可以看出，虽然钢板边缘有少量表面缺陷，但是不同像素下的钢板图像都能被色条正确标记，计数结果也较准确。c）10 像素图 7 不同焦距下的钢板边缘投影曲线Fig.7 Peak-valley curves of steel plates edges under different focal lengths图 8 计数结果指示图Fig.8 Count result indicator charta）40 像素b）20 像素a）40 像素 b）20 像素彩图彩图-89-基于峰谷特征和组合投票法的钢板计数算法梁 田，等034.3 钢板数量检测的准确率测试为了证明算法的准确性，将本文算法、李毅等所提 Gabor 边缘增强算法、王富治等所提基于峰谷形态学的方法、像素投影法对不同焦距（5 倍和 3 倍）的钢堆进行计数。不同焦距的钢堆如图 10 所示。不同算法检测 20 块钢板的结果如表 1 所示。由表 1 可知，对于 2 幅不同焦距的样本图像，本文算法的准确率明显高于其它 3 种方法。Gabor 边缘增强算法产生漏检的原因可能是在紧凑的工艺流程中钢板码放不整齐造成算法无法对钢板与钢板之间的间隙进行精准定位。基于峰谷形态学的方法出现峰谷点漏检的主要原因是钢板边缘的局部存在交错排列，造成灰度投影曲线中的峰谷特征不明显。像素投影法则受成像倍数影响较大，对实验条件要求比较苛刻。5 结语本文设计了一种基于峰谷特征和组合投票法的钢板计数算法。首先，采用帧差法提取运动钢板区域，并对其进行边缘增强，获得清晰的灰度边缘图像。然后，将灰度边缘图像从纵向分成 N 块，对每一块图像求取灰度投影曲线并进行二次高斯滤波，以突出曲线峰谷特征，便于后续分析。最后，将 N 个纵向图像块的点张结果进行组合投票，得出钢板数量。测试结果表明，当吊起的钢板与摄像头水平高度一致时，本文算法能取得较好的计数效果，且算法准确率高于Gabor 边缘增强算法、基于峰谷形态学的方法、像素投影法。本文算法已投入实际应用中，并取得较好的效果。其它角度成像时，消除图像倾斜对钢板计数的干扰、提高准确率，将是下一步的研究工作。参考文献：1 田涵雨，田昌元，靳怡心，等.纸张计数系统设计 J.传感器与微系统，2021，40(8)：85-87，91.TIAN Hanyu，TIAN Changyuan，JIN Yixin，et al.Design of Paper Number Counting SystemJ.Transducer and Microsystem Technologies，2021，40(8)：85-87，91.2 梁海毅，王纪森，黎 雯，等.基于纹理图像的点张计数算法设计与分析 J.计量学报，2017，38(4)：416-419.表 1 不同算法的检测结果对比Table 1 Comparison of detection results of different algorithms算 法本文方法Gabor 边缘增强算法基于峰谷形态学的方法像素投影法指 标漏检/块准确率/%漏检/块准确率/%漏检/块准确率/%漏检/块准确率/%5 倍焦距000100 003085 0030850020903 倍焦距0195057504800575b）3 倍焦距图 10 不同焦距下的钢堆图Fig.10 Steel stack diagram at differentfocal lengthsa）5 倍焦距c）10 像素图 9 取样钢板计数效果图Fig.9 Sampling plate count effect drawing彩图彩图-90-2023 年 第 15 卷 第 3 期 Vol.15 No.3 May 2023包 装 学 报 PACKAGING JOURNAL03 LIANG Haiyi，WANG Jisen，LI Wen，et al.Design and Reseach of Paper Counting Algorithem Based on Texture ImageJ.Acta Metrologica Sinica，2017，38(4)：416-419.3 谭亚丽，郭 霞，张安莉.基于 STM32 和 FDC2214的纸张计数系统 J.自动化与仪器仪表，2021(4)：91-93.TAN Yali，GUO Xia，ZHANG Anli.Paper Counting System Based on STM32 and FDC2214J.Automation&Instrumentation，2021(4)：91-93.4 田泽豪，余晨阳，王宇丰.智能纸张测量系统设计 J.科技与创新，2019(19)：68-70.TIAN Zehao，YU Chenyang，WANG Yufeng.Design of Intelligent Paper Measurement SystemJ.Science and Technology&Innovation，2019(19)：68-70.5 石 伟，龙永红，钟云飞，等.基于灰度投影的硬板纸计数方法研究与应用 J.包装学报，2017，9(1)：66-71.SHI Wei，LONG Yonghong，ZHONG Yunfei，et al.Research and Application of Board Paper Counting Method Based on Gray ProjectionJ.Packaging Journal，2017，9(1)：66-71.6 石 伟，龙永红，童文超，等.基于灰度值差分的纸张计数算法设计 J.包装学报，2015，7(4)：47-51.SHI Wei，LONG Yonghong，TONG Wenchao，et al.Design of Paper Counting Algorithm Based on Gray Value DifferenceJ.Packaging Journal，2015，7(4)：47-51.7 杨丹君，龙永红，陈济球，等.基于局部灰度特征的纸张计数算法研究 J.包装学报，2016，8(4)：24-29.YANG Danjun，LONG Yonghong，CHEN Jiqiu，et al.Research of Paper Counting Algorithm Based on Local Gray FeatureJ.Packaging Journal，2016，8(4)：24-29.8 王富治，黄大贵.基于峰谷形态的纸张纹路分割算法J.电子测量与仪器学报，2009，23(6)：103-107.WANG Fuzhi，HUANG Dagui.Paper Texture Segmentation Algorithm Based on Peak-Valley Morphological FeatureJ.Journal of Electronic Measurement and Instrument，2009，23(6)：103-107.9 胡名雨.基于纹理的纸张计数研究 D.武汉：武汉科技大学，2008.HU Mingyu.Research on Paper Counting Based on TextureD.Wuhan：Wuhan University of Science and Technology，2008.10 李 毅，阮秋琦.应用纹理分析的纸张计数算法 J.中国图象图形学报，2004，9(9)：1042-1048.LI Yi，RUAN Qiuqi.Algorithm of Paper Counting Based on Texture AnalysisJ.Journal of Image and Graphics，2004，9(9)：1042-1048.（责任编辑：邓光辉）Steel Plate Counting Algorithm Based on Peak and Valley Features and Combined Voting MethodLIANG Tian，LONG Yonghong，TANG Wenlong，LIU Yunmeng（College of Railway Transportation，Hunan University of Technology，Zhuzhou Hunan 412007，China）Abstract：In response to the problems in traditional manual counting methods such as low efficiency and high risk,a steel plate counting method based on peak-valley features and combination voting was designed.Frame difference method was used to detect the region of interest and perform image preprocessing and edge detection on it.Then,the edge image of each cut steel plate was used for vertical projection to obtain the gray projection curve and remove noise.The first-order forward difference and second-order forward difference were used to obtain the peak and valley points of the steel plate from the projection curve,and then the peak and valley points of multiple images were combined by voting to obtain the number of steel plates.Experimental results show that compared with manual counting and other point expansion algorithms,the accuracy of this method is higher than 95%,which can meet actual business needs.Keywords：peak and valley characteristics；combination voting；steel plate counting；grayscale projection