基于机器视觉的瓷瓶绝缘子表面缺陷检测方法_白海城.pdf

64|电子制作 2023 年 6月软件开发陶瓷瓶绝缘子具有十分优异的物理性能，在变电站中具有广泛应用。但其在制作及处理等生产过程中很容易产生缺陷降低了成品率1。目前国内生产商已采用一些陶瓷表面瑕疵检测方法，例如射线检测、磁粉检测等手段，然而这些检测方法具有环境要求及检测成本高、成像不直观等局限性，有的甚至还会对人体造成危害。所以大部分生产厂家仍采用人工检测，即人工目视的方法。但目视检测需要较长的时间，人员易疲劳，且其精度主要依赖于工人的经验，因此对材料性能的评估需要其他有效的手段，更重要的是其无法实现连续在线检测，因而大大降低了生产效率，且增加了安全隐患。机器视觉识别技术在表面缺陷识别与分类中的应用，有效地改善了识别的精确度和效率，为企业的大规模生产创造了条件2。有关陶瓷材料的裂纹检测已经有很多文献，例如，张军3等使用差影法实现瓷砖的裂纹识别；刘行谋4等提出了改进的YOLOv4 算法来识别电力绝缘子图像是否存在缺陷；张子健5等利用 EAST 模型与 Hu 不变矩的检测方法来判断绝缘子是否存在故障；等等，但现有文献都是针对电力系统中的瓷瓶绝缘子进行巡检，鲜有文献讨论生产过程中流水线上的瓷瓶绝缘子表面存在缺陷问题的实时监测。因此，本文对采集到的图像进行图像预处理、缺陷定位、特征提取6、缺陷识别和缺陷分类7等一系列操作，提出了一种基于机器视觉的瓷瓶绝缘子表面缺陷检测方法，实现了针对高压瓷瓶缺陷的识别与分类。该方法通过建立一个 BP 神经网络模型8，根据模型匹配程度9识别高压瓷瓶的表面缺陷类型10。当缺陷被检测到时，检测界面会播放音乐提示被检测瓷瓶绝缘子存在缺陷问题并显示出缺陷位置与类型。该方法的提出将为实现高压绝缘子质量的自动化检测、提高检测的精确度和速度以及释放生产力提供依据。1 建立 BP 神经网络模型 1.1 特征值提取对仅含有缺陷的图像进行特征提取，具有差异化的特征值11能够很好地反映图像的信息。本文提取的 3 个特征值，分别是垂直投影、HU 不变矩的 7 个不变矩(17MM)中的2M以及傅里叶描述子。1.1.1 垂直投影图像的垂直投影12序列为：1(,),1,2,nviWjt i jjn=式(1)式中，(,)t i j表示处理后的缺陷二值图像。缺陷图像的垂直投影图如图 1 所示。a 线性裂缝垂直投影图 b 网状裂缝垂直投影图 c 斑点垂直投影图 图 1 垂直投影图利用 countNonZero 函数统计每一列中非零元素的个数，将所有列中的非零个数相加再求平均值，即可得到特征值垂直投影值，由图 2 数据可明显得到，垂直投影特征可以明显区分斑点和其他缺陷。02040608010012014016012345678910图像特征值-垂直投影测试样本编号线性裂缝网状裂缝斑点无缺陷图 2 图像特征值垂直投影基于机器视觉的瓷瓶绝缘子表面缺陷检测方法白海城1，林湘军2，刘书洋1（1.辽宁石油化工大学 信息与控制工程学院，辽宁抚顺，113001；2.辽宁石油化工大学 理学院，辽宁抚顺，113001）基金项目：辽宁省教育厅科学研究项目（LJKZ0422）。摘要：瓷瓶绝缘子在电力系统中具有广泛的应用，因其断裂韧性较低致使在生产中表面经常出现瑕疵。为了取代传统的人工检测手段，本文提出了一种针对瓷瓶绝缘子表面缺陷的在线检测方法。基本思想是：对摄像机获取的图像进行有效处理后通过特征值提取得到有效的训练数据。据此利用神经网络实现对绝缘瓷瓶四种状态的分类识别，并进行可视化显示瓷瓶缺陷的具体信息。实验结果表明，该方法在识别高压绝缘瓷瓶的缺陷类型方面准确率达到99.5。较传统的人工目测方法相比，不但可以大幅度降低误检率和漏提率，且为生产过程中瓷瓶表面缺陷的连续在线检测提供了可行性。关键词：缺陷检测；特征提取；瓷瓶绝缘子；机器视觉；神经网络DOI:10.16589/11-3571/|65软件开发1.1.2 HU 不变矩由于缺陷的不确定性，缺陷轮廓存在旋转角度时，归一化矩13会发生变化，所以就需要具有旋转、平移、尺度等不变的特性的 HU 不变矩来解决这个问题。Hu 矩其实是一个包含了七个不变矩的集合，这七个不变矩分别由多个二、三阶中心距组合计算而成，根据公式(2)，我们只要计算出所需要的二、三阶中心距，就可以将这七个不变矩分别计算出来，最终得到所需要的 Hu 矩。OpenCV中利用 HuMoments 函数求取 HU 矩，就可以比较完善地表示一幅图像或者轮廓的特征。7 个不变矩的计算公式：20022220021122301221032230122103223012301230122103222103210330122103200230112()43(3)(3)4()()5(3)()()3()(3)()3()()6()(MMMMMM=+=+=+=+=+=+22221031130122103222103301230122103223012210330122103)()4()()7(3)()()3()(3)()3()()M|+|+|=+|+式(2)如图 3 所示，Hu 不变矩中的二阶矩表示图像的大小和方向，可以将网状裂缝与其他三类缺陷区分出来。0.00010.0010.010.1110100123456789 10图像特征值-不变矩训练样本编号线性裂缝网状裂缝斑点无缺陷图 3 图像特征值-HU 不变矩1.1.3 傅里叶描述子缺陷的灰度值与瓷瓶背景的灰度值相差很大，当出现缺陷时，傅里叶函数会产生明显跃变，可以用来表示缺陷的形状特征，因此可将傅里叶描述子14作为缺陷的特征描述子。为了使傅里叶描述子能表示作为缺陷图像的差异化特征值，对傅里叶系数做如下处理：()()(2)a ud ua=；3,4,.,10u=式(3)21003()()uDd ud u=式(4)式中，D 为高压瓷瓶的傅里叶描述子特征值，()a u为边界的傅里叶描述子。结果如图 4 所示，傅里叶描述子作为缺陷的特征描述子可以将线性裂缝与其他三类缺陷区分出来。110100100012345678910图像特征值-傅里叶描述子训练样本编号线性裂缝网状裂缝斑点无缺陷 图 4 图像特征值傅里叶描述子 1.2 BP 神经网络的改进为了能更快速有效地识别瓷瓶缺陷，对 BP 神经网络15的输入层参数选择根据表 1 来设定。表1 缺陷图像特征参数缺陷类型垂直投影不变矩傅里叶描述子线性裂缝5-1535-601-5网状裂缝25-650.1-210-200斑点100-1500.002-0.120-160无缺陷20-350.001-0.0115-1802 方案设计 2.1 检测流程运用数字图像处理的相关算法以及 OpenCV 来处理瓷瓶图像并提取缺陷图像；通过得到缺陷图像的特征向量实现人工神经网络的创建、训练以及识别；再针对终端用户的能力及需求保证信息可视化的合理性。在瓷瓶缺陷的图像处理过程中，如图 5 所示，重点在瓷瓶缺陷的提取，难点在如何正确提取特征值。（1）采集图像：方案设计旨在工厂流水线上针对高压绝缘子进行缺陷检测，系统设置一个光源和三个摄像头，分别从不同角度实现对绝缘子的视频采集，从而提取感兴趣的区域进行进一步处理。（2）图像预处理：采集到的图像由于存在污渍、噪声采集图像图像预处理（图像平滑与图像锐化）图像分析（是否存在缺陷）缺陷提取缺陷分类图 5 瓷瓶缺陷识别主要步骤66|电子制作 2023 年 6月软件开发等因素影响，在通过神经网络进行缺陷识别分类之前要先进行图像预处理操作来改善图像的品质。针对采集到的瓷瓶绝缘子图像中存在的由于光线产生的噪声问题，本文采用双边滤波后进行掩膜操作的手段来实现对瓷瓶缺陷的平滑处理，从而去除图像中的随机噪声和人为干扰。双边滤波法是一种非线性的平滑滤波的方法，它能很好地保持边缘细节，有利于后续的特征提取等操作，其数学公式如下：,(,),(,)(,)(,.)(,)(,)(,)(,)dsp q Q x ydsp q Q x yg p q F x y p q F x y p qG x yF x y p q F x y p q=式(5)222()()()21(,)dxpy qdF x y p qec+=式(6)22|(,)(,)|()21(,)sg x yg p qsF x y p qec=式(7)式中，(,)G x y为采集到的瓷瓶图像进行双边滤波操作后的平滑图像，(,)Q x y表示瓷瓶图像以(,)x y为中心的模块区域像素集合，(,)g x y为(,)Q x y区域的中心像素值，d为双边滤波过程中每个模块区域的直径，s为瓷瓶图像的灰度差值。2010151010DF|=|式(8)式中，2DF为瓷瓶绝缘子图像的掩膜模板。（3）图像分析：由于人工放置的瓷瓶，导致其位置距离相机的远近存在差距，从而产生了对缺陷的描述复杂、光影变幻以及由于视角转换而产生的物体形状改变等问题。为了解决这些问题，首先利用 canny 边缘算子得到绝缘子粗轮廓并校正瓷瓶的旋转角度使瓷瓶保持直立，再利用闭运算消除小的孔洞，从而确定陶瓷瓶的外型特征并对绝缘子进行裁剪以校准缺陷坐标。（4）缺陷提取：缺陷通常与瓷瓶的边缘相隔离，并且它的灰度和周边的瓷瓶环境有很大的差异。根据缺陷的这一特征，利用高斯拉普通拉斯（Laplace of Gaussian,LOG）算子进行检测，得到模型检测所需的缺陷图像。（5）缺陷分类：通过数学运算获得缺陷图像的三个特征值作为神经网络的输入节点，根据训练好的模型输出识别结果，完成针对高压瓷瓶的表面缺陷识别分类。2.2 人机交互界面设计与传统的数据信息相比，信息可视化具有严谨和美感；具有更加直观、舒适的观看体验。对于使用者来说，信息可视化是一项冗余的工作，其利用视觉要素如图形、色彩、版式、文字等，能有效地刺激使用者的理解与认知。如图 6 所示，主界面设置相关按钮，进行对应的检测操作，当识别出缺陷时，系统会触发警报，播放音乐提示监测人员。副界面显示瓷瓶图像、缺陷图像、图像编号、裂缝类型、裂缝位置等信息，如图 7 所示。图 6 高压瓷瓶缺陷检测系统的主界面图 7 高压瓷瓶缺陷检测系统的副界面3 实验 3.1 瓷瓶定位和缺陷定位为了得到标准化的缺陷位置坐标，先对采集到的图像进行瓷瓶定位，得到统一的瓷瓶图像，如图 8 所示。在瓷瓶为白、底为黑的情况下，其基本原则是去掉内圈的点，保持最外围的点。故经过反复对比将高阈值设为100、低阈值设置为 0 时，获得的图像最易识别如图 8(a)所示得到瓷瓶的粗轮廓。绘制的瓷瓶外轮廓图像如图 8(b)所示，原始图像进行校正之后的结果如图 8(c)所示。对标准化后的瓷瓶图像进行二值化处理后再次检测，实现高压瓷瓶的缺陷定位，如图 9 所示，本文针对 3 种缺陷进行分类识别，图 9(a)为线性裂缝缺陷图像，图 9(b)为网状裂缝缺陷图像，图 9(c)为斑点缺陷图像。分析得到的缺|67软件开发陷图像，可以获得神经网络所需的输入值，进而实现对高压瓷瓶的缺陷检测。(a)边缘检测效果图 (b)瓷瓶外轮廓 (c)剪裁后的瓷瓶图像图 8 瓷瓶定位 (a)线性裂缝二值图像 (b)网状裂缝二值图像 (c)斑点二值图像图 9 瓷瓶缺陷定位 3.2 模型测试实验设置的缺陷为 4 类，分别是线性裂缝、网状裂缝、斑点及无缺陷，其中每类有 100 个训练图片，共 4100 个训练图片。按文件夹顺序读入训练图片，调用三类特征计算函数，把得到的集合保存在特征向量中，同时把图像对应的预期输出保存在输出向量中。构造 BP 神经网络，设计一个 3 层的神经网络。输入节点为图像的垂直投影、模式矩阵的不变矩以及傅里叶描述子。而缺陷的类型：线性裂缝、网状裂缝、斑点、无缺陷则作为网络的输出，分别用 1000、0100、0010、0001 来表征。其隐含层节点数选定为 30 个节点，迭代次数设置为10000，运用 BACKPROP 的训练方法进行训练和识别。各选取线性裂缝、网状裂缝、斑点、无缺陷的 100 份特征向量作为测试样本，得到了 400 组相同的四维输出向量，即样本与各类缺陷的相关性。如表2所示部分实验结果，BP 算法的四维输出向量的值分别是(-0.40311-0.40311-0.40311 1.403105),比较四个数字，求出最大的数字的位置记为1，其他位置记为0，这样就可以将图像准确标记为(0 0 0 1)，图像识别结构为无缺陷。类似的，可以准确完成其他图像的识别。实验结果表明，基于机器视觉的瓷瓶绝缘子表面缺陷检测方法对以上四种缺陷类型具有较好的识别性能，每张图片的检测时间在 0.5s 以内，检测准确率可达 99.5%，其中如表 3 所示，针对线性裂缝和网状裂缝的识别准确率达到100，但由于光线问题，光斑和阴影的存在导致斑点和无缺陷的样本存在误检，其检测准确率为 99，仍然符合预期效果。表2 神经网络的相关性输出结果样本数线性裂缝网状裂缝斑点无缺陷识别结果11.403105-0.40311-0.40311-0.40311100021.403105-0.40311-0.40311-0.4031110003-0.403111.403105-0.40311-0.4031101004-0.403111.403105-0.40311-0.4031101005-0.40311-0.403111.403105-0.4031100106-0.40311-0.403111.403105-0.4031100107-0.40311-0.40311-0.403111.40310500018-0.40311-0.40311-0.403111.4031050001表3 绝缘子缺陷识别效果绝缘子测试样本数识别样本数识别准确率全部40040099.5线性裂缝100100100网状裂缝100100100斑点1009999无缺陷10010199由于测试图片越多，训练的时间越长，所以一次训练之后，可以将标准数据样本生成 xml 文件，图片的数据和特征都在里面，下次使用只需要调用 xml 文件就可以了，这样可以大大减少高压瓷瓶缺陷检测新系统的检测时间。4 结论从机器视觉理论出发，对瓷瓶绝缘子表面缺陷在线检测方法进行了研究，根据图像的垂直投影、不变矩以及傅里叶描述子等信息，利用计算机软件对瓷瓶图像进行处理，可以准确地判断出瓷瓶存在的瑕疵，及时发出警报，进而保障供电线路的正常运作。经实验结果验证，该方法对于缺陷类型的识别正确率能够达到 99.5，取得了较为理想的、可信的结果，在研究与应用中具有很好的实用意义。参考文献 1 陈邵峰,王亮,郭宏伟.支柱绝缘子带电探伤原理与应用 J.山东工业技术,2018:171.2 孙琴,肖书浩,刘誉涵,等.基于机器视觉的塑料制品表面缺陷检测研究 J.电子制作,2020,8:56-59.3 张军,张海云,赵玉刚,等.基于机器视觉的瓷砖裂纹检测 J.包装工程,2018,39(9):146-150.4 刘行谋,田浩,杨永明,等.复杂环境背景下绝缘子缺陷图像检测方法研究 J.电子测量与仪器学报,2022,36(2):57-67.5 张子健,马吉恩,李旭峰,等.基于深度学习与 Hu 不变矩的绝缘子故障检测 J.铁道学报,2021,43(2):71-77 6 Dong Ji.Research on Basketball Shooting Action Based on Image Feature Extraction and Machine LearningJ.Special Section on Gigapixel Panoramic Video with Virtual Reality,2020(8):（下转第 63 页）|63软件开发置信息。图 9 栅格地图实验结果表明，经算法改进后生成的点云地图和栅格地图结构完整，有效表示地图特征信息。在 ORB-SLAM2 的运动模式下，调用生成的栅格地图，即.pgm 和.yaml 文件，利用 ROS 的 move_base 功能包可以配置路径规划算法，如 A*、RRT、DWA 等，实现机器人的导航和运动控制。4 结语针对 ORB-SLAM2 算法构建的地图信息量少、无法保存且无法应用到机器人导航功能等问题，本文提出一种改进后的 ORB-SLAM2 算法，该算法在 ROS 环境下，结合 RGB-D相机获取的关键帧环境信息以及相机位姿信息，实时生成稠密点云地图与栅格地图。实验结果表明，本文算法生成的地图，既保留了原有环境的地图结构，又降低内存占用，可用做机器人的路径规划研究，为室内移动机器人导航和避障方面提供技术支持。参考文献 1 Liu H M，Zhang G F,Bao H J.A survey of monocular simultaneous localization and mappingJ.Journal of Computer Aided Design&Compute Graphics,2016,28(6):855-868.2 Mur-artal R,Montiel J M,Tardos J D,et al.ORB-SLAM:A Versatile and Accurate Monocular SLAM SystemJ.IEEE Transactions on Robotics,2015,31(5):1147-1163.3 Forster C,Zhang Z,Gassner M,et al.SVO:Semidirect Visual Odometry for Monocular andMulticamera SystemsJ.IEEE Transactions on Robotics,2017,33(2):249-265.4 Engel J,Schops T,Cremers D,et al.LSD-SLAM:Large-Scale Direct Monocular SLAMC.EuropeanConference on Computer Vision,2014:834-849.5 M Labb,Michaud F.RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation:LABB and MICHAUDJ.Journal of Field Robotics,2018,36.6 Mur-Artal R,Tardos J D.ORB-SLAM2:An Open-Source SLAM System for Monocular,Stereo，and RGB-D CamerasJ.IEEE Transactions on Robotics，2017:1-8.7 高翔,张涛,刘毅,等.视觉 SLAM 十四讲：从理论到实践 M.北京:电子工业出版社,2017,3.8 周明超.基于 ORB-slam2 改进的八叉树地图构建 J.电脑知识与技术,2018,14(34):236-237.9 王永祥,常青,黄良红,孙永明.基于立体视觉的 2D 占据网格地图构建 J.电子设计工程,2021,29(24):1-6.10 陆建伟,王耀力.基于 ORB-SLAM2 的实时网格地图构建 J.计算机应用研究,2019,36(10):3124-3127+3131.通信作者：朱建军。138743-138751.7Zhou Wenyuan,Wang Hao,Wan Zhibo.Ore Image Classification Based on Improved CNN.Mechanisms and efficient elimination approaches of self-absorption in LIBSJ.Plasma Science and Technology,2019,21(3):129-143.8Song Z H,Zhao B.Research on traffic number reconition based on neural network and invariant momentsC.Hongkong:Proceedings of the Sixth International Conference on Machine Learning and Cyberneticd,2007.9 欧阳银涛,孙彦玺,屈敬朝,等.基于 BP 神经网络的人体活动识别方法 J.物联网技术,2021:40-42.10Qing Kuang.Face Image Feature Extraction based on Deep Learning AlgorithmJ.Journal of Physics:Conference Series,2021:032040.11 赵科毅,张黎明,任书楠,等.基于特征提取的电力绝缘子检测定位方法 J.制造业自动化,2022,44(11):173-181.12 马晨.基于 MATLAB 车牌字符分割的算法研究 J.电子制作,2017,8:29-30.13 刁彦华,孟子钰,王晓君.基于 Hu 不变矩的图像形状提取研究 J.安全模型、算法与编程,2019:46-47.14 钟耿.基于傅里叶分析的图像深度信息提取方法 J.电子制作,2020,8:50-52.15 曾祥海,陈祥毅,陈文轩,等.基于 BP 神经网络的海表温度预测 J.电子制作,2022,8:82-85.通信作者：林湘军。（上接第 67 页）