基于机器视觉的实训作品评价系统.pdf

基于机器视觉的实训作品评价系统*丁昕祯（机械工业出版社，北京100037）摘要：针对工程训练作品评价过程效率低、评价标准难统一、评价过程不客观、过程资料难保存等问题，开发了一套基于机器视觉的实训作品评价系统。通过边缘特征提取和仿射变换实现实训作品和标准模板的图像角度信息和尺寸信息的统一，再通过图像的分区域模板匹配实现实训作品的自动评分，并能自动保存实训成绩及对应的实训作品图像。试验结果证明，评价系统能够真实反映实训作品和标准模板的偏差情况，满足实训评价要求，并能够准确无误地自动保存实训成绩档案。关键词：机器视觉；模板匹配；仿射变换；OpenCV中图分类号：TP271文献标识码：A文章编号：1001-2354（2023）S1-0184-05Evaluation system of training works based on machine visionDING Xinzhen（China Machine Press,Beijing 100037）Abstract：Aiming at the problems of low efficiency,difficult to unity evaluation standards,non-objective evaluation processand difficult preservation of process data in the evaluation process of engineering training works,a training works evaluation systembased on machine vision is developed,which realizes the unification of image information angle and size of training works and stan-dard templates by edge feature extraction and affine transformation,and realizes scoring of the training works automatically bymatching the sub regional template of the image,the training results and the corresponding training works images can be saved auto-matically.The experimental results show that the evaluation system can truly reflect the deviation between the training works andthe standard template,meet the training evaluation requirements,and save the training achievement files accurately.Key words：machine vision；template matching；affine transformation；openCV*收稿日期：2023-03-29；修订日期：2023-05-182017年，文献 1-4 中提出，“根据工程技术的最新发展构建工程实践教育体系，推进基于成果导向的大学生工程实践能力提升”。为培养适应社会发展的人才，必须全面实施工程教育，全面提升所有在校大学生的工程素养和工程能力，“工程为人人，人人知工程”5。工程训练作为工程教育本科阶段重要的实践环节应运而生，作为具有实践性和通识性的工程训练具体就是让学生置身于真实工程环境中，通过亲自动手和体验，达到提升基本工程实践能力和素养的目的，同时起到劳动教育的作用。钳工训练作为工程基础训练的一个模块，在培养大学生的工程意识、工艺能力、工匠精神等方面具有不可替代的作用6。同时，作为工程基础训练的一个模块，在校所有专业学生全部参加，始终存在学生数量大、教学任务重、评分时间紧、评价主观性强的特点，这就导致学生在实训过程中时常出现制造偏差而不自知，即使老师巡视也难免有所遗漏，不利于及时纠偏。同时评价实训作品时主观意识强，且评分标准难统一，评价过程资料不易保存，特别是实训作品堆积较多，查询溯源不便。为解决实训作品的评价问题，提出采用边缘特征提取、仿射变换、模板匹配等机器视觉技术来评价实训作品的方法。机器视觉技术在机械零件缺陷检测、识别等领域已得到了较广泛的应用，韩宗旺等7提出了一种基于机器视觉的短轴零件圆度检测，实现轴类零件圆度误差的非接触在线测量；袁野等8将视觉应用到星球车车轮沉陷量和滑转率实时检测中，指挥星球车的行走；洪宇翔等9将视觉检测应用到铝合金爬坡TIG焊熔池失稳状态中，实现焊接质量的监控；张帆等10用视觉检测穴盘苗发芽率；杨桂华等11提出一种基于机器视觉的芯片引脚测量及缺陷检测系统，用于实现对芯片的引脚尺寸测量和缺陷检测。但是将机器视觉技术用于实训工件自动评分的研究很少，第 40 卷 增 刊 12023 年 7 月Vol.40S1Jul.2023机械设计JOURNAL OF MACHINE DESIGNDOI:10.13841/ki.jxsj.2023.s1.0142023年7月柯泽豪12提出了基于Halcon的金工考核件自动测量评分系统，但是由于Halcon为商业软件，收费比较昂贵，对于广大高校而言开发成本较高，不利于推广。文中首先介绍了硬件构成、软件设计和识别评分算法，通过边缘特征提取和仿射变换等操作实现了实训作品和标准模板的图像角度信息和尺寸信息的统一，再通过图像的分区域模板匹配实现了实训作品的自动评分，同时能够实现成绩档案的自动保存功能，最后通过试验结果验证了评分系统的可行性和可靠性，该系统对于其他实训作品的评价也有一定的借鉴意义。1评分系统的硬件构成实训作品评价系统的硬件主要由图像传感器、光源和计算机等构成，如图1所示。图像传感器用来采集实训作品的图像信息，采用USB免驱摄像头，500万像素，视角75，7.937 5 mm（1/3.2 in）感光芯片，具备自动对焦功能，对焦速度0.7 s。使用时，通过调节工作距离获得合适的视场，对焦完成后便可采集图像信息。光源是机器视觉系统的重要组成部分，对图像采集质量影响巨大。由于评价的对象是金属材质，要采集金属件图像信息，光照太强或直射极易造成光线反射，从而造成图像失真和细节丢失，因此，选用亮度可调的散射光源，为使照度均匀，采用环形光源设计。为了减小外部光源对图像采集的影响，设计了遮光罩。为了增大前景和背景的对比度，采用绿色磨砂面背景垫。计算机在选用时充分考虑系统的通用性，可运行于安装有Windows，Linux或者Mac OS操作系统的PC机或树莓派，此系统采用Windows系统的PC机。2评分系统的软件设计2.1评分要求及评分方案以钳工实训模块启瓶器制作为例（文科相关专业的实训内容，在工程训练中嵌入趣味性和实用性，提升学生的参与兴趣，同时起到劳动教育的作用），启瓶器标准模板图像如图2所示，在实训作品评价时主要考虑学生实训作品和标准模板在尺寸比例方面的相似程度，如果采用测量的方法进行评价，需要测试的数据较多，测量难度大。如果严格按照图样尺寸进行测量评价，合格率很低，原因是文科相关专业学生没有学习过制图类相关课程，而且对于这类学生的实训是要培养其基本工程素养，使其具有初步的工程技能和基本的工程意识。如果采用人眼观察和模板匹配程度打分，将会受到主观因素影响，评分难以得到客观量化，而且评分标准不统一。因此，采用图像模板匹配方法进行评分可以避免上述问题，即将实训作品和标准模板的图像信息进行匹配，匹配度越高，得分越高。2.2开发环境的搭建实训作品评价系统采用 Python 编程语言作为开发语言。Python语言具有简单易学、移植性强、第三方开源支持库众多等特点，开发效率高，目前已成为科学计算、图像处理和深度学习等领域的主流开发语言13。根据功能需求采用的第三方库如表1所示。2.3图像预处理为了提高评价系统的准确度和可操作性，在操作时需要对任意角度放置的工件（标准模板或学生实训作品）原始图像信息进行预处理，目的是为了去除原始图像中的冗余信息，仅保留工件部分的图像特征，并将图像的角度旋转到如图2所示。图像的预处理流程如图3所示，步骤上方图像为经过该操作后得到的图像。将图像传感器获得的RGB三通道彩色图像转换为单通道灰度图，图像降维后可提高处理速度；对降维后的图像进行高斯滤波，使图像信息更加平滑，同时保留图像的总体灰度特征，经过该操作后有利于去除图像中的微小噪声，减少不必要的边界信息。滤波后图像采用Canny算法进行边缘检测，此方法不容易受噪声的干扰，并能产生较细的边缘，但它也容易平滑掉序号12345库名OpenCVNumpyPyQt5XlsxWriterPandas特点及在本系统中的用途开源跨平台计算机视觉和机器学习软件库，用于图像读取、显示、预处理及模板匹配等操作一个强大的Python开源数值计算扩展库，用于图像数据矩阵的运算QT是一个跨平台的图形用户界面（GUI）开发库，PyQt5 是 QT 的一组 Python 绑定（Python bindings），主要用于评分系统的GUI开发用于创建学生档案表格文件一个开源的易用高性能数据分析统计，主要用于Excel数据的导入，处理及保存丁昕祯：基于机器视觉的实训作品评价系统图2启瓶器模板侧视图啤酒瓶盖开启功能区钥匙环孔手柄易拉罐开启功能区图1评分系统架构表1评分系统所需Python支持库一览表-185机 械 设 计第40卷增刊1一些边缘信息14。为使图像边缘信息连贯，对其进行闭运算操作，就是将图像先进行膨胀操作，再进行腐蚀操作，闭运算后可将断开的图像边缘信息再次连接得到新的边缘图像。利用cv2.findContours（）函数查找上述边缘图像中的边缘信息，并根据边界内面积大小进行排序，找到包含面积最大的两个边界，分别为启瓶器的最外层边界和尾端内圆环边界。由上一步找到的两个边界信息，制作一个掩膜图像，两个边界之间的部分像素点为全白，即像素点的值均为255，其他部分为全黑，即像素点的值为0。采用cv2.bitwise_and（）指令将掩膜图像和原始图像进行按位与操作，得到新图像，在新图像中，掩膜全白对应的部分和原始图像信息一致，掩膜全黑对应的部分也是全黑，原始图像中工件部分被完全分割出来。采用cv2.minAreaRect（）指令，得到工件最外层边界的最小外接矩形及该矩形的四角顶点坐标和宽（Width）高（Height）信息。对上述最小矩形内的图像信息进行仿射变换，即通过一次线性变换从原图像向量空间转换到另一个向量空间中。该操作主要用到两个命令，分别是M=cv2.getPerspectiveTransform（pts1，pts2），dst=cv2.warpPerspective（img_original，M，（width，height），其中，参数pts1为原图中最小矩形的4个顶点坐标，pts2为目标图像（新的向量空间）中pts1需要映射到坐标位置，这里pts2=0，0，width，0，0，height，width，height，M为变换矩阵，参数（width，height）表示目标图像的大小。通过仿射变换后，根据工件放置角度的不同，得到了如图3所示4种图像（仿射变换上方）中的一种。比较仿射变换后图像的高（H）和宽（W）的大小，判断图像为横向或竖向，如果图像为横向，则将图像旋转90，否则不予处理；将图像尺寸缩放到宽60，高272。有了相同的图像尺寸，便于进行模板匹配操作，对缩放后的图像进行首位判断，如果钥匙环孔在下方，则认为方向正确，此时该图像坐标（100，10）处于手柄位置，该坐标的像素值一定不为0，否则，该坐标处的像素值为0，需要将图像旋转180。通过上述操作，可以得到大小一致、方向相同的工件图像信息。2.4评分算法经过预处理后的标准模板（满足图纸要求采用线切割的方式得到的零件）和实训作品（通过给定的毛坯，学生采用钳工加工的方式得到的零件）图像信息，在方向和尺寸方面得到了统一，然后采用模板匹配法对标准模板和学生作品进行相似度计算，进而实现对实训作品的评价。OpenCV提供了6种模板匹配算法：平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法和归一化相关系数匹配法。该系统采用归一化相关系数匹配法对标准模板和学生作品图像进行相似度评分，具体指令为：R=cv2.matchTemplate（img_tem，img_tar，method=cv2.TM_CCOEFF_NORMED）00。参数 img_tem 表示标准模板图像，img_tar为实训作品图像，method=cv2.TM_CCOEFF_NORMED模板匹配方法为归一化相关系数匹配法，返回值R表示两幅图像的匹配程度，范围为区间-1，1，R=1表示两幅图像完全相同，R=1表示两幅图像的亮度正好相反，R=0表示两幅图像之间不相关。工件图像经过预处理后，R的值基本不会出现负值。为了便于精确掌握学生实训作品有尺寸、功能要求的结构制作情况，将工件图像按照工件功能要求切分为4个特征区域（ROI）进行匹配，如图4所示。得到4个匹配值，分别用R1，R2，R3和R4表示，对4个匹配值进行加权平均后实训作品的得分S1表示为：S1=(1R1+2R2+3R3+4R4)1001+2+3+4=1（1,2,3,40,1）其中，1，2，3，4表示各ROI得分在总分中的比例，可根据每个功能区的制作难度、重要程度及面积等因素综合确定。图3图像预处理流程原始图像灰度化高斯滤波边缘检测+闭运算边界查找并排序掩膜(mask)制作仿射变换最小矩形图像分割最终图像首尾方向判断图像缩放高宽比判断图像旋转90最终图像正确H W或图4工件图像分区对比图-1862023年7月经过式（1）计算所得综合评分满分为100分，最低分为0分。2.5界面设计和操作流程采用PyQt5进行图形界面设计，最终界面如图5所示。该界面分为5个功能分区，分区1为信息录入区域，主要用于实训学生的信息录入。分区2为图像采集区域，主要用于模板及实训作品图像采集操作及预览，黑色部分为图像预览框。分区3为图像预处理后预览区域，如果图像裁切分割没问题，可进行评分操作。分区4为评分结果显示区域。黑色部分为模板和实训作品图像分区域对比预览框。分区5为信息确认及成绩提交区域。评分系统的操作流程如图6所示。3评价结果3.1模板采集将“标准模板”放置在摄像头下方，点击“模板采集”按钮，此时图像采集预览框将显示当前摄像头下的模板图像，如图7（a）所示。待图像清晰稳定后，点击“保存模板”按钮，此时图像采集预览框中显示处理后的模板图像，如图7（b）所示，并成功在后台保存一个名为“muban.jpg”的图像文件。3.2实训作品图像采集及评价输入学生信息，单击“作品采集”按钮，则图像采集预览框会显示当前摄像头下的图像信息，当图像清晰稳定后单击“作品保存”按钮，此时功能分区3预览框中将会出现模板图像和实训作品裁切后图像的对比图。最后点击“开始评分”按钮，则功能分区4的图像预览框中会显示工件图像各ROI的对比图，预览图下方显示各ROI得分情况，以及最终得分情况。如果不满意自己的实训作品可以根据ROI的得分情况进行修正，ROI给出了作品后续的改进方向；如果对得分满意，可在确认个人信息无误后提交成绩。评分过程界面如图8所示。挑选了不同档次的作品进行试打分，如图9所示，测试评分结果符合实际。3.3学生成绩自动归档试验输入班级名称，点击“创建班级”按钮，系统将会创建一个班级同名文件夹，并在该文件夹创建一个班级同名Excel表格。为了避免误操作，在未输入班级名称时“创建班级”按钮是禁用的，输入新的班级名称时，“创建班级”按钮被激活，如果后台已经存在同名文件夹及表格时，“创建班级”按钮会自动变为“班级存在”按钮，并处于禁用状态。然后，输入学生的姓名及学号图5评分系统界面开始模板图像是否存在班级是否已创建创建班级输入姓名及学号实训作品图像采集及保存开始评分分区匹配图像预览及成绩展示结束作品继续完善，下次再评分创建成绩记录及实训作品图片确认个人信息并提交成绩成绩是否满意模板采集模板保存是否否是是否图6评分软件的操作流程图7模板采集过程图8实训作品图像采集与评分界面图9学生作品评分试验图像及对应得分（a）得分86分（b）得分81分（c）得分68分丁昕祯：基于机器视觉的实训作品评价系统（a）预览（b）预处理后-187机 械 设 计第40卷增刊1信息，此时，“作品采集”按钮被激活，方可进行学生实训作品的图像采集和评分操作。确认并上传成绩后，后台将自动将学生作品图像以“学号”为名进行保存，并在Excel文档中保存成绩信息，如图10所示。4结论（1）开源机器视觉库OpenCV的钳工作品自动评分系统，通过对工件图像的采集、预处理和模板匹配操作，再结合边缘图像特征和仿射变换，实现了钳工实训作品的自动评分工作。（2）系统运行可行可靠，学生利用该系统可随时发现自身作品问题及方向，及时纠正偏差，提高成绩。（3）教师利用该系统评价学生的实训作品，提高了评价效率，保证了评价标准的一致性，做到了评价过程的公平性。参考文献1 杨叔子，彭文生，吴昌林，等.四论机械创新设计大赛很重要 J.高等工程教育研究，2013（1）：8-13.2 胡雪兰，张艳峰，杨新湦，等.面向工程能力培养的大学物理教学模式创新 J.实验技术与管理，2020，37（6）：10-14.3 韩伟，段海峰，江丽珍，等.新工科背景下高校工程训练中心的建设与管理 J.实验技术与管理，2020，37（7）：238-242.4 林蔚然，汤斌，陈凯，等.新工科背景下能源类通识课程综合实践教学项目的探索 J.实验技术与管理，2021，38（1）：148-152.5 宋健.中国的出路在创新 J.中国发明与专利，2010，（8）：39-42.6 朱高峰.中国工程教育的现状和展望 J.清华大学教育研究，2015，36（1）：13-20.7 韩宗旺，张伟，程祥，等.基于机器视觉的短轴零件圆度检测 J.组合机床与自动化加工技术，2021（10）：93-96.8 袁野，丁亮，杨超杰，等.基于单目视觉的星球车车轮沉陷量和滑转率实时检测 J.机械工程学报，2021，57（24）：259-267.9 洪宇翔，杨明轩，都东，等.铝合金爬坡TIG焊熔池失稳状态的视觉检测 J.焊接学报，2021，42（10）：8-13.10 张帆，杨勇，骆少明，等.穴盘苗发芽率在线视觉检测研究 J.西南大学学报：自然科学版，2021，43（10）：84-91.11 杨桂华，唐卫卫，卢澎澎，等.基于机器视觉的芯片引脚测量及缺陷检测系统 J.电子测量技术，2021，44（8）：136-142.12柯泽豪.浅谈基于Halcon的金工考核件自动测量评分系统设计与实现 J.中国设备工程，2021（16）：104-105.13 杨俊秀，赵文来，姚青，等.高频电子线路实验数据的Python处理分析 J.实验技术与管理，2021，38（10）：227-231.14 赵昌龙，王阔，王旭旭，等.基于图像处理技术的刀具热变形测量研究 J.机床与液压，2021，49（20）：28-31.作者简介：丁昕祯（1986），男，中级编辑，硕士，主要研究方向：机械工程。E-mail：dxz_图10学生成绩档案文件夹信息预览图-188