机器视觉技术在智能制造工程实践平台的应用研究 (1).pdf

装备制造技术 2023 年第 7 期0引 言机器视觉技术起源于 20 世纪 60 年代，它是一种包括了图像处理、机械工程、电控技术、光学技术、计算机软硬件技术等的综合技术1。它利用数字相机捕捉图像，针对图像进行分析处理，从而实现对物体的判断与智能控制。智能制造技术是一种全新的制造方式，它基于数字化与智能制造技术，对制造流程进行分析与控制，从而实现制造流程的智能化。机器视觉在智能制造过程中的物料管理、质量监测与控制、生产追溯等方面都有较强的应用价值。课题主要探讨了机器视觉技术在智能制造领域，尤其是在智能制造工程实践平台的应用，通过该技术的应用可提升智能制造工程实践平台生产线自动化的程度，改善效率与质量。1机器视觉技术1.1 机器视觉的概念与原理简言之，机器视觉就是利用机器代替人的眼睛进行测量、判断。机器视觉的原理2是利用计算机技术编程，模拟人类的眼睛，使机器具有类似人视觉的功能，进一步完成类似人类视觉的智能行为。该技术的实现需要完成图像的采集、处理、分析、识别、判断等一系列的工作。而图像采集则是机器视觉最为关键的一步，该步骤需要使用适配的光学设备完成。1.2 机器视觉系统的组成机器视觉系统1主要由图像采集部分、图像处理部分、运动控制部分三部分组成。图像采集部分负责把检测到的物体转化为计算信号，并生成图像；图像处理部分负责将生成的图像进行数字化处理；运动控制部分则根据图像分析处理结果，利用人工智能程序对物体进行运动控制。2智能制造工程实践平台简介在“工业 4.0”“中国制造 2025”发展战略的背景下，新工业革命对于传统工科人才培养提出了新要求3，为了满足学生实践环节的需要，南京理工大学紫金学院智能制造学院采用数字孪生软件+虚实控制+智能制造产线的理念，搭建了“智能制造工程实践平台”。智能制造工程实践平台由虚实孪生实训应用平台、智能控制仿真实训平台及智能化产线三部分组成，智能制造工程实践平台涉及技术示意图如图 1 所示，其网络示意图如图 2 所示。机器视觉技术在智能制造工程实践平台的应用研究魏星1，翟钦2，杨敏1（1.南京理工大学紫金学院 智能制造学院，江苏 南京 210023；2.爱普生技术（深圳）有限公司，广东 深圳 518000）摘要：在“工业 4.0”“中国制造 2025”发展战略的背景下，中国正加快推进工业化的进程，大力发展智能制造领域。机器视觉是一种包括了图像处理、机械工程、电控技术、光学技术、计算机软硬件技术等的综合技术，广泛应用在智能制造过程中的物料管理、质量检测与控制、生产追溯等方面，旨在提升效率、改善质量，通过将机器视觉技术应用在智能制造工程实践平台，证明了该技术的可行性。首先，阐述了机器视觉技术的概念、原理及系统组成，并简介了智能制造工程实践平台；其次，阐述了机器视觉技术在智能制造工程实践平台的典型应用场景；最后，以物料管理为典型案例进行研究，进行了该系统的硬件设计、机器视觉识别与机器人分拣流程设计，完成了基于 PYTHON 的机器视觉编程，并使用 IOA 虚拟工厂数字孪生软件进行仿真，实现了基于机器视觉的机器人物品分拣系统。该系统改善了智能制造工程实践平台智能化产线的物料管理问题，提升了分拣效率、降低了出错率，具有较强的推广应用价值。关键词：机器学习；智能制造；物料管理；PYTHON中图分类号：TP391文献标志码：A文章编号：1672-545X（2023）07-0191-04收稿日期：2023-03-14基金项目：南京理工大学紫金学院校级科研专项项目：基于工业互联网的产品制造过程管理与数据展示系统（2021ZTXM0401004）第一作者：魏星（1980-），女，辽宁凌海人，研究生，副教授，研究方向：质量管理与信息系统.191Equipment Manufacturing Technology No.7袁20233机器视觉在智能制造工程实践平台的应用机器视觉技术在智能制造工程实践平台中的应用4涵盖了物料管理、质量监测与控制、生产追溯等方面。3.1 物料管理方面智能制造工程实践平台中的智能化产线需要对于物料进行自动化的管理，而机器视觉可以自动识别物料并进行自动分拣，实现提升效率、减少失误的目的。例如，可利用机器视觉技术针对原材料颜色、形状、质地等特征对其进行分类，从而实现智能化产线的自动上料环节。3.2 质量监测与控制智能制造工程实践平台中的智能化产线加工出来的产品需要达到一定的质量标准，而机器视觉可以通过对产品图像进行自动分析、检测，从而协助完成产品品控。例如，可利用利用机器视觉技术针对产品表面的划痕、裂纹等特征对其进行质量判断并分拣出良品、次品，从而实现智能化产线的品控环节。3.3 生产追溯方面智能制造工程实践平台中的智能化产线在制造加工产品过程中，针对关键产品及其半成品，有时候会有生产追溯的诉求。例如，可利用利用机器视觉技术针对物料进行追踪监控，达到提升产能和管理可视化的目的。4机器视觉在智能制造工程实践平台的应用案例4.1 案例背景机器视觉在智能制造工程实践平台的一个重要应用就是物料管理，通过原材料颜色、形状、质地等特征进行自动识别，再根据识别结果进行智能化控制，例如判断是否自动抓取或自动分拣。本研究的案例选取背景是模拟某注塑企业原料分拣流水线，搭建基于机器视觉技术的原材料分拣系统，从而提升领料速度，实现注塑原料的快速配比。图 2智能制造工程实践平台网络示意图应用层MES 主画面设备管理AGV 调度看板系统摄像监控CAM 激光AGV 集成机器人管理视觉管理WMS 仓储控制层驱动层伺服电机、变频电机、光电开发、继电器机器人驱制器、运动控制板、摄像头、继电器、变频电机、气动电磁阀RS485 模块、液晶屏、称重设备层图 1智能制造工程实践平台涉及技术示意图机器人技术物联网技术控制技术SDK 开发包数字孪生模型库工程库课程库192装备制造技术 2023 年第 7 期4.2 基于机器视觉的物品分拣系统设计4.2.1 系统硬件设计基于机器视觉的物品分拣系统的硬件设计如图3 所示。4.2.2 机器视觉识别与机器人分拣流程设计在机器视觉识别设计部分，首先完成视觉相机的正确调用，使视觉相机能够获取到 PV 传送带上物料箱中不同颜色注塑原料图像信息；其次，将视觉相机获取到的图像信息发送至后台计算机，该计算机通过视觉算法进行图像色彩通道拆分，将图像拆分为光学三原色，并进行色彩通道计算，与图像整体像素比较，通过算法获取到的图像中 R、G、B 的数值进行输出，获得图像对应图像颜色的取值范围，从而识别出图像中不同颜色的注塑原料；最后，将颜色识别结果发送给分拣机器人进行后续分拣。在机器人分拣5流程设计部分，初始时刻应对分拣机器人内部的运动电机进行预设定位；当视觉相机识别出物料箱中彩色的注塑原料，将颜色识别信息发送给分拣机器人，分拣机器人接收信号夹取该颜色注塑原料物料箱并将机械臂姿态进行调整，根据颜色信息位置预设定分拣至对应 PV 传送带，一次分拣完成后，分拣机器人回到夹取前预设位置，并往复循环地对盛放不同颜色的注塑颜料的物料箱进行分拣直至分拣结束。机器视觉识别与机器人分拣流程如图 4 所示。4.3 基于 PYTHON 的机器视觉编程根据机器视觉与机器人分拣流程的设计可知，基于 PYTHON 的机器视觉编程主要分为以下三步：视觉相机模块调用、相机图像信息获取及颜色识别并输出结果。4.3.1 视觉相机模块调用在机器视觉识别代码实现过程中通过 op_camera命令开始调用视觉相机，获取 PV 传送带上注塑原料图像信息，所获取到 PV 传送带上注塑原料图像信息在Python 环境中以 json 文件格式进行储存，主要代码：4.3.2 相机图像信息获取视觉相机经过调用启动后，以每 0.5 s 的时间间隔获取 PV 传送带上注塑原料物料箱图像信息，主要代码：发送给后台计算机进行图像处理，后台计算机通过 base.b64decode 命令将 json 储存格式的图像信息解码为可识别的二进制信息，并通过 cv2.imshow 命令将 PV 传送带上的图像信息每 0.5 s 与图像采集同步，主要代码：图 4机器视觉与机器人分拣流程控制器开启调用视觉相机否是否获得相机数据是否获取图像是否有物料出现是颜色识别输出颜色值控制器是否关闭是停止运行结束否否否控制器开启预设位置等待是否接收到颜色信息是夹取物料移动到对应传送带松开夹具回到预设位置控制器是否关闭是停止运行结束图 3机器视觉的物品分拣系统的硬件设计基于机器视觉的机器人物品分拣系统I0A 虚拟接线视觉相机模块调用控制箱I/O分拣机器人电机爪具193Equipment Manufacturing Technology No.7袁20234.3.3 颜色识别并输出结果后台计算机接收到视觉相机实时采集 PV 传送带上的不同颜色注塑原料图像信息，主要代码：后台计算机将视觉相机采集到的不同颜色注塑原料的图像信息通过 cv2.clit（image）命令将复合图像颜色拆分为 B、G、R 三原色通道信息，获取图像的横向高度、纵向高度、色彩通道；计算 R、G、B 三条颜色通道在图像中每个像素点颜色值总和，并计算图像采集窗口中图像像素总数；用 R、G、B 三通道颜色信息值总和与图像采集窗口像素总数的比值，得到图像采集窗口中 R、G、B 三色通道的平均值，输出当前采集图像的 R、G、B 值。由于不同颜色的注塑原料在采集图像窗口呈现的 R、G、B 信息数值不同，通过 if 条件语句对不同颜色所对应的 R、G、B 取值范围进行设置，实现对物料箱中不同颜色注塑原料进行颜色识别，主要代码：最后，后台计算机将注塑原料颜色识别结果发送给分拣机器人，进行对应颜色注塑原料分拣。4.4 基于机器视觉的物品分拣系统的实现利用智能制造工程实践平台中的 IOA 虚拟工厂数字孪生软件，实现场景内模块的组合，搭建基于机器视觉的机器人分拣系统仿真场景，如图 5 所示。通过 IOA 虚拟工厂与 Python 的连接，进行仿真模型的视觉分拣模拟。基于机器视觉的机器人物品分拣系统仿真结果如图 11 所示。在该仿真场景下，视觉相机能够准确识别不同颜色注塑原料的颜色信息，分拣机器人通过预设电机定位，分拣机器人夹取物品至对应生产线 PV 传送带，实现不同颜色注塑原料准确地颜色分拣。5结 语随着科学技术的不断发展，机器视觉技术在智能制造领域的应用将更加广阔。机器视觉与机器人分拣是现代制造业中极为重要的技术创新，它通过视觉相机快速清晰地识别物料图像信息并进行处理，与分拣机器人连接进行准确的物品分拣。将机器视觉与机器人分拣系统应用在智能制造工程实践平台，改善了该平台上智能化产线的物料管理问题，成功提升了分拣效率、降低了出错率。同时，该案例亦可以推广应用在其他智能制造工程实践场景。参考文献：1 殷悦.机器视觉技术在农业机械中的应用研究J.南方农机，2021（8）：32-33.2 成文.基于机器视觉技术的机械制造自动化技术应用研究J.科技展望，2017（4）：145.3 周三玲，魏星.面向智能制造的数据管理与分析课程群建设研究J.装备制造技术，2022（11）：110-113.4 孙郑芬，吴韶波.机器视觉技术在工业智能化生产中的应用J.物联网技术，2020，10（8）：103-105.5 刘亚欣，王斯瑶，姚玉峰，等.机器人抓取检测技术的研究现状J.控制与决策，2020，35（12）：2817-2828.（a）（b）（c）（d）图 5基于机器视觉的机器人物品分拣系统仿真场景图 6基于机器视觉的机器人物品分拣系统仿真运行结果194