基于机器视觉的物流自动分拣系统设计.pdf

控制理论与应用Control Theory and Applications自动化技术与应用2023 年第 42 卷第 8 期Techniques ofAutomation&Applications基于机器视觉的物流自动分拣系统设计*李 菁（西安职业技术学院，陕西 西安 710077）摘要:以降低现有系统抓取物品的坐标偏差和物流分拣错误率为目标，设计基于机器视觉的物流自动分拣系统。该系统通过工业相机与图像采集卡实时捕捉物品的图像信号，通过计算机软件处理为图像数据，用作机械手抓取识别使用；采用皮带传送装置将物品进行实时传送，并通过机械手控制程序与机器视觉引导程序完成物品的自动分拣，剔除不合格产品，并将其传输至物品回收槽，验证结果表明：该系统图像采集时间短、图像质量高；抓取物品的坐标偏差角度小，不同数量和类别物品正确识别率较高，分拣错误率较低。关键词:机器视觉；物流分拣；自动分拣系统；图像数据中图分类号：TP391.41;TP278文献标识码:A文章编号:1003-7241(2023)08-0034-05Design of Automatic Logistics Sorting SystemBased on Machine VisionLI Jing(Xian Vocational and Technical College,Xian 710077 China)Abstract:In order to reduce the coordinate deviation and the error rate of logistics sorting in the existing system,an automatic logistics sort-ing system based on machine vision is designed.In this system,the image signals of objects are captured in real time by industrialcamera and image acquisition card,and processed into image data by computer software,which is used for grasping and recogni-tion of manipulator;The belt conveyor is used to transport the goods in real time,and the automatic sorting of the goods is com-pleted through the manipulator control program and machine vision guidance program.The unqualified products are removed andtransmitted to the goods recycling slot.The verification results show that the system has short image acquisition time and high im-age quality.The coordinate deviation angle of grabbed items is small,the correct recognition rate of items with different quanti-ties and categories is higher,and the sorting error rate is lower.Keywords:machine vision;logistics sorting;automatic sorting system;image data*基金项目：西安职业技术学院立项课题（2021GG13）收稿日期:2021-07-30DOI:10.20033/j.1003-7241.（2023）08-0034-05.1引言随着现代化社会生产建设的逐渐发展，人工观察已逐渐被机器视觉技术代替1。通过该技术，能够使企业日常成本花销降低，还能够有效提升生产速度2。并且，该技术通常被称为工业生产自动化的“眼睛”。该技术依据传感器装置，从固定区域中采集图像信息，之后通过计算机内具备的视觉处理软件，将已采集的信息转换成数字数据，使之能够被系统智能化使用3-4。现阶段，大量的生产线都需要物流自动分拣能力，在以往的物流处理过程中，通常使用人工的形式完成分拣，在该形式下，分拣效率明显不足，且耗费人力成本较高，随着科技的发展，自动分拣逐渐被企业广泛使用。当前有一些学者研究了分拣系统。如利用YOLO v3设计了分拣系统通过机器视觉进行图像采集，引入Gamma校正进行图像预处理，结合YOLO v3实现了目标的识别与定位，通过串口控制机械臂实现分拣5。通过机器视觉模块实现了目标物的识别与定位，通过图像处理，结合PLC控制技术实现了目标物的分拣6。通过自动分拣系统，能够实现人力成本的降低，并且能够改善分拣出错等情况发生。本文通过机器视觉技术，设计物流自动分拣系统，通过工业相机采集图像，经软件处理后形成图像数据，并采用机械手实现自动的物品分拣，降低物品分拣的错误率。2基于机器视觉的物流自动分拣系统2.1系统总体结构本文系统包括4个模块：（1）机器视觉模块，通过2个工业相机对输送机传送物品的图像进行采集，将图像传输至采集卡，采集卡向具备视觉程序的计算机发送图像，得到逻辑控制结果、测量数值。当合格物品出现后，PLC会接收到“YES”信号，否则收到“NO”信号；（2）机械手模34自动化技术与应用2023 年第 42 卷第 8 期控制理论与应用Control Theory and ApplicationsTechniques ofAutomation&Applications块，其主要功能为传送与抓取物品；（3）物品输送模块，主要传送物品7；（4）系统控制模块，包含PLC与PC，主要操控与管理各模块。图1为本文系统总体结构。图1系统总体结构2.2系统硬件设计2.2.1机器视觉模块当工业相机1与2视角范围内查探到输送机传送的物品，图像采集卡与相机采集与捕捉当前物品的图像，并依据图像与亮度的成像模型，构成系统的采集图像，并输入至计算机，通过图像处理软件调整获取的图像8-9，最后通过通信设备传输至PLC中，具体如图2所示。图2机器视觉模块2.2.2物品传输模块通过两套皮带传送装置构成系统的物品传输模块。在1号皮带传送机中共包含1号的物料回收桶、传送带、变频器以及交流电机。若机器视觉测试出固定区域内传输过来的物品，可通过机械手进行物品的第一次分拣，通过皮带传送机转移不合格的物品至物品回收桶中，将合格的物品放置在皮带2中。而2号皮带传送机中，除1号传送机中具备的装置，还包含回收槽以及剔除气缸。当2号相机进行检测时，通过剔除气筒将不符合要求的物品传送至物品回收槽，并将剩下的合格物品传送至物品回收桶2内10-11。在控制器中进行计算操作，依据添加期望数据与反馈添加数据，操控发送指令数据的修改，以完成期望状态下的精密伺服运动操控。2.2.3机械手自动分拣模块(1)通过自由度方向的操控，能够有效控制机械手运动的高度。通过固定机械手抓取高度与抓取、放开物品的相对高度，完成机械手的高度操控；(2)控制机械手闭合与开启情况。通过两部分实现操控步骤：第一步是，处于零状态下的压力传感器，操控闭合时主要通过电机编码器与运动控制卡完成，通过二者的控制，能够迅速完成机械手的开启与闭合；第二步是若压力传感器的值逐渐增大，且不为零时，闭合速度逐渐下降，通过设定相应阈值，若压力传感器值达到设定值时，不再进行下一步运动，系统认定在该情况下物品已经被抓紧，因此关闭闭合运动。通过两种方式的控制过程，能够全面保障物品能够被抓取，且能够相对提升抓取速度13。2.2.4系统控制模块通过PC机以及PLC构成系统的控制模块。PLC为系统的总控制器，PC机为机器视觉模块的处理器。当PLC开启时，系统会开始初始化接电，接下来开始对内部部件进行诊断分析，探查PLC与各单元模块之间是否存在问题，之后开始与外接设备通信，将想要发送的处理信号通过I/O端口进行添加与发送，依照各模块的顺序，依次对其进行操控。2.3系统软件设计软件程序完成物流的自动分拣。自动分拣过程中，包含开始与退出分拣功能。生产者通过整体结构与界面实现人机交互，处理者为三部分，自动分拣的主要流程如图3所示。2.3.1机械臂控制程序通过6个舵机设计机械臂，通过控制6个舵机的旋转方式操控机械臂的抓取过程，依据文本内的参数完成机械臂的抓取过程。依据输入脉冲的占空比情况进行操控各个舵机的旋转角度。2.3.2机器视觉引导程序在机械臂抓取模块中，主要设计机械臂固定点分拣物品时的抓取情况，但若物品或箱子出现偏转角度，并未出现在原始位置，则机械臂无法抓取物品，因此物品也无法被放置在箱子中。所以，为实现机械臂实时自动地变换舵机角度进行抓取，通过机器视觉进行引导，首先，获取物品与箱子的图像；其次，分析偏转角度，选取模板匹配法进行；最终，通过函数形式阐述角度。35控制理论与应用Control Theory and Applications自动化技术与应用2023 年第 42 卷第 8 期Techniques ofAutomation&Applications图3自动分拣模块流程设计2.3.3空间坐标转换在本文系统内，主要包含三个坐标系，分别是机械臂坐标O2XYZ、相机坐标O1XYZ以及图像坐标OUV。其中，机械臂与相机坐标具有不变的垂直位置距离，即Z坐标不变，所以，可通过O2X、O1XY描述两个坐标的简化形式。将机械臂的平移量与旋转量进行设定，并设定相机内数值，能够构建二者之间存在的关联。设定相机的参数值，其中，2cx2cy为成像分辨率；fx为横向可用焦距；fy为纵向可用焦距；f表示焦距；且设定h为垂直状态下，相机的高度。即依据世界与像素的坐标，可获知公式(1)。(1)式中，世界坐标(X,Y)可通过像素坐标(x,y)获取。由于平移与旋转特性出现于相机与机械臂的坐标系中，因此，可通过公式(2)表示：(2)式中，二者坐标系之间存在的平移与旋转特性由T、R表示。为确认T、R，可采取挑选2个公共点的形式获取。结合公式(1)与公式(2)，即能够完成二者坐标系的调整。2.3.4抓取机构通过机械臂完成本文系统的物流抓取分拣，通过抽象的形式，将机械臂分成两个部分，分别为旋转装置与连杆装置，并将机械臂在不同位置上旋转的角度通过1、2以及3表示，其能够判断机械臂伸展的实际区域。通(X,Y)过描述机械臂的坐标系，依据(X,Y)，能够获取1的角度，依据坐标系，还能够获取机械臂与物品中心的间距d，a、b为机械臂各臂长度，则依据三角关系求得2、3，从而实现1、2以及3与像面坐标的转变。3实验结果与分析将本文系统应用于某企业的物流处理工厂中，对该工厂中的物流分拣情况进行实验分析。对本文系统的机器视觉图像采集以及处理能力进行实验，选取采集的5个图像，通过实验形式分析系统功能结果如表1所示。根据表1可知，对于实际情况下，图像相对较大时，CPU所需的执行时间较大，图像3为实际图像大小最大的图像，大小为3.56 MB，同时执行时间为0.25 ms，虽然该图像具有最高的CPU执行时间，但依然未达到1 ms，且经本文系统采集后图像质量依然清晰完整，当图像尺寸较小时，CPU所需的执行时间仅需0.08 ms，说明本文系统在采集图像过程中具有较低的CPU执行时间，且采集的图像质量较高，能够为后续物品分拣提供有力依据。表1图像采集性能分析图像编号图像1图像2图像3图像4图像5图像大小/MB2.451.453.560.650.46采集图像质量图像中物品清晰完整，提取物品边缘轮廓清晰采集图像能够完全描述物品的实际状况图像质量未受图像大小的影响对原始图像能够完全复原，且观看时质量清晰与原图像完全一致，并未发生图像损坏现象CPU执行时间/ms0.210.140.250.110.08分析本文系统对物流传送过程中的物品识别率，选取100个不同种类的物品，分析不同物品数量下，物品的正确识别率，同时选取每个类型的物品各50个，分析各个类型的物品正确识别率，分析结果如图4所示。根据图4可知，当识别全部类型的物品时，随着物品数量的上升，物品的正确识别率逐渐有所下降，在物品数量为100时，正确识别率达到94.8%，而物品数量在20个的情况下，正36自动化技术与应用2023 年第 42 卷第 8 期控制理论与应用Control Theory and ApplicationsTechniques ofAutomation&Applications确识别率高达98.1%。针对不同物品的识别过程中，箱式正方形的识别率最高，达到98.7%，而不规则形状物品的正确识别率最低，识别率为97.1%，说明较为规则状态的物品识别率更高，但本文系统中，针对不同数量以及类别的物品识别率均未低于90%，说明本文系统具有较高的物品正确识别率。(a)不同数量下物品正确识别率(b)相同数量下不同物品种类正确识别率图4物品正确识别率分析本文系统的物品抓取能力，依据物体的固定旋转角度，分析应用本文系统前后抓取过程中的偏差角度，结果如图5所示。根据图5可知，在未应用本文系统时，抓取物品过程中，随着物品旋转角度的变化，偏差也有所不同，其中，在物品旋转角度为140 的情况下，抓取时的偏差角度最高，在5 以上，说明在该情况下很难抓取到物品，且无论物品旋转角度多少，抓取的坐标偏差始终在3 6 之间，应用本文系统后，抓取物品的坐标偏差角度最高也未达到3，说明本文系统具有较高的物品抓取能力。分析应用本文系统前后不同时间下的分拣总数以及分拣错误率，分析结果如图6所示。根据图6可知，随着时间逐渐增加，未应用本文系统时，分拣总数最高达到379个，分拣错误率始终保持在0.61.0%之间；应用本文系统后，分拣能力有所提升，分拣数量最高达到463个，而分拣错误率仅保持在 0.20.4%之间，最高未超过0.4%，因此，本文系统能够在有限时间内分拣较多物品，且分拣错误率较低。图5物品偏差角度分析图6应用本文系统前后分拣能力4结束语由于现阶段机器视觉应用效果较为良好，因此设计基于机器视觉的物流自动分拣系统，通过机器视觉完成物流传输过程中物品的探查，通过该过程，能够精准无误地判定物品的形态，之后采用机械手进行物品抓取，经系统模块设计后，系统在抓取时并不会出现较大误差，因此可知系统的物品自动分拣能力较优秀。未来研究阶段中，可依据本研究结果，在此基础上继续改进，实现多种物品的自动实时分拣。参考文献:1 廖家骥,刘建群,高伟强,等.基于机器视觉的机器人分拣系统设计J.组合机床与自动化加工技术,2019,542(4):30-32,36.2 张重阳,王君,王震,等.基于机器视觉的硬币分拣系统设计J.工具技术,2019,53(9):95-98.3 郝大孝,舒志兵,孙学.基于机器视觉的Delta机器人分拣与跟踪系统设计J.机床与液压,2019,47(17):36-42.4 朱丹,吴兹古力.基于机器视觉的农业机械图像识别系统分析J.农机化研究,2020,42(10):34-37,42.5 郭一晶,黄斯奇,刘丽,等.基于YOLO v3的自动餐具分拣检测J.厦门大学学报(自然科学版),2020,59(4):572-577.6 赵小霞,李志强.基于PLC和机器视觉的水果自动分级系统研究J.农机化研究,2021,43(8):81-85.7 杨钰,杨磊,张晓楠.一种应用于物流行业的自动分拣控制系统J.哈尔滨理工大学学报,2019,24(4):74-80.(下转第41页)37自动化技术与应用2023 年第 42 卷第 8 期控制理论与应用Control Theory and ApplicationsTechniques ofAutomation&Applications3进行测试，测试结果如图2所示。图2特征提取率测试结果对图2中的数据进行分析可知，在多次迭代中方法1的特征提取率均在90%以上，方法2和方法3的特征提取率在60%附近波动，通过对比不同方法的测试结果可知，方法1的特征提取率较高，因为方法1提取健美操跳跃动作特征之前，消除了健美操运动图像的背景，提高了方法1的健美操动作特征提取率。为了验证方法的整体有效性，采用方法1、方法2和方法3提取健美操跳跃动作的特征，对比不同方法提取特征所用的时间，测试结果如图3所示。图3特征提取时间测试结果对图3中的数据进行分析可知，采用方法2和方法3提取健美操跳跃动作特征所用的时间远远高于方法1提取健美操跳跃动作特征所用的时间，因为方法1对提取的关键帧进行了背景消除处理，消除了特征提取过程中背景产生的干扰，缩短了特征提取所用的时间，提高了方法1的特征提取效率。5结束语随着移动终端设备的广泛使用以及多媒体技术、互联网的迅速发展，视频的数量大大增加，检索健美操视频中的有效片段，提取健美操跳跃动作的特征，可以辅助健美操训练，为健美操的编排提供依据。目前健美操跳跃动作特征提取方法存在动作方位角度识别准确率低、特征提取率低和特征提取效率低的问题，本文提出基于机器视觉的健美操跳跃动作特征提取方法，对关键帧进行背景消除处理，提取健美操跳跃动作特征。有效的解决了目前方法中存在的问题，为健美操的教学提供了依据。参考文献:1 陆付祥.基于特征提取的健美操分解动作图像自适应识别方法J.科学技术与工程,2019,476(7):153-158.2 司海飞,胡兴柳,史震.基于背景减除和特征提取的跌倒识别方法J.电子测量与仪器学报,2020,238(10):38-44.3 陈恩庆,樊军博.一种基于MEM-LBP的动作特征提取及识别方法J.计算机应用研究,2018,318(4):1277-1280.4 陈超.多阈值优化的运动图像轮廓特征提取方法J.沈阳工业大学学报,2019,41(3):315-319.5 沈西挺,于晟,董瑶,等.基于深度学习的人体动作识别方法J.计算机工程与设计,2020,400(4):261-265.6 罗会兰,童康,孔繁胜.基于深度学习的视频中人体动作识别进展综述J.电子学报,2019,47(5):1162-1173.7 韩锟,黄泽帆.基于人体姿态动态特征的跌倒行为识别方法J.湖南大学学报(自然科学版),2020,324(12):74-81.8 都明宇,王志恒,荀一,等.多模式人手动作分类识别方法J.中国机械工程,2019,30(12):1474-1479.作者简介:李严（1992-），男，硕士，讲师，研究方向：体育教学与训练。8 马灼明,朱笑笑,孙明镜,等.面向物流分拣任务的自主抓取机器人系统J.机械设计与研究,2019,35(6):17-23.9 李洪波,李亚萍.基于机器视觉的包装物料自动筛选系统J.包装工程,2020,41(11):223-227.10 吴小进,王文成.基于机器视觉的齿轮质量在线检测系统J.机械传动,2019,43(4):167-170.11 张伟,高慧敏.笔管缺陷自动化检测系统设计与研究J.工程设计学报,2019,26(3):346-353.12 高畅,刘浩克,刘基宏.基于机器视觉的细纱管分类检测J.丝绸,2019,56(1):33-37.13 陈林琳,姜大庆,黄菊,等.基于机器视觉的火龙果自动分级系统设计J.农机化研究,2020,42(5):130-133.14 张刚,布挺,葛运旺.基于机器视觉的水下航行器自动控制系统J.舰船科学技术,2020,42(10):53-55.15 李梦.基于机器视觉的车道线在线识别系统设计J.工程设计学报,2020,27(4):98-107.作者简介:李菁（1983-），女，硕士，副教授，研究方向：物流管理，物流工程。(上接第37页)41