基于机器视觉实现垃圾分类的控制系统设计.pdf

现代计算机Modern Computer第 29 卷 第 12 期2023 年 6 月 25 日基于机器视觉实现垃圾分类的控制系统设计葛云涛*（肯拓（天津）工业自动化技术有限公司,天津 300384）摘要：机器视觉作为智能制造的关键点，在工业控制中的应用越来越广泛，其极强的图像识别处理技术能够有效解决人工垃圾分类效率低下的问题，从而大幅度提高垃圾的资源价值和经济价值。基于机器视觉的应用优势，对使用机械臂、视觉系统及工业生产线组成一套能够自动进行垃圾识别的控制系统进行研究，尝试分析机械臂、PLC及视觉系统三者之间的数据交互方法，并重点分析视觉算法三种平台的优缺点，以及视觉程序及机械臂程序，探索取得更优解。关键词：机器人；视觉；垃圾分类；TCP通讯文章编号:10071423（2023）12011305DOI:10.3969/j.issn.10071423.2023.12.021收稿日期：20230324修稿日期：20230423作者简介：*通信作者：葛云涛（1982），男，内蒙古呼伦贝尔人，本科，工程硕士，高级工程师（电气），研究方向为自动化技术应用，Email：xiaoruirui_0引言智能制造业的发展是深入贯彻落实中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要 中国制造2025以及智能制造发展规划（20162020年）精神的核心内容，是促进新一代信息技术与制造业不断深度融合，推动制造业高质量发展的主攻方向。而机器视觉作为智能制造的关键点，从概念到应用，行业发展势不可挡，尤其是在5G技术的支持下，无论是工业、农业、服务业还是制造业，基于机器视觉的智能解决方案在智能化体系中占据重要位置。“实行垃圾分类，关系广大人民群众生活环境，关系节约使用资源，也是社会文明水平的一个重要体现。”习总书记早在2018年就对垃圾分类工作作出过重要指示。垃圾的精确分类，能够有效提高垃圾的资源价值和经济价值，既可以避免有害物质的二次污染，保护环境、减少土地占用，还可以将可回收的资源再利用，发挥最大价值。但是，对于普通群众，对形形色色的垃圾进行精确分类并非一日之功，所以通过智能机器帮助甚至代替人类进行垃圾分类是解决人工手动分类的低效率甚至错误投放率的最佳解决方案。作为智能制造的眼睛，将机器视觉有效利用投入到垃圾分类中势必取得事半功倍的效果。本文正是基于机器视觉的应用，使用机械臂、视觉系统及工业生产线组成一套能够自动进行垃圾识别的控制系统，并尝试分析机械臂、PLC及视觉系统三者之间的数据交互方法，探索取得更优解。1垃圾分类系统硬件分析1 1.1 1垃圾分类的图像数据庞大垃圾分类的图像数据庞大基于机器视觉实现垃圾分类的第一步是垃圾识别，综合比较常见的条码识别法和图像识别法，图像识别法应用范围不受限，精准度更高1。按照国家发展改革委、住房城乡建设部发布的生活垃圾分类制度实施方案，垃圾可分为四大类、十一个小类。主要为可回收垃圾、厨余垃圾、有害垃圾和其他垃圾。可回收垃圾主要包括废纸、塑料、玻璃、金属和布料五类；厨余垃圾包括剩菜剩饭、骨头、菜根菜叶、果皮等食品类废物；有害垃圾含有对人体健康有害的重金属、有毒的物质或者对环境造成现实危害或者潜在危害的废弃物，包括电池、荧光灯管、灯泡、水银温度计、油漆桶、部分家电、113现代计算机2023年过期药品及其容器、过期化妆品等；其他垃圾包括除上述几类垃圾之外的砖瓦陶瓷、渣土、卫生间废纸、纸巾等难以回收的废弃物及尘土、食品袋（盒）。另外，上海等30个城市已经出台垃圾分类地方性法规或规章，导致垃圾分类的具体内容并不统一，执行情况也不同，所以关于垃圾分类图像的采集数据庞大，且已有相关研究2-3。所以，本文侧重于由机器视觉触发之后的分类过程，不再探讨具体垃圾分类的图像采集。1 1.2 2硬件架构设计硬件架构设计硬件设计基于现场环境的限制，选取带有不同垃圾图片的圆柱形料块，模拟不同的垃圾，进而实现机器视觉的使用。垃圾的传输系统包含料井单元、传送带单元、传送带末端传感器，由西门子 S7-1200的PLC来进行控制。视觉单元的图片采集硬件包含了工业相机、FA镜头、白色环形光源、光源控制器，工业相机能够将采集到的图片传送到视觉算法平台，在算法平台中提取图片的信息并进行分析，得出垃圾类别的结果。然后由机械臂单元将垃圾放入不同的垃圾桶中。图1为垃圾分类平台硬件架构。TCP通讯TCP通讯料井单元传送带单元传送带末端传感器工业相机FA镜头白色环光光源控制器PLC控制器算法平台机器人垃圾分类平台 图 1垃圾分类平台硬件架构2数据交互分析垃圾分类平台是由PLC控制系统、视觉系统、机械臂控制系统组成。三个系统除了完成自身工艺要求后，各个系统之间需要做数据交互。在数据通信上，本文采取的是 PLC 作为TCP的客户端，机械臂系统和视觉系统分别作为TCP的服务端，与PLC进行数据交互。2 2.1 1TCPTCP通信通信TCP（transmission control protocol）通信是一种面向连接的、可靠的、基于字节流的传输层通信协议。TCP能够适应并支持多网络应用的分层协议层次结构。TCP为了保证报文传输的可靠，为每个包分配一个序号，同时序号也保证了传送到接收端实体的包的按序接收。然后接收端实体对已成功收到的字节发回一个相应的确认（ACK）；如果发送端实体在合理的往返时延（RTT）内未收到确认，那么对应的数据（假设丢失了）将会被重传。PLC 控制系统、视觉系统、机械臂控制系统三个系统之间的数据交互如图2所示。2 2.2 2控制流程控制流程垃圾分类首先进行初始化，对各个执行元件进行复位。复位完成后，由供料的料井单元将垃圾放入传送带，传送带将垃圾运行到检测位。当垃圾到达检测位后，PLC通知视觉系统进行拍照并等待接收算法平台的结果。视觉系统工作完毕后，PLC再通知机械臂取垃圾，并告知机械臂垃圾类别结果，机械臂将垃圾放入正确的垃圾桶。垃圾分类动作流程如图3所示。PLC系统视觉系统机械臂系统2、返回视觉检测结果，11-可回收垃圾；21-干垃圾；31-湿垃圾；41-有害垃圾；88-无检测结果；1、发送 photo，物料到位，请求拍照4、发送垃圾类别，11-可回收，21-干垃圾；31-湿垃圾，41-有害垃圾；1、发送 10，机械臂准备OK2、发送 01，请求机械臂取垃圾3、发送 20，完成垃圾拾取5、发送 30，垃圾放置完成图2系统间数据交互 114葛云涛：基于机器视觉实现垃圾分类的控制系统设计第12期开始复位推料气缸缩回传送带停止是否复位完成料井是否有垃圾否是否推料气缸伸出气缸伸出到位推料气缸缩回传送带运行垃圾运行到位是否是传送带停止相机拍照算法平台下发结果机器人取垃圾机器人放垃圾图 3垃圾分类流程3软件分析3 3.1 1机械臂关键程序分析机械臂关键程序分析机械臂选用的是越疆M1 pro四轴协作机器人，机器人的控制程序是使用脚本方式进行编程。程序主要包括了 TCP通讯的建立、TCP数据的发送和TCP数据的接收，以及接收到垃圾类别后，使用IF语句将垃圾放入到相应的垃圾桶中。程序主体代码如下：function auto（）err，Recbuf=TCPRead（socket，0，“string”）-receive messagething_number=Recbuf.bufif thing_number=“01”thenGo（P2）-运动到传送带上方home位Go（P11，“SYNC=1”）-运动到传送带抓取垃圾位DO（1，1）-吸盘放料TCPWrite（socket，“20”）-sendmessageGo（P2）-运动到传送带上方home位Go（P12）-运动到垃圾桶home位elseif thing_number=“11”thenGo（P3）-运动到可回收垃圾桶up位Go（P4，“SYNC=1”）-运动到可回收垃圾桶位DO（1，0）-吸盘放料Go（P3，“SYNC=1”）-运动到可回收垃圾桶up位Go（P12）-运动到垃圾桶home位TCPWrite（socket，“30”）-send messageprint（“可回收垃圾放置完成”）elseif thing_number=“21”thenGo（P5）-运动到干垃圾桶up位Go（P6，“SYNC=1”）-运动到干垃圾桶位DO（1，0）-吸盘放料Go（P5，“SYNC=1”）-运动到干垃圾桶up位Go（P12）-运动到垃圾桶home位TCPWrite（socket，“30”）-send messageprint（“干收垃圾放置完成”）elseif thing_number=“31”thenGo（P7）-运动到湿垃圾桶up位Go（P8，“SYNC=1”）-运动到湿垃圾桶位DO（1，0）-吸盘放料Go（P7，“SYNC=1”）-运动到湿垃圾桶up位Go（P12）-运动到垃圾桶home位TCPWrite（socket，“30”）-send messageprint（“湿收垃圾放置完成”）elseif thing_number=“41”thenGo（P9）-运动到有害垃圾桶up位Go（P10，“SYNC=1”）-运动到有害垃圾桶位DO（1，0）-吸盘放料Go（P9，“SYNC=1”）-运动到有害垃圾桶up位Go（P12）-运动到垃圾桶home位TCPWrite（socket，“30”）-send messageprint（“有害收垃圾放置完成”）elseif thing_number=88 then-break-无垃圾，终止循环print（“没有垃圾”）endprint（“垃圾分类完成”）end 115现代计算机2023年3 3.2 2算法算法平台及视觉流程图分析平台及视觉流程图分析常用的视觉算法平台有OpenCV、HALCON4、VisionMaster等软件。3 3.2 2.1 1OpenCVOpenCVOpenCV是一种开源的跨平台计算机视觉和机器学习的软件库，由一系列C函数和少量C+类构成，拥有包括 500 多个C函数的跨平台的中、高 层 API。同 时 提 供 了 Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV属于代码型，其特点是开源性高、开发灵活，但是编程复杂，需要具备较高的应用门槛。3 3.2 2.2 2HALCONHALCONHALCON是一种商业性的机器视觉算法包，将底层代码封装成各自独立的函数，能够进行各类滤波、数学转换、形态学计算分析、形状搜寻等基本的图像计算处理功能。整个函数库可以用C，C+，C#，Visual basic和Delphi等多种普通编程语言访问。HALCON 属于算子型，具有基础的封装，开发灵活、性能优秀。3 3.2 2.3 3VisionMasterVisionMasterVisionMaster算法5平台致力于为客户提供快速搭建视觉应用、解决视觉检测难题的算法工具，能满足视觉定位、尺寸测量、缺陷检测以及信息识别等机器视觉应用。VisionMaster采用图像化交互、流程式编程、可视化配置等方式，为视觉应用提供算法工具，具有开发便捷、周期短、性能优秀等特点。本文的视觉算法处理选用VisionMaster算法平台，采取流程化编程方式。在垃圾分类的视觉处理时，分别使用了图像源、快速匹配、条件检测、分支模块及发送数据等模块指令。并设置算法平台，当接收到“photo”字符时，能够运行该流程。图像源的作用是触发工业相机，获取图片信息。快速匹配采集的四种垃圾的特征，当符合特征时，流程继续向下运行。再搭配上条件检测和分支模块，将该分支的结果通过发送数据指令将检测结果反馈给PLC系统。图4为垃圾分类视觉算法。图 4垃圾分类视觉算法4结语本文首先从垃圾分类的工艺流程角度出发，设计垃圾分类平台的硬件架构。然后根据平台中各系统功能，分析了PLC控制系统、视觉系统、机械臂控制系统之间的数据交互，并设计垃圾分类的工作流程。重点分析了视觉算法三种平台的优缺点，以及视觉程序及机械臂程序，并通过反复实际测试，各个垃圾全部能够得到正确分拣。参考文献：1 付丽，梁华林，冯若愚，等.基于机器视觉的垃圾自动分拣装置 J.实验技术与管理，2023，40（1）：123127.2 李祺，曾明，卢向哲，等.基于机器视觉的智能垃圾分类实验平台设计 J.实验室研究与探索，2022，41（4）：6873.3 康庄，杨杰，郭濠奇.基于机器视觉的垃圾自动分类系统设计 J.浙江大学学报（工学版），2020，54（7）：12731280.4 金佛荣.OpenCV和Halcon在机器视觉中的应用分析 J.河北农机化，2019，（13）：89.5 蔡振浩，宋勇.一种基于VisionMaster的机器视觉纠偏定位系统应用实现 J.机电工程技术，2020，49（5）：100，156.（下转第120页）116现代计算机2023年Online open course learning process monitoring system for highervocational education based on deep learningXiao Xianglin*（Department of Information Engineering,Sichuan Vocational and Technical College of Communications,Chengdu 611130,China）Abstract:The deep learning algorithm is widely used in the field of artificial intelligence.The application of artificial intelligence technology to the monitoring of online open course learning process is the requirement of several opinions of the Ministry ofEducation and other five departments on strengthening the management of online open course teaching in general colleges and universities.Research on the deep learning algorithm,design a monitoring system for the learning process of online open courses inhigher vocational education based on deep learning,and monitor the learning process,which can better promote the highqualitydevelopment of online open courses.Keywords:deep learning;process;monitorDesign of control system for garbage classification based onmachine visionGe Yuntao*（Kentuo（Tianjin）Industrial Automation Technology Co.,Ltd.,Tianjin 300384,China）Abstract:As the key point of intelligent manufacturing,machine vision is increasingly widely used in industrial control.It sextremely strong image recognition processing technology can effectively solve the problem of low efficiency of manual garbage classification,thus greatly improving the resource value and economic value of garbage.Based on the application advantages of machine vision,a control system that can automatically recognize garbage using robotic arms,visual systems,and industrial production lines is studied.It tries to analyze the data interaction methods among the robot arm,the PLC and the vision system,and focuses on the advantages and disadvantages of the three platforms of visual computing,as well as the vision program and the robotarm program,to explore and obtain better solutions.Keywords:robot;vision;garbage classification;TCP communication（上接第116页）120