机器视觉技术应用于微波设备空料检测研究.pdf

窑 测试与控制 窑修稿日期院 圆园23原02原06作者简介院杨继志渊1977-冤袁男袁吉林松原人袁硕士袁北京航天试验技术研究所研究员遥 主要从事烟草机械设备开发及自动化项目建设工作遥0引言新型烟丝膨化设备采用了微波加热袁600kg/h 生产线配置一台 120kW 隧道式工业微波设备袁烟丝物料在皮带输送机上通过微波烘干设备加热腔体里的大功率磁控管进行加热尧烘烤后膨化1遥率风机进行排气遥隧道式微波设备入口由于有抑制器袁所以开口高度不能超过 60mm遥 抑制器的高度决定了皮带上的烟丝布料较薄遥 如果烟丝中存在结团袁容易造成入口处的皮带上布料不均匀袁甚至无料遥微波设备无法承受空载袁隧道式微波设备的谐振腔内如果没有物料袁微波源处于空载状态袁则微波能量将反馈到微波源袁即使在波导管处设置有环形器和水负载袁对微波源反馈微波能量是一种保护袁 但是反馈能量过大也会损坏微波源遥另外皮带上无料或少料袁谐振腔内空载或轻载袁 微波多余能量容易造成谐振腔内打火或点燃谐振腔内的物料袁 因此袁 微波谐振腔内是严格禁止空载或轻载的遥 过去是通过人工不间断地视频监控的方式监控微波入口的皮带上是否空料袁长时间监控容易造成人员疲劳袁存在安全隐患曰此外在正常停机时机选择上袁通常是通过判断皮带上的烟丝布料量袁 少料达到一定的程度则需要停机袁这与工人经验有关袁不同的停机时机会造成料尾量的不同袁停机过早产量降低尧料尾增加袁停机过晚产品的尾料水分较干袁而且设备安全性降低遥 总之微波皮带上空料尧少料容易损坏设备甚至造成安全问题袁必须解决遥由于皮带上布料较薄而且皮带存在两边高中间低的弧度尧微波内部不能安装电子设备和传感器尧谐振腔侧壁不能开大孔等原因袁 自动化设备上常用的物料检测手段和传感器在此均不适用袁 检测皮带上的物料只能采用视觉的方式遥 李彦等人基于机器视觉技术对皮革材料的缺陷进行可视化研究2曰曹珩介绍了机器视觉技术在 PCB 自动检测中的应用袁 包括对图像的设计要求和综合检测分析3曰郑元丰等将机器视觉技术应用到印刷品检测领域袁The Application of Machine Vision Technology in the Detection of Microwave Equipment Empty MaterialYANG Ji-Zhi袁 XIAN Li-Wei渊Beijing Institute of Aerospace Testing Technology袁Beijing 100074袁China冤Abstract院 Microwave heating is used in the new type of tobacco puffing equipment袁 and no-load is strictly forbidden in the microwaveresonant cavity.In the past袁 we used to monitor the empty material on the entrance belt of microwave by video monitoring.This kind ofmonitoring method is easy to cause fatigue and has hidden danger.Therefore袁 the method of machine vision is used to detect the materialdistribution on the belt袁 and through the technology of image acquisition袁 image processing and empty material detection algorithm袁 theempty material detection of microwave equipment based on machine vision technology is realized袁 the test results are sent to the controlPLC Through PLC communication technology to realize the machine vision interlocking control袁 which provides the technical guaranteefor the safe production of the equipment.Keywords院 Machine vision曰 Microwave equipment曰 Empty material detection algorithm曰 Tobacco machinery safety曰 PLC communicate机器视觉技术应用于微波设备空料检测研究杨继志袁咸立伟渊北京航天试验技术研究所袁 北京 100074冤文章编号院 员园园圆原远远苑猿 渊圆园23冤 园4原119原园5摘要院 新型烟丝膨化设备采用了微波加热袁 微波谐振腔内是严格禁止空载的遥 过去由人工通过视频监控的方式实时监测微波入口皮带上是否空料袁 这种监控方式容易造成人员疲劳袁 存在安全隐患遥 因此采用机器视觉的方式检测皮带上布料情况袁 通过图像获取尧 图像处理尧 空料检测算法等技术袁 实现基于机器视觉技术的微波设备空料检测袁 并将检测结果通过 PLC 通信技术发送至控制 PLC袁 实现设备机器视觉连锁控制袁 为设备安全生产提供了技术保证遥关键词院 机器视觉曰 微波设备曰 空料检测算法曰 烟草机械安全曰 PLC 通信中图分类号院 TP39文献标识码院 粤doi:10.3969/j.issn.1002-6673.2023.04.033机电产品开发与创新阅藻增藻造燥责皂藻灶贼 驭 陨灶灶燥增葬贼蚤燥灶 燥枣 M葬糟澡蚤灶藻则赠 驭 E造藻糟贼则蚤糟葬造 P则燥凿怎糟贼泽灾燥造援36熏晕燥援4Jul援熏圆园23第 36 卷第 4 期圆园23 年 7 月119窑 测试与控制 窑为印刷技术的智能化发展提供新的视角4遥 基于以上研究袁采用机器视觉的方式袁停机的条件较为一致袁能够满足产品质量尧产量与安全性的平衡遥当计算出空料率后袁 超过一定的数值或设定的紧急停机条件会停止微波设备遥因为设备均由 PLC控制袁机器视觉算法程序是运行在PC工控机上的袁所以需要研究 PC工控机与 PLC之间的通信遥 任科明等人实现了 OPC服务器与西门子 PLC之间实时通信袁 并将此技术应用到卷烟机械设备中5曰段润群等人研究了上位机软件与 S7-1200 PLC 的 OPC通信技术袁探讨了通信的工程组态6遥 基于以上研究袁PLC 通信可以采用正在蓬勃发展的OPC UA通信方式实现遥1整体解决方案根据以上对问题的分析袁 为了解决人工监控带来人员疲劳尧存在安全隐患和一致停机条件的问题袁提出采用机器视觉技术解决以上问题遥 制定的初步的方案是采用机器视觉技术模拟人工监控检测皮带上的空料率袁 当空料率超过一定程度时候袁停微波设备遥这个技术方案涉及到以下关键点院渊1冤较高质量地获取微波谐振腔内的图像袁然后采用机器视觉算法计算皮带上的空料率遥渊2冤计算出空料率后袁当超过一定的数值或设定的紧急停机条件停止微波设备遥 目前采用西门子 1500 系列PLC 上可以建立 OPC UA 服务器袁通信程序就是 C#程序与 OPC 服务器通信的问题遥1.1 图像获得目前设备的监控是采用人工监控袁 微波内部安装了9 台针孔摄像机袁其中一台安装在微波的入口处袁入口处见图 1遥海康的笔形分体式网络摄像机袁后端接 TP-LINK 交换机袁交换机后接入硬盘录像机袁硬盘录像机通过 VGA接口连接显示器遥由于硬盘录像机尧分体式网络摄像机为封闭系统袁无法直接从中提取摄像头的视频信号袁因此只能从硬盘录像机输出的 VGA 视频信号中提取皮带入口处的图像遥1.2 图像处理方案视觉算法的解决总体方案是采用工业视觉软件包袁通过 C#语言开发图像机器视觉检测程序袁该程序检测皮带的裸露面积百分比袁超过一定百分比的时候袁认为皮带的裸露面积超标袁 做出停机尧 报警等信号袁 该信号通过OPC 与 PLC 通信袁PLC 再与微波设备的 PLC 控制器通信袁发送停机联锁信号遥皮带裸露面积主要是图像的二值化的特征遥 所以首先对图像进行二值化处理遥 二值化处理后袁可以发现袁烟丝虽然整体上较皮带暗袁 但是内部存在很多灰度值与皮带近似甚至比皮带还小的区域袁 这些区域若直接计算到皮带面积内袁则会引起很大的计算误差袁因此还要采用形态学的方法袁排除这些区域袁见图 2遥2视觉技术方案2.1 机器视觉算法二值化后的图像并不能完全反映皮带上物料覆盖情况袁尽管其灰度信息一致袁可以看出在特定的灰度值上有缺口袁这就是由于皮带上的烟丝整体上的灰度值较高袁但是其中也有部分灰度值其实与皮带的灰度值无差别袁因此仅仅采用设定一个阈值的方式计算皮带裸漏面积是不合理的袁需要进行滤波后再处理图像袁见图 3遥采用的形态学算法主要是膨胀和腐蚀填充图片中微小的灰度异常部分袁因为实践证明袁空料区域不可能很小袁 只要是发生了空料袁他的面积一定是大于某个数值的袁微小的灰度值较小部分是烟丝中存在很小部分小灰度值造成的遥区域面积小于一定值认为是以上烟丝反光等原因造成的袁统计滤除一定的区域袁见图 4遥图1监控画面中皮带入料处图2运行中的视频监控画面图3正常的皮带布料情况图4灰度直方图120窑 测试与控制 窑图10基本空料时计算面积从灰度直方图中可以看出袁 直方图的外围轮廓的曲线并不是连续的袁有很多野毛刺冶在上边袁这就是由于烟丝的局部反光造成的遥2.2 算法开发算法首先是图像区域的截取袁由于监控视频是 9 块视频组成的袁 只有其中的一个视频是皮带入口处物料的视频袁为了减少后续算法的计算量袁首先要从该视频中截取皮带入口处的视频袁区域是一个矩形区域面积为 700伊300袁截取该图像后袁后续的计算均对该区域的图像进行计算遥图像的二值化袁把截取后的图像进行二值化处理遥 经过膨胀和腐蚀尧形态特性提取后可以进行面积的计算袁见图 5图 7遥从图中可以看出袁 不同的区域烟丝尧皮带区域可以能够被识别出来袁轮廓用红色线条勾画袁见图 8图 10遥2.3 停机条件的设定程序每秒检测一次皮带的空载率袁输入 PLC袁在 PLC 内部设置一个 数组 袁每秒更新遥 并不是某个值到达后就需要停机袁由于照明等条件的变化袁需要设定 合 理 的 停 机 条件袁超过 10%袁连续5 次超过 10%则停机遥 经过测试这种判定条件比较符合实际运行情况遥3视觉算法软件与PLC的通信视觉软件是运行在 PC 上袁 设备的控制需要通过 PLC袁因此存在 PC 上的一般软件与 PLC 通信的问题袁这在过去是比较麻烦的问题袁因为不同的控制器其接口均不相同袁但是目前袁工业界为了解决这个问题很早就提出了 OPC 技术袁 就是微软的OLE 技术应用于过程控制袁 并且从 OPC DA 发展到 OPCUA袁 但是过去 OPC 的服务器都需要运行在 PC 上袁PC 上的 OPC 服务器与 PLC 之间的通信仍然是各厂家自己的通信协议袁因为 PLC 的不开放性决定了这种架构遥自固件版本 V2.5 和 TIA Portal V15 起袁SIMATIC S7-1500 控制系统还可通过其集成的 OPC UA 服务器为客户端提供OPC UA 方法遥 增加这项功能后袁用户不仅可以选择读取或写入控制系统的 OPC UA 变量袁 还可通过 OPC UA 启动复杂的功能序列遥对于设备联网或 ERP/MES 层级的设备控制而言袁 使用该功能几乎可以实现基于 OPC UA 的完整 M2M 通信遥目前西门子的 1500 系列 PLC 的 CPU 模块 2.0 版本以上的已经可以在 CPU 上建立 OPC 服务器袁这就给开发视觉程序与 PLC 通信提供了很大的帮助遥 在 PLC 上建立OPC 服务器是今后工控器的发展趋势遥 利用这个方法实现视觉软件与 PLC 的通信遥OPC 的 Server渊服务器冤安装在 1500PLC 的 CPU 模块上袁在 PLC 中运行袁软件不需要用户开发袁只需要用户做好 Server 的配置遥 配置在 TIA 软件中进行遥 见图 11遥激活服务器后袁在需要与外部通信的 DB 数据块配置数据可以通过 OPC 通信读写袁见图 12袁这样该 DB 是数图7皮带上缺料后的各区域划分图5面积的初步计算图6经过腐蚀的图像面积变化图8需判定停机的情况1图9需判定停机的情况2图11 1500PLC的OPCUA服务器激活121窑 测试与控制 窑据块内的数据就可以通过 OPC 通信进行读写了遥 在选择框内勾选遥配置后先使用标准的 OPC Client 工具检测配置是否正确遥 PLC 中建立专门的用于机器视觉的 OPC 通信数据块袁名称为野DB_OPC冶袁见图 13遥从图 13 中可以看出找到了项目的 PLC袁 名称为野Main PLC冶从图 14 中可以看到之前见了的专门用于机器视觉的数据块野DB_OPC冶遥 完成这一步袁视觉软件和 PLC 即实现了通信遥4 OPCUA1500Client1500PLC 的 OPC 服务器运行在 PLC 的 CPU 模块上袁客户机运行在 PC 机上袁PC 机的程序采用 C#开发袁 这样就可以实现用户非 PLC 标准程序与 PLC 之间的通信遥 一个典型的 OPC Client 运行流程见图 15遥 程序结构见图 16遥OPC 基金会提供了 OPC 协议栈袁 在两个 dll 文件中袁分别是 Opc.Ua.Core.dll 和 Opc.Ua.Client.dll 所以袁在程序中需要引入以上两个引用遥using Opc.Ua曰using Opc.Ua.Client曰引入以上两个引用后项目中出现引用库袁见图 17遥为了能够让用户更好地应用以上协议栈袁使用 UAClientHelperAPI.cs 文件中的类袁需要把以上类库文件引入到工程中袁另外还需要一些其他类库袁需要引入到名字空间里袁最终需要的名字空间见图 18遥以上个动态链接库是西门子 1500PLC 的 OPC 编程需要的协议栈尧 西门子自己的帮助 API 库以及其他需要的库文件袁这些作为项目的基本配置袁在开发程序时需要首先配置好遥在程序合适的位置袁 首先需要建立一个 UAClien鄄tHelperAPI 类的实例袁这是使用帮助 API 的前提袁程序段如下院private UAClientHelperAPI myClientHelperAPI曰private Session mySession曰private Subscription mySubscription曰private EndpointDescription mySelectedEndpoint曰myClientHelperAPI=new UAClientHelperAPI渊冤曰其他成员是使用帮助 API 中需要的遥西门子的 OPC 端口一般是 4840袁所以运行在 PLC 的CPU 上的 OPC 完整 URL 如下院string discoveryUrl=opc.tcp院/192.168.0.1院4840曰找到 opc 服务器枚举其中的 endpoints袁 并选择后续需要的 endpoint袁见图 19遥标签的读写见图 20遥图12勾选需要OPC通信的数据项图13 OPC Client工具查找到的OPC服务器图14 PLC的OPC服务器内部开放的DB数据块图15 OPC uaclienet运行流程图16 OPC client的程序架构图17西门子OPC动态链接库图18底层项目需要的类库和名字空间122窑 测试与控制 窑4换热器结构设计盘管换热器设计总高度1600mm袁底部设计裙座袁管层为 DN10 不锈钢管袁壳层采用 DN300 规格不锈钢管袁 外部聚氨酯绝热厚度50mm遥换热器进出接口采用航天标准 37毅管路连接件焊接直通接头3遥盘管换热器结构设计图见图 2袁 并设置以下几个进出口院N1-DN25袁 乙二醇溶液进口曰N2-DN25袁 乙二醇溶液出口曰N3-DN10袁推进剂进口曰N4-DN10袁推进剂出口曰N5-DN20袁排液口曰N6-DN6袁仪表口遥5结束语本文设计了一套推进剂温度控制系统袁 并进行了换热器选型遥 以四氧化二氮为例进行了制冷和加热两种工况的换热计算袁得出了制冷工况所需换热面积更大袁换热管路更长袁根据计算结果进行了结构设计遥参考文献院1 中华人民共和国国家质量监督检疫总局袁 中国国家标准化管理位委员会.热交换器院GB/T 151-2014S.北京院中国计划出版社袁2014.2 李亚裕.液体推进剂M.北京院中国宇航出版社袁2011院122-145.3 陈敏恒袁丛德滋袁齐鸣斋袁等.化工原理渊上册冤第五版M.北京院化学工业出版社袁2020院211-240.图2换热器结构图Fig.2 Structure of heatexchanger渊上接第 118 页冤程序可以读写 PLC 变量标签袁 视觉程序即可完成与PLC 的通信遥5结束语根据实践中遇到急需解决的技术难点提出问题袁该技术难点是如何提高烟丝膨化设备安全性袁 由于微波空载是造成微波损坏和事故的重要原因袁 因此必须要对皮带上的是否空料进行监测袁 过去一直以来是采用人工进行监控袁 安全性无法保证袁 而且增加了人工操作的工作量遥 由于微波谐振腔内不能安装一般类型的传感器袁只能利用目前人工监控的视频信号袁 通过机器视觉算法来判断皮带上空料与否遥 机器视觉算法可以确定计算皮带上的物料空载率袁为设备安全生产提供了技术保证遥 PC 程序与 PLC 通过 OPC 通信遥微波谐振腔内光照明影响图像的获取袁 而图像获取是机器视觉算法的依据袁 因此光照的变化会影响到整个系统的运行效果遥 如何克服图像获取质量变化问题以及其他故障模式的视觉判决解决方案是后续研究的重点袁根据目前机器视觉技术和 AI 技术的发展袁预期是可以取得进一步的成果遥参考文献院1 王永恩袁周鹏举袁王博.大功率工业微波烘干设备在智能铸造工厂的应用J.铸造设备与工艺袁2018袁No.210渊03冤院5-6.2 李彦袁王卫斌.基于机器视觉技术的皮革材料缺陷可视化研究J/OL.中国皮革院1-52023-02-03.3 曹珩.机器视觉技术在 PCB 自动检测中的应用J.集成电路应用袁2022袁39渊12冤院258-259.4 郑元丰袁邱妍袁高艳飞.机器视觉技术在印刷品检测领域的进展J.丝网印刷袁2022袁No.335渊15冤院46-48.5 任科明袁文韬.OPC 技术在卷烟机械设备中的设计与实现J.微型机与应用袁2016袁35渊13冤院1-3.6 段润群袁 谢云山.上位机软件与 S7-1200 PLC 的 OPC 通信研究J.自动化与仪器仪表袁2014袁No.175渊5冤院13-15+19.图19 Endpoint枚举选择图20读写标签123