5G环境下基于深度学习的云化PLC物料识别与定位系统.pdf

5G 环境下基于深度学习的云化 PLC 物料识别与定位系统付美霞1,2)，王健全1,2)，王曲1,2)，孙雷1,2)，马彰超1,2)，张超一1,2)，管婉青3)，李卫2,3)1)北京科技大学自动化学院，北京1000832)北京科技大学工业互联网研究院，北京1000833)北京科技大学计算机与通信工程学院，北京100083通信作者，E-mail:摘要为了解决智能制造领域中云化控制与视觉分选应用相结合的问题，提出了基于深度学习的云化可编程逻辑控制器（Programmablelogiccontroller，PLC）物料识别与定位系统，并在端到端 5G 与时间敏感网络（Timesensitivenetworking，TSN）传输网络环境下，实现了对云化 PLC 架构和控制功能有效性的验证.首先，将传统 PLC 系统控制功能容器虚拟化，实现 PLC 的本地和云端自由部署；其次，在云端设计人工智能学习平台，采用基于 Youonlylookoncev5（YOLOv5）的目标检测算法实现物料的定位和分类，获取目标的像素坐标和类别信息；然后，利用相机标定方法把像素坐标转换成物理世界坐标，并将目标类别、坐标、时间戳信息传输到云化 PLC；最后，在 5G 和 TSN 融合网络环境下，实现云化 PLC 对天车设备的实时控制与复杂计算功能整合.结果表明，该系统能够有效的对多天车进行协同控制，物料定位均值平均精度（Meanaverageprecision，mAP）达到 99.65%，分选准确率达到 96.67%，平均消耗时间 225.99s，满足工业低时延、高精度的视觉分选需求.关键词智能制造；视觉分选；深度学习；云化可编程逻辑控制器；5G；时间敏感网络分类号TG142.71Material recognition and location system with cloud programmable logic controllerbasedondeeplearningin5GenvironmentFU Meixia1,2)，WANG Jianquan1,2)，WANG Qu1,2)，SUN Lei1,2)，MA Zhangchao1,2)，ZHANG Chaoyi1,2)，GUAN Wanqing3)，LI Wei2,3)1)SchoolofAutomationandElectricalEngineering,UniversityofScienceandTechnologyBeijing,Beijing100083,China2)InstituteofIndustrialInternet,UniversityofScienceandTechnologyBeijing,Beijing100083,China3)SchoolofComputerandCommunicationEngineering,UniversityofScienceandTechnologyBeijing,Beijing100083,ChinaCorrespondingauthor,E-mail:ABSTRACTIntellectualizationandunmannedmanufacturinghavebeenaninevitabletrendinindustrialdevelopment.Thelandingofintelligentapplicationsisoneofthecurrentchallengesintheindustry.Duetothehierarchicalarchitectureoftheindustrialautomationpyramid,traditional programmable logic controllers(PLCs)that are usually employed in the field cannot cooperate with artificialintelligence(AI)algorithmsthatrequiremassivedataandcomputingresources.Therefore,itisnecessarytoresearchthevirtualizationoftraditionalPLCsasdockers,whichcanbedeployedinthecloud,edge,orfield.CloudPLCscanbeeasilyintegratedwithAI,bigdata,andcloudcomputingtoachieveintelligentdecision-makingandcontrolandbreakdowndataislands.Thevisualsortingsystemhasattractedincreasingattentionforitsabilitytoaccuratelydetectthepositionofobjects.Manydeeplearningbasedmethodshaveachieved收稿日期:20221218基金项目:国家重点研发计划资助项目（2020YFB1708800）；广东省重点研究与开发计划资助项目（2020B010113007）；中央高校基本科研业务费专项资金资助项目（FRF-IDRY-21-005）；广东省基础与应用基础研究基金联合基金资助项目（2021A1515110577）；中央高校基础研究基金资助项目（FRF-MP-20-37）；中国博士后科学基金资助项目（2021M700385）工程科学学报，第45卷，第10期：16661673，2023年10月ChineseJournalofEngineering,Vol.45,No.10:16661673,October2023https:/doi.org/10.13374/j.issn2095-9389.2022.12.18.001;http:/remarkable performance in computer vision.Additionally,the requirement of a network is fundamental for guaranteeing datatransmission with low latency and high reliability.The combination of 5G and time-sensitive networking(TSN)can achieve thedeterministictransmissionofseveralindustrialapplications.Accordingtotheabovechallenges,jointcontrolbetweencloudPLCsoflow-leveldevicesandvisualsortingsystemsinareliablenetworkiscriticalandhasindustrypotential.Inthisstudy,weproposeadeeplearning based material recognition and location system with a cloud PLC,which is demonstrated in a 5G-TSN network.First,traditionalPLCisvirtualizedtorealizeflexiblePLCfunctiondeploymentinthefieldandcloud.Second,weestablishacloud-basedAIplatformanddesignaYouonlylookoncev5(YOLOv5)-basedobjectdetectionalgorithmtolocatethepositionandrecognizethetypesofmaterialstoobtainpixelcoordinates.Third,thecameracalibrationmethodisusedtotransformpixelandworldcoordinates,andthematerialinformationconsistsoftheworldcoordinates,types,andtimestampsthataresenttocloudPLC.Finally,thecommandsaretransmittedbythe5G-TSNenvironmentfromcloudPLCtothelow-leveldevicesforreal-timecontrolofthemulti-cranecooperative.Weestablishanexperimentalsystemtodemonstratethesignificanceandeffectivenessoftheproposedscheme,whichsynergisticallycontrolsmulti-craneoperation.Themeanaverageprecision(mAP)ofmateriallocationisupto99.65%,sortingaccuracyreaches96.67%,andtheaverageconsumingtimeis25.99s,whichmeetstherequirementsoflowlatencyandhighprecisioninindustrialapplications.KEYWORDSintelligentmanufacturing；cloudPLC；visualsortingsystem；deeplearning；5G；TSN智能制造是我国现代工业未来的发展趋势，是建设制造强国的重要支撑，是实现绿色低碳发展的重要领域12.由于我国人口老龄化和劳动成本的上升，企业对降本增效以及高精度和柔性生产的制造需求，“数字化、网络化、智能化”成为智能制造的发展方向3.传统制造业采用自动化技术、信息技术和通信技术构成以自动化金字塔为核心的生产制造模式，该结构通过现场总线技术、工业以太网技术和其他的专用网络技术，实现控制数据和管理数据的传输和交换4.在工业体系架构中，可编程逻辑控制器（Programmablelogiccontroller，PLC）是工业自动化控制的核心5.随着 PLC 业务需求不断增加，在部署方面硬件成本高，多种工控协议导致底层设备之间数据难以互通，无法满足灵活性和可扩展性需求.新兴下一代 PLC 技术云化 PLC 是基于虚拟化技术67，利用软件定义网络的实现思路，将传统专用的 PLC 功能解耦，通过应用程序来实现 PLC 逻辑控制的功能，为智能制造实现提供了方向.因此，PLC 软件系统可以部署在云端，很方便地与人工智能8、大数据9、云计算10相融合，实现智能化的决策与控制，同时打破数据孤岛的问题11.随着人工智能在多领域的广泛应用，工业智能应用也成为智能制造少人化、无人化发展的关键技术手段，特别是机器视觉12凭借其无接触、客观性、高度重复性等特点，在工业视觉检测中具有广泛的应用空间13.工业智能应用需要大量的数据驱动，例如视频、图像等对海量数据稳定性传输提出了较高的要求.第五代移动通信技术（5thGenerationmobilecommunicationtechnology，5G）具有高带宽、低时延和大连接等特点14.时间敏感网络（Timesensitivenetworking，TSN）基于以太网的技术，提供确定性、实时和超可靠通信15.为了保证视频、图像等数据的低时延、高可靠、确定性传输，5G 与 TSN 的融合部署为智能应用和工业控制提供了稳定的网络环境16.基于此，本文研究多天车物料分拣系统，将 PLC 控制功能虚拟化和人工智能学习平台共同部署在云端，实现工业智能应用的闭环控制.通过深度学习算法1718的目标检测方法实现物料的识别与定位19，并利用相机标定方法把像素坐标转换成世界坐标，使云化 PLC 实时获取天车物理世界位置，使得在 5G 和TSN 融合网络环境下，实现了云化 PLC 对多天车系统实时控制的实验验证，完成物料分拣任务.1基本原理1.1云化 PLC 部署方案在工业自动化金字塔结构中，控制系统占据重要位置，其作用是使用 PLC 实现感知输入、执行开发程序和写入输出等功能.例如，PLC 控制起重机的速度，并使其在工业视觉分拣系统中吸取传送带上的物料.传统 PLC 制造商众多，产生了不同的工业控制协议，使 PLC 无法实现设备之间的数据互通，难以满足灵活和可扩展部署.同时，新兴技术难以在工业控制系统中实施.在众多传统 PLC技术瓶颈解决方案中，云化 PLC 技术通过部署在云端的 PLC 软件实例取代传统硬件 PLC 设备，通过 5G 和 TSN 融合网络连接控制器与工业现场，达到降低硬件成本、实现云端与现场互联互通，被认付美霞等：5G 环境下基于深度学习的云化 PLC 物料识别与定位系统1667为是一种极具潜力的演进路线.云化 PLC 控制场景下的业务往往包含数据采集、电机控制、多 PLC功能协同与 HMI（Humanmachineinterface）交互等.如在天车场景中，包含实时性要求高的电机运动控制任务和实时性要求相对较低的调度策略选择与图像处理等任务，因此，合适的方式是将前者部署到靠近工业现场的本地 PLC 中，将后者部署到云端，云端与现场通过 5G 和 TSN 融合网络通信.云化 PLC 系统架构可分为，云服务器、工业骨干网和现场控制部分（Operationtechnology，OT）三部分，如图 1 所示.云服务器中的云化 PLC 因远离工业现场，具有高灵活性、高时延的特点，现场接入网中的本地 PLC 受体积、功耗等限制性能较弱，但实时性较强.因此将实时性要求高的电机运动控制任务部署到靠近工业现场的本地 PLC 中，实时性要求相对较低的调度策略选择与图像处理等任务部署到云端，云端与现场通过 5G 和 TSN 融合的工业骨干网络通信.云服务器部署了云化 PLC以及视觉服务器，云化PLC 用于协调并控制现场PLC动作，视觉服务器用于实时处理现场摄像头数据.5G-TSN 域主要为整个系统提供高性能确定性网络连接，以满足 PLC 控制的实时性和确定性，并保证在同一网络中，视觉数据与 PLC 控制指令的互不干扰.OT 域主要为现场控制设备和被控设备，主要包括本地 PLC、伺服驱动器、伺服电机、传送带和高清摄像头等.1.2物料识别与定位系统1.2.1基于 Youonlylookoncev5(YOLOv5)的物料检测网络x1,y1,x2,物料识别和定位系统利用深度学习网络识别物料的类别以及位置.目标检测（Objectdectection）方法是计算机视觉领域的经典方法，用于从图片或者视频中获取感兴趣的区域，并确定物体的位置和类别，满足物料识别与定位的需求20.在计算机视觉领域，目标检测算法主要包括以 YOLO21和Singleshotmultiboxdetector(SSD)22为代表的单阶段目标检测系列算法和以 Cascaderegion-basedcon-volutionalnetwork(RCNN)23为代表的两阶段目标检测系列算法.与两阶段算法相比，一阶段算法在模型复杂度方面表现显著.考虑网络复杂性和精确性，本文设计了基于 YOLOv524的物料识别与检测网络，用于获取目标的像素坐标和类别信息，其网络结构如图 2 所示，该网络由 Backbone、Neck和Prediction 三部分组成.Backbone 使用CSPDarknet学习原始图像的重要特征25.在 Neck 部分，采用路径聚合网络生成特征金字塔，从低层和高层网络中获得更多有用的特征.Prediction 模块输出预测边界框的坐标、分类和置信度分数，以(CloudserverCloudPLCArtificialintelligence5G-TSN bridgeCommandsstate dataVideo streamingLocal PLCCameraCrane 1Crane 2Conveyor beltIndustrialbackbonenetworkOperationtechnology图图1云化 PLC 系统架构Fig.1Architectureofcloudbased-PLCsystemarchitecture1668工程科学学报，第45卷，第10期y2,C,P)x1,y1)(x2,y2)CP来表示.其中(、分别表示模型输出的矩形预测框左上角与右下角像素坐标，表示预测框的类别，表示该预测框的置信度分数.通过这些参量可以计算目标检测网络的损失函数，用以优化网络的训练过程.YOLOv5 的损失函数包括回归损失函数、分类损失函数和置信度损失函数.Lreg|AB|AB|AB|AB|ACAU回归损失函数（Regressionloss，）用广义交并比（Generalizedintersectionoverunion,GIoU）26来定义，反映了网络预测框坐标与真实坐标之间的偏差程度.A 表示真实目标的区域，B 表示预测候选框的区域.表示目标区域和预测区域的交集面积，表示目标区域和预测区域的并集面积.区域交并比（Intersectionoverunion，IoU）是和二者的比值.C 是包含区域 A 和 B 的最小矩形区域，即包含 A 和 B 的边界框.代表能够同时包含 A 和 B 的最小框的面积，代表包含 A 和B 的并集区域面积.回归损失函数定义为：Lreg=1GIoU=1+ACAUACIoU（1）Lcls分类损失函数（Classificationloss，）采用带Logits 损失的二元交叉熵损失函数27，其定义为：Lcls=1NNi=1bCiln(sigmoid(Ci)+(1bCi)ln(1sigmoid(Ci)（2）Ci式中，N 为 mini-batch 所包含的样本数量；为预测bCi类别；为真实类别.Lcon置信度损失函数（Confidenceloss，）同样采用带 Logits 损失的二元交叉熵损失函数，其定义为：Lcon=1NNi=1bPiln(sigmoid(Pi)+(1bPi)ln(1sigmoid(Pi)（3）bPibPi式中，N 为 mini-batch 所包含的样本数量；为预测置信度；为置信度真值.置信度的取值范围为0,1.目标检测网络总损失函数为：LTotal=Lreg+Lcls+Lcon（4）本文以中国象棋棋子作为被分拣的对象物料，构建大量的数据集，训练 YOLOv5 模型，对红色和黑色棋子进行定位和分类.1.2.2相机标定(u,v)(x,y)在目标检测阶段，获取的位置信息仅仅是物料的像素坐标，需要采用相机校准技术将像素坐标转换成世界坐标.相机校准是描述像素坐标系和世界坐标系关系的集合，需要经历三次坐标转换28，如图 3 所示.第一次是从像素坐标系到图像坐标系，它们之间的关系为：uv1=1/dx0u001/dyv0001xy1（5）(u0v0)式中，,是原点 O 在像素坐标系中的坐标，(dx,dy)表示对应于图像坐标系中单位长度的像素数.(x,y)(Xc,Yc,Zc)第二次是从图像坐标系到相机坐标系的转换，f 是相机的焦距，它们之间的关FocusCBLCSP1_1CBLCSP1_3CBLCBLCSP1_3CBLCBLCBLCSP2_1CBLCBLCSP2_1CBLCBLCSP2_1CBLCBLConcatInputCONVCONVUpsampleCSP2_1CBLCSP2_1CBLCBLCONVBackboneNeckPredictionConcatConcatConcatSPPUpsampleslicesliceslicesliceCBLConcatFocusConvBNLeakyreluCBLResunitBNLeakyreluCBLCBLCSP_1xConvConcatBNLeakyreluResunitCBLConvCSP_2xCBLCBLConcatBNLeakyreluConvConvCBLSPPMaxpoolMaxpoolMaxpoolConcatCBL图图2基于 YOLOv5 的物料识别与检测网络Fig.2MaterialrecognitionanddetectionnetworkbasedonYOLOv5付美霞等：5G 环境下基于深度学习的云化 PLC 物料识别与定位系统1669系可以概括为：Zcxy1=f00f00000010XcYcZc1（6）(Xc,Yc,Zc)(Xw,Yw,Zw)第三次是从相机坐标系到世界坐标系的转换，它们之间的关系可以概括为：XcYcZc1=RT0T1XwYwZw1（7）33310T式中，R 是大小为的旋转矩阵，T 是大小为的平移矩阵，是(0,0,0).根据公式（1）（3），像素坐标系和世界坐标系之间的关系可以表示为：Zcuv1=m11m12m21m22m31m32m13m14m23m24m33m34XwYwZw1=MPw（8）式中，M 是相机的投影矩阵.通过相机校准方法，把像素坐标转换成世界坐标.随后，将世界坐标、物料类别、时间戳信息传递给云化 PLC，实现底层设备的协同调度.2物料视觉分选实验2.1实验环境(0.0776频率0.1357)5多天车视觉分拣系统主要设备如图 4 所示，包括天车、摄像头、传送带、云端服务器、气泵、伺服电机和 5G 网络等.在多天车视觉分拣系统中，伺服电机的型号为 DS5C 系列模块，驱动天车到达物料位置.伺服电机由编码器、输入电源、控制端和信号端组成.编码器的精度等级为 17 位和 23 位，输入电源的电压为 200240V，功率为 0.12.6kW.控制模型是三相全波整流 IPMPWM，用于控制正弦波电流.伺服电机的振动加速度为 4.9ms2.传送带系统中变频器的频率范围为 0150Hz，在实验中将其分别设置为 7.5、8.5、9.5 和 10.5Hz，可以通过转换成常用速度，分别为 2.23、2.61、3.01 和 3.39cms1，并在实验部分进行测试.2.2评价标准精确率（Precision）、召回率（RecallRate）和平均精度均值（mAP）被用作评估目标检测性能的标准方法29.精确率和召回率的公式为：Precision=TPTP+FP100%（9）Recall rate=TPTP+FN100%（10）式中，TP 表示将正类预测为正类的样本数量；FP表示将负类预测为正类的样本数量；FN 表示将正类预测为负类的样本数量.每类样本的平均精度（AP）是检测结果精确率和召回率曲线下的面积.mAP 是所有类的平均值，反映了检测器的性能.AP 和 mAP 的公式为：AP=Nnp(n)r(n)（11）mAP=QqAPQ（12）ZWXWxyvuPixelImageoYWZcXcYcCameraOcPWorld图图3相机校准示意图Fig.3MathematicalmodelofcameracalibrationCrane1CameraCrane2Cloud/AI serverServomotorCrane system图图4试验设备Fig.4Mainexperimentaldevices1670工程科学学报，第45卷，第10期r(n)p(n)是式中，为召回率轴上相邻点之间的距离；对应于召回率轴上点的精度率的值；N 是点数；Q 是类的总数；q 为第 q 个类.3结果与讨论3.1基于 YOLOv5 物料检测的实验结果在云端服务器上部署了人工智能学习平台，硬件计算设备集成 4 块 NVIDIA3090GPU（Graphicsprocessingunits）服务器，网络学习框架是 PyTorch.基于 YOLOv5 算法的物料检测和识别，首先，需要构建数据集.利用相机采集了中国象棋棋子 201 张图片，其中训练集 141 张，测试集 30 张，验证集30 张，并进行标注.棋子有红色和黑色两种颜色.随后，通过数据增强方法对原始图像进行预处理，例如颜色空间调整、随即擦除，以提高网络的鲁棒性.网络的训练次数设置为 1000 次，mini-batch 设置为 1.然后，采用 Adam 优化器30对网络进行训练和特征再表达，其初始学习率设置为 0.001.通过训练和测试算法 SSD22，Cascade-RCNN23，YOLOv524，数据集在精确率、召回率和平均精度均值的表现如表 1 所示.在准确率上，Cascade-RCNN和 SSD 优于 YOLOv5，但 YOLOv5 的召回率也达到 100%，精确率和平均精度均值接近 100%.在测试时间上，YOLOv5 优于 Cascade-RCNN 和 SSD，分别减少了 20 和 12ms.这表明 YOLOv5 在物料检测和识别实时性和准确性上表现出色.表表1基于物料检测的实验结果Table1ExperimentalresultsofmaterialdetectionModelDatasetNumberPrecision/%Recallrate/%mAP/%Time/msCascade-RCNN23Trainingset14110010010032Testingset30100100100Validatingset30100100100SSD22Trainingset14110010010024Testingset30100100100Validatingset30100100100YOLOv524Trainingset14199.9910099.6012Testingset3010010099.59Validatingset3010010099.65此外，图 5 展示了真实的检测场景，其中数字表示连续帧中每个对象的顺序号和置信度分数.可以看出，所有棋子的边界框均被框出，平均置信度得分高达 0.92，进一步证明了 YOLOv5 在分拣系统中的显著性能.图图5象棋棋子检测效果展示Fig.5ExperimentalresultsofmaterialdetectionbasedonYOLOv53.2多天车视觉分选系统的消耗时间和准确率本文设计了 12 次实验来测试系统的性能.对于每一次测试，在传送带上随机放置五枚红色棋子和五枚黑色棋子，两种颜色的总数量为 10.天车的加速度设置为 3.25ms2.传送带的速度分别设置为分别为 2.23、2.61、3.01 和 3.39cms1.在不同传送带速度下，多天车分拣系统的消耗时间和准确度如表 2 所示.消耗时间是十枚棋子全部分拣完成的总时间，包括 5G-TSN 网桥的视频流上行传输时间和控制指令回传时间、云端视觉检测识别时间和云化 PLC 控制天车运行时间等.从表 2 可以看出，12 次测试的平均消耗时间为 25.99s，能够满足实时分拣物料的要求.准确率是成功分拣的棋子个数与全部棋子的比值.每次实验红色和黑色棋子点数量均为 5 枚，在表 2 中 5/0 表示五枚棋子不存在漏检情况.在 2.23 和 2.61cms1的传送带速度下，分拣准确率均为 100%.随着传送带速度的增加（3.01 和 3.39cms1）存在漏检情况，准确率略有下降，12 次实验的准确度达到 96.67%，分析原因这可能一方面是因为棋子部署太密集，天车没有足够的时间捡起所有的棋子，尤其是在传付美霞等：5G 环境下基于深度学习的云化 PLC 物料识别与定位系统1671送带快速运行的情况下，不能保证天车在分拣相邻棋子的时候，在工作范围内吸附另一个棋子；另一方面是由于实验环境有限，实验平台仅仅设计了两台天车，如果沿着传送带部署多部天车，可以避免漏检问题.多天车物料分拣效果如图 6 所示，视觉检测的结果传输到云化 PLC 的服务器上，云化 PLC 通过调度算法对两个天车进行调控，分别完成不同种类棋子的实时分拣，并放置到指定位置.该系统可以应用于工业物料实时分拣任务，如有色金属杂质与金属的分离.图图6多天车物料分拣效果展示Fig.6Performanceofthemulti-cranevisualsortingsystem4结论本文主要就智能制造中传统 PLC 数据孤立问题，提出了云化 PLC 技术，利用软件定义网络的实现思路，将传统专用的 PLC 功能解耦，通过应用程序来实现 PLC 逻辑控制的功能.针对多天车视觉分选精确定位问题，提出了基于 YOLOv5 的物料检测和识别网络，利用相机坐标转换方法实现物料世界坐标的获取，并传输给云化 PLC 模块.将多天车视觉分选系统部署在 5G-TSN 网络中，保证云化PLC 对底层设备进行实时控制，满足工业低时延、高可靠等应用需求.今后的研究工作主要从多天车数字孪生系统、强化学习在虚拟空间的智能调度等方面展开，实现物理和虚拟空间的互通融合.参考文献ZhouJ.IntelligentmanufacturingMaindirectionof“madeinChina2025”.China Mech Eng,2015,26（17）:2273（周济.智能制造“中国制造2025”的主攻方向.中国机械工程,2015,26（17）：2273）1ZhongRY,XuX,KlotzE,etal.Intelligentmanufacturinginthecontextofindustry4.0:Areview.Engineering,2017,3（5）:6162Xue Y,Zang J Y,Kong D J,et al.Evolution and innovativeimplementationofindustrialmodelforintelligentmanufacturing.JMech Eng,2022,58（18）:303（薛塬,臧冀原,孔德婧,等.面向智能制造的产业模式演变与创新应用.机械工程学报,2022,58（18）：303）3WangJQ,LiW,MaZC,etal.5Gindustrialinternetempowerssmartsteel.Iron Steel,2021,56（9）:56（王健全,李卫,马彰超,等.5G工业互联网赋能智慧钢铁.钢铁,2021,56（9）：56）4KrupaP,LimonD,AlamoT.Implementationofmodelpredictivecontrol in programmable logic controllers.IEEE Trans ControlSyst Technol,2021,29（3）:11175Vazquez-GonzalezJL,Barrios-AvilesJ,Rosado-MuozA,etal.An industrial automation course:Common infrastructure forphysical,virtualandremotelaboratoriesforPLCprogramming.IntJ Online Eng,2018,14（8）:46LlanoA,AnguloI,delaVegaD,etal.VirtualPLClabenabled7表表2多天车视觉分选系统的消耗时间和准确率Table2Consumingtimeandaccuracyofthemulti-cranevisualsortingsystemNo.Conveyorbeltspeed/(cms1)Consumingtime/sMisseddetectionofredchessespiecesMisseddetectionofblackchessespiecesAllaccuracy/%12.2327.075/05/0100228.555/05/0100326.795/05/010042.6125.685/05/0100525.765/05/0100625.405/05/010073.0123.385/05/0100830.335/15/090927.925/05/190103.3923.605/25/0801124.165/05/01001223.355/05/0100Average25.9960/360/196.671672工程科学学报，第45卷，第10期physical layer improvement proposals for PRIME and G3-PLCstandards.Appl Sci,2020,10（5）:1777ZhangCM,LuY.Studyonartificialintelligence:Thestateoftheartandfutureprospects.J Ind Inf Integr,2021,23（1）:1002248WangJ,YangYQ,WangT,etal.Bigdataservicearchitecture:asurvey.J Internet Technol,2020,21（2）:3939SadeeqMM,AbdulkareemNM,ZeebareeSRM,etal.IoTandcloudcomputingissues,challengesandopportunities:Areview.Qubahan Academic J,2021,1（2）:110JinY,DaiH,LiSQ.DesignofPLCintelligentcontrolsystembasedonvisualinspection.Mach Tool Hydraul,2021,49（23）:113（金燕,代皇,李书齐.基于视觉检测的PLC智能控制系统设计.机床与液压,2021,49（23）：113）11StegerC,UlrichM,WiedemannC.Machine Vision Algorithmsand Applications.NewJersey:Wiley-VCH,201812Yang L,Xie Y C.Design of automatic sorting system forworkpieces based on PLC and machine machine vision.IndInstrum Autom,2022（1）:48（杨利,谢永超.基于PLC和机器视觉的工件自动分拣系统设计.工业仪表与自动化装置,2022（1）：48）13Azari M M,Solanki S,Chatzinotas S,et al.Evolution of non-terrestrialnetworksfrom5Gto6G:Asurvey.IEEE Commun SurvTutor,2022,24（4）:263314Zhao L X,Pop P,Steinhorst S.Quantitative performancecomparisonofvarioustrafficshapersintime-sensitivenetworking.IEEE Trans Netw Serv Manag,2022,19（3）:289915LarraagaA,Lucas-EstaMC,MartinezI,etal.Analysisof5G-TSN integration to support industry 4.0/2020 25th IEEEInternational Conference on Emerging Technologies and FactoryAutomation(ETFA).Vienna,2020:111116LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015,521（7553）:43617ZaidiSSA,AnsariMS,AslamA,etal.Asurveyofmoderndeeplearning based object detection models.Digit Signal Process,2022,126:10351418ZhaoZQ,ZhengP,X