基于视觉和输送链跟踪的机器人分拣系统设计.pdf

http:/ -95-DOI:10.13899/ki.szptxb.2023.04.012 基于视觉和输送链跟踪的机器人分拣系统设计*陈 芳（深圳职业技术学院 机电工程学院，广东 深圳 518055）摘 要：在工业物流领域，机器人视觉分拣已得到广泛应用。为提升对位置和颜色随机的物料的自动化分拣效率，设计了一套融合机器视觉技术和输送链跟踪技术的机器人分拣系统。在该系统中，康耐视智能相机负责捕获物料图像、识别颜色并计算位置，通过 socket 通讯协议，将颜色和静态位置数据发送给IRB360 并联机器人。DSQC377 专用输送链跟踪板负责采集实时位移数据。机器人通过将接收到的静态位置数据和输送链跟踪板采集到的实时位移叠加，计算出物料的实时坐标，完成对物料的抓取，并依据颜色信息对物料进行分类，放置在出料带上。研究中详细的程序流程图展示了机器人和智能相机的操作流程，同时对系统的整体调试步骤进行了深入描述，实际应用案例的测试结果证实了工业机器人视觉引导技术与输送链跟踪技术结合的有效性。关键词：机器视觉；输送链跟踪；工业机器人；分拣系统 中图分类号：TP242 文献标识码：A 文章编号：1672-0318（2023）04-0095-08 产品分拣在工业自动化生产中是关键环节。传统生产线上的人工分拣方式往往效率低下，且劳动强度大。重复性强的分拣工作往往会导致长时间的机械化操作，这种劳动疲劳容易分散工人注意力，进而造成分拣错误。鉴于此，工业机器人因其能在各种环境中高效运行，寿命长，维修成本低，稳定性高，定位精度高，并具有优良的一致性，逐渐在生产线上被用来替代人工进行自动分拣1。工业机器人的运动通常通过示教或离线编程实现，但这需要预设初始和终止位置。如果工件的放置位置有所变动，机器人往往无法进行相应的调整，造成抓取错误。因此，机器视觉技术在此环节的应用显得尤为重要，它可以通过结合工业相机和图像处理技术实现机器人的自动引导。应用机器视觉技术可以帮助机器人进行工件的识别和定位，使分拣作业更加可靠和灵活，增强了生产效率和机器人分拣系统的智能化程度。在物料分拣流水线中，为了维持生产节奏，传送带通常会持续运转。因此，要实现对移动产品的抓取，工业机器人需要使用输送链跟踪技术，对传送链上的产品进行动态跟踪。在这个过程中，机器人的工具中心点会自动跟随传送链上的工件移动。一旦工件进入机器人的工作范围，机器人的工具中心点与工件相对静止，这样就完成抓取，而且不影响分拣效果，从而提高了分拣效率。在基于视觉技术的工业机器人领域，国外已研究多年并取得了许多突破性成果。例如，澳大利亚韦仕敦大学（Western University）研制了具有视觉系统的六自由度工业机器人。日本学者村上等人结合视觉传感器和神经网络，深入研究了弧焊机器人焊缝跟踪控制系统2。欧宝、保时捷等汽车制造商在生产线上使用 3D 视觉定位技术对车身进行高精度密封。近年来，随着工业机器人在国内的广泛应用，国内学者也对机器视觉在工业机器人上的应用展开了深入研究。例如，马红卫研究并构建一套基于机器视觉的工业机器人锂电池载流片定位系统，该系统采用根据坐标关系自己开发的标定算法3。龚素芬等以机器视觉系统为核心，分别从工件识别 收稿日期收稿日期：2022-05-16*项目来源：项目来源：深圳职业技术学院（2022 年度）自然科学项目“多轴伺服系统位姿轮廓误差耦合特性与解耦控制机理研究”（6022310021K）。作者简介：作者简介：陈芳（1977），女，湖南桃源人，硕士，副教授，主要研究方向：机电一体化、电气自动化技术。深圳职业技术学院学报深圳职业技术学院学报 2023 年第 4 期 No.4,2023-96-http:/ 深圳职业技术学院学报 2023，22（4）定位、相机的标定、工件搬运等方面分析了基于机器视觉引导的方法4。王诗宇采用图像去重复算法避免分拣对象的漏捡误捡，改进Canny算子，提取对象的边缘信息作为图像特征，较好地克服了光照变化对视觉系统产生的影响5。雍洋洋等设计了一种基于机器视觉识别和 PLC 控制的自动装配生产线，其系统通过视觉识别技术、工业机器人技术和工件再定位技术等，使用 PLC 和HMI 协同设计，对系统各单元进行控制和监控6。以上研究主要针对机器人视觉引导抓取技术进行研究，没有提及输送链跟踪，只适用于静止无序物料的静态分拣。李雪峰等研究了通过编码器位置反馈，计算物品坐标系的实时矩阵研究直线传送带跟踪算法，对机器人跟踪算法提供了参考7。王功亮等对输送链跟踪技术的原理进行了分析，并使用 robotstudio 软件搭建输送链跟踪系统进行了仿真分析，在缩短生产线研发周期和提高设计效率方面，提供了重要的参考价值8。陈永平等设计的机器人双追踪传送包装系统建立了传送带基坐标和物料移动工件坐标，使用了 ABB 工业机器人的 DSQC377 专用输送链追踪板对物料位置信息进行记录，实现了物料和包装盒的生产线的动态追踪9。以上研究主要聚焦于有序物料的输送链动态跟踪技术的分析，没有提及机器视觉的应用，不适用无序物料的输送链动态分拣。史龙尧提出基于时间的目标去重算法和传送带跟踪抓取策略，实现了基于机器视觉的传送带动态分拣，分拣效果稳定准确，提供了完整的算法借鉴10。但该方案需要进行复杂的视觉算法和跟踪补偿算法设计，并需基于 Opencv 和 QT平台编程实现，对应用编程人员要求较高。针对无序随机物料跟随传送带进行直线位移的场景，基于视觉实现机器人的动态分拣的应用研究还相对较少。为此，本研究将机器人视觉技术与输送链跟踪技术相结合，以 ABB IRB360 并联机器人为例，利用康耐视智能相机所提供的高级视觉工具库和 ABB 机器人的集成输送链跟踪硬件及软件功能，设计工业机器人动态分拣系统。该方案避免了复杂的算法设计，突出了简易性、通用性以及操作便捷性，具有强大的应用潜力。一、系统方案设计（一）系统工艺流程 物料分拣系统主要是完成四种颜色无序药丸的分类分拣，其工作流程如图 1 所示。首先药丸通过振动盘送入进料传送带，此时药丸的位置和颜色完全随机。智能相机拍摄药丸并进行数据处理，将药丸的位置信息和颜色信息输出至机器人控制器。此后，机器人控制器接收智能相机输出的信息，并结合输送链跟踪的数据，完成对药丸的动态追踪和抓取。最后，机器人在抓取药丸后，会根据智能相机提供的颜色信息进行分类，并将药丸放置在对应的出料传送带上，送往下一个工作站。图 1 工作站流程图（二）系统总体组成与运行原理 整个物料分拣系统由机器人本体、机器人控制器、传送带、编码器、跟踪板卡 DSQC377、智能相机和 PLC 组成，如图 2 所示。其中控制器有三个：PLC、智能相机、机器人控制器。PLC 主要负责控制振动盘，进料传送带和出料传送带的速度控制。PLC选用西门子S7-1500PLC，西门子 PLC 和 ABB 机器人之间通过 Profinet 协议通讯，具有响应速度快，工作效率高的特点。N 开始 初始化 振动盘出料 视觉识别机器人追踪拾取 取药丸 A 取药丸 B 放置 B 出料输送带 取药丸 C 放置 C 出料输送带 取药丸 D 放置 D 出料输送带 放置 A 出料输送带 订单是否已完成？结束流程 Y http:/ 深圳职业技术学院学报 2023，22（4）-97-图 2 系统组成 智能相机负责拍照，并将分析处理好的物料颜色和坐标信息传输给机器人控制器。智能相机选用康耐视 In-Sight 8402 视觉传感器，其超小巧的独立式视觉系统适合集成到狭小的空间使用。分辨率为 1600*1200 像素，视觉系统提供彩色图像帧速率达到 33fps 的快速采集功能，支持使用千兆以太网进行高速通信，最快可达到大约 1000Mbps 的传输速率，完全可以满足本分拣系统中对图像数据采集和传输高速率的要求。机器人控制器负责执行分拣动作。工业机器人选用 ABB IRB360-1/0.8 型号，载荷 1kg，工作范围为 0.8m，具有速度快，占地面积小等特点。其中需要用到 ABB 工业机器人控制器的选项功能111如表 1 所示。表 1 机器人控制器选项功能 序号 功能名称 作用 709-1 DeviceNet Master/Slave 安装DSQC652 IO板和 DSQC377 板 616-1 PC Interface 相机与机器人控制器 socket 通讯 888-3 PROFINET Device 工业机器人控制器与 PLC 通讯 606-1 Conveyor Tracking 输送链跟踪 PLC、智能相机和机器人控制器之间通过网线相连，其中 PLC 和机器人控制器之间通过 Profinet通讯，机器人控制器与智能相机之间通过 socket 通讯。首先机器人控制器通过 socket 通讯方式，给智能相机发出拍照命令，然后接收智能相机传过来的物料坐标信息和颜色信息。机器人控制器通过DSQC377 专有跟踪板，接收来自安装在传送带上的编码器的数据，同步实时更新输送链坐标系，在输送链坐标系下完成物料抓取工作，并根据颜色信息再将抓取的物料放置对应出料传送带上。（三）机器人视觉实现原理 机器人视觉的主要功能是接收到机器人拍照指令后，生成物料机器人坐标值和物料的颜色信息，并以字符串的形式返回给机器人，其实现流程如图3 所示。康耐视 In-Sight 视觉软件是独立的工业级视觉系统，提供了丰富的高级视觉工具库，具有高速图像读取和处理功能。上述流程的各个步骤可以在 In-Sight 视觉软件中通过表格编程的方式调用工具库函数实现，不需要编写复杂算法。图 3 机器人视觉流程 运行程序之前需要完成 9 点标定和颜色模型训练。9 点标定即通常所说的“手眼标定”，使用视觉工具库中的CalibrateAdvanced函数构建相机坐标系和机器人坐标系之间的变换矩阵。使用TrainExtractColor 函数训练颜色模型。当智能相机接收到机器人控制器发出的拍照指令后，智能相机触发拍照，完成图像采集，得到原始图片。原始图片与训练得到的颜色模型库对比，得到颜色数据。同时将原始图片进行图像处理，图像处理主要包括白平衡处理和灰度处理。斑点提取是在处理后的灰度照片中提取药丸中心点的像素坐标。将药丸的像素坐标通过最开始得到的坐标变换矩阵换算成机器人坐标。将得到的机器人坐标和颜色数据按一定的规律排列生成一条字符串，最后图像采集 图像处理 斑点提取 坐标变换 生成字符串 输出字符串 9 点标定 颜色识别 颜色训练 拍照指令 来自机器人 给机器人-98-http:/ 深圳职业技术学院学报 2023，22（4）开始 初始化：开启中断等 等待 PLC 启动命令 连接相机 输送链视觉 跟踪子程序 结束 将字符串以 socket 通讯方式输出给机器人控制器。（四）输送链跟踪原理 输送链跟踪是指机器人控制器与输送带之间的协调运动，使机器人有能力跟随沿输送链移动的工件同步作业。输送链跟踪坐标系统设计如图4 所示。机器人基坐标系Wobj0 位于机器人底座固定不动。输送链基坐标系 WobjCNV0 原点位于输送链坐标为 0.0m的位置固定不动。输送链基坐标系跟随输送链一起移动就构成了输送链移动坐标系WobjCNV1。机器人工具 TCP 移动的坐标值是参考工件坐标系，当物料进入启动窗口之后，只要将机器人的工件坐标系链接到输送链移动坐标系 WobjCNV1 上，机器人工具 TCP 就能相对物料静止完成抓取，实现输送链跟踪。当完成该物料的抓取后，可将工件坐标系与 WobjCNV1 断开。当下一个物料进入启动窗口之后，可再次将工件坐标系与输送链移动坐标系WobjCNV1 链接，开始下一个移动物料的跟踪。输送链跟踪的准确度取决于输送链坐标系的准确性，要计算 WobjCNV1 相对于 WobjCNV0移动的距离和方向，设计输送链跟踪系统硬件连接如图 5 所示。图 4 输送链跟踪系统图 图 5 输送链跟踪硬件连接图 输送链编码器用于探测输送链移动的距离；当物料触发同步开关且到达输送链 0.0m 的位置时，完成工件坐标系和输送链移动坐标系 WobjCNV1的链接；输送链跟踪板卡 DSQC377 接收编码器和同步开关信号输出给机器人控制器；机器人控制器中的 606-1 Conveyor Tracking 选项功能即输送链跟踪软件，完成对跟踪过程的控制。对于线式输送链，通常采用 4 点法校准输送链移动的方向12213。二、系统软件设计 系统软件设计主要包含机器人控制器程序设计、智能相机程序设计和 PLC 程序设计。PLC 程序主要控制振动盘、进料传送带、出料传送带的速度控制和系统安全信号的控制，这里不做赘述。（一）机器人控制器程序设计 1.机器人控制器主程序设计 机器人控制器的 RAPID 主程序流程图如图 6所示。图 6 机器人主程序流程图 主程序开始后，首先进入“初始化”子程序，“初始化”子程序中主要完成开启中断，变量初始化，断开输送链连接和关闭套接字 socket，机器人回原点等。机器人在原点等待 PLC 发出系统启动命令。当接收到启动命令之后，开始连接智能相机，然后进入输送链视觉跟踪子程序。2.输送链视觉跟踪子程序 输送链视觉跟踪子程序流程图如图7所示。3.中断程序设计 机器人停止功能由中断程序完成。初始化中断开启后，当机器人接收到输入中断信号 DI_Stop_ http:/ 深圳职业技术学院学报 2023，22（4）-99-Y Y N N Y N 开始 ActUnit CNV1；激活输送链机械装置；DropWObj wobjcnv1；断开输送链上的工件连接 PulseDO c1RemAllPObj 删除输送链队列中的所有工件 SocketSend 机器人给相机发送拍照命令 WaitWObj wobjcnv1；等待工件链接 根据坐标信息跟踪抓取药丸 Receive()；接收并处理相机数据得到坐标和颜色子程序 Count_Num=0？判断有无药丸 本次拍照的药丸是否已分拣完？RPlace()；依据颜色放药丸子程序 DropWObj wobjcnv1；断开输送链上的工件连接 c1Connected=0？确认工件连接已断开 Interrupt 后，机器人进入中断，完成停止动作。其中断程序的流程图如图 8 所示。图7 输送链视觉跟踪子程序流程图 图 8 机器人停止中断程序流程图（二）智能相机程序设计 使用康耐视智能相机的In-Sight Explore编程环境，采用电子表格编程方式进行智能相机程序编制。电子表格程序流程图如图 9 所示。图 9 智能相机程序流程图 照 片 预 处 理 部 分 通 过WhiteBalance和ColorToGreyscaleFilter 函数进行白平衡和灰度预处理，去掉不相干信息。提取药丸相机坐标并排序部分通过 ExtractBlobs 提取斑点函数得到 6 个药丸的相机坐标。再使用 SortBlobs 斑点排序函数对 6 个药丸按 X 坐标进行排序。9 点标定部分使用CalibrateAdvanced 函数，通过给定 9 个点的像素坐标和机器人坐标，建立两者之间的坐标转换关系。提取药丸颜色部分首先使用 TrainExtractColor 函数训练颜色库，这包括白色、黄色、红色和蓝色，共计四种颜色。然后，利用 ExtractColor 函数获取药丸的颜色编号：1 代表白色，2 代表黄色，3 代表红色，4 代表蓝色。在坐标转换阶段，采用 9 点标定得到的转换矩阵将排序后的相机坐标转换为机器人的坐标值。TCP 通讯部分通过使用 TCPDevice 函数与机器人控制器建立 socket 连接。在收到机器人控制器发出的拍照命令后，系统会发送颜色信息和位置信息至机器人控制器。三、系统调试 为了使机器人控制器、智能相机以及 PLC 之间能协调工作，还需进行系统调试。系统调试的主要工作是输送链跟踪的参数设置以及智能相机和机器人控制器之间的通信调试。（一）输送链跟踪的基本参数设定 产品被检测处于跟踪状态到动态拾取过程12210开始 9 点标定 结束 照片预处理 提取药丸相机坐标并排序 提取药丸颜色 TCP 通讯 转换为机器坐标 DI_Stop_Interrupt=1 中断入口：结束 断开输送链上的工件 断开输送链 机器人回原点 停止执行程序-100-http:/ 深圳职业技术学院学报 2023，22（4）如图 10 所示，其中涉及的参数设置见表 2。为了保证输送链每运行 1 米时，编码器输出的脉冲数量在 1250-2500 之间，机器人控制器同时采集 A 相，B 相上升沿和下降沿个数，一个周期内采集 4 个信号，控制器采集的计算信号在5000-10000 之间。少于 5000 会影响机器人的跟踪精度，多于 10000 不会提升机器人跟踪精度，输送链运行的最低速度为 4mm/s，最高速度为2000mm/s。图 10 输送链跟踪窗口示意图 表 2 输送链跟踪参数设置 参数名称 设定值 参数注释 CountsPerMete 10000 输送链每运行 1 m，控制器实际采集到的计算信号个数 SyncSeparation 0 同步分离大小 QueueTrckDist 0 队列长度大小 StartWinWidth 0.2 开始窗口大小：通过运行 WaitWobj 指令将连接该窗口中的第一个工件 Maximum distance 500 最大距离 Minimum distance 0 最小距离 Adjustment Speed 250 机器人追赶输送链的速度大小：必须大于输送链运行速度 （二）智能相机和机器人通讯调试 智能相机和机器人控制器的 IP 应为同一网段，智能相机为 Socket 通信的服务器端1183，机器人为客户端，同时启动智能相机和工业机器人控制器，其通信过程如图 11 所示。首先智能相机通过 TCPDevice 函数建立socket 通信的服务器，机器人控制器通过SocketCreate 函 数 创 建 socket 客 户 并 通 过SocketConnect 函数与智能相机服务器建立连接。当机器人控制器通过 WaitWObj 函数检测到输送链连接上工件后，马上通过 SocketSend 函数向智能相机发出拍照指令。智能相机通过 Read 函数接收到指令后，与字符串“OK”比对，比对成功确认为拍照指令后，通过 Write 函数将颜色坐标信息以字符串 的 形 式 发 给 机 器 人。机 器 人 控 制 器 通 过SocketReceive 函数将接收的字符串存入 String2中，再进行数据分析，将字符串解析为机器人坐标值和颜色信息。图 11 智能相机和机器人控制器的通信示意图 四、应用实例与实验结果分析 按照前述的配置搭建了工业机器人药丸分拣工作站如图 12 所示。为了证实工业机器人视觉引导技术和输送链跟踪技术结合应用在物料分拣中的有效性与可靠性，本研究进行了一系列相关实验。“2;12.5;34.6;”客户端：机器人控制器（IP:192.168.120.10）服务器端：相机（IP:192.168.120.18）TCPDevice(,8888,0,0,1000,0)SocketCreate socket1 SocketConnect socket1,192.168.120.18,8888 SocketSend socket1Str:=“OK0D”发送拍照命令 Read Exact(B67,“OK”)命令比对 Write“OK”SocketReceive socket1Str:=String2；接收颜色坐标字符串 WaitWObj wobjcnv1；输送链工件连接 http:/ 深圳职业技术学院学报 2023，22（4）-101-图 12 药丸分拣工作站应用实例（一）分拣可靠性实验与结果分析 为了测试本文物料分拣方案的可靠性，在实验中准备了 4 种不同颜色的圆柱形药丸，每种药丸数量为 50 个，共计 200 个。每次分拣总数为 200，共做 5 次实验，其分拣效果见表 3。实验结果表明，整体分拣正确率较高，除了蓝色药丸，其他颜色药丸分拣正确率都能达到100%。对实验结果进行分析后，发现前 2 次实验主要是因为蓝色药丸颜色较深，与传送带背景色接近，对环境光比较敏感，因此环境光的变化容易导致识别失 表 3 可靠性实验结果 颜色 尺寸/mm 分拣样本数/个 第 1 次实验错误数/个 第 2 次实验错误数/个 第 3 次实验错误数/个 第 4 次实验错误数/个 第 5 次实验错误数/个 正确率/%白色 10*3 50 0 0 0 0 0 100 黄色 10*3 50 0 0 0 0 0 100 红色 6*3 50 0 0 0 0 0 100 蓝色 6*3 50 1 1 0 0 0 99 败，进而导致分拣不成功。后面 3 次实验通过安装窗帘添加辅助光源等措施让环境光保持稳定后，分拣正确率可达 100%。（二）分拣效率实验与结果分析 为了测试视觉引导技术和输送链跟踪技术的结合应用对分拣效率的提升，设计了 3 组实验进行对比，其中前 2 组为传统方案。第一组模拟情景：使用进料传送带，但不使用输送链跟踪技术，仅使用智能相机识别颜色。这种情景主要适用于当相机识别区域不在机器人本体的工作范围内，必须使用进料传送带将药丸移送到机器人本体工作范围内，并且通过传感器检测药丸到达固定位置才能去抓取进行分拣的情况。第二组模拟情景：适用于相机识别区域在机器人本体的工作范围内，所以可以不使用输送链，仅使用视觉引导技术，机器人直接到相机识别区域去抓取物料进行分拣。第三组模拟情景：结合视觉引导技术和输送链跟踪技术进行分拣。每组实验机器人本体移动采用相同的运行速度，均连续运行 5min，其实验结果见表 4。表 4 分拣效率实验结果 实验组 运行时间/min 分拣个数 效率（个/min）第一组 5 176 35.2 第二组 5 238 47.6 第三组 5 349 69.8 实验结果表明，第三组结合使用视觉和输送链跟踪技术实验的分拣效率相对于前两组传统方案有明显提高，分别为第一组的 1.98 倍和第二组的 1.47倍。经分析，第三组相对于第一组，主要是节省了机器人等待药丸到位的时间，从而提高了生产节拍；相对于第二组的效率提升在于机器人移动过程中，药丸同时也在移动，减少了机器人移动的行程，从而减少了运行时间，提高了分拣效率。参考文献：1 陈芳 基于工业机器人的 3C 产品柔性生产线电气系统设计J深圳职业技术学院学报，2020（1）：8-15.2 董文辉基于机器视觉的工业机器人抓取技术的研究D武汉：华中科技大学，2011：2 3 马红卫基于机器视觉的工业机器人定位系统研究J制造业自动化，2020（3）：58-62-102-http:/ 深圳职业技术学院学报 2023，22（4）4 龚素芬，王军基于机器视觉的工业机器人工件搬运技术及应用J中国新技术新产品，2019（2）：34-35 5 王诗宇，林浒，孙一兰，等基于机器视觉的机器人分拣系统的设计与实现J组合机床与自动化加工技术，2017（3）：125-129 6 雍洋洋，张广才，高新浩，等基于机器视觉的机器人装配工作站系统设计与研究J机械制造与自动化，2018（5）：184-186 7 李雪锋，庄健培，高燕，等一种机器人的传送带动态跟踪算法J 机床与液压，2021（17）：65-67 8 王功亮，王好臣，李振雨，等基于RobotStudio的工业机器人输送链跟踪仿真J机械设计与制造，2019（11）：231-234 9 陈永平，王凯凯基于ABB机器人的双追踪传送包装系统设计J包装工程，2020（1）：116-122 10 史龙尧基于机器视觉的传送带分拣系统设计D杭州：浙江工业大学，2020：36 11 陈瞭，肖步崧，肖辉ABB工业机器人二次开发与应用M北京：电子工业出版社，2021 12 上海ABB工程有限公司工业机器人实用配置指南M北京：电子工业出版社，2021 Design of Robot Sorting System Based on Machine Vision and Conveyor Tracking CHEN Fang（School of Mechanical and Electrical Engineering,Shenzhen Polytechnic,Shenzhen,Guangdong 518055,China）Abstract:In industrial logistics,robot vision sorting has been widely used.In order to improve the automation level and efficiency of robots sorting materials with random positions and colors,a robot sorting system integrating machine vision technology and conveyor tracking technology is designed.The system uses a Cognex smart camera to complete image acquisition,color recognition and position calculation.It uses Socket Communication to transmit color and static position data to the IRB360 robot,and uses a DSQC377 conveyor tracking board to collect real-time displacement data.By overlaying the static position data transmitted by the camera with the real-time displacement data collected by the conveyor tracking board,the robot calculates the real-time coordinates of the material,then classifies the material according to color information and places it on the discharge belt.The article provides program flowcharts of robot and intelligent camera,and explains the overall debugging steps of the system.The test results of the application case indicate that the combination of industrial robot visual guidance technology and conveyor tracking technology can achieve dynamic tracking on the material sorting conveyor belt and improve sorting efficiency.Key words:machine vision;conveyor tracking;industrial robot;sorting system （责任编辑：周钦）