基于机器视觉的智能起重机系统应用研究.pdf

712023 年第 21 期/新产品新技术NEW PRODUCT NEW TECHNOLOGY基于机器视觉的智能起重机系统应用研究*马晶磊 姜永磊 江苏省特种设备安全监督检验研究院 南京 210036摘 要：文中针对某在用吊运核废料起重机控制方式的运行特点，研究其基于自抗扰控制器的机器视觉扰动抑制方法，采用工业相机获取该起重机运行过程中工作区域内的数据，通过试验论证，该系统在保证视觉识别运行系统定位精度的同时，具有很好的可靠性，表明该系统能够实现起重机的运动和定位控制。关键词：起重机，机器视觉，双目相机，定位控制中图分类号：TH21 文献标识码：A 文章编号：1001-0785（2023）21-0071-06Abstract:Based on the operation characteristics of the control mode of an in-service nuclear waste crane,the machine vision disturbance suppression method based on active disturbance rejection controller is studied,and the data in the working area of the crane during operation are obtained by using industrial cameras.Test results show that the system has good reliability while ensuring the positioning accuracy of the visual recognition operation system,indicating that the system can realize the movement and positioning control of cranes.Keywords:crane,machine vision,binocular camera,positioning control0 引言起重机承担着搬运、抓取物料的作用，现有的大多数起重机为人工操作，对位的精准度操作难度在于控制如何准确地对准目标吊具及吊载物品。具体而言，在于准确判断相关物体之间的相对位置关系，以及判断起重机吊具和负载的运动状态，并在适当的时机采取正确的操作。针对此问题，国内外的起重机制造企业一直致力于起重机自动化运行技术的研发工作。传统起重机的自动定位技术主要依赖于传感部件，例如常见的限位开关和编码器，国外某公司则偏向于使用激光、红外线来实现定位功能，以检测起重机是否到达目标位置。此外，通过PLC系统和模糊PID算法控制变频电动机的运转，以实现精准的起重操作1，2。采用该方法获取控制数据信号存在以下缺点：一是起重机运行环境大多比较恶劣，传感器的安全性和使用寿命往往得不到保障；二是该方法无法获取使用现场的运行数据，无法实现起重机远程监控以及对运行误差做进一步的修正。近年来，随着智能机器视觉识别技术的迅速发展，其在起重机领域发挥着推动作用。非接触式的视频识别，无论起重机的工作环境如何变化，机器视觉系统都能够完美适应并实时提供数据监控。尤其是在一些特殊使用环境的起重机，其运行过程中的定位准确性与稳定性是起重机工作运行的重要考虑因素。1 系统研究方案本方案意在通过机器视觉系统测量获取工作场景，对工作场景进行数据建立，系统框架图如图 1 所示。通过图像传感器（Charge Coupled Device，CCD）双目工业相机系统利用视野内的场景图像信息作为输入，然后采用高性能处理技术进行分析和处理。工控机（Industrial Personal Computer，IPC）处理图像单元，工业相机的参数主要包括匹配算法选择和匹配阈值设置，利用 GigE 接口获取 CCD 相机所拍摄的物料图像数据。采用优化算法进行起重机路径的自动规划。使用 Modbus 通讯协议将数据信息传输到运动控制器，运动控制器根据接收到的数据决定是否启动吊运功能，计算物料与吊具之间的距马晶磊，姜永磊.基于机器视觉的智能起重机系统应用研究 J.起重运输机械，2023（21）：71-76.引 用 格 式*基金项目：院校级基金“智能起重机系统检验研究与应用”KJ(Y)202303972/2023 年第 21 期离，之后利用这些计算结果控制运动机构。同时，物料与吊具的实时相对坐标作为反馈量，实现闭环控制3。图 1 系统框架图2 选型配置本文以一台加装了机器视觉的自动化起重机为研究对象。选用 InnoVision 品牌的 IN-L1005 型相机，特点在于500万像素级CCD摄像头，高动态范围(High Dynamic Range，HDR)模式可捕获高对比度场景，并提供软件开发工具包（Software Development Kit，SDK），支持 C+和 C#语言编写；起重机的大小车驱动机构分别采用 Yakawa 公司的系列电动机，起重用多功能 CH700 变频器，能在电源频率的 1.5 个周期（0.025 s）以内进行启动、暂停和反转。网络摄像机（IP Camera，IPC）是为满足高速、高功能需求而设计的，其可以分析从采集回来的数据图像中得到的大量像素，故选择 Intel7 处理器、4 T 硬盘、独立显卡等配置。3 机器视觉定位原理为了准确恢复真实空间的参数信息，需要选择与平面参数和成像坐标系相匹配的图形算法函数，以便在基于图像获取和数字信号之间转化的原理下获得高精度的目标位姿参数4。3.1 坐标系群如图 2 和图 3 所示，在相机模型中，小孔成像模型和双目相机模型的组成起着重要作用。若假设空间中有一个点 P（XC，YC，ZC），则该点在左右相机的投影平面上的 Pl和 Pr是 2 个投影，通过分析由 2 条射线 Ol Pl和 OrPr形成的交点确定 P 点的位置并获取深度信息。在使用双目相机时，相机通常不会完全保持正对目标，而是存在一定程度的旋转和平移关系，故使用平移向量T 和旋转矩阵 R 可以相互联系修正相机的偏差5。图 2 小孔成像模型 图 3 双目相机模型由于人为误差，芯片中心点通常偏离光轴，同时成像设备的像素形状也由正方形变成矩形，需要引入新的参数Cx和Cv，以基于小孔成像原理实现更精确的成像，对屏幕投影坐标中心点发生的预估偏移进行建模。假设P 点的坐标为(X，Y，Z)，利用式(1)将该点的图像投射到设备指定像素的位置(xs，ys)。sxsyXxfCZYyfCZ （1）透过透镜将光线弯曲，当光线汇聚到投影点上时，由于透镜形状和加工工艺等因素的影响，会产生径向畸变，导致离透镜中心越远的光线曲率越大，靠近透镜边缘的光线畸变越严重。虽然畸变较小，但可以使用新产品新技术NEW PRODUCT NEW TECHNOLOGY732023 年第 21 期/新产品新技术NEW PRODUCT NEW TECHNOLOGY泰勒级数展开前几项描述 r 0 周围的畸变，并根据式(2)来调整成像设备上某点的径向位置。切向畸变由透镜和可读写的 RAM 芯片（Complementary Metal Oxide Semiconductor，CMOS）（或 CCD）的安装误差引起，可使用 2 个额外参数进行调整。246c123246c12322c1222c21(1)(1)2(2)2(2)xxk rk rk ryyk rk rk rxxp xyp rxyyp xyp ry （2）假设 xOy 为图像物理坐标系，坐标原点 O，在像素图像坐标系 x1O1y1中的坐标为(cx，cy)，得出 dx、dy分别为像素在坐标轴上所定义的物理尺寸(mm/px)，故图像中任意一个像素点转换关系在坐标系中体现为 1xx1yyxxcdyycd （3）齐次坐标形式为 11101011001xxyycdxxycyd （4）假设在空间中存在一个点 P，其在 Oc-XcYcZc双目相机坐标系中的坐标点是(Xc，Yc，Zc)，而其在图像上的物理坐标是(x，y)。通过小孔成像模型，可以推算出这个结果，即 ccccfXxZf YyZ （5）齐次坐标形式为 cccc000000100101XxfYZyfZ （6）xcx1cc1ycyccxxccyycc100001000010010100100 =00 001011cXdxfYZycfZdXXfcYYfcZZK （7）将式（7）带入式（5）中，其中 K 为相机内参数矩阵，有效焦距 fx和 fy分别为相机焦距 f 除以像素大小dx和 dy，分别为水平方向和垂直方向上的比值。4 行车运行路径规划4.1 运动矢量计算如图 4 所示，由于物料存储在一个顶端未密封的核废料平台，上方没有障碍物的存在，故需对大小车运动速度进行合理给定。本文以物料在仓库大门处的位置的坐标为基准点对大小车及吊具的运行距离进行计算6。图 4 核废料平台根据实际情况，整个核废料区划分成若干个正方形存储小区，分别用 1 号、2 号、N 号表示。选取其中一块区域进行分析，每小格区域最多可存放 5 行5 列 3 层共 75 个物料，将该区划分为 25 个小正方形，每个小正方形代表核废料的一个固定存储位置。为了便于存储以及管理操作，分别对每个存储位置进行编号，按照从下往上、从外向内、从左往右的顺序，如74/2023 年第 21 期图 5 所示。图 5 核废料存储示意图选取任意一个存储位置 N，则其对应所处的列数、行数、层数分别用 x、y、z 表示，转化关系如下：若 mod(N，25)=0，则有 5525xyNz （8）若 mod(N，25)0 且 modmod(N，25)，5=0，则有5(25)0.5150.5125，xmod NyintNzint （9）若 mod(N，16)0 且 modmod(N，16)，4 0，则有 (25)5(25)0.5+150.5125，Nxmod modmod NyintNzint （10）在平台内行车自动运行控制算法的设计中，需要使用取整操作 Int 和取余操作 Mod。对于 1 号区域而言，已知核废料料桶目标存储位置序号为 j 且合法，其实际坐标为（m1，n1，l1）。根据给定的公式，可以计算出其对应的实际坐标（mj，nj，lj）为 j1jj1jj1j(1)(1)(1)mmxannyallzb （11）式中：a 为划分的核废料桶存储区域的小正方形边长，b 为桶的高度，xj、yj、zj分别为由给定式（8）式（10）推导出的 j 号位置核废料桶所在的列数、行数以及层数。另外，还需要知道在平台入口位置处固料桶的坐标为（m0，n0，l0），以便计算行车的小车在仓库中的运行距离 m，大车运行距离 n 以及吊钩运行距离 l，即 01j1j001j(1)(1)(1)mmmxannyanlllzb （12）根据大车运行距离 n 以及小车运行距离 m 的数值，为提高效率，大小车同时向选定目标运动，将核废料桶运送至指定位置上方，然后下降吊钩 l 将其摆放到目标位置处。其他 2 区域 25 区域的摆放工作原理与 1 区域一致，只需标定 1 号存储位置的实际坐标即可实现对整块平台其他区域的定位。4.2 双目相机数据采集4.2.1 图像采集总体方案图像识别与测距是机器视觉起重机系统研究数据处理模块的重要组成部分，该功能基于 OpenCV 视觉处理算法实现，主要功能为：1）提取特征，图像处理；2）识别目标点；3）加载推理相机中心与目标区域的直线距离，模块的工作流程如图 6 所示。其中第 1 个判断框表示在相机视野中是否出现目标点，以此来判断后续动作，系统会提示起重机大小车电动机继续运行，直至移动到目标点进入双目相机视野中。第 2 个判断框表示系统会通过调整位置跟踪目标点，使核废料桶位于相机的视野中心，以达到提高测距精度的目的。新产品新技术NEW PRODUCT NEW TECHNOLOGY752023 年第 21 期/新产品新技术NEW PRODUCT NEW TECHNOLOGY 图 6 双目相机工作流程图4.2.2 相机标定一般情况下，相机标定需要使用一个标定参照物，本文选用棋盘纸（见图 7），将其放置在相机视野范围内并进行图像特征提取。本文使用 Matlab 中的 Calib _Toolbox 对相机进行标定，该方法是通过在双目相机获取的图像，利用局部检测窗口提取特定区域的亮度、色彩、纹理或轮廓等特征点。具体而言，通过观察窗口在各个方向微小移动时的平均能量变化，并在能量变化值超过设定阈值时将窗口中心像素点提取为角点7。角点即为黑、白方格之间的交接点，图 7 有 912 个角点。具体步骤为：1）使用预先设置好的 OpenCV 图像采集程序，获取大约 20 张棋盘格标定板的图像，这些图像具有不同的角度和距离。将这些图像按左右图像进行命名，并将其拷贝到 MatlabCalib_Toolbox 文件夹之中。2）在 Matlab 中设置工作目录为 Calib_Toolbox 所在的目录，并通过点击设置路径，添加包含文件，并选中 Calib_Toolbox，来完成路径设置。3）对左右相机进行标定：打开Calib.m文件并执行，会弹出对话框。选择相应版本后，在对话框中选择要标定的图像文件名称和左右相机的图像文件名称，并选择图像格式。程序将自动选择符合命名前缀和图像格式的图像。选择手动提取角点，并处理所有图像，设置窗口大小，按照从左到右、从上到下的顺序依次点击棋盘格子图的 4 个角点，并设置黑白格子的实际尺寸。完成后，处理下副图像，直到所有图像处理完成。在提取角点信息后进行标定，程序将自动计算相机的各种参数数值。图 7 标定板4.2.3 相机中心点与目标点距离计算本文采用 OpenCV 中 reProjectImageTo3D()函数计算出下方区域目标点与相机中心的实际距离。10 次测距的数值如表 1 所示，实际距离 s 为 380 mm。表 1 10 次测距数值 mm由于双目相机的焦距会随着目标物距离的变化而变化，故通过测量多组数据拟合出相机的焦距，即有 xx21=fB k sbfBHxx （13）式中：B 为已知 2 个相机之间的基线距离，B=160 mm；x2-x1为 2 帧图像的像差；H 为匹配点的实际景深。通过将焦距的拟合公式代入方程组，可以结合像差测量出目标物距离。拟合公式为fx=g（s），s为实际距离，如表 2 所示。x1y1x2y2s501372153973838214426738437447492133084102677192346414481432353883926566212346397524922432840176/2023 年第 21 期 表 2 实际距离与焦距的对应关系 mm5 现场测试在进行整体功能测试前，需要先检查工控机和工业相机与系统的通信接口表之间的连接是否正常。通信接口表的检查主要是用于确认工控机和系统之间的通信是否正常，信息点位是否正确。同时，检查工业相机的主要目的是验证 IP 配置是否正确，以及与系统的通信是否正常。由于工控机的计算资源有限，为了达到最佳效果，对图像分辨率按比例调整为1 200800，并提取模板图像。首先在平面内任意选定一个位置的核废料桶，记录其坐标。接着启动起重机，保证初始位置能在工业相机镜头中出现完整核废料桶图像。并通过移动大小车来改变采集位置，以便观察实际情况。试验采集到多个不同位置的图像，对每个位置的核废料桶进行多次试验运行以验证其准确性。经过近 1 个星期的对比试验，选取了部分实验数据列于表 3 中。表 3 部分测试数据在起重机行驶过程中，运行方向和震动等因素会影响工业相机的外部参数，尤其是俯仰角和方向角因素8。从表 3 可以看出系统识别率达到 90%以上。分析发现，误差的原因主要有 2 方面：一方面是外部光线影响造成误识别或识别失败；另一个方面，当起重机瞬间移动时，双目相机与目标之间的方向角度会发生变化，从而导致测量值与实际值产生误差。6 结语本文对利用物联网、AI 和机器视觉技术应用于起重机领域进行了分析研究，该系统利用双目相机作为辅助，充分发挥可靠性强、价格低廉、通信信号稳定的特点，具有较大推广价值和应用前景，为实现 2025 工业自动化提供有力的技术支持，为加快起重机无人化作业进程迈向坚定的一步9。参考文献1 徐沪萍，鲁凯生基于模糊 PID 控制器的门式起重机大车 定位控制系统研究 J船舶工程，2006(3)：105-107 2 熊学成基于 PLC 的门式起重机的变频调速控制系统 J中国水运，2008(12)：135，1363 秦长海 基于视觉定位的起重机智能化控制系统 J.建筑机械化，2009(5)：50-52，9.4 黄敏高基于单目视觉的工业机器人定位系统设计J 现代电子技术2017(18):114-116，119.5 周奇才,姜宽,赵科渊无人化起重机视觉识别关键技术 研究与实现J起重运输机械，2022(4)：28-35.6 Karami H A，Hasanzadeh MAn adaptive genetic algorithm for robot motion planning in 2D complex environmentsJ Computers and Electrical Engineering，2015，43：317-3297 范卿,曾杨,徐柏科，等基于视觉的起重机吊装规划系 统解决方案 J建设机械技术与管理，2020(1)：71-77.8 危刚,冯智勇,汪小凯，等基于机器视觉的桥式起重机防斜 拉控制系统设计C第37届中国控制会议论文集，2018.9 黄桂平,李广云,王保丰，等.单目视觉测量技术研究J.计量学报,2004(4):314-317.作 者：马晶磊 电子邮箱： 收稿日期：2023-05-18实际距离像差焦距385377957.00483338968.40587294935.30682263948.20784215955.60889185941.30982156974.10实际坐标测试次数误识别次数识别率/%413，2135294.2226，3935197.1377，56735294.2435，49235197.1127，8835391.4374，31135294.2394，30235197.1新产品新技术NEW PRODUCT NEW TECHNOLOGY