配电网接地环视觉识别与定位方法研究.pdf

:/配电网接地环视觉识别与定位方法研究熊希曦 王旭红 文艺(长沙理工大学电气与信息工程学院 湖南 长沙)摘 要:为保障带电作业机器人挂设接地保护线的准确性 对配电网接地环的精准识别与定位方法展开研究 为提高识别精度和易于部署在上位机上 以 为基础用简化的 代替颈部 特征利用层 将 作为定位损失函数 以 作为置信度预测损失函数 采用双目视觉方法对检测到的接地环进行定位根据双目相机标定获得相机的内外参数和畸变系数 对左右图像进行立体校正 采用半全局立体匹配算法获得图像视差 最终利用重投影矩阵得到接地环的深度和坐标 从而实现接地环的精准识别与定位 将所提方法运用于带电作业机器人挂设接地保护线试验 结果表明该方法能实现机器人精准挂线 并能推广到电力机器人的其他作业关键词:目标检测 双目定位 中图分类号:文献标志码:文章编号:()基金项目:湖南省双一流学科重点项目()收稿日期:修回日期:():.:引言目前城市配电网的中低压线路中(即 及以下电压等级)通常是架空绝缘电缆安装 但是在检修电缆及设备时 为了保障检修人员的人身安全需要验明线路无电后挂设接地保护线 如果是配第 卷第 期 湖 南 电 力 年 月电网人工带电将接地线挂上接地环 工作人员往往需要穿上密不透风的绝缘服、随身携带各种设备工具 在高空长时间作业 危险性高且作业效率低 因此采用带电作业机器人代替人工作业而如何实现接地环的精准识别与定位是实现机器人作业的重点与难点基于深度学习的目标检测方法在配电网金具识别领域应用越来越广泛 王素珍等人采用改进后的 算法对绝缘子进行了识别 武建超等人在 的基础上引入了空洞空间卷积池化金字塔模块 这种改进后的网络实现了输电线路典型目标的识别 戴永东等人将改进后的 网络运用在均压环和绝缘子识别范畴 以上这些目标检测算法很难同时兼顾检测的速度与精度 本文提出一种改进的 配电网接地环视觉识别方法 在保留目标检测算法速度的同时 提高检测的精度在目标测距与定位方面 陈远设计了基于超声波传感的目标定位系统 雷艳敏等人采用激光测距仪对动静态目标进行了位置检测 王泽民等人利用单目视觉进行目标测距并分析了影响精度的因素 这些基于超声波技术、红外技术、激光技术的测距方法鲁棒性差且成本高 采用单目视觉进行测距的条件过于理想 不切合实际 而双目视觉就很好地解决了这一问题 二者相比 双目视觉在测距定位领域的应用精度更高 因此 本文提出一种基于双目视觉的配电网接地环定位方法本文提出的基于改进 的接地环识别方法和基于双目视觉的接地环定位方法 可降低带电作业的难度和安全风险 提高配电网带电作业的自动化水平 配电网接地环视觉识别方法 算法 年 算法的提出 将目标检测领域的解耦头、无锚框、数据增强及标签分类等进行了巧妙的运用 算法的输入为 的三通道图像 输入图像经过主干特征提取网络()进行浅层特征提取 然后传入到 特征利用层 由 对三个维度的特征图进 行 特 征 融 合 最 后 传 入 到 三 个 置信度和回归框都由 实现在预测时合成为一体 将三个预测结果进行组合各个特征层的输出:、其中前四个参数用来确定每个特征点的回归参数 以便获得预测框位置 第五个参数用来判断每个特征点是否包含物体 最后一个参数用来判断每个特征点所包含物体的类别 相比于之前的 系列最大的进步就是实现了 而这一 突 破 得 益 于 即 动 态 样本 匹 配 为每个正样本分配一个 框 让正样本去拟合该 框 起到替代 方案去拟合 的作用 图 为 的网络结构图 根据 参 数 量 的 不 同 分 为、其中 由于参数量最少而被广泛应用图 网络结构图第 卷第 期 熊希曦等:配电网接地环视觉识别与定位方法研究 年 月 改进的 算法为提升 模型的检测速度和精度 分别从网络结构和损失函数两部分对此模型进行改进 网络结构为了充分利用图像的底层信息 将颈部的 特征利用层用 网络替代 以提高检测精度 是一种均衡对待各个尺度的特征融合方式 但不同输入特征的分辨率是不同的 而且他们对输出特征的付出也是不同的 为处理好这种情况 为每个输入引入了权重 更好地协调不同尺度的图像特征 网络结构如图 所示 蓝色箭头代表下采样 红色箭头代表上采样 为五个输入特征(在图像矩阵中)在进行下采样、上采样和融合之后得到五个输出特征 网络为每个特征分支提供一个权重值 如式()通过网络的自学习得到最佳权重值图 网络结构 ()式中、分别表示输入和输出特征 使用 函数使得 取极小值 来保证数值稳定因为 的主干特征提取网络是对中间层、中下层和底层进行特征提取 输出为三个特征分支 而 网络的输入为五个特征层 所以必须对 网络加以简化 经过改进后的 网络结构如图 所示 输入为三个特征层 输出也是三个特征层 这不但适应了 网络结构 还降低了模型的计算量图 改进后的 网络结构结合式()可以得到各节点输出特征的计算公式 如式()()()()()()()()()()式中 为卷积和多项式乘法的函数 下标、分别为上采样和下采样操作 表示权重 改进后的 网络架构如图 所示图 改进后的 网络整体结构图第 卷第 期 湖 南 电 力 年 月 损失函数使用 作为定位损失函数 原 是使用 作为边界框损失函数 将 同时作为度量和损失函数时 会产生两个问题 第一 若两个目标之间没有重合的部分 这时 就为 无法正确反映两个目标之间的距离 若将这种情况下的 作为定位损失函数 梯度就会为 因此无法实现优化训练 第二 不同方向上有相同重合水平的两个对象的 会完全相同 因此无法确定这两个对象间的对齐方式 为了处理这两个问题引入 作为定位损失函数 函数和 公式如式()、()所示()()()()图 为 示意图 其中 表示能同时包住 和 的最小包围框 作为度量时具备如下五个特性:)作为距离时 具有非负 性、对 称 性、三 角 不 等 性 和 不 确 定 性)具有尺度不变性 即对尺度不敏感)()()当 和 形状相似且无限接近时 ()()()函数不仅考虑了 和 不重叠的情况 而且能够体现 和 重叠时的方式图 示意图 置信度预测损失函数使用 作为置信度预测损失函数 原 利用二元交叉熵损失作为置信度预测损失出现了正负样本不均衡问题 因此使用 来达到两阶段检测算法的精度并保留一阶段检测算法的速度 函数的表达式如式()所示()()()()就是在二元交叉熵损失的基础上增加了 和 ()两项 其中 ()用来调整难易分类样本的比重 对经过 ()系数衰减后的损失再进行调整 接地环定位方法 成像原理数字图像成像原理就是小孔成像 任何一个点接收到光照以后就会向四周辐射光源 当一条光线穿过一个挡板小孔时 就会落在背面感光面的一点上 如果观测场景中的每个点都有一条光线穿过小孔落在感光面上 那么感光面上就形成了一个和观测世界完全对应起来的像 三角测量原理双目视觉是利用两个摄像头模拟人的双眼对同一物体形成视差 从而能够感知到三维世界 双目立体成像的实现是基于视差原理 模型如图 所示图 三角测量原理两台相机的像平面精确处于同一平面上 且光轴严格平行 间距一定 焦距相同 并且左主点和右主点已经过校准 即主点在左右图像上像素、坐标一致 模型中的两幅图像是对准的 并且每一行是严格对准的 具有一致的方向和列坐标假设物理世界中的点 在图像上的成像点为 和 相应的横坐标分别为 和 两个相机的投影中心的连线叫作基线 用 表示 根据三角形相似原理有式():/()解得 ()式中 称为视差 用 表示 则式()可改写成:由上式可知 由于、是已知的 只要求得第 卷第 期 熊希曦等:配电网接地环视觉识别与定位方法研究 年 月某点的视差即可得到该点的深度信息 坐标系转换相机的外参数是指相机坐标系相对于世界坐标系的一个旋转平移矩阵参数 包括三个自由度的旋转矩阵和三个自由度的平移矩阵 从世界坐标系到相机坐标系的转换是一个三维空间到三维空间的转换 内参数通常是指相机内部的参数 包括主点、主距、轴和 轴方向的像素尺寸及畸变参数 各坐标系之间的转换关系如图 所示图 各坐标系及其转换示意图世界坐标系到相机坐标系的转换:表示世界坐标系中的一点 表示像平面坐标系中对应的点 利用一个旋转矩阵和一个平移矩阵可以实现三维空间的坐标变换 即一个三维目标点在世界坐标系和相机空间坐标系下的转换关系可以通过一个旋转和一个平移矩阵运算得到()()式中 为相机空间坐标系中的一个点 为世界坐标系中的一个点 暂时不考虑畸变因素的影响 相机空间坐标系和像平面坐标系的关系存在一个相似性变换 如式()所示()像平面坐标系到像素坐标系的转换:定义主点 的像素坐标为()从像平面坐标系转换到像素坐标系存在一个比例 此比例和像素的物理尺寸相关 世界坐标系到相机坐标系以及相机坐标系到像平面坐标系的转换都是在物理坐标系(以 或者 为单位)下 但是从像平面转换到像素平面就存在一个像素对应多少单位长度的问题、代表一个像素在物理尺寸上的宽和高利用这两个量可以把坐标值从物理尺寸过渡到像素整形尺寸 如式()所示 像平面坐标系与像素坐标系之间的转换如图 所示 由于加工的问题 感光元器件可能不是一个绝对的正方形 而是一个平行四边形图 像平面坐标系到像素坐标系的转换示意图()()()把上式简化得:()式中 为焦距、是以像素为单位的在行和列方向上测量的焦距尺寸 是由非矩形像素引起的倾斜因子 由于倾斜角 很小 接近于 通常 上述的上三角矩阵称为内参矩阵 并使用符号 表示综合公式()和()场景中的三维点()投影到二维像素平面上的点()的投影方程可以表示如下:()即:()()第 卷第 期 湖 南 电 力 年 月式中 表示内参数矩阵 表示外参数的旋转矩阵 表示外参数的平移矩阵 ()组合起来构成相机矩阵 相机标定和畸变校正相机标定的目的是利用给定物体的参考点坐标()和像素坐标()来确定相机内部的几何学结构和光学特征(内部参数)以及相机的三维世界坐标关系(外部参数)最常见的相机标定方法是传统的相机标定法 在一定相机模型下 基于特定的试验条件(如形状、尺寸等已知的参照物进行图像处理、数学变换等)求取内外参数的过程 但是这种方法需要经常调整相机的需求和设置已知参照物 存在不现实、适应性差的缺点 为克服传统相机标定法的缺点 张正友博士对这种方法进行了改进并提出了张正友标定法 该方法介于传统相机标定法和自标定法之间 既解决了传统相机标定法需要高精度三维标定物的不足 又克服了自标定法鲁棒性差的难点 标定过程只需使用一个打印出来的棋盘格 并在各个方位拍摄几组照片即可 不仅实用、灵活、方便 而且精度更高、鲁棒性更强 因为棋盘格相对于三维物体更容易处理 从而选择棋盘格作为标定物 与此同时相对于三维物体 二维物体会缺少部分信息 因此通过多次改变棋盘格的方位来捕获图像 以获得更丰富的位置信息完成相机内外参数求取后 标定镜头畸变 张正友标定法只考虑了畸变模型中有较大影响的径向畸变 根据最小二乘法求解径向畸变系数 至此 相机的内参、外参和畸变系数已被全部求出但直接求取结果只能作为初值 接着 根据实际的像素坐标和计算得到的像素坐标计算重投影误差最小化重投影误差 反复迭代相机的内外参数和畸变系数直至收敛 立体匹配立体匹配算法是通过最小化能量代价函数来估计像素点视差值 按照采用的最优化理论方法的不同 将立体匹配算法分为局部匹配算法和全局匹配算法、半全局匹配算法 局部匹配算法的匹配精度低但速度快 全局匹配算法的匹配精度高但速度慢 而半全局匹配算法正好介于二者之间 半全局匹配算法的代表有双目立体匹配()算法 本文采用此算法来完成双目左右图像的立体匹配 半全局算法利用多个方向上的信息减少或消除视差突变处产生的错误信息干扰 算法通过图像上多个方向的一维路径约束来建立全局马尔可夫能量方程 从而获得每个像素的匹配代价 即所有方向路径信息的总和 算法的匹配代价函数如下:()()()()()()()()()()()式中 ()为当前路径积累的代价函数 为视差 ()为像素点 以 为视差的代价 为指向像素点 的路径方向 是像素点与相邻点视差存在较小差异时的平滑惩罚系数 是像素点与相邻点视差存在较大差异时的平滑惩罚系数 又因为 所以第三项无意义 仅是为了消除不同方向路径长度不同而造成的影响 试验分析 配电网接地环视觉识别试验 试验环境将改进后的 模型部署在上位机上从而控制带电作业机器人对配电网接地环进行识别试验 试验设备及型号见表 表 试验设备及型号实验设备型号计算机处理器()()显卡 操作系统 位深度学习框架 软件编程环境编程语言 数据集与预处理对于接地环识别方法 为了使模型具有更好的效果 采集 张包含接地环的图像作为数据集 对数据集进行缩放、旋转、翻转、平移等预处理 如图 所示 数据集扩充到 张 标签为 对数据集按 的比例分配训练集与测试集 其中将训练集的 作为验证集第 卷第 期 熊希曦等:配电网接地环视觉识别与定位方法研究 年 月()原图()缩放 ()旋转()翻转()平移图 数据集扩充 训练过程为了节约时间和资源 采取冻结训练的方式共迭代 次 训练参数见表 表 训练参数训练阶段迭代次数批量样本数学习率优化器冻结阶段解冻阶段 从表 可以看出 前 次迭代采用冻结训练 批量样本数为 学习率为 后 次迭代采用解冻训练 批量样本数为 学习率为 训练的整个过程都采用 优化器训练过程的损失函数曲线如图 所示图 损失函数曲线从图中可以看到 训练集损失和验证集损失在前 次迭代都急剧下降 在第 次迭代到第 次迭代之间下降缓慢 在第 次迭代之后趋于收敛 训练集损失和验证集损失都收敛于 试验结果分析为了评价改进后的 网络的性能优劣 采用平均精度()、召回率()、模型大小、推理时间作为评价指标 其中 召回率()表示被预测为正样本的数量与所有正样本数量的比值 根据每个召回率可以获得对应的最大精确率 把所有正样本的最大精确率取平均值就是平均精度()图 ()()组图像分别是原图及经过 模型、模型、改进 模型测试的结果 可以看出 模型对于从侧 面 倾 斜 拍 摄 的 接 地 环 出 现 了 漏 检 情 况 模型对非接地环物体产生误检 对表 分析可得 改进后的 模型的平均精度比改进前提升了约 比 模型提升了约 达到了 召回率亦是三种模型中最高的 虽然改进后的 模型比其他两种模型略大 但是每帧推理时间相当()输入图像第 卷第 期 湖 南 电 力 年 月()输出()输出()改进 输出图 接地环识别结果表 模型性能分析模型模型大小/平均精度/召回率/时间/改进 配电网接地环定位试验按照双目测距原理、坐标系转换关系及相机标定、畸变校正和立体匹配方法完成试验 其中世界坐标系与左相机坐标系重合 双目测距的流程如图 所示图 双目测距流程张正友标定法通过固定相机拍摄不同位置和姿态的平面标定板 建立三维世界坐标与二维像素坐标之间的关系 对线性求解的相机内外参数和畸变系数通过 ()算法进行非线性参数优化 理论精度高 有利于提升定位精度 因此 选用张正友标定法对双目相机进行标定 建立相机成像几何模型并校正镜头畸变 表、表 分别给出了双目相机内参矩阵和畸变系数、双目相机外参矩阵表 双目相机内参矩阵和畸变系数参数左相机右相机内参矩阵 畸变系数()()表 双目相机外参矩阵旋转矩阵 平移矩阵()校正后的图像利用 算法进行立体匹配得到各个像素点的视差 从而根据式()得到各点深度 对采集到的接地环图像进行双目测距试验 得到的结果如图 所示()原图 ()视差图及结果图 双目测距试验结果 本试验将每个样本的测量值与实际值进行对比得到误差 部分样本结果见表 第 卷第 期 熊希曦等:配电网接地环视觉识别与定位方法研究 年 月表 双目测距测量值与实际值对比组别实际距离/测量距离/误差/通过计算可得 所有试验样本中最大测量误差为 最小测量误差是 样本的测量误差控制在 以内 满足带电作业机器人挂设接地保护线精准定位的要求 结论针对带电作业机器人挂线过程中对接地环的识别与定位 提出一种改进的 算法和双目定位方法 在改进的 算法中 为了充分利用图像的底层信息 将颈部的 特征利用层用 网络来替代 以提高检测精度 采用 函数作为定位损失函数有利于网络的迭代优化 利用 函数作为置信度预测损失函数解决正负样本不均衡的问题 采用双目定位方法首先对双目相机采用张正友标定法进行标定 获得相机内外参数和畸变系数并进行立体校正 再采用 算法对左右图像进行立体匹配 获得视差最后根据视差 利用三角测量原理和重投影矩阵获得接地环的坐标和距离将改进后的 算法和双目定位方法应用于带电作业机器人进行识别和定位试验 试验结果表明改进后的 模型具有更高的识别精度且能实现精准定位 本文所提出的识别和定位方法能完成带电作业机器人挂设接地保护线的任务并可推广到电力机器人的其他作业领域参考文献 万琴 李智 李伊康 等.基于改进 的移动机器人目标跟随方法 /.自动化学报:().:/:./.郭敬东.改进的 输电线路环境及部件异常分级检测.电力信息与通信技术 ():.刘健.基于 的输电线路异物检测算法研究及软件设计.徐州:中国矿业大学.王素珍 赵霖 邵明伟 等.基于改进 的输电线路绝缘子识别方法.电子测量技术 ():.武建超 张楠 闫彦辉 等.基于改进 的输电线路目标识别算法.测控技术 ():.戴永东 蒋中军 王茂飞 等.基于深度学习的输电线路均压环倾斜识别.自动化仪表 ():.陈远.基于超声波传感的障碍物检测和测距系统设计.成都:电子科技大学.雷艳敏 朱齐丹 仲训昱 等.基于激光测距仪的障碍物检测的仿 真研 究.计 算机工 程与设 计 ():.王泽民 高俊钗.单目视觉障碍物测距精度分析.电子测试 ():.李家俊.基于改进 的目标检测与跟踪算法研究.赣州:江西理工大学.():.():.():.():.():.周仲波 简蓓 田地 等.基于双目视觉的智能变电站巡检路径规划方法.电气技术与经济 ():.汪凌阳 朱璠婷 蒋文萍.基于机器视觉的机械臂双目测距系统研究.应用技术学报 ():.闫德鑫 刘建军.无人机双目视觉系统在电力绝缘子故障检测与类型识别中的研究与应用.佳木斯大学学报(自然科学版)():.():.王迪迪 候嘉豪 王富全 等.基于双目视觉的目标检测与测距研究.电子制作 ():.作者简介熊希曦()女 湖南桃江人 硕士研究生 通信作者 研究方向是电力机器人、图像处理、人工智能等王旭红()女 湖南长沙人 博士 教授 研究方向是电力设备检测及故障诊断文艺()女 湖南常德人 硕士研究生 主要从事图像处理、电力机器人方面的研究工作第 卷第 期 湖 南 电 力 年 月