基于直线扫描的引信钢球分层成像检测算法.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:国家自然科学基金项目()山西省自然科学基金项目()作者简介:吉泓洁()女硕士研究生:.通信作者:陈平()男博士教授博士生导师:.:./.基于直线扫描的引信钢球分层成像检测算法吉泓洁陈 平赵耀霞张永伟朱 勋(.中北大学 信息探测与处理山西省重点实验室 太原.重庆长安望江工业集团有限公司 重庆)摘要:针对现有的火药引信装配正确性检测方法中存在的无法准确检测遮挡严重的零件的问题提出了引信中钢球分层成像定位检测算法 将 射线源直线移动扫描待测物体形成多个虚拟的小孔径结合光学合成孔径原理对所有小孔径进行合成将合成的虚拟大孔径成像在不同距离深度的平面上实现对目标的定位和检测 试验结果表明:所提算法能够在火药引信钢球相互重叠的情况下利用深度信息进行分层成像提供待测物体的深度信息能够对不同层次的目标进行检测确定待检测物体的数量解决了现有的检测方法在检测过程中出现的漏检问题关键词:直线扫描 射线钢球分层成像深度信息本文引用格式:吉泓洁陈平赵耀霞等.基于直线扫描的引信钢球分层成像检测算法.兵器装备工程学报():.:.():.中图分类号:.文献标识码:文章编号:()(.):.:引言近年来引信 对于军工行业十分重要人们对其装配正确性检测 的准确度问题的研究也越来越多 引信装配的方式分为空间分布式、平面分布式 种 空间分布式指的是引信内部零部件不在同一个平面零部件之间具有空间位置关系 而平面分布式指的是引信内部零部件在同一个平面可以完全呈现互不影响 平面分布式零部件的检测仅需要判断是否存在该零件而空间分布式零部件的检测则由于互相遮挡重叠的问题仅通过简单的目标检测是无法全部检测到的现有的装配正确性检测方法主要都是针对平面分布式的装配方式进行检测的 其中韩跃平等设计了一种自动检测系统通过采集待测物的全方位的 射线图像对全方位图像进行特征提取再通过神经网络进行产品的识别同时针对检测过程中待检测物体的倾斜问题加入了三点定位的方法实现对待测物的快速定位 虽然检测效果很好但由于现实中零件装配的误差和错位鲁棒性较差 随着研究的逐步深入 年吴桐等通过卷积神经网络的方法全方位等间隔采集待检测物体的多张射线图像自动检测出零件内部的各个零部件达到检测的目的 除此之外赵耀霞等在深度神经网络的基础上结合 系统的正弦特性进行匹配同时加入 网络提高了零部件移位换位的检测检测速度和效率大幅度提高 罗又文等将快速区域卷积网络()用于零件的检测对卷积网络反向传播进行模型调整实现对零件的分类识别 任永强等将面积和周长的比值作为检测弹簧轮廓的依据同时利用弹簧的双耳圆孔的圆形轮廓来计算圆心之间的距离通过轮廓和圆心来判断弹簧是否装配正确 肖敏等提出了一种结合 算子检测直线边缘的方法先用霍夫变换进行大致定位再进行细定位到直线附近的点集来检测液晶显示屏和外壳的距离从现有的文献来看目前采取的火药引信装配检测方式都只能检测图像中平面分布式的目标对于空间分布式的零部件无法精确的检测到每个零部件即对于相互重叠比较严重的零部件无法检测到 这类装配而成的复杂产品均由不透明的外壳包裹无法通过激光扫描、相机等常规设备实现检测而可穿透产品外壳获取内部结构信息的 射线投射成像是一种高效的复杂产品内部零件检查的可视化方法 基于合成孔径成像的原理针对火药引信中钢球投影图像重叠现象严重的问题展开对空间分布式的重叠严重图像的研究提出基于 射线直线扫描的方式对重叠目标的投影图像序列进行分层成像检测为火药引信装配正确性检测提供服务 合成孔径成像合成孔径成像最初是在 世纪 年代为雷达系统设想的最初是在 世纪 年代末使用数字计算机实现的更先进的技术是在 世纪 年代末引入的现在已成为国际研究的前沿领域 合成孔径成像技术是一个利用多个小孔径生成高分辨率图像的技术 如图 所示如果多个孔径合成的系统和单个大圆孔的截止频率相同可以将分开的光学部件组合来形成一个比较大的孔径 合成孔径成像系统中的光瞳结构是指每个分开的光学部件在光瞳平面的分布排列形式 这种分布排列形式包含了分开的光学部件的大小和位置图 合成孔径示意图.合成孔径的成像方式主要分为直接成像和干涉成像 种 直接成像和干涉成像的表示方式为周期冲激序列其傅里叶变换()是周期冲激序列 而只有一个孔径的成像是使用冲激函数表示的它的傅式变换是 单一孔径成像时可以同时获得不同频率下的信息但是由于存在截止频率高于这个截止频率的信息就会被截断当合成孔径直接成像时同样也可以获取不同频率下的信息但由于孔径比单一孔径的范围大所以截止频率比单一孔径的大这就导致所得到的频率范围比单一孔径的广即单一孔径的截止频率比合成孔径的截止频率小 而合成孔径间接成像需要通过改变孔径之间的大小和位置信息来改变截止频率的大小进而改变频率的范围获得不同频率下的图像在装配正确性检测过程中不同视角的图像可以获取到物体不同角度的信息可以形成对待测零件的三维感知将不同视角的图像等效为小孔径利用合成孔径成像的原理可以获取不同深度层的物体的像实现对混叠目标的分层成像 分层成像检测算法在 射线成像的过程中不同方向角下所获得的射线投影图像可以同时得到角度和位置信息因此可以通过不同方向的射线图像来实现对待检测物体的三维感知 当从不同的角度对待检测物体上某一个物点进行成像时同一个物点在不同角度的图像中所在的位置不同 本文所提出的分层成像算法就是利用合成孔径的原理将多个角度的射线投影图像模拟为多个分开的光学部件并合成等效为一个聚焦在某一个深度下的图像 通过多个角度的图像和基于合成孔兵 器 装 备 工 程 学 报:/./径的分层成像方法从不同的方向上获取待检测零件的深度、角度、位置信息合成一个虚拟的大孔径来聚焦在不同的景深上 本质是将多视角子图像进行平移并叠加将多个角度下同一物点的信息进行融合最终通过等效为虚拟的大孔径来实现虚化其他景深下的物像增强聚焦景深下物像的效果 具体原理如图 所示图 分层成像原理.假设给定平行于孔径平面 的成像平面 和参考平面其相对于孔径平面的距离分别为 和 给定 个小孔径分别为 选取中心小孔径 作为参考孔径和参考角度 孔径所对应的成像平面为 为 孔径中的一张子图像 为 孔径中的子图像 通过校正矩阵 校正到中心孔径 所对应的参考平面 上的校正图像 其可由式()校准到参考孔径对应的参考平面上()其中:定义为由孔径 到孔径 的校正图像 各孔径之间的平移矩阵 所有小孔径通过校正矩阵 初始成像在参考平面上为所有的子图像通过校正后的各视角图像 相同位置上的像素校正后的每张子图像对应像素点经过求和再取平均融合成一张图此时像素点经过多张子图像的融合后变得非常清晰对于成像平面 上的点 它对应于小孔径 和小孔径 的子图像校准后在参考平面 上的 和 由于同一点在不同孔径下所对应的像点不在同一位置即 和 没有重合致使成像平面上的点 称为二者的叠加会出现模糊不清的现象因此为了解决这一问题需要将 孔径所对应的校正后子图像中的 平移 来去除像素平移的差别 其公式为 ()根据相似三角形定理可得()/()式()中:为同一点在孔径 和参考孔径 下不同像点之间的平移差令 ()/则()表示相对距离考虑将所有的孔径合成在成像平面 上不同孔径角度下的像点相对于参考孔径的像差()为使所有小孔径合成之后成像在目标距离所在的平面则只需对校正后参考平面上的子图像经过平移后每个像素点进行叠加求和再取平均值 例如如果通过多个孔径合成后成像在任意一个平面 上则需要将校正后的图像 平移 使其成像在深度为 的平面上但是由于本文待检测物体是直线平移通过待检测区域因此只需要对平移方向消除像差()()()()将式()代入可得:()()/)()()令 ()(/)()()其中:为距离系数 为校正后的子图像为成像到 平面上的子图像()为校正后的子视角图像坐标()为成像到 深度上的坐标 距离系数 控制着成像的距离深度通过调整 的值来改变成像的范围对消除平移方向的像差后的各视角下的图像进行加和后求平均可得距离为 处的平面合成孔径后的图像 (/)()对于产生的聚焦成像图利用卷积神经网络对其进行检测进一步判断物体的空间位置从而对目标零件进行定位和检测判断引信内部的钢球是否有脱落的情况 试验及验证本研究中的试验对象火药引信实物图如图 所示 在装配正确的情况下每个引信含有 个钢球每个钢球大小相同半径为.等间隔放置在引信顶部的圆周上采用所提出的算法用来判断其内部的零部件钢球的装配正确性图 火药引信实物图.由于基于深度学习的零件检测方法不能完全识别火药引信中的小球会产生漏检的情况因此本文针对引信的局吉泓洁等:基于直线扫描的引信钢球分层成像检测算法部进行研究 其局部射线投影图如图 所示图 火药引信局部射线投影图.在图像采集的过程中使用射线采集设备进行数据采集如图 所示根据等间隔空间采样准则及 射线成像原理在水平方向上以 为平移步长从左向右平移载物台和待测零件并依次采集每个位置的旋转投影数据 通过将待检测的火药引信沿着水平方向平移通过照射区域等间隔采集投影序列如图 所示得到 张不同视角的火药引信局部图图 直线扫描示意图.图 个视角的引信局部投影图.本文以第四视角的图像作为参考角度进行分层成像对水平直线移动待测物体采集到的数据进行融合由于距离系数 控制着成像的平面距离通过调整 的值来改变成像聚焦的深度 将所成像分成前景和后景 种图像对前景和后景的定义:以中心点为原点将 轴负半轴的物体所在的投影平面称为前景 轴正半轴的物体所在的投影平面称为后景利用分层成像检测算法将 张不同视角的图像进行分层成像得到 轴正半轴和负半轴 个景深的图像 对于球心在中心线上的情况将中心线上的钢球划分到前景的投影平面上在钢球之间的遮挡严重的情况下如图 所示以引信的截面图中心为原点根据余弦定理小球 在 轴上投影点 和最远端小球 在 轴上投影点 得到聚焦前景的深度范围 和 之间 同样地根据余弦定理求出小球 在 轴上投影点 和小球 在 轴上的投影点 得到聚焦后景的深度范围为 和 之间图 遮挡严重示意图.在遮挡不严重的情况下如图 所示根据余弦定理小球 在 轴上投影点 和小球 在 轴上投影点 得到聚焦前景的深度范围 和 之间 同样地根据余弦定理求出小球 在 轴上投影点 得到聚焦后景的深度范围为和 之间图 遮挡较轻示意图.根据上述方法通过距离系数控制着聚焦深度得到不同成像距离下的结果如图 所示当聚焦的深度不在上述计算得到的范围内时成像结果表现为模糊当聚焦的深度在计算的范围内时成像结果逐渐清晰 根据成像距离不同成像结果的清晰度不同选取成像结果锐利且清晰的作为检测图像检测引信中装配钢球的个数 选取的检测图像如图()、图()所示当引信中有 个小球时图()图聚焦在 轴负半轴虚化了 轴正半轴的物像经过神经网络检测到前景具有 个钢球图()图聚焦在 轴正半轴虚化了 轴负半轴的物像经过神经网络检测到后景具有 个钢球 通过()可以看出钢球之间仍然存在遮挡是由于钢球具有一定的厚度在该深度下的横切面上钢兵 器 装 备 工 程 学 报:/./球之间存在重叠在成像结果中呈现为存在遮挡通过神经网络对分层成像的结果进行训练得到对应的模型从而检测到后景具有 个钢球 由分层成像的结果可以看出当聚焦到前景时对前景中的 个小球进行了成像而虚化了其他深度距离的小球的成像 当聚焦到后景时对后景中的 个小球进行了成像而虚化了前景距离下的小球的成像 因此从前景和后景 层成像结果可以分析得到该引信内共装配有 个钢球为了验证算法的正确性和适用性对引信中的钢球的数量进行变化每次逐次减少一个钢球对减少后的零件进行分层成像并进行定位检测结果如图 所示图()和图()是装有 个钢球的结果其中图()图聚焦在 轴负半轴虚化了 轴正半轴的物像图()图聚焦在 轴正半轴虚化了 轴负半轴的物像 图()和图()是装有 个钢球的结果其中图()图聚焦在 轴负半轴虚化了 轴正半轴的物像图()图聚焦在 轴正半轴虚化了 轴负半轴的物像 图()和图()是装有 个钢球的结果其中图()图聚焦在 轴负半轴虚化了 轴正半轴的物像图()图聚焦在 轴正半轴虚化了 轴负半轴的物像由分层成像及定位的结果可以看出当引信中装有 个钢球时如图()所示当聚焦到前景时对前景中的一个小球进行了成像检测而虚化了其他深度距离的小球的成像 如图()所示当聚焦到后景时对后景中的 个小球进行了成像而虚化了前景距离下的小球的成像 因此从前景和后景 层成像结果可以分析得到该引信内共装配有 个钢球 当引信中装有 个钢球时如图()所示当聚焦到前景时对前景中的 个小球进行了成像检测而虚化了其他深度距离的小球的成像 如图()所示当聚焦到后景时对后景中的一个小球进行了成像而虚化了前景距离下的小球的成像 因此从前景和后景 层成像结果可以分析得到该引信内共装配有 个钢球 当引信中装有 个钢球时如图()、图()所示分别对前景和后景中的 个小球进行了成像检测而虚化了其他深度距离的小球的成像 因此从前景和后景 层成像结果可以分析得到该引信内共装配有 个钢球 本试验所用的引信最多可以装 个钢球检测到的钢球个数小于 时说明该引信零件有漏装从而可以对引信装配正确性进行检测图 不同深度距离下成像的结果.图 钢球个数依次递减情况下的结果.结论现有的 检测方法主要适用于平面分布式的物体 互相遮挡的空间分布式的物体用 网络模型进行检测会出现漏检问题针对该问题结合光学合成孔径技术提出了一种火药引信内钢球分层成像再检测的方法 通过对装配正确和漏装 种情况下的引信射线投影图像进行分层成像并检测试验结果表明通过将不同景深下的目标进行成像再进行检测的方法可以解决空间分布式下吉泓洁等:基于直线扫描的引信钢球分层成像检测算法网络模型无法全部检测到的问题为火药引信装配正确性检测提供服务参考文献:宫雪峰李豪杰陈志鹏等.基于空间域特征的引信安全控制方法.弹道学报():.():.郭天吉史文卿.侵彻引信的技术特点、现状及发展趋势.兵器装备工程学报():.():.:./.:.():.王新华高洪林穆连运.智能引信在水雷武器中的应用.四川兵工学报():.():./:.():./().:.()().韩跃平韩焱王黎明等.复杂产品内部结构装配正确性 射线自动检测系统的研究.兵工学报():.():.吴桐陈平.基于 射线的复杂结构件内部零件装配正确性检测.激光与光电子学进展():.():.赵耀霞吴桐韩焱.基于卷积神经网络的复杂构件内部零件装配正确性识别.电子学报():.():.罗又文王崴瞿珏.基于 的诱导维修自动交互设计.计算机工程与应用():.():.任永强杜瑞李军.基于机器视觉的差速器卡簧装配防错检测研究.制造技术与机床():.():.肖敏庄春刚熊振华.基于机器视觉的液晶显示屏装配尺寸检测算法的研究.中国机械工程():.():.赵驰盟兀伟杨银芳.磁探测引信目标识别算法研究.国外电子测量技术():.():.(下转第 页)兵 器 装 备 工 程 学 报:/./.():.李佺振王强曾勇等.基于人脸识别与光流追踪的移动机器人视觉导航方法.自动化与仪表():.():.胡亚洲周亚丽张奇志.基于深度学习的人脸识别算法研究.计算机应用研究():.():.:.卢超超彭炜.基于无线传感人脸识别的空间弱小人体目标跟踪方法.传感技术学报():.():.黄帅凤汤丽娟梁龙兵.一种改进的 嵌入式人脸识别方法.计算技术与自动化():.():.():.科学编辑 田春伟 博士(西北工业大学 副教授)责任编辑 唐定国(上接第 页)高正明赵娟.激光和射线检测特种部件的安全性分析方法.兵器装备工程学报():.():.王治乐陈旗海张伟.空间光学合成孔径成像系统原理与关键技术分析.光电工程():.():.:.:./.:./:.:.科学编辑李东杰 博士(中国工程物理研究院电子工程研究所 研究员)责任编辑 唐定国兵 器 装 备 工 程 学 报:/./