基于图像与航迹信息融合的目标属性识别方法.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:“十四五”预研基金项目()四川省科技计划资助()西南科技大学“课程思政”示范课程建设项目()作者简介:李正东()男工学硕士:.通信作者:周颖玥女副研究员:.:./.基于图像与航迹信息融合的目标属性识别方法李正东杨 帆王长城周颖玥(.西南科技大学 信息工程学院 四川 绵阳.中国兵器装备集团自动化所有限公司 四川 绵阳.西南科技大学 特殊环境机器人技术四川省重点实验室 四川 绵阳)摘要:针对单一雷达传感器目标属性识别能力低的问题提出基于 证据理论的雷达航迹与光电图像信息融合的目标属性识别方法对光电图像和雷达航迹特征分别使用 网络和 网络进行目标属性识别将得到的类别概率赋值通过 组合规则融合得到最终的目标属性识别结果 实验研究表明:无论是在远距离或近距离目标属性识别能力上融合后模型的识别能力均比融合前单一模型的识别能力强且融合后的模型能够矫正因为单一模型识别错误而导致最终识别结果错误的问题融合后的模型在测试集上各类别的平均召回率比光电图像分类模型提高了 比雷达航迹分类模型提高了 融合后模型的平均召回率为 关键词:目标属性识别雷达 证据理论本文引用格式:李正东杨帆王长城等.基于图像与航迹信息融合的目标属性识别方法.兵器装备工程学报():.:.():.中图分类号:文献标识码:文章编号:()(.):.:引言现有的雷达目标属性识别技术主要是利用雷达回波中的频谱信息、极化特征信息、高分辨距离像等实现对目标属性的识别很少有利用雷达检测到目标的速度、加速度和方位等数据进行目标属性识别 文献针对雷达点迹数据采用递归神经网络()进行目标航迹特征识别 文献针对雷达点迹数据采用卷积神经网络()进行目标航迹特征识别 在上述文献中基于深度学习的方法均取得了优异的属性识别结果但以上文献都是对航迹曲线特征进行属性识别并未对航迹所对应的目标进行属性识别 传统的军事武器系统中通常通过获得的雷达航迹数据对目标属性进行识别但是单一雷达传感器目标属性识别性能往往会受到环境噪声的干扰和自身传感器因素的影响 文献鉴于传统车辆避撞系统中因采用单一传感器进行目标识别在感知范围、识别准确性等方面存在的固有缺陷问题提出了一种基于雷达与机器视觉信息融合的目标识别方法实现了目标的准确识别与定位 文献针对复杂战场环境下目标信息不确定性造成目标识别困难和误判导致目标识别结果准确率低的问题提出了一种基于离散因子多传感器目标识别的数据融合方法使目标识别结果更加准确符合实际 以上文献表明通过多传感器信息融合技术能够解决单一传感器识别能力低的问题提高目标识别结果的准确性随着技术的不断发展目前的雷达大多都配备着各种类型的光电传感器辅助雷达进行目标识别这些光电传感器包括白昼型或者微光型电视跟踪及监视设备、前视红外跟踪及监视设备、激光测距机等 利用这些设备能够观察目标的特征及跟踪情况 因此可以在传统武器系统中使用光电图像和雷达航迹进行目标属性识别故本文中设计了一种使用 证据理论并基于决策级信息融合将雷达航迹信息与光电图像进行融合识别的方法该方法在融合处理雷达航迹信息、光电图像信息的基础上利用融合后的目标信息完成对目标的正确识别 通过实验分析论证了该方法能够提高雷达的目标属性识别能力 研究方法图 为本文中使用的目标属性识别框架通过对航迹信息进行卡尔曼滤波后提取运动特征并使用 模型进行分类最后通过 函数输出基本概率赋值 光电图像采用 层的在 数据集上预训练好的 网络进行分类最后使用 证据理论对 个模型的识别结果进行融合图 信息融合目标属性识别框架图.网络 是陈天奇等提出的一种基于梯度提升树的集成学习算法具备更加快速准确解决许多数据科学问题的优点其思想就是不断地生成新的树每棵树都是基于上一颗树和目标值的差值来进行学习从而降低模型的偏差最后将所有树的结果加起来就是模型对一个样本的预测值 而如何选择生成一颗较优的树则是通过目标函数来定义 的目标函数 如式()所示:()()式()中:为误差项()为复杂度函数项误差项 就是所有数据训练后得到的预测值和对应的真实值之间的误差相加而每一次迭代得到的预测结果都是对上一次迭代残差的修正 假设模型在第 步得到的预测值为()则每次的预测值可表示为()()()()()()()()()()()()如果叶子的节点数太多模型过拟合的风险就会增加所以加入复杂度函数()来限制叶子节点个数即()()式()中:、为超参数用来控制叶子节点数和权重.网络本文中需要识别的光电图像目标种类较多并且目标大小也是模拟光电系统实际观测大小所以需要特征提取能力李正东等:基于图像与航迹信息融合的目标属性识别方法较强的网络若采用较深的网络结构虽然可以提高网络的特征提取能力但是随着网络不断的加深不仅会使网络的训练速度呈现下降的趋势模型难以收敛还会使模型出现梯度消失、梯度爆炸等复杂问题 因此本文使用了 等在 年提出的 网络即残差神经网络 首先使用 网络在 数据集上预训练权重然后使用本文中构建的光电图像数据集对模型再训练 网络结构如图 所示图 残差块结构.该残差块输出为()()()故网络的学习目标为()()()若此时卷积神经网络发生了梯度爆炸问题无法继续学习即()那么()即输出等于输入故网络能够有效克服网络训练收敛难、网络退化和信息丢失等问题.证据理论 证据理论是 提出后经 的进一步发展而形成的一种不精确推理理论 其能够针对所研究的不确定性问题的基本事件幂集空间确定相应的基本概率赋值使用 组合规则进行融合从而得到不确定性问题的解 本文中使用 证据理论的融合流程如图 所示图 融合流程图.如图 所示光电图像分类模型提供的基本概率分配函数为模型预测各个类别的概率()雷达航迹分类模型提供的 基 本 概 率 分 配 函 数 为 模 型 预 测 各 个 类 别 的 概率()则融合后目标属性类别的概率分布为()()()()式()中:()和()分别代表光电图像分类模型和雷达航迹分类模型预测目标属性为第 类和第 类的概率 代表证据间的冲突程度被称为冲突因子/是确保融合质量一致性的归一化因子 的计算式为 ()()()相关工作.数据集的构建)光电图像数据集的构建 由于并没有针对巡航导弹()、制导炸弹()、空地导弹()、武装直升机()、无人机()、固定翼飞机()类目标的光电图像公开数据集所以本文中通过多光谱软件仿真生成每个目标的光电图像数据并对生成的图像进行随机翻转、随机裁剪、随机缩放、随机旋转等操作以扩充数据集 生成的图像中不仅包含着战场背景信息同时目标在图片中的大小也是根据光学成像原理缩放以模拟真实光电系统成像 代表模拟真实光电系统成像目标的像素大小计算公式为()式()中:为目标实际尺寸 为目标距光电传感器的距离 为镜头焦距 为像元尺寸)雷达航迹信息数据集的构建 采用仿真的形式模拟部分了巡航导弹、制导炸弹、空地导弹、武装直升机、无人机、固定翼飞机 种目标航迹作为初始数据集并对初始数据集内的轨迹进行旋转、对称和平移等操作以扩充数据集 通过数据扩充获得各个种类 条航迹共计 条航迹作为数据集 并为所有轨迹添加均值为 的高斯白噪声以模拟观测的随机误差 其中方位角和高低角白噪声均方差为 密位斜距离白噪声均方差为 然后将上述轨迹转化到笛卡尔坐标系下进行卡尔曼滤波去除缺失值后获得真实数据集 数据集中的原始特征包括扰动后的目标轨迹观测坐标()、卡尔曼滤波后的目标位置()、目标速度()、目标加速度().雷达航迹信息特征提取由于雷达航迹信息中存在着噪声的影响所以需要将获得的航迹转化到笛卡尔坐标系下进行卡尔曼滤波去除缺失值后获得真实数据集而后通过特征工程进一步提取运动特征)卡尔曼滤波 目标运动学模型一般在笛卡尔坐标系下进行描述其状态方程如式()所示:()兵 器 装 备 工 程 学 报:/./式()中:为 时刻的目标状态为状态转移矩阵为均值为 协方差矩阵为 的高斯白噪声 以、与、分别表示三维笛卡尔坐标系下的目标位置、速度以、表示目标加速度则目标状态向量 如式()所示:()跟踪系统测量方程如式()所示:()式()中:为测量矩阵为均值为 协方差为 的高斯白噪声卡尔曼滤波是一种典型的线性最优滤波算法在滤波时根据当前接收的观测数据和上一时刻的估值根据系统状态方程使用卡尔曼增益进行修正预报出新的状态估计值卡尔曼滤波的主要计算过程如式所示:()()()()式()中:为验后的状态估计 为验后的协方差估计为滤波增益)特征工程 主要的特征工程为滤波值特征上的统计特征值和常用的在滤波后速度和加速度上的航迹特征 基本特征为卡尔曼滤波后的目标位置、目标速度、目标加速度其他特征在基础特征上衍生首先对基础特征坐标变换不妨以 表示某基础特征向量则坐标变换如式()所示:()()()式()中:矢量为坐标变换的基础矢量 为航向角为俯冲角衍生特征在变换后的基础特征上构建包括矢量平滑平滑矢量的差分、模、相似度以及曲率依次如式()式()所示:()()()()()()()()()()()()()式()式()中:和 为变换坐标后的基础特征 实验设置本文中所有的实验均在 系统下完成电脑处理器为 运行内存大小为 型 号 为 显存大小为 .训练过程与参数设置)针对 网络 由于原始的 上的输出层数为 为符合本文中的分类目标种类数故将其输出层数改为 训练采用超参数为:设置为训练轮数为 轮学习率为.)针对 网络 的训练过程中采用基于贝叶斯优化的 库搜索最优参数主要优化参数范围为:树模型的深度在 学习率在.正则化系数在.正则化系数在.数据集采样比率和特征采样比率都在.搜索出最优参数后训练最大迭代次数为 模型的损失函数采用交叉熵损失函数当模型在验证集上的得分持续 次迭代不再提升即停止训练.评价指标网络训练完成后需要在测试集上测试网络的效果基于 融合的目标属性识别模型本质上是多分类模型评价多分类模型的效果时采用的指标是由二分类问题的评价指标发展而来在二分类问题中常用的指标包括分类准确率()、精确率()、召回率()和 得分()这些指标和(正类预测为正类的样本数)、(负类预测为正类的样本数)、(负类预测为负类的样本数)、(正类预测为负类的样本数)相关 在军事武器系统中希望目标属性被误分类的概率最小化故本文使用召回率作为模型的分类评价指标召回率的定义如式()所示:()实验结果分析)融合对各模型误分类的影响 为验证 融合能否矫正因为单一模型分类错误而导致最终识别结果错误的问题本文中分别对真实标签为 的光电图像与航迹信息进行属性识别并将单个模型对每个类别的预测概率与最终融合后模型对每个类别的预测概率进行对比 各模型对每个类别的预测概率分别如图 图 所示图 表明了图像分类模型对真实标签为 的光电图像目标属性识别结果为 并且识别为 的概率为 识李正东等:基于图像与航迹信息融合的目标属性识别方法别为 的概率为 图 表明了航迹分类模型对真实标签为 的航迹特征目标属性识别结果为 并且识别为 的概率为 图 表明了融合后模型的目标属性识别结果为 并且识别为 的概率为 图 图像分类模型对真实标签为 的各类别预测概率.图 航迹分类模型对真实标签为 的各类别预测概率.图 融合模型对真实标签为 的各类别预测概率.由上述结果可知即使光电图像分类模型给出了一个错误的识别结果但通过 融合后最终的识别结果却是正确的并且最终预测为正确类别的概率也是高于融合前各模型预测为正确类别的概率)融合对单一模型识别能力的影响 为了验证本文中所提出的使用 融合的方法是否能提高目标属性识别能力本文中分别模拟了目标距光电传感器的距离 为 和 的航迹分类模型识别结果和光电图像分类模型识别结果与融合后的识别结果进行对比 各模型召回率在 种距离 上的实验结果分别如图、图 所示图 距离 为 的召回率.图 距离为 的召回率.图 表明在目标距光电传感器距离 为 上融合后模型各目标的召回率都均高于融合前单一模型各目标的召回率并且融合后模型各目标的召回率比光电图像分类模型各目标的召回率平均高 左右比雷达航迹分类模型各目标的召回率平均高 左右 图 表明在目标距光电传感器距离 为 上融合后模型各目标的召回率也都均高于融合前模型各目标的召回率且比光电图像分类模型各目标的召回率平均高 左右比雷达航迹分类模型平均高 左右由上述结果可知无论是距离 为 或是 上的目标属性识别融合后模型的识别能力均高于融合前模型的识别能力)本文中方法和其他算法性能比较 为验证所提方法的优越性选取了 个常用于雷达航迹分类识别的算法与所提方法对比分别是卷积神经网络()、递归神经网络()以及决策树()不同算法在识别性能召回率上实验结果如图 所示兵 器 装 备 工 程 学 报:/./图 各算法识别的召回率.图 实验结果表明了 的识别效果一般 虽然能自动从数据中学习特征但 在处理有时序特征的数据时其识别效果往往不理想 和 的识别效果较好 在处理序列数据时往往会取得较好的结果而一旦处理类似雷达航迹这种拥有长时间序列特征的数据时其结果往往有待提升决策树通常是递归选择最优属性并根据该特征对训练数据进行分割故而能得到较好的结果但是决策树没有考虑航迹数据的时序性所以结果也有待提升 以上算法对航迹识别性能均低于本文中所提的方法从而验证了本文中所提方法在目标航迹识别上的良好效果综上可知所提方法在雷达航迹识别性能上均高于其他的对比算法提高了雷达航迹识别的召回率同时无论是远距离目标属性识别或者近距离目标属性识别融合后模型的识别能力也均高于融合前单一模型的识别能力并且也能矫正因单一模型分类错误而导致最终识别结果错误的问题从而表明本文中所提方法的有效性 结论本文中提出了一种基于光电图像和雷达航迹信息融合的目标属性识别方法通过使用 组合规则将 网络和 网络得到的目标类别概率进行融合 经实验表明:通过 融合能矫正因为单一网络识别错误而导致最终结果识别错误的问题无论是在远或近距离目标的属性识别上融合后模型的召回率都均高于单一模型的召回率且融合后模型的平均召回率为 参考文献:樊玉琦刘瑜岚许雄等.基于点迹时空关系的雷达目标航迹识别.电子测量与仪器学报():.():.樊玉琦温鹏飞许雄等.基于卷积神经网络的雷达目标航迹识别研究.强激光与粒子束():.():.孙宁秦洪懋张利等.基于多传感器信息融合的车辆目标识别方法.汽车工程():.():.卢莉萍张晓倩.复杂环境下多传感器目标识别的数据融合方法.西安电子科技大学学报():.():.:.():./.:.():.():.:.():.王超万兆江周瑜杰等.基于 垃圾分类算法的改进及应用.智能计算机与应用():.():.闫吉庆沈志远吕靖等.基于 和文本聚焦模型的招标文件自动分类.武汉大学学报(工学版)():.():.杨淑洁孙伟卢威等.舰船雷达与 信息融合技术.舰船科学技术():.():./.科学编辑 蒋宏 博士(北京航空航天大学 副教授)责任编辑 徐佳忆李正东等:基于图像与航迹信息融合的目标属性识别方法