光电成像目标识别与检测关键技术研究.pdf

2023 年第 10 期44计算机应用信息技术与信息化光电成像目标识别与检测关键技术研究贾 娜1 JIA Na 摘要 基于光电成像原理的地面运动目标自动跟踪检测，通常用于引导和控制导弹飞行方向、精确打击地面运动目标，利用摄像机装置拍摄得到多帧(3 帧以上)视频的序列图像，进行运动目标的灰度直方图、空间位移特征提取，利用云台装置发送的指令来控制摄像机转动角度。通过运用图像金字塔的全局估计算法、变化能量的运动目标检测算法，针对地面运动目标的多帧序列图像，进行多层金字塔的图像像素块预判、块匹配计算，求解出不同分辨率的图像运动参数，通过使用高分辨率图像的迭代估计方法，可计算图像金字塔上相邻帧间的全局运动参数，形成背景图像像素位移的运动补偿。同时，对于分散运动相对应的非显著性像素，通过计算变化能量，在同级变化能量的乘积图像中抽取变化区域，用于检测与标记独立运动目标的位置、数量。为验证算法的有效性，对标准的图像帧序列作出测试，实验结果得出：两种目标检测算法的综合应用，可保证像素宏块与匹配、运动目标标记与检测的准确性。关键词 光电成像；目标识别；检测；关键技术 doi：10.3969/j.issn.1672-9528.2023.10.0091.人民解放军 91550 部队 42 分队 辽宁大连 1160230 引言近年来块匹配法、特征点匹配法为全局运动估计的最常用算法，主要从摄像机拍摄的视频帧序列中找出前景、背景的运动参数，将图像参考帧分为若干相同的图像块、提取背景运动参数进行前景与背景块匹配，经过全局匹配与运动补偿后、可差分检测出跟踪的运动目标。光电成像是用于重点区域全局运动估计、地面目标自动跟踪检测方法，是利用人眼难以直接观察的问题辐射光波作出识别目标的像素点、特征点抽取，将运动参数映射到不同层级的图像中，光电成像系统的目标跟踪与识别能力决定着特定空间范围内的真实目标预测与跟踪精度。为完成视频图像帧的运动目标对象识别与检测，主要针对摄像机采集到的图像信息，采取图像金字塔分解的全局运动估计算法，从视频的图像序列中找出背景运动参数，进行相关运动参数的全局补偿，补偿后的图像帧间背景静止，即可差分检测出运动目标的参数信息1。在此基础上使用变化能量的运动目标检测算法，抽取多帧图像（3 帧以上），计算并得出每级图像的运动变化能量乘积图，即可确定某一目标在多帧图像中的变化区域、定位位置，并抑制背景杂波，得到准确的运动目标识别与检测结果2。1 基于图像金字塔的全局运动补偿算法技术1.1 基于梯度信息的宏块预判基于图像金字塔全局运动估计通常围绕 2 个以上参数构建运动模型，从视频序列图像中寻找28个的运动估计参数，如选用前景像素点、背景像素点、目标位置等参数对全局运动状态作出估计检测，运动模型涉及的参数越多，对于复杂场景的目标跟踪监测结果也就越精确，但与此同时运动模型系统的计算量也越大。图像金字塔的特征点提取、块匹配算法，涉及一级、二级、三级(帧)的待配准图像块，包括图像金字塔构造、逐级图像块归整、背景运动参数估计、由粗到精迭代估计计算等的执行流程，能够不同分辨率图像的逐级迭代估计、运动模型参数求解，优点是每一级分辨率图像间的像素偏移较小，具体的迭代全局运动直接补偿算法流程如图 1 所示3。从图 1 可以看出，若图像金字塔需要进行宏块匹配，则应对前两层金字塔的图像特征点作出选取，然而多层块匹配都需要先判断图像的纹理信息，当图像纹理信息很少时，难以进行特征点提取、块匹配计算，图像的梯度信息可用于描述纹理特征。因而本文采取基于梯度信息的宏块预判方法，对图像分成的若干个宏块，去除梯度信息小的宏块4。2023 年第 10 期45计算机应用信息技术与信息化图 1 迭代全局运动直接补偿算法流程使用两个 33 矩阵的边缘检测算子（Sobel），去和目标背景图片作卷积，得到横向 G(x)和纵向 G(y)的梯度值，完成图像梯度信息的计算。对于存在 mn 个像素的图像宏块 A 而言，若设定 pxy为坐标(x,y)处的像素块，则根据Sobel 算子的梯度值 G(pxy)，计算得到宏块的图像梯度信息值为 GA，具体计算公式5为：G(pxy)=G(x)G(y)（1）1-01121)(=xG =1-01121)(yG （2）（3）式中：mn 作为宏块像素的阈值，通过设置宏块像素的阈值可用于判定宏块的梯度信息值是否完全，m、n 越大表示舍去的宏块像素数越多、保留的宏块像素数越少。当宏块像素数量不再变化时、表示全局运动补偿的运算量保持稳定，但具有梯度信息的宏块数目应维持在 50%以上的范围内，否则无法保证图像帧的全局运动参数估算，在宏块数目保持到 50%70%范围时可减少模型运算量、提高运动估计的准确性。1.2 基于图像块的前景运动点去除在地面目标多帧图像的全局运动估计中，除目标对象以外的局部前景运动点，会作为噪声点干扰逐级迭代估计、运动模型参数求解，因此运动估计计算前应排除噪声点。本文采取基于宏块前景像素点的去除法，对目标多帧图像进行全局运动补偿，将原图像与补偿后的图像差分，形成并分为MN 大小的残差图像块，计算图像块之间相似度的绝对差总和（SAD）值，其计算公式6为：（4）式中：(x,y)表示点(x,y)的残差值。将局部前景运动点的图像块 SAD值作出排序，去除 SAD值较大的图像块，以及对某一 SAD值较大的图像块周围的领域块，根据设定的预选规则进行去除。如某一图像块周围存在 8 个邻域预去除块，则应去除 4 个 SAD值较大的预选块，并对剩余预去除块，也标志为预选去除块。通常去除 SAD值较大的图像块不宜过多或过少，一般控制在前景宏块的 40%左右，若预去除块过多则会影响估计的准确性，过少则会导致全局运动估计的运算量增大，以及误将前景噪声块作为背景块，也将影响运动估计的准确性7。1.3 全局运动直接补偿算法 当跟踪摄像机、地面目标场景之间的距离变化较小时，可认为光电传感器、地面目标对象保持着独立运动，也即属于平滑的二维平面运动。基于这一考量，本文以背景像素坐标(x,y)为主，建立起图像金字塔全局运动的仿射变换模型，其计算公式8为：u(x,y)=p1x+p2y+p3 v(x,y)=p4x+p5y+p6 （5）式中：P=p1,p2,p3,p4,p5,p6 表示仿射变换模型的参量，u(x-,y),v(x,y)表示相邻图像帧 I1、I2的背景像素运动偏离值。当光电传感器距离地面较远时，仿射变换模型可拟合出精确的二维运动场，而后利用图像帧 I1、I2的偏离值，计算出每级（帧）图像的最小化平方和误差 E 值，如式（6），以此为依据估算出仿射变换模型的参数 P9。()()()2,121,=yxjvyuxIjyxIvuE （6）式中：I1(x-u,y-v)表示 I1(x,y)偏离值的运动补偿图像，j 表示金字塔中的图像帧等级，平方和用于完成图像区域内所有像素点的计算。在图像像素发生灰度变化情况下，假设(ui,vi)表示第 i 次迭代估计后，相邻图像帧的运动偏移值，u=(u,v)表示运动估计计算的增量值，则第 i 次归整后的每级图像最小化平方和误差 E 表示为：()()()2,*,+=yxuyxIyxIvuE u2 （7）式中：()()iivyuxIyxII=,12，表示第 i 次归整后 I1、I2图像帧像素的运动偏移值；()yxIII=,表示图像帧 I2在 x、y 空间方向的梯度向量，采取高斯滤波器的卷积计算方式得到。2 基于变化能量的运动目标检测算法技术在光电成像目标对象检测中，使用图像金字塔的全局运动补偿算法，需要通过帧间差分的检测方式，去除图像帧的背景噪声干扰、计算全局运动的估计误差，否则难以得到精确、满意的检测结果。在这一情况下，本文基于变化能量的运动目标检测算法，结合图像金字塔的帧像素信息，如选取L1、L2作为相邻帧图像，前后相邻帧的全局运动偏离参数仍2023 年第 10 期46计算机应用信息技术与信息化设置为 u(x,y)、v(x,y)，计算第 k 级图像 L2向 L1配准后得到的图像()kyxL,1，其计算公式10为：()()()kyxuyyxvxLkyxL,21+=（8）基于变化能量的运动目标检测流程如图 2 所示。图像序列时间窗图像金字塔变换全局运动补偿图像差分变化能量检测变化区域抽取目标标记图 2 变化能量的运动目标检测流程在经过相邻帧图像的运动补偿后，形成空间内的多级配准图像序列，对该序列的每级变化能量图像 D(x,y,j)量图像进行计算，可表示为：()()()jyxLjyxLjyxD,12=（9）考虑到场景光照变化引起图像灰度的变化，选择拉普拉斯的图像残差预测方法，针对以上利用图像金字塔全局运动补偿，整合得到的时间-空间差分图像序列，取样与映射出运动变化能量的目标区域，来检测与标记地面目标的位置、运动情况，具体计算公式11为：Li=Gi-UP(Gi+1)(u,v)（10）（11）式中：i 表示高斯图像金字塔的等级，Gi、Gi+1 分别表示第 i、i+1层图像的梯度信息；UP()操作表示将源图像Gi位置为(x,y)的像素，映射到目标图像 Gi+1 之中，(u,v)表示对全局运动估计的偏置值进行高斯卷积计算；E(x,y,j)表示运动变化图像的最小化平方和误差值 E。在基于变化能量的运动目标检测过程中，运动目标对象对应着运动差分图像的显著像素极值点，分散运动区域则对应着非显著像素。3 基于图像金字塔的全局运动估计算法的算法执行步骤3.1 运动模型参数的迭代求解多帧图像像素块匹配的全局运动估计，要先选择参与计算的背景像素集合（可设置为 A）。为保证集合 A 内包含更多的背景像素点，应采取最小二乘法、用阈值 T 去除干扰噪声点，但使用的阈值 T 不宜过大或过小，需要只排除干扰噪声点，保留背景像素点，如设置迭代的阈值 T 为 50 100。当第 1 次迭代开始且 T 50 时，基于全局运动区域占图像场景 50%的假设、T 值不能再小，这时设置初始化的像素点为(a1,a2,a3,a4)=(0,0,0,0)，初始化的运动参数为(b1,b2)=(0,0)。使用以上公式（4）的绝对差值和块匹配准则，计算出像素点的矢量残差值(b1,b2)，使用以上公式（6）计 算 出 集 合 A 像 素 点 的 运 动 参 数(a1,a2,a3,a4)，若(a1,a2,a3,a4,b1,b2)、(a1,a2,a3,a4,b1,b2)之间存在的运动偏移差值小于 1，则结束迭代，更新运动矢量的宏块集合，否则利用(a1,a2,a3,a4,b1,b2)运动参数作第 2 次迭代。其中以上集合 A 的运动偏移差值（距离 D）计算公式12为：（12）式中：L=L1L2，表示图像帧宽 高面积的像素数。在第 2次迭代时设置 T=T-，表示阈值递减步长、=5 15，第 2次迭代重复以上步骤，计算集合 A 的运动矢量残差，直到前后两次得到的运动偏移差值参数足够小（D 1）。3.2 多层图像的全局运动估计算法步骤利用以上公式（2）、（3）的高斯图像构造法，建构起由下至上的 3 层图像金字塔结构，上层金字塔图像分辨率为下层的 1/4。首先将最底层金字塔图像，分为同样大小的矩形宏像素块，运用公式（2）、（3）预判宏块，去除梯度信息较小的宏块，将其余宏块整合为初始化集合 A。随后，同样将中间层图像分为同样大小的矩形宏像素块，运用梯度信息公式预判宏块，剔除梯度信息较小的宏块，将底层图像 Gi的像素位置、运动参数映射到中间层目标图像Gi+1 之中（b1、b2扩大 1 倍，其余参数不变），得到的图像即为 Gi+1 的第 2 层图像。根据映射后的像素参数，对第 2 层图像作出运动补偿，得到去除噪声的残差图像。最后，将最上层图像分为同样大小的矩形宏像素块，运用梯度信息公式预判宏块，剔除梯度信息较小的宏块，将第2层图像的像素位置、运动参数映射到最上层目标图像之中，根据映射后的像素参数，对第 1 层图像作出运动补偿，得到集合 A 像素点的运动矢量残差图像。对残差图像提取特征点，即可得到运动目标对象的图像信息。4 仿真实验及结果分析为验证光电成像检测技术的高效性、准确性，使用704576 分辨率的图像测试序列，选取 1616 大小的宏像素块，进行运动目标对象的识别检测，完成图像宏像素块的梯度信息值求取，以及(a1,a2,a3,a4)、(b1,b2)的运动参数差值匹 2023 年第 10 期47计算机应用信息技术与信息化配，在残差图像中提取运动目标的特征点。如针对利用光电传感器、摄像头等设备，作平移运动的多帧图像拍摄情况，使用以上图像金字塔的全局估计算法、变化能量的运动目标检测算法，提取 704576 图像测试序列的背景特征点，计算匹配图像窗口内的空间梯度信息矩阵 G，在此基础上求取目标识别与检测对象的特征值 1、2，计算公式13为：()()()()()()=mxnyyxyxyxyxyxyx1122212121,G （13）而后在下一帧图像中，运用图像像素块匹配的全局运动估计法，以及基于图像灰度的残差预测方法，取样与映射出运动变化能量的目标区域。同时，利用以上提出的仿射运动模型参数，将该区域的运动目标对象像素特征点与前一帧特征点对应，采用图像金字塔的分层迭代算法，完成多次迭代、特征点对匹配后，得到的运动目标对象特征像素点对差分结果、变化能量图14-15如图 3、图 4 所示。图 3 运动目标对象特征像素点对差分结果图 4 空间内的多级配准图像序列的变化能量图从图 3 的光电成像目标识别与检测结果可以得出：相邻两帧图像经过 3 次以上迭代后，图像像素块全局运动补偿的背景像素几乎抵消，主要原因是利用图像金字塔上逐级迭代估计、仿射运动模型参数，每级图像的背景像素运动偏移小、背景像素的配准较好，得到的仿射变换运动估计参数更加准确。其中飞机作为独立运动目标对象得到凸显，但还需针对视场环境变化、光电传感器的姿态变化，作出连续 3 帧图像背景杂波的抑制。如在图 4 中对每级图像的运动变化能量图相乘，来确定目标在多帧图像中的变化区域、定位位置，并抑制背景杂波，以凸显目标对象的位置，保证识别与检测结果的精确度。5 结语传统基于帧间差分、运动模型检测的运动目标跟踪算法，对图像背景噪声干扰抑制、全局运动估计误差的要求较高，且整体运动参数模型过于复杂、算法计算量过大，在三维场景运动目标监测中的实时性、适应性较差。由于光电成像的地面运动目标检测中，光电成像传感器距离目标对象较远，因而采用全局运动补偿的迭代技术，计算目标运动的多帧背景图像像素补偿精度，可完成不同帧图像特征点的运动参数估计。通过选用基于图像金字塔的迭代全局运动直接补偿算法、变化能量的运动目标检测算法，在多帧图像中找出特定的目标背景像素点，将参考帧分为大小相同的图像块，寻找与其相对应的匹配块，每一个图像块根据匹配误差标准，求解运动模型参数方程，来获得全局运动参数，并逐级提高图像中运动对象的估计精度、识别与检测准确度。参考文献：1 贺渝兵,曾国奇,宗茂,等.基于蜂群测控资源智能管控的无人机区域组网技术研究 J.无线电工程,2020(11):932-938.2 陈均溢,商思航,苗丹,等.光电成像系统的绝对光谱响应效率测量及分析 J.激光技术,2021(1):121-125.3 钟敏,程科,陈锋,肖朝.“光电成像技术”线上线下教学改革研究 J.科教文汇(中旬刊),2021(5):97-99.4 任智斌,胡佳盛,唐洪浪,等.基于信息失真的光电成像系统优化方法 J.应用光学,2017(5):689-693.5 胡以华,徐世龙.对集群光电成像传感器的多源协同相干激光干扰机理研究 J.红外与激光工程,2019(4):156-161.6 许红霞,闫健卓,于涌川.基于 BIM 的智慧 TOD 社区综合管理平台建设研究 J.智能城市,2021(4):33-35.7 张仲瑜,焦淑红.多特征融合的红外舰船目标检测方法 J.红外与激光工程,2015(Z1):29-34.8 郭小威,马登武,邓力.海天背景下红外舰船自动目标识别算法 J.激光与红外,2012(12):1398-1402.9 唐小佩,杨小冈,刘云峰,等.基于深度卷积神经网络的飞机识别研究 J.电光与控制,2018(5):68-72.10 张永霞,胡坚,张正,等.基于区域检测算法与不变矩特征的飞机特征提取方法研究 J.遥感信息,2013(3):3-7,13.11 张烁,张荣.基于卷积神经网络模型的手写数字辨识算法研究 J.计算机应用与软件,2019(8):172-176,261.12 边小勇,费雄君,穆楠.基于尺度注意力网络的遥感图像场景分类 J.计算机应用,2020(3):872-877.13 徐江浪,李林燕,万新军,等.结合目标检测的室内场景识别方法 J.计算机应用,2021(9):2720-2725.14 黄攀,杨小冈,卢瑞涛,等.基于空间联合的红外舰船目标数据增强方法 J.红外与激光工程,2021(12):535-544.15 陈彦彤,徐伟,朴永杰,等.用于遥感图像目标快速匹配识别的改进混合溢出树算法 J.光学精密工程,2016(9):2310-2317.【作者简介】贾娜（1986），女，硕士，工程师，研究方向：光电技术领域。（收稿日期：2023-03-09 修回日期：2023-03-28）