基于光电视频鸟类区域帧级码率控制优化算法研究.pdf

SOFTWARE2023软 件第 44 卷 第 9期2023 年Vol.44,No.9作者简介：孙磊（1973），男，博士研究生，教授，研究方向：智能系统与控制。通讯作者：徐剑荣（1998），男，硕士生在读，研究方向：智能系统与控制。基于光电视频鸟类区域帧级码率控制优化算法研究孙磊1 徐剑荣1 柳士伟2 郭鸿昌2 倪志旭1（1.盐城工学院电气学院，江苏盐城 224001；2.东部战区空军保障部直属保障队，江苏南京 210000)摘要：对于机场智能驱鸟应用中视频传输实时性和精确性要求，采用一种鸟类区域帧级码率控制优化算法，考虑人类视觉系统中注意力机制对视频内容感知的差别，通过光电设备捕捉被驱离鸟群并对鸟类区域识别，利用灰度共生矩阵对光电视频场景下图像帧进行空间复杂度计算；采用分级编码策略对于不同区域进行分块和标号处理，通过预测编码、变换编码和量化编码进行光电视频场景下图像差异性编码，实现光电视频压缩效率和鸟类区域质量的最优化，达到被驱离鸟类目标特征高分辨率视频快速实时传输，从而提高智能驱鸟系统的效率和性能。关键词：分级编码；机场智能驱鸟；空间复杂度；鸟类区域中图分类号：TP3;TN919.8 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.09.012本文著录格式：孙磊,徐剑荣,柳士伟,等.基于光电视频鸟类区域帧级码率控制优化算法研究J.软件,2023,44(09):049-052+161Research on Frame-level Code Rate Control Optimization Algorithm in Bird Area with Frequent Photoelectric IlluminationSUN Lei1,XU Jianrong1,LIU Shiwei2,GUO Hongchang2,NI Zhixu1(1.School of Electrical,Yancheng Institute of Technology,Yancheng Jiangsu 224001;2.Support Team Directly under the Air Force Support Department of Eastern Theater Command,Nanjing Jiangsu 210000)【Abstract】：To meet the real-time and accuracy requirements of video transmission in airport intelligent bird drive applications,this paper adopts a frame-level bit rate control optimization algorithm for bird area,takes into account the difference in the perception of video content by the attention mechanism in the human visual system,captures the expelled bird flock by photoelectric equipment and identifies the bird area.The gray co-occurrence matrix is used to calculate the spatial complexity of the image frame in the photoelectric video scene.The hierarchical coding strategy is used to process the segmentation and labeling of different regions,and the image difference coding in the photoelectric video scene is carried out by predictive coding,transform coding and quantization coding,so as to achieve the optimization of the photoelectric video compression efficiency and bird region quality,achieve the rapid real-time transmission of high-resolution video features of the expelled birds,and thus improve the efficiency and performance of the intelligent bird repelling system.【Key words】：hierarchical coding;airport intelligent bird drive;space complexity;bird region设计研究与应用0 引言随着数字视频技术的不断发展，视频编码技术已经成为数字视频处理中的重要组成部分。在视频编码中帧级编码策略是一种常用的技术，将视频帧分成不同的部分进行编码，以提高视频压缩效率和质量。图像视频在智能驱鸟系统人机交互中扮演着重要的角色，光电设备作为智能驱鸟系统的重要组成部分，通过视频传输帮助用户更好地了解鸟类的活动情况和行为规律等，从而更加有效地制定驱鸟策略。对于机场智能驱鸟应用中视频传输实时性和精确性要求，图像视频在进行传输之前其所占的内存都是特别大的，传统的视频压缩编码对于有移动目标的缺点主要是在压缩后的视频中可能会出现运动模糊、失真、块状效应等问题，导致关键信息的丢失。对于移动目标区域编码的研究主要针对移动目标区域检测和码率控制相关研究，文献 1-文献 5 提出一种宏块级别的比特分配方法，设计了不同的码率控制50软 件第 44 卷 第 9 期SOFTWARE策略，能够有效提升用户主观视觉质量；文献 6-文献 8 提出一种基于感兴趣区域编码的质量可调码率控制方法，并根据码率控制算法预测感兴趣区域 QP 的范围；文献 9-文献 11 提出了一种新颖的基于多目标优化的编码树单元级感知比特分配方法，用于游戏视频编码。利用可变视频编码提高游戏视频的视觉质量，同时优化感兴趣区域质量、整体感知质量和 ROI 质量波动。文献 12-文献 15 提出一种码率控制改进方法，采用宏块行作为一个基本 BU 编码单元进行码率预测、编码，图像匹配精度得到提高，码率控制更加精准。本文将针对光电视频鸟类区域监测中的帧级编码问题展开研究，提出一种基于光电视频鸟类区域帧级码率控制优化算法。该算法考虑人类视觉系统中注意力机制对视频内容感知的差别，通过光电设备捕捉被驱离鸟群并对鸟类区域识别，利用灰度共生矩阵特征量对光电视频场景下图像帧进行空间复杂度计算；采用分级编码策略对于不同区域进行分块和标号处理，通过预测编码、变换编码和量化编码进行光电视频场景下图像差异性编码，利用移动目标频繁的视频序列中的时空相关性，解决了光电视频传输编码效率低的问题，实现了光电视频压缩效率和鸟类区域质量的最优化。1 光电视频图像空间复杂度计算由于智能驱鸟系统人机交互中对鸟类视频实时监控的实际需求，考虑人类视觉系统中注意力机制对视频内容感知的差别，高空间复杂度的图像通常需要更高的比特率才能保持高质量的编码。空间复杂度是指图像中像素值变化的频率和幅度，它是视频编码中一个重要的质量指标，本文采用灰度共生矩阵的方法对光电视频图像空间复杂度迹计算。在处理纹理变化缓慢的图像时，可以观察到其灰度共生矩阵在对角线上的数值较大。相比之下，纹理变化较快的图像其灰度共生矩阵对角线上的数值较小，而两侧的数值则较大。由于灰度共生矩阵所包含的数据量相对较大，一般情况下不直接将其作为纹理特征来区分图像，而是利用基于灰度共生矩阵计算出的各种统计量来描述纹理并进行分类。Haralick 提出了 14 种可用于计算灰度共生矩阵统计量的方法。为了减少计算复杂度，本文选择其中四种统计量，分别是对比度、能量、熵和相关度，通过这些统计量，能够更有效地描述和推断纹理特性。这四种灰度共生矩阵纹理特征计算公式如式（1）、式（2）、式（3）和式（4）所示：11(,)log(,)NNijHp i jp i j=（1）211(,)NNijEi jp=（2）11(,)log(,)NNijHp i jp i j=（3）11(,)/NNxyxyijCovijp i j =（4）其中，I 表示对比度，E 表示能量，H 表示熵，Cov表示相关度。P(i,j)表示灰度共生矩阵中的第 i 行，第 j列元素。px和 py分别是灰度共生矩阵中每列和每行元素的和，y和y分别表示px和py的均值和标准差，如式（5）和式（6）所示：(,)Nxjp i jp=（5）(,)Nyip i jp=（6）对比度 I 用来度量图像中存在的局部变化，反应了图像的清晰度和纹理的沟纹深浅，纹理越清晰反差越大对比度也就越大，对比度越小纹理越模糊。能量 E 是指图像中不同灰度级之间的出现频率的平方和，即灰度级之间的差异越大，能量越高。能量越高，图像的纹理特征越明显。熵 H 是指图像中不同灰度级之间的出现频率的信息熵，即灰度级之间的差异越大，熵越高。熵越高，图像的纹理特征越复杂。相关度 Cov 是指图像中不同灰度级之间的空间关系，即灰度级之间的相关程度。相关度越高，图像的纹理特征越规则。基于上述四种特征量和图像纹理复杂度的关系，得到计算光电图像空间复杂度的方法如式（7）所示：ovCpxHIEC=+（7）其中，Cpx表示图像空间复杂度指标，Cpx越大，图像内容越复杂。基于光电视频图像空间复杂度计算结果，对于光电设备视频编码需要对不同区域采用不同的编码策略进行编码。2 基于视频图像区域分块及标号的分级编码策略在获取到光电视频画面中的鸟类区域以后，传统算法通常倾向于为鸟类区域分配更多的编码比特，以确保该区域的视频质量，而背景区域则分配较少的编码比特。但是这种方法相对粗糙，可能导致解码后鸟类区域和背景区域之间的过渡较为突兀，不够平滑。本文针对此问题，在编码之前采取了一系列处理措施，包括对鸟类区域进行掩膜分块和标号处理。同时，还将鸟类区域周围的宏块设置为过渡区域，通过这样的方法，可以获得更加平滑自然的光电视频解码效果。为了保证光电视频的质量，本文算法将图像分割成51孙磊 徐剑荣 柳士伟等：基于光电视频鸟类区域帧级码率控制优化算法研究三个部分：鸟类区域、过渡区域和背景区域。对于鸟类区域，给它对应的宏块值设为 2；而对于过渡区域，宏块值为 1；背景区域的宏块值则为 0。根据各个区域的重要性，在生成三个区域的掩膜图像时，将分配更多比特给鸟类区域，以保证该区域视频质量。背景区域所需的比特数最小，而过渡区域将分配适量的中间比特数目，以确保鸟类区域和背景区域之间的平滑过渡。如图 1 所示展示了视频图像分类状态的示意图。鸟类区域过渡区域背景区域图 1 视频图像分级状态Fig.1 Video image classification status为了避免因分区域编码而导致背景区域和鸟类区域的编码质量差异过大，进而引起主观质量的下降，本文引入过渡区域。过渡区域的存在可以平衡鸟类区域和背景区域之间的编码质量差异。过渡区域的作用在于减缓界线处的编码质量变化，使观看者感知不到过渡边界的存在，从而达到与人眼视觉系统对于平滑舒适的高质量画面的需求一致。这样的处理方式能够有效保持画面的连贯性，提升视觉效果，进而提高驱鸟效果。在得到光电图像帧的空间复杂度和划分区域的基础上，为了实现宏块级别的码率控制，需要对光电视频帧的鸟类区域、过渡区域和背景区域进行划分，并建立它们与各自量化步长之间的关系模型，以便为各个区域提供最佳的 QP 决策和数据分配。传统的视频编码标准中，量化步长与编码后的视频帧比特数呈反比关系。本文利用鸟类区域对于帧的占比 P 和量化步长 Qstep作为参数，基于传统量化参数 Qstep与比特数 L 的关系，建立函数关系式，如式（8）和式（9）所示：s,()tepLf QP=(8)()stepstepPLPQQ=+(9)其（10）中 Qstep代表量化步长，和 是常数系数，可以通过大量实验和最小二乘线性拟合得出。同时，量化参数和量化步长之间的互推关系如式（10）所示：146s()2QPtepQ=（10）式（10）中 QP 是量化参数，该参数用于确定鸟类区域、过渡区域和背景区域各区域的量化步长 Qstep。进行网络通信时，在考虑到视频数据从光电设备发送端到接收端所需的时间延迟，限制发送端的缓冲区充盈度，避免数据包的丢失或过多延迟的基础上，最大化每帧光电图像的加权平均峰值信噪比，来提高每个视频帧的主观质量，具体表示如式（11）所示：210.,argmax.zzzzOP QPQPQPP st=（11）1,NzznnLLz=max,zzLLz 2min,zzLLz 0,znLn z 式（11）中,2zQP、1zQP、0zQP分别表示光电视频帧的鸟类区域、过渡区域和背景区域的量化参数值，maxzL表示满足时延约束和缓冲区约束的视频帧比特上界，minzL为下限值，zP表示针对鸟类区域编码模式下光电视频帧 z 的加权平均 PSNR 值。传统 PSNR 在计算中同等对待同一帧图像中的各个像素点，不适用于针对鸟类区域编码模式下的视频质量衡量。本文基于传统 PSNR改进而得到，如式（12）所示：222210255255255101101101zPazbzczMSEMSEMSE=+（12）2MSE、1MSE、0MSE分别代表鸟类区域、过渡区域和背景区域的均方误差，系数 a、b、c 为协调因子，可以根据光电视频帧各区域重要程度的不同设定，以确保分配更多权重给鸟类区域。3 实验结果与分析机场智能驱鸟系统采用光电设备对空中鸟群进行捕捉视频传输，实验采集了光电设备在不同场景下捕捉鸟类目标的四段视频序列。使用两种方法对所选原始光电视频序列进行编码，第一种为传统的 H.264 视频编码方法，第二种为本文所描述的视频编码方法。采用基于光电视频鸟类区域帧级码率控制优化算法，在保证鸟类区域编码质量的前提下，尽可能地降低码率，从而有效减小光电视频大小，节约存储空间，提高传输速度。如表 1 所示是两种编码方法在不同视频场景下的码率和峰值信噪比对比结果。由表 1 可以看出，相比于参考方法，本文方法的整帧图像的峰值信噪比降低，因为对图像背景区域采用了较大的量化参数，总体图像质量下降；但是鸟类区域的峰值信噪比有所提升，因为对鸟类区域采用较小的量化参数，图像鸟类区域质量改善。在码率控制方面，本文52软 件第 44 卷 第 9 期SOFTWARE方法实际码率更接近于目标码率。实验数据表明，基于本文视频压缩编码方法可以有效地降低光电视频压缩所需的码率，同时在保证鸟类区域视频图像分辨率的前提下，提高了视频压缩传输的速度，保证了智能驱鸟系统实时性的特点。如图 2 和图 3 所示分别为本文方法和参考方法在序列 1 第 30 帧的编码重建图像主观质量对比，从图 2 可以看出采用本文方法编码后获得的光电视频图像鸟类区域主观图像质量要高于参考方法，图 2 中鸟类目标的羽毛颜色、嘴巴和爪子等更为清晰；背景区域的蓝天白云质量虽然不如图 3 所示区域，但是对主观视觉的影响较小，且对智能驱鸟系统属于不重要区域；本文方法在过渡区域分配适当数量的中间比特数目，使鸟类区域和背景区域平滑相接。因此从整体效果来看，采用本文方法有效改善了光电视频图像的视觉感知效果，实现光电视频压缩效率和鸟类区域质量的最优化。图 2 本文方法视觉效果图Fig.2 Visual rendering of the method in this paper4 结论本文针对智能驱鸟系统人机交互中视频监控的实际需求，提出一种基于光电视频鸟类区域帧级码率控制优化算法，通过光电设备捕捉被驱离鸟群并对鸟类区域识别，利用灰度共生矩阵对光电视频场景下图像帧进行空间复杂度计算；采用分级编码策略对于不同区域进行分块和标号处理，通过预测编码、变换编码和量化编码进行光电视频场景下图像差异性编码，实现光电视频压缩效率和鸟类区域质量的最优化，满足机场智能驱鸟应用中视频传输实时性和精确性要求，达到被驱离鸟类目标特征高分辨率视频快速实时传输。参考文献1 胡伟东,朱道平,毛焕.基于ROI的多路视频传输码率控制策略J.广播电视网络,2021,28(7):97-102.2 李文龙,李兴广,徐晨,等.基于ROI的直播视频传输中码率控制策略J.计算机应用与软件,2022,39(12):144-151+226.3 AHCEN A,NASREDDINE K,MOUFIDA M,et al.Region-of-interest Based Video Coding Strategy for Rate/Energy-constrained Smart Surveillance Systems Using WMSNsJ.Ad Hoc Networks,2023:140.4 朱威,王东洋,欧全林,等.基于智能目标检测的HEVC感兴趣区域编码方法J.小型微型计算机系统,2019,40(12):2691-2697.5 朱秀昌,唐贵进.基于学习的视频编码技术进展J.南京邮电大学学报(自然科学版),2022,42(2):1-12.表 1 参考方法与本文方法在固定码率下的性能比较Tab.1 Performance comparison between the reference method and the proposed method at fixed bit rate序列目标码率（kbps）参考方法本文方法PSNR_N(dB)PSNR(dB)实际码率(kbps)整帧图像PSNR(dB)鸟类区域PSNR(dB)实际码率(kbps)整帧图像PSNR(dB)鸟类区域PSNR(dB)120481902.8636.3836.051986.3236.2537.03-0.980.13240963896.6538.5638.423978.2638.3639.05-0.630.2361445983.5639.7839.686004.8539.4640.18-0.50.3241228811987.6140.6240.5912036.2540.0940.78-0.190.53图 3 传统方法视觉效果图Fig.3 Traditional method visual renderings 下转第161页161左明瑞：基于 STAGE 的二次雷达系统仿真技术分析5 系统仿真结果及结果分析所有准备工作完成后，选取 5 种经典的仿真并对仿真结果进行分析，判断其中某一次的实验条件及结果。实验条件：询问机使用四判二工作方式，询问信号长度是 72 微秒，应答信号长度为 4 微秒，波门精度为 2 微秒，应答延迟 201 微秒，雷达站 1、4、7 处于工作状态且转速均为 36 转/秒。经过 10 次仿真，各雷达站仿真结果统计如表 1 所示。表 1 实验结果统计表Tab.1 Statistical table of experimental results平台名称平均发出询问次数平均接收应答次数平均识别次数平均正确识别次数平均识别概率雷达站 1828.6828.6403.2403.2100%雷达站 41557.366.4389.255.714.31%雷达站 71587.3808.5404.1389.894.46%雷达站 1、4、7 具有相同配置，然而雷达 4 的平均识别概率很低的主要原因是近距离对雷达 4 造成了严重干扰，经仿真实验发现，影响平均识别概率的除了距离因素，还有询问机的转速与启动时间、询问机工作方式、询问应答机的编队距离等因素。6 结语综上所述，询问机工作方式、转速及启动时间和平台之间的距离等因素都会对二次雷达系统的正确判识概率造成影响，这就要求实际中要注意对这些关键参数的调整，为二次雷达系统设置恰当的参数值有利于提高系统的正确识别概率，未来还需要进行更多的实验来观察分析更多系统参数对系统正确识别概率的影响。参考文献1 朱永杰,崔向阳,雷张华.空管A/C模式二次雷达仿真软件设计J.科技创新与应用,2023,13(1):47-50.2 郝敬堂,苏志刚,韩冰.S模式二次雷达数据链仿真实验平台开发J.实验室科学,2021,24(5):211-214.3 龚凯峰.二次雷达集群目标应答方法研究D.西安:西安电子科技大学,2021.4 漆静晨.二次雷达信号高精度测向方法研究D.成都:电子科技大学,2021.5 王玉柱,滕新友,牟光红,等.一种带有前级功控的二次雷达发射机设计J.现代信息科技,2023,7(1):44-47.6 许家民,何永红.移动式二次雷达结构设计关键技术研究J.电子机械工程,2021,37(3):9-12+27.7 曾湘洪,苟玉玲,唐博.基于相位特征的二次雷达解交织技术研究J.舰船电子对抗,2021,44(3):63-67.8 朱栋,冯成涛,储开斌,等.ADS-B信号交织概率仿真与分析J.计算机仿真,2021,38(3):30-33+45.6 REDMON J,FARHADI A.YOLOv3:An Incremental ImprovementJ.arXiv e-prints,2018:4.7 LI L,ZHU L,BIN L,ET AL.Pseudo-sequence-based 2-D Hierarchical Coding Structure for Light-Field Image CompressionJ.IEEE Journal of Selected Topics in Signal Processing,2017,11(7):1107-1119.8 GUANGJIE R,FEIYANG L,HUAIRUI W,et al.Multi-objective Optimization Based Perceptual Bit Allocation for Gaming Video Coding in VVCJ.Signal Processing,2022:198.9 白云波.H.264宏块级码率控制改进方法J.电脑编程技巧与维护,2020(7):19-20+38.10 蒋国道.视频质量检测中模糊和偏色的研究及系统实现D.北京:北京邮电大学,2021.11 张元东.基于感兴趣区域的高性能视频编码算法优化研究D.吉林:东北电力大学,2020.12 刘化毅.基于HI3516的视频ROI压缩编码系统设计D.抚顺:辽宁石油化工大学,2021.13 李丽宏,谢东阳,王琳,等.纹理图像多尺度灰度共生矩阵步长参数的研究J.河北工程大学学报(自然科学版),2021,38(3):108-112.14 杨建仁,马晓亮.一种针对监控应用的低复杂度高效视频编码方法J.广东通信技术,2021,41(9):44-47.15 Advanced Digital Broadcast S.A.;Patent Issued for System And Method For Optimization of Video Bitrate(USPTO 10,791,350)J.Computer Weekly News,2020.上接第52页