无参考船舶立体图像的质量感知特征提取.pdf

第45卷第16 期2023年8 月舰船科学技术SHIP SCIENCEANDTECHNOLOGYVol.45,No.16Aug.,2023无参考船舶立体图像的质量感知特征提取方银龙(浙江交通职业技术学院海运学院，浙江杭州311112)摘要：船舶立体图像的特征提取能够获取船舶的几何特征、视觉特征、纹理特征等，对于船舶识别、目标搜索等有重要的意义。获取过程受图像、视频设备、数据传输链路等影响，立体图像可能存在局部缺失等问题。本文首先介绍3种立体图像的质量评估方法，并针对无参考质量评价方法进行研究，详细介绍基于颜色、自然度的无参考质量感知特征提取和基于局部分析的无参考船舶立体图像质量特征提取，对于改善船舶立体图像的识别效果有显著的作用。关键词：立体图像；无参考质量评估；自然度；局部分析中图分类号：U665.2文章编号：16 7 2-7 6 49(2 0 2 3)16-0 145-0 4Quality perception feature extraction from stereo images of ships without reference(Marine Department,Zhejiang Institute of Communications,Hangzhou 311112,China)Abstract:Feature extraction of ship stereoscopic images can obtain ship geometric features,visual features,texture fea-tures,etc.,which is of great significance for ship identification and target search.Due to the influence of image,video equip-ment and data transmission link,the stereo image may have some problems such as local missing.First of all,this paper in-troduces three kinds of stereoscopic image quality evaluation methods,and conducts in-depth research on the non-referencequality evaluation methods,and introduces in detail the non-reference quality perception feature extraction based on colorand naturalness and the non-reference ship stereoscopic image quality feature extraction based on local analysis,which has asignificant effect on improving the recognition effect of ship stereoscopic image.Key words:stereoscopic image;no reference quality assessment;naturalness;local analysis0引言在海上船舶监测和巡航中，可以利用船舶立体图像识别技术，对海上的船舶进行实时监测和识别，以确保海上领域的安全。此外，船舶立体图像识别还可以应用于海洋资源调查、港口管理等领域，实现船舶的自动化管理和监控。常用的船舶立体图像特征提取方法包括：1）视觉特征提取指从船舶图像中提取出与船舶形状、轮廓等相关的特征，常用方法包括边缘检测、角点检测、轮廓提取等。2）几何特征提取指从船舶图像中提取出与船舶的几何形状、尺寸等相关的特征，常用方法包括投影变换、尺度变换、收稿日期：2 0 2 3-0 2-2 7作者简介：方银龙（19 6 6），男，实验师，研究方向为航海技术。文献标识码：AFANG Yin-long形状描述符提取等。3）纹理特征提取指从船舶图像中提取出与船舶的纹理、颜色等相关的特征，常用方法包括灰度共生矩阵、小波变换、颜色直方图等。通过对船舶立体图像的特征提取，可以得到一系列有用的特征向量，用于描述船舶的形状、尺寸、纹理等特征。这些特征可以用于船舶识别、目标跟踪、船舶姿态估计等。本文介绍立体图像质量评估体系的基本现状，重点研究基于局部分析的无参考船舶立体图像的质量感知特征提取方法。1船舶立体图像质量评价体系的研究现状立体图像质量评价体系是对立体图像的感知质量doi:10.3404/j.issn.1672-7649.2023.16.030146进行客观评价的一种方法，包括：主观评价方法。通过人眼观看立体图像并进行主观评价来得到立体图像的质量。常用方法包括双刺激比较法、单刺激比较法和等级判断法等。主观评价方法是目前最常用的立体图像质量评价方法，但其受到评价者主观因素的影响比较大。客观评价方法。通过计算机算法对立体图像进行分析和评价。常用的客观评价方法包括结构相似性指标（SSIM）、峰值信噪比（PSNR）和立体图像失真度（3D-DI）等。客观评价方法相对于主观评价方法具有客观性强、重复性好等优点，但其与人眼主观评价结果的一致性仍然存在一定的差距。客观评估方法按照原始图像信息的多少可以分为全参考、半参考和无参考评估3种。图1为立体图像评估的3种方法示意图。图像评估方法分类原始图像原始图像中提取的特征信息待测图像图1立体图像评估的3种方法示意图Fig.1 Schematic diagram of three methods for stereoscopicimage evaluation1）全参考质量评估方法该方法可以通过比较原始和失真图像之间的差异来量化立体图像的质量，常使用的全参考评估方法包括均方误差评估、峰值信噪比评估等。均方误差评估均方误差评估（MeanSquaredError，M SE）是计算原始图像和失真图像之间像素值的平均差异，MSE越小，表示失真越小，立体图像质量越好，计算模型为：1MSE=1式中：N为像素总数，X;、Y为原始图像和测试图像在每个点上的灰度值。峰值信噪比评估峰值信噪比评估（PeakSignal-to-NoiseRatio，PSNR）舰船科学技术是计算原始图像和失真图像之间的峰值信噪比，PSNR越大，表示失真越小，质量越好，计算模型为：PS NR=101g8MSE式中，L为图像中像素最大的灰度值。2）半参考质量评估方法半参考质量评估只需要原始图像的部分特征，使用场景相对于全参考评估方法更广泛，不需要分别提取原始和测试图像特征，然后利用统计特征进行图像的质量评价。半参考质量评估方法的质量评估通道包括降质通道和辅助通道，提取后的特征通过统计算法进行融合和输出，图2 为立体图像半参考质量评估方法的原理。原始发送一一图端：像1全参考特征提取半参考无参考N第45卷L2(2)待评价图像降质通道特征提取辅助通道图2 立体图像半参考质量评估方法的原理Fig.2 Principles of semi-reference quality assessment methods forstereoscopic images3）无参考质量评估方法无参考质量评估算法不需任何原始图像信息，直接进行图像质量评价。常用的立体图像无参考质量评估包括：视差直方图分析法。该方法通过计算立体图像的视差直方图，分析直方图的形状、峰值等特征，来评估立体图像的质量。一般来说，直方图的峰值越集中，表示立体图像的质量越好。视差图像的边缘检测法。该方法通过对立体图像的视差图像进行边缘检测，然后计算边缘图像的特征，如边缘的密度、边缘的连续性等，来评估立体图像的质量。一般来说，边缘越清晰、连续性越好，表(1)示立体图像的质量越好。深度图像的能量分析法。该方法通过计算立体图像的深度图像的能量分布，分析能量分布的均匀性、能量的峰值等特征，评估立体图像的质量。一般来说，能量分布越均匀、峰值越高，表示立体图像的质量越好。质量特征联合第45卷2无参考船舶立体图像的质量感知特征提取2.1基于颜色、自然度的无参考质量感知特征提取针对船舶立体图像的无参考评估特征提取问题，重点研究颜色度和自然度的特征提取方法。1）颜色度颜色度是船舶立体图像的重要特征，人眼视觉系统通过色彩空间进行图像识别，对于RGB色调通道 2,建立RGB向立体色彩空间的转化方程为：K1=R-G,K2=(R+G)/2-B。式中，K1、K 2 均为红-绿和黄-蓝立体色彩空间通道。定义图像的全局颜色度值为：Co=log10.2式中：0%,和o%,为立体色彩通道Ki、K 2 的方差，K、K?K为立体色彩通道K1、K 2 的均值。图3 为RGB空间与立体色彩空间的示意图。0.95200.80.70.65000.50.40.30.24800.146000.1 0.20.30.40.50.6 0.70.8K.图3 RGB空间与立体色彩空间的示意图Fig.3 Schematic diagram of RGB space andstereoscopic color space2）自然度高质量的立体图像在空间分布具有一定的规律，称之为自然度，对于尺寸大小为WxH的色调映射图像，建立归一化方程为 3：I(i,j)-(i,j)1(i,j)=1+i(i,j)式 中:ie(1,2,3,.,W),je(1,2,3,.,H),(i,j)、i(i,j）分别为图像像素的均值和方差。图4为立体图像的自然度与像素均方差统计图。方银龙：无参考船舶立体图像的质量感知特征提取-1(3)自然度图4立体图像的自然度与像素均方差统计图Fig.4 Naturalness and pixel mean square errorof stereoscopic image无参考图像的像素均值计算公式为：K2.1og0.2RGB540560D658C147可见，自然度接近0 的时候，像素均方差最大，图像的均匀性比较低。0.060.040.020-3(4)u(i,j)=p=-Pq=-Q均方差计算公式为：P=Pq=Qqi(i,j)=wp.(lp.g(i j)-u(i,)p=-Pq=-Q式中：P、Q 为图像的像素个数，p,q为高斯加权函数。SRGB2.2基于局部分析的无参考船舶立体图像质量特征提取580基于局部分析的无参考船舶立体图像质量特征提取的核心思想是只对部分图像进行编码、图像分割、6006200wp,qlp.q(i,j),阈值处理，然后通过解码技术、立体匹配算法实现图像的特征提取。图5为基于局部分析的无参考船舶立体图像质量特征提取流程。特征提取过程首先进行相似度计算，然后将并行处理的图像数据进行线性融合。1）相似度计算图像处理系统获取两帧船舶的立体图像后，根据局部相似空洞区域度计算检测拉伸区域阅值处理检测测试图像图像分割(5)采样图5基于局部分析的无参考船舶立体图像质量特征提取流程Fig.5 Three-dimensional image quality feature extraction processof non-reference ship based on local analysis1区域评估线性融合区域评估质量分全局无参考质量数评估23(6)(7)148两帧之间的差分间隔进行相似度对比，顿间差分如下：Sn(i,j)=|Fn(i,j)-Fn-I1(i,j)l。(8)式中：Sn(i,j)为当前立体图像，Fn(i,j)为采集的第n顿立体图像，Fn-1(i,j)为第n-1顿遥感图像。立体图像某像素点(x,y)，灰度值为f(x,y)，像素相似度计算：(9)2-1i-02）空洞区域检测基于几何信息的空洞区域检测基于几何信息的方法主要利用立体图像中的深度信息来检测空洞区域。常用的方法包括视差图的计算和深度图的生成，视差图是指在立体图像中，对应点之间的水平位移量，通过计算视差图，可以得到物体表面的深度信息，然后通过分析深度图中的连通区域，可以检测出空洞区域。基于纹理信息的空洞区域检测基于纹理信息的方法主要利用立体图像中的纹理信息来检测空洞区域。常用方法包括基于颜色、纹理和边缘等特征分析。例如，可以通过分析立体图像中的颜色差异、纹理变化和边缘信息来检测出空洞区域空洞区域失真程度可以为表征为：K2D,(k)Dr(k)+8Q1=D,(k)?+DR(k)?+8k=式中：K为像素的索引，为误差系数，DR(k)为参考区域，D,(k)为被测图像 5)。理想状态下参考图像没有空洞区域，将式（10）简化为：K2D,(k)1+8Q1k=1D,(k)?+1+8最终得到空洞区域检测判断方程为：无空洞区域空洞区域12D,(k)ZfinalKkeKiD,(k)?+1本文结合VS2010平台进行了局部立体区域的特征识别测试，图6 为图像局部区域存在空洞对应的颜色特征提取结果。舰船科学技术1009080706050403020100S-30-20-1001020 30水平尺寸(a)船舶局部区域图像1.00.80.60.40.2010050G(b)RGB分量柱状图图6 图像局部区域存在空洞对应的颜色特征提取结果Fig.6Color feature extraction results corresponding to voids inlocal areas of the image3结语无参考船舶立体图像质量评估是指原始图像丢失的情况下进行图像质量评估并实现特征提取，本文介(10)绍了立体图像质量评估的方法，结合立体色彩空间，研究了基于局部分析的图像特征提取方法，取得了良好的效果。参考文献：(11)1翟方乾，高尚，赵昱博，等.立体图像数字水印技术研究综述.信息与电脑(理论版),2 0 2 3,3 5(5):41-43.2卢佳佳，蔡坚勇.基于增强视觉质量的图像感兴趣区域检测研究.计算机仿真,2 0 2 3,40(1):2 3 4-2 3 8.3 罗传未，张子慧，贺子婷，等。一种基于立体注意力机制的立12D,(k)十KkeK2D,(k)?+1第45卷0.90.80.70.6三二(12)体图像超分辨算法.电视技术，2 0 2 3,47(1):3 0-3 5.4冯丽露，康耀龙.立体图像任意剖面轮廓线提取方法仿真研究 J.计算机仿真,2 0 2 2,3 9(8):2 3 9-2 42+2 8 5.5】张晓媛，于洋，王新蕊.三维图像虚拟视点生成优化研究仿真1.计算机仿真,2 0 2 2,3 9(3):2 0 5-2 0 9.0.50.40.30.20.90.80.70.60.50.40.320400.200-40-20R