基于虚拟现实技术的低质量船舶三维图像重建.pdf

第45卷第2 0 期2023年10 月舰船科学技术SHIP SCIENCEANDTECHNOLOGYVol.45,No.20Oct.,2023基于虚拟现实技术的低质量船舶三维图像重建周雷（河南工程学院，河南郑州451191）摘要：图像重建是图像处理领域中的重要组成部分，为提升图像重建质量，提出基于虚拟现实技术的低质量船舶三维图像重建方法。针对外部环境与采集设备等因素导致图像质量低的问题，采用虚拟现实技术的形态学滤波技术预处理初始船舶图像，通过膨胀、腐蚀与开启、闭合运算实现船舶图像增强处理；利用指数权重系数描述船舶图像特征；通过虚拟现实设备获取船舶三维图像最小识别距离，在船舶图像特征基础上，确定理论图像投影值与实际投影值间的偏差，利用偏差值校准船舶图像重建像素值，实现高精度船舶三维图像重建。实验结果显示，该方法增强后图像峰值信噪比提升14%以上，重建后图像结构相似性达到95%以上，清晰度显著提升。关键词：虚拟现实技术；低质量；三维图像重建；图像增强；特征提取；最小识别距离中图分类号：TP393文章编号：16 7 2-7 6 49(2 0 2 3)2 0-0 2 0 6-0 4Research on low quality ship 3D image reconstruction based on virtual reality technologyAbstract:Image reconstruction is an important component in the field of image processing.To improve the quality ofimage reconstruction,a low-quality ship 3D image reconstruction method based on virtual reality technology is studied.Inresponse to the problem of low image quality caused by external environment and collection equipment,the morphologicalfiltering technology of virtual reality technology is used to preprocess the initial ship image.The ship image enhancementprocessing is achieved through dilation,corrosion,opening,and closing operations;Using exponential weight coefficients todescribe ship image features;Obtain the minimum recognition distance of ship 3D images through virtual reality devices,de-termine the deviation between the theoretical image projection value and the actual projection value based on ship image fea-tures,and use the deviation value to calibrate the pixel values of ship image reconstruction to achieve high-precision ship 3Dimage reconstruction.The experimental results show that the method enhances the peak signal-to-noise ratio of the image bymore than 14%,and the structural similarity of the reconstructed image reaches more than 95%,significantly improving theclarity.Key words:virtual reality technology;low quality;3D image reconstruction;image enhancement;feature extrac-tion;minimum recognition distance0引言船舶图像在成像后，三维信息转换为二维信息，将导致部分船舶目标三维数据丢失2 ，对船舶图像应用产生消极影响。为获取船舶目标的三维数据，提升图像应用性能，需对船舶图像实施三维重建。石磊等3 研究图像三维重构问题过程中，对图像收稿日期：2 0 2 3-0 4-14基金项目：河南省本科高校研究性教学改革研究与实践项目（2 0 2 2 SYJXLX097）；河南省职业教育教学改革研究与实践项目；河南工程学院博士培育基金项目（D2022036）作者简介：周雷（19 8 4），男，博士，副教授，研究方向为海洋文化遗产保护及环境设计。文献标识码：AZHOU Lei(Henan University of Engineering,Zhengzhou 451191,China)实施奇异值分解字典训练，通过稀疏度自适应正则化校正匹配算法重建图像。该方法匹配过程消耗大量时间，不能保障图像重建的实时性要求。姚程等4 针对图像三维重构问题，构建基于八叉树的卷积神经网络，将平面补丁发现与位移作为输人，输出重构结果。该方法实际应用过程中有较大概率出现图像信息丢失问题。针对上述问题，提出基于虚拟现实技术的低质量doi:10.3404/j.issn.1672-7649.2023.20.040第45卷船舶三维图像重建方法，从而获取高质量重建结果。1低质量船舶三维图像重建方法1.1基于虚拟现实技术的低质量船舶图像预处理由于船舶三维图像在采集过程中受外界环境因素与采集设备因素等影响，导致所采集的船舶图像质量较低，因此在进行三维图像重建前，需采用虚拟现实技术中的形态学滤波技术对所采集的船舶三维图像实施增强处理，提升最终图像重建精度。Jii)和g(ij)分别表示大小为mn的船舶图像和其结构元素，采用虚拟现实技术中的形态学滤波技术对ij)实施处理。利用式（1）进行膨胀运算：f(i,j)g(i,j)=m a x(f(i-1,j-1)+g(i,j)。式中，表示膨胀运算。利用式（2）进行腐蚀运算：f(i,j)Og(i,j)=max(f(i-x,j-y)-g(i,j)。式中，表示腐蚀运算，xE(0,m)，y E(O,n)。利用式（3）进行开启与闭合运算：(f(i,j)og(i,j)=f(i,j)og(i,j)g(i,j),Uf(i,j)g(i,j)=f(i,j)田g(i,j)og(i,j)。通过开启处理过程能够滤除船舶图像内孤立的毛刺5，能够显著抑制比结构元素小的正峰值噪声。由宏观角度分析可知，通过开启运算可在保障船舶图像尺寸固定的条件下对其进行平滑处理，但在船舶图像邻域像素灰度值噪声点分布较为密集，同时结构元素尺寸与噪声点距离相比显著提升的条件下，开启运算对于船舶图像增强的效果显著降低。而闭合运算能够有效填充船舶图像目标间狭小裂缝，实现临近目标物的连接6 ，但在噪声点灰度值高于邻域像素、同时密度值较大的条件下，闭合运算的滤波处理效果也有所下降。针对这些问题，可对开启与闭合处理过程实施串联，构建数学形态学开启一闭合滤波器，其结构如图1所示。数学形态学开启一闭合滤波器内的图像融合是为了最大限度结合开启与闭合运算的优势，经由两类滤波结果最大限度融合的过程能够提升船舶图像滤波效果，实现低质量船舶图像的增强处理。1.2基于指数权重系数的船舶图像特征提取在完成低质量船舶图像增强处理后，对其实施三维图像重建。船舶三维图像重建过程中，需确定重构前后船舶图像的对应关系。将增强处理后的船舶图像内特征点作为不变信息，通过特征描述保障重构过程周雷：基于虚拟现实技术的低质量船舶三维图像重建开启运算闭合运算船舶图像融合输出船舶图像图1数学形态学开启一闭合滤波器结构图Fig.1 Mathematical morphology opening closingfilter structure diagram(1)中的信息完整性7 。根据增强处理后船舶图像的点云信息构建包含全部点云的元网格，确定不同网格中点云数据的均值hi。汇集全部h,组成的集合以H表示，也就是增强处理后的船舶三维点云图像。针对H，可(2)利用式（4）描述特征描述点Af算子：A(Af,H)=(x1,x2,xn)。式中：n和xn分别表示描述船舶图像特征算子维度与(3)特征描述信息，x，中主要包含船舶图像中的几何、纹理与亮度等信息。对待实施特征描述的船舶图像点云数据区域实施加权求和处理，即可获取此区域的特征矢量描述符。1.3基于虚拟现实技术的船舶图像三维重建采用虚拟现实技术获取船舶图像最小识别距离，基于所确定的船舶图像特征，实现各三维点云的高精度匹配，在此基础上达到船舶三维图像重建。设定通过虚拟现实设备获取的三维虚拟船舶均为点光源，不同点光源将形成艾里斑，若任意艾里斑边缘零点与其与艾里斑的中心产生重叠，则可通过虚拟现实设备能分辨的最远距离表示不同艾里斑的间距，公式为：d=lD式中：l和D分别表示三维船舶与虚拟现实设备的间距和光通直径，表示光摄入虚拟现实设备的波长。通过式（5）得到，光波同虚拟现实设备内光学部分可识别的最大距离呈正比例相关。利用式（6）能够描述虚拟现实技术下三维船舶图像重建过程：f(o+1)=f(0)+oV-1Ay W(p-Ar.f(0)。207.输入船舶图像闭合运算开启运算立1.220(4)(5)(6)208式中：f(o+1)和f(o)分别表示重建后和重建前的船舶三维图像，。和V分别表示重建过程中的松弛因子和N阶船舶图像的正定矩阵，W和p分别表示M阶船舶图像的正定矩阵和船舶图像特征提取迭代过程。图2 为船舶三维图像重建过程，具体步骤如下：步骤1确定某个投影角度下的投射射线i，利用带重建船舶图像的初始值得到第i条投影射线的投影值Zainfrof(o)n=1步骤2 获取船舶三维图像投影值与实际测量的投影值的差值，确定理论船舶图像投影值与实际投影值间的差值，公式为：Ai=pi-ainfn。n=1步骤3保存所获取的i值。步骤4个估算任意投影角度下第i+1条射线投影值，循环步骤1 步骤3，直到完全纠正所有射线偏差为止。步骤5通过步骤4获取的偏差值修改重建后船舶图像像素值。开始图像特征提取线程0线程1读取船舶图像读取船舶图像立立重建计算重建计算文文最后一次选代最后一次选代是是立完成船舶图像重建结束图2 船舶三维图像重建过程流程图Fig.2Flow chart of ship 3D image reconstruction process针对其余投影角度，循环进行上述操作过程，直到所有角度下的船舶重建图像校准完成为止，通过船舶重建图像的Q次迭代实现高质量的船舶三维图像重建。2实验结果与分析选取某大型船舶图像构建图像集，采用本文方法对船舶图像进行三维图像重建实验。舰船科学技术2.1图像处理性能测试为验证本文方法的图像增强效果，在图像集内随机选取2 幅图像作为研究对象，在研究对象中加人2 0%的随机噪声，采用本文方法对其进行增强处理，结果如图3所示。分析可知，采用本文方法能够有效实现研究对象的增强处理，通过增强处理后的图像能够准确识别船舶目标的轮廓信息，令船舶目标完全由噪声中恢复出来，整体上提升了图像的清晰度，最大程度接近初始图像。N(o)第45卷(7)(a)研究对象(c)增强后图像图3本文方法图像增强效果Fig.3 Image enhancement effect of the method in this article为客观分析本文方法的图像增强效果，以峰值信噪比为增强效果的评价指标，峰值信噪比值越大说明本文方法图像增强效果越好。表1为本文方法增强处理后的图像峰值信噪比。分析可知，采用本文方法对研究对象进行增强处理，在不同噪声密度条件下，峰值信噪比均呈现不同程度的提升，提升幅度在14%以上，由此说明采用本文方法的图像增强效果较好。表1本文方法增强后的峰值信噪比Tab.1 Peak signal-to-noise ratio after the methodenhancement in this article峰值信噪比噪声密度/%本文方法处理前本文方法处理后523.0951021.8131522.4852020.8192.2三维图像重建性能分析在图像集内选取不同结构复杂度的图像，采用本文方法对其进行重构，以均方误差与结构相似性2 个(b)加噪图像提升幅度/%26.35214.1025.88418.6626.87719.5326.25326.10第45卷指标为评估指标，验证本文方法的图像重建性能，结果如表2 所示。分析可知，随着目标结构复杂度的提升，本文方法重构结果的均方误差整体表现出逐渐提升的趋势，而结构相似性表现为逐渐下降的趋势。但在目标结构复杂度达到0.8 0 时，本文方法重建结果的均方误差低于0.2 7，而结构相似度达到95%，由此说明本文方法重建性能较好，更接近理想状态。表2 本文方法重建图像的均方误差与结构相似性Tab.2 Mean square error and structural similarity of reconstructedimages using this method目标结构复杂度均方误差0.600.1540.650.0950.700.1830.750.2060.800.262在图像集内选取6 幅分辨率为10 2 57 6 9的船舶图像，采用本文方法对其进行三维重建，对比重建前后的图像分辨率，由此验证本文方法的重建性能，结果如表3所示。分析可知，采用本文方法对所选图像实施重建后，图像的分辨率提升至12 8 0 96 0，由此说明本文方法能够在准确提取图像特征的基础上提升图像清晰度。表3图像重建前后的分辨率对比结果Tab.3 Resolution comparison results before and afterimagereconstruction图像编号重建前1102476821024768310248644102486451024864610247683结语本文提出了基于虚拟现实技术的低质量船舶三维图像重建方法，采用虚拟现实技术中的滤波技术与虚周雷：基于虚拟现实技术的低质量船舶三维图像重建结构相似性/%98.396.795.995.395.0重建后1280 x9601280 x9601280960128096012809601280960209.拟现实设备实现三维图像重建的目的。实验结果表明，本文方法能够有效实现图像增强目的，达到高精度图像重建的目的。参考文献：1许少秋，余扬帆，郭俊林，等.基于大场景三维点云的集装箱船关键绑扎特征识别与重建.船舶工程，2 0 2 2,44(6):127-133.XU Shao-qiu,YU Yang-fan,GUO Jun-lin,et al.Identificationand reconstruction of Key lashing features of container shipsbased on large scene 3D point cloudJ.Ship Engineering,2022,44(6):127-133.2毕军涛.基于虚拟现实技术的3D图像重建方法.信息记录材料,2 0 2 2,2 3(4):133-135.BI Jun-tao.3D image reconstruction method based on virtual re-ality technologyJ.Information Recording Materials,2022,23(4):133-1353石磊，马丽茵.基于稀疏度自适应的视觉图像三维清晰重构J.计算机仿真,2 0 2 1,38(3)：139-142.SHI Lei,MA Li-yan.Three-dimensional clear reconstruction ofvisual images based on adaptive sparsityJ.Computer Simula-tion,2021,38(3):139-142.4】姚程，马彩文.基于平面补丁的自适应八叉树三维图像重建.光学精密工程，2 0 2 2,30(9)：1113-112 2.YAO Cheng,MA Cai-wen.Adaptive octree 3D image recon-struction based on plane patchJJ.Optics and Precision Engi-neering,2022,30(9):1113-1122.5杨晓,任鸿翔,廉静静,等.VR交互式三维虚拟船舶建模与仿真.中国航海,2 0 2 2,45(1):37-49.YANG Xiao,REN Hong-xiang,LIAN Jing-jing,et al.3D virtu-al ship construction and simulation through vr interactive tech-nologyJJ.Navigation of China,2022,45(1):37-49.6】王震，盖孟，许恒硕.基于虚拟现实技术的三维场景图像表面重建算法J.吉林大学学报（工学版)，2 0 2 2,52(7)：16 2 0-1625.WANG Zhen,GAI Meng,XU Heng-shuo.A surface recon-struction algorithm for 3D scene images based on virtual realitytechnologyJ.Journal of Jilin University(Engineering Edition),2022,52(7):1620-1625.7时光志，周毅,李萌，等.基于虚拟现实技术的LNG船舶仿真系统J.船海工程,2 0 2 1,50(3):2 5-2 8+33.SHI Guang-zhi,ZHOU Yi,LI Meng,et al.LNG ship naviga-tion simulation system based on virtual reality technology.Ship&Ocean Engineering,2021,50(3):25-28+33.