基于虚拟现实技术的激光三维图像优化系统设计_杨朝政.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-09-08基金项目:江苏省科学技术协会项目(No.2021SX519)作者简介:杨朝政(1977-),男,硕士,副教授,研究方向:机器视觉、图像优化。通讯作者:李淑英(1975-),女,硕士,教授,研究方向:激光技术。基于虚拟现实技术的激光三维图像优化系统设计杨朝政,李淑英常州大学,江苏 常州 213164摘 要:为提升激光三维图像视觉效果,设计一种基于虚拟现实技术的激光三维图像优化系统。将激光三维图像在 DS90CF286 中变换成 TTL 标准图像信号发送至 FPGA,由 FPGA 将图像信号缓存在存储器 DRRAM中,再传输至基于虚拟现实技术的图像信号处理器中,处理器使用基于虚拟现实技术的图像优化模型,为用户提供身临其境的图像优化操作环境,此模型主要在 OpenGL 绘图工具的驱动下,通过光线投射法,将研究目标以激光透射的形式,重建其激光三维图像;再使用基于自适应滤波的激光三维图像增强方法,增强重建后图像的像素信息;针对像素信息增强后图像,采用基于虚拟现实技术的激光三维图像的颜色渲染方法,完成图像像素信息的颜色渲染。经测试,采用设计系统后,激光三维图像视觉效果得以优化,图像的对比度与信息熵都满足应用需求。关键词:虚拟现实技术;激光三维;图像优化系统;重建;增强;去噪中图分类号:TN249 文献标识码:A doi:10.14016/ki.jgzz.2023.04.152Design of laser 3D image optimization system based on Virtual RealitytechnologyYANG Chaozheng,LI ShuyingChangzhou University,Changzhou 213164,ChinaAbstract:In order to improve the visual effect of laser 3D image,a laser 3D image optimization system based on virtual reality technology is designed in this paper.The laser 3D image is transformed into TTL standard image signal in DS90CF286 and sent to FPGA.The FPGA caches the image signal in the memory drram and then transmits it to the image signal processor based on virtual reality technology.The processor uses the image optimization model based on virtual reality technology to provide users with an immersive image optimization operation environment.This model is mainly driven by OpenGL drawing tool and through ray casting method,Reconstruct the laser 3D image of the research object in the form of laser transmission;Then the laser 3D image enhancement method based on adaptive filtering is used to enhance the pixel information of the reconstructed image;Aiming at the image enhanced by pixel information,the color rendering method of laser 3D image based on virtual reality technology is adopted to complete the color ren-dering of image pixel information.After testing,after using the design system,the visual effect of laser three-dimen-sional image can be optimized,and the image contrast and information entropy can meet the application requirements.Key words:virtual reality technology;laser 3D;image optimization system;reconstruction;enhance;denoising1 引言在数字化、信息化时代的大环境中,人们提取、感知信息资源的模式也发生了翻天覆地的变化1,2。图像作为信息传递的核心载体之一,可以为人们提供交互式信息传输服务3。近几年,激光三维图像的发展速度明显提升,激光三维图像深入人们生活的多个角落,如动画、医疗、制造业等,以激光三维动画图像为例,此类激光三维图像的制作过程复杂程序显著,在使用计算机技术和图形技术的基础之上,必须使用图http /像视觉优化技术,实现激光三维动画制作4。而以往的图像优化方式,大多以简单的二维操作为主,翻阅相关研究资料可知,文献5设计了一种红外热成像增强系统,该系统对图像的增强效果较好,但抗扰性较差,仅可以实现图像增强。文献6设计了一种图像实时复原系统,具有较好的图像去雾效果,图像视觉效果优化能力通过验证,但是该系统的功能也存在应用局限,只可以实现图像去雾。在计算机技术超快发展的前提下,虚拟现实技术可以为用户提供身临其境的操作环境7。为解决以上问题,将虚拟现实技术引进该领域,设计一种基于虚拟现实技术的激光三维图像优化系统,应用该系统优化后,激光三维图像渲染效果较好,可作为激光三维图像优化工作的可用工具。2基于虚拟现实技术的激光三维图像优化系统2.1 系统结构设计基于虚拟现实技术的激光三维图像优化系统的结构如图 1 所示。系统中激光三维图像需要传输至DS90CF286 变换成 TTL 标准的图像信号,在 FPGA 的管理下保存在图像存储器 DRRAM 里,再基于虚拟现实技术的图像信号处理器 DSP 启动,完成激光三维图像优化,将优化结果保存在 DRRAM 里。最后,基于FPGA 的 驱 动,把 优 化 后 的 激 光 三 维 图 像 通 过DS90CF285,将激光三维图像信号变换成 Camera Link 规范的激光三维图像反馈给用户。系统全部程序的运行都使用 RS442 串行接口、控制接口、以太网接口和用户相互联系。图 1 基于虚拟现实技术的激光三维图像优化系统基于虚拟现实技术的激光三维图像优化系统的核心处理芯片是 TI 企业设计的性能卓越的定点 DSP-TMS320C6455,此芯片在图像处理领域具有较好的应用效果,可并发执行用户指令。接口逻辑与时序控制核心芯片是 Altera 企业设计的 EP3C14Q240C。图像信号处理器 DSP 在优化激光三维图像时,主要使用虚拟现实技术构建图像优化模型,此模型的结构如图 2 所示。虚拟现实可看作一种高端的人机交互模型,主要在计算机的驱动下,为用户提供感官刺激显著的虚拟操作环境,使图像优化效果更真实。按照其含义,虚拟现实的应用主要是为了构建激光三维图像优化的虚拟环境8-9。用户主要在所构建的虚拟操作环境中,使用 OpenGL 绘图工具实现激光三维图像优化,虚拟环境的构建是结合现实世界的相关标准构建而成。用户围绕自己在现实世界中对图像优化的需求,在计算机中构建相应的虚拟操作环境。图 2 基于虚拟现实技术的图像优化模型系统中所用的基于虚拟现实技术的图像优化模型属于桌面型虚拟现实模型,可通过个人计算机实现图像优化的虚拟仿真。计算机屏幕属于用户优化激光三维图像的窗口。基于虚拟现实技术的图像优化模型在优化激光三维图像视觉效果时,主要采用OpenGL 绘图工具加以实现,此工具的运行机理如图3所示。OpenGL 绘图工具能够在图像处理能力存在差异的计算机中启动,用户设置的激光三维图像优化程序命令会被分成 2 种,一种可按照用户需求绘制激光三维图像,一种是对激光三维图像视觉效果实施优化10。OpenGL 绘图工具显示列表中存在多种命令程序,如在所研究内容中,主要以激光三维图像的重建、增强、渲染为核心操作程序。该工具会根据激光三维图像定点数据,使用评估设备运算显示列表中需处理的激光三维图像数据之后绘制曲面,然后将绘制的曲面图元实施集合处理11-13。为了将激光三维图像实351杨朝政,等:基于虚拟现实技术的激光三维图像优化系统设计http /施光栅化操作,必须对图像的像素进行处理,将其处理成可进入虚拟现实场景的视觉窗口存储,把光栅化后的激光三维图像设成基片,再采取光线投射法、基于自适应滤波的激光三维图像增强方法、基于虚拟现实技术的激光三维图像的颜色渲染方法对其进行处理,以此实现激光三维图像的视觉优化。图 3 OpenGL 绘图工具运行机理示意图2.2 基于光线投射法的激光三维图像重建方法OpenGL 绘图工具通过光线投射法重建研究目标的激光三维图像,先构建三维坐标系 x-y-z,设置激光三维图像目标的三维信息场是 H,激光三维图像的视点设成 P。设置某个射线和用户操作显示屏的像素点是 qn(x,y),那么三维数据场 H 中存在 q1,q2,qn个数据处于射线?Pqm中,同时实际激光三维图像目标信息与 qn(x,y)的关系是:x=x1-H(1)y=y1-H(2)在使用光线投射法以 x 射线透视投影时,研究目标在 x 射线的作用下,由于反射率与吸收率存在差异,会出现成像质量差的问题14。为此,使用三维数据场 H 中体素的颜色值与不透明值表达此成像模式,则将激光三维图像重建时采样点设成 q1,q2,qn,计算激光三维图像中像素点 qn(x,y)的像素灰度信息 F(x,y)。计算每个采样点附近邻域颜色值 dh(x,y,z)与不透明值 bm(x,y,z):bm(x,y,z)=dh(x,y,z)-dh1(x,y,z)+dh2(x,y,z)-dh(x,y,z)dh1(x,y,z)-dh2(x,y,z)(3)式中,图像目标的颜色值范围是 dh1(x,y,z)dh2(x,y,z)。在获取各采样点的颜色值与不透明值之后,自前向后把各个采样点颜色值使用式(4)合成,获取重建后,图像像素点 qn(x,y,z)重建后的灰度值 on(x,y,z):on(x,y,z)=bm(x,y,z)dh(x,y,z)+bm(x,y,z)dh(x,y,z)(1-bm(x,y,z)(4)多次执行上述步骤对各个射线进行处理,便能获取激光三维图像每个像素点的灰度值,以此实现激光三维图像重建。2.3 基于自适应滤波的激光三维图像增强方法通常情况下,重建后的激光三维图像还会存在脉冲噪声或者高斯噪声,高频信息量显著15-16。通过线性滤波技术,虽然能够筛除噪声,但激光三维图像原始细节特征会受损。分析激光三维图像的局部统计性质可知,某像素和其附近的像素存在关联,所以,筛除激光三维图像噪声时也要考虑邻域像素17。均值(描述重建后激光三维图像灰度均值)与方差(描述重建后激光三维图像对比度均值)是和激光三维图像处理效果关系密切的统计度量:=x,y,zqn(x,y,z)AB(4)=x,y,zqn(x,y,z)-2AB(5)式中,重建后激光三维图像中,需去噪的像素点是 qn(x,y,z);重建后激光三维图像里各个像素的 AB邻域是。去噪后图像像素点是:qn(x,y,z)=qn(x,y,z)-2+2-u22(6)式中,u2是激光三维图像噪声方差。需要以微分的方法完成激光三维图像的锐化。原因是微分计算可获取信号的变化率,能增强激光三维图像的高频分量,从而提高激光三维图像清晰度18。经上文自适应滤波处理后,再通过直方图均衡的方法,完成激光三维图像增强。直方图是激光三维图像中各灰度级和灰度级像素数量之间的统计模式。设置激光三维图中像素的灰度级是 h,将 h 实施归一化处理,则 0h1。因为一幅指定的激光三维图像中,各个像素在 0h1 之间灰度分布存在随机性,所以,h 属于随机变量,通过概率密度函数 qs(on)描述原始激光三维图像的灰度分布,激光三维图像的灰度分布特征可通过灰度级分布描述。直方图均衡化处理时,主要使用累积分布函数s0qs(on)dm 转换的形式。设置转换函数 l 是:451杨朝政,等:基于虚拟现实技术的激光三维图像优化系统设计http /l=s0qs(on)dm(7)式中,m 是积分变量。转换后灰度变量 on的概率密度分布存在均匀性,通过累积分布函数,可以让激光三维图像的像素灰度级均匀分布。综上所述,直方图均衡化就是使用直方图的统计信息变化直方图,变化激光三维图像的像素点灰度值,实现图像增强。2.4 基于虚拟现实技术的激光三维图像的颜色渲染方法激光三维图像的颜色渲染的首要环节是提取激光三维图像的像素颜色信息,设定激光三维图像在三维空间中坐标为(xj,yj,zj),其二维坐标为(aj,bj),像素 qn(x,y,z)的颜色信息是(Rj,Gj,Bj),整合便可获取激光三维图像的三维信息(xj,yj,zj-Rj,Gj,Bj)。获取激光三维图像的三维数据之后,必须修正激光三维图像因入射、反射光强的差异而出现的颜色误差。将激光三维图像等分为多个单元,依次在各个单元中心设置一个和激光仪主光轴垂直的平面,运算每个平面至激光仪镜头光心的长度,将其设成对应的入射距离;运算各个子单元的入射角与反射角;随机提取每个子单元中的一个,通过式(8)运算剩下子单元和反射光强信息Lout1Lout2,使用比值最大的一个单元设成光照条件最优单元,运算此单元和剩下单元的反射光强比,将其设成对应的光强修正系数,光强修正系数取值区间是 0.1 1.0,将激光三维图像每个子单元的RGB 分量依次和光强修正系数相乘,便可获取激光三维图像在某光照条件下的实际颜色信息19-20。Lout1Lout2=Z22sin21sin1Z21sin22sin2(8)式中,Z22、Z21为不同平面的入射距离;1、2为不同平面的入射角;1、2为不同平面的反射角。获取激光三维图像修正的像素颜色信息之后,需要将颜色放在激光三维图像目标三维表面的相应位置。做法是:将激光三维图像分解成多个方格平面,依次提取激光三维图像各个方格中的激光透射点,把每个方格中透射点的 z 坐标均值设成此方格平面的 z坐标,把此类点的颜色信息 RGB 的均值设成此方格平面的颜色值,如果方格平面的面积和 0 相近,便可此类点设成近似点,通过激光三维图像颜色信息实现空间点云的颜色渲染,此方法可抑制入射、反射光强的负面作用。综上所述,基于虚拟现实技术的激光三维图像的颜色渲染方法的操作步骤如图 4 所示。图 4 激光三维图像的颜色渲染方法的操作步骤3 实验结果与分析为了测试本系统对激光三维图像的优化效果,在MATLAB 软件中,以图 5(a)为例,使用本系统对其进行重建、增强、渲染之后的效果图如图 5(b)所示。对比图 5(a)、图 5(b)可知,本系统对图 5(a)进行三维重建、增强、渲染之后,激光三维图像的清晰度提升,图像目标轮廓更为凸显,图像渲染效果被优化,视觉优化效果通过测试。(a)需优化的激光三维图像(b)本系统优化效果图图 5 本系统对激光三维图像优化效果551杨朝政,等:基于虚拟现实技术的激光三维图像优化系统设计http /在图 5 中引入噪声点后,激光三维图像的效果图如图 6 所示,本系统对其进行优化处理后的效果图如图 7 所示。对比图 6、图 7 可知,引入噪声点后,激光三维图像的信息特征被掩盖,图像特征难以识别,本系统对其优化处理后,噪声点被去除,激光三维图像渲染效果被优化,图像清晰度提升。图 6 存在噪声点的激光三维图像图 7 本系统优化效果图上述实验均以视觉效果判断本系统的应用性。再计算本系统优化前后,激光三维图像的像素信息变化,主要以对比度、信息熵为评价指标,设置需要优化的激光三维图像类型不同,此类型主要通过图像像素尺寸区分,在激光三维图像中引入噪声点,则本系统处理前后,激光三维图像的对比度、信息熵变化如表 1所示。激光三维图像的对比度越高,表示图像质量越好,对比度高达 300 1 时,激光三维图像的颜色阶数越高,图像的色彩便较为丰富。信息熵可描述图像的信息量,信息熵越高、越接近 1,图像的信息量越多,激光三维图像优化效果越好。对比度 与信息熵 Kl 的运算方法是:=qsqs(i,j)2Qqs(i,j)(9)Kl=-255qsQqs(i,j)logQqs(i,j)(10)式中,qs(i,j)是激光三维图像中近邻像素之间的灰度差;Qqs(i,j)是激光三维图像中近邻像素之间灰度差qs(i,j)的分布状态。分析表 1 可知,本系统对激光三维图像优化之前,伴随像素尺寸增大,激光三维图像的对比度逐渐变差,图像质量变差,图像对比度最大值是 250 1,本系统对激光三维图像优化之后,伴随激光三维图像的像素尺寸增大,激光三维图像的对比度始终大于优化前,且对比度最大值为 300 1,此时激光三维图像的颜色信息丰富;本系统对激光三维图像优化之前,激光三维图像的信息熵最大值仅有 0.8,而优化之后的信息熵始终是 0.9,由此可见,本系统对激光三维图像的优化结果可满足激光三维图像处理的需求,原因是本系统使用了虚拟现实技术,构建了基于虚拟现实技术的图像优化模型,使用 OpenGL 绘图工具,结合图像视觉优化方法,能够有效提升激光三维图像质量。表 1 激光三维图像对比度、信息熵优化前后结果像素类型对比度优化前优化后信息熵优化前优化后640480250 1300 10.80.9800600244 1300 10.80.91 024768232 1300 10.80.91 280960220 1300 10.70.91 6001 200217 1300 10.70.92 0481 536182 1300 10.60.92 2721 704180 1300 10.50.92 5601 920177 1300 10.40.9本方法在优化激光三维图像视觉效果时,测试光强修正系数的取值对其视觉效果的影响,测试结果如表 2 所示。分析表 2 可知,当光强修正系数大于 0.6之后,0.71.0 之间,激光三维图像的对比度为 300 1,信息熵高达 0.9,此时激光三维图像视觉效果最佳,为此,本系统在使用时,需要将光强修正系数设置为0.71.0,具体数值可根据图像具体信息设置。表 2 光强修正系数的取值对图像视觉效果的影响光强修正系数对比度信息熵0.1210 10.80.2213 10.80.3218 10.80.4220 10.80.5280 10.80.6290 10.80.7300 10.90.8300 10.90.9300 10.91.0300 10.94 结论以激光三维图像的视觉优化为研究内容,设计了一种基于虚拟现实技术的激光三维图像优化系统,为651杨朝政,等:基于虚拟现实技术的激光三维图像优化系统设计http /了判断所设计系统的使用效果,在 MATLAB 软件中对其进行性能测试,该系统在实验中通过了性能测试,具有一定应用价值。但因篇幅有限,本系统的应用效果还有待实际考证,在未来的研究工作中,将引入激光三维图像分割这一环节,从多个角度全面优化激光三维图像的展示效果。参考文献1 周理,刘琰.基于自适应遗传算法的激光图像处理J.沈阳工业大学学报,2019,41(02):174-178.2 李娜,邓家先,崔亚妮,等.基于暗通道先验的红外图像清晰化及 FPGA 实现J.红外与激光工程,2021,50(03):119-128.3 刘洋,余建华,顾志芹,等.一种改进型增强图像处理算法研究与应用J.激光与红外,2019,49(03):381-384.4 胡晓炜,朱庆生,沙孝鸣,等.应用于人卫激光测距光尖图像处理方法研究J.激光与红外,2020,50(03):380-384.5 于飞,丁琳,惠梅,等.一种用于非制冷红外热成像系统的图像增强方法J.光学技术,2019,45(01):85-89.6 叶懋,黄品高,吕洋,等.基于 FPGA 的雾霾视频图像实时复原系统研究J.应用光学,2019,40(05):812-817.7 张雨晨,李江勇.基于小波变换的中波红外偏振图像融合J.激光与红外,2020,50(05):578-582.8谭力恒,马强,蒋秉川,等.面向头盔式虚拟现实的 Os-gEarth 立体视觉生成方法J.系统仿真学报,2019,31(07):1290-1299.9 盛静.基于 VR 技术的船舶航行视景分布式可视化分析系统J.舰船科学技术,2020,42(06):37-39.10 赵凯,唐丽华,张姝婧.基于 OpenGL 的交互式三维树木建模与可视化研究J.浙江农林大学学报,2019,36(01):138-147.11 杨燕,梁小珍,张金龙.分离特征和协同网络下的端到端图像去雾J.光学精密工程,2021,29(08):1931-1941.12 陈清江,张雪.混合残差学习与导向滤波算法在图像去雾中的应用J.光学精密工程,2019,27(12):2702-2712.13 王莹,伞晓刚.激光通信光斑图像高速采集与实时处理系统J.应用激光,2020,40(01):124-128.14 马文君,刘金虎,王小鹏,等.结合 Lab 空间和单尺度Retinex 的自适应图像去雾算法J.应用光学,2020,41(01):100-106.15 李媛淼,孙华燕,郭惠超.双边滤波与引导滤波增强激光三维图像的图像预处理方法J.激光与光电子学进展,2019,56(15):104-110.16 王飞霞,王俊轶,李晓华,等.激光投影电视中图像细节层次感的恰可察觉差J.光学学报,2020,40(05):222-228.17 曹海杰,刘宁,许吉,等.红外图像自适应逆直方图增强技术J.红外与激光工程,2020,49(04):256-262.18 杨晓莉,蔺素珍,禄晓飞,等.基于生成对抗网络的多模态图像融合J.激光与光电子学进展,2019,56(16):48-57.19 马奔,杨文华,尹勇生,等.RGB-Delta 结构 AMOLED 子像素渲染算法的研究J.激光与光电子学进展,2020,57(10):274-282.20 王福斌,孙海洋,王宜文,等.飞秒激光光斑图像序列焦点深度提取方法的研究J.应用激光,2019,39(06):987-993.751杨朝政,等:基于虚拟现实技术的激光三维图像优化系统设计