散射环境下光学图像成像系统设计_邓强.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-07-27基金项目:教育部产学研协同育人项目(No.202102146011)作者简介:邓强(1976-),男,讲师,主要研究方向为图像处理以及信息系统安全。散射环境下光学图像成像系统设计邓 强,宣继涛绵阳城市学院网络与信息服务中心,四川 绵阳 621000摘 要:获取高质量散射环境光学图像成像,为散射环境下的精准监测及勘探提供保障,设计散射环境下的光学图像成像系统。依据指令获得散射环境下目标物体初始光学图像,通过内部2 组 FPGA 开发板实现初始光学图像的基础处理,并结合增强处理算法完成基础处理后光学图像的增强处理,通过终端设备完成散射环境下高质量光学图像成像的最终呈现。结果表明,该系统所得水下散射环境中各目标物体的最终光学图像成像效果清晰,整体质量较高,可有效抑制噪声干扰,整体亮度自然,具有十分丰富且清晰的细节内容,对比度为25.46,信噪比 13.45 db,信噪比与对比度均较高,可有效保障散射环境下实时监控的精准性。关键词:散射环境;光学图像;成像系统;光学图像采集;FPGA 开发板;增强处理算法中图分类号:TN202 文献标识码:A doi:10.14016/ki.jgzz.2023.04.190Design of optical image imaging system under scattering environmentDENG Qiang,XUAN JitaoNetwork and Information Service Center of Mianyang City College,Mianyang Sichuan 621000,ChinaAbstract:Obtain high-quality optical image imaging of scattering environment,provide guarantee for accurate monitoring and exploration in scattering environment,and design optical image imaging system in scattering environ-ment.The initial optical image of the target object in the scattering environment is obtained according to the instruc-tions.The basic processing of the initial optical image is realized through two groups of internal FPGA development boards,and the enhancement processing of the optical image after the basic processing is completed in combination with the enhancement processing algorithm.The final presentation of high-quality optical image imaging in the scatter-ing environment is completed through the terminal equipment.The results show that the final optical image of each tar-get object in the underwater scattering environment obtained by the system has clear imaging effect,high overall quali-ty,can effectively suppress noise interference,natural overall brightness,and has very rich and clear details.The contrast is 25.46,the signal-to-noise ratio is 13.45db,and both the signal-to-noise ratio and the contrast are high,which can effectively ensure the accuracy of real-time monitoring in the scattering environment.Key words:scattering environment;optical image;imaging system;optical image acquisition;FPGA develop-ment board;enhanced processing algorithm1 引言散射环境中的散射光特点为背光面与迎光面之间可柔和过渡、光线较软且不存在显著投影,其大多是由具有较大发光面积的光源所发射,故而对于散射环境下的物体而言,因受到散射光的影响,导致物体的轮廓及形态等较为模糊,物体的成像效果过于柔和,清晰度不高1。水下环境属于一种具有代表性的散射环境,对于水下监测、资源探测与开发等领域而言,清晰高质量的水下环境物体成像是其中的关键一环2-3。水下环境物体成像要求具备更高的成像质量,而水下环境因存在散射光影响,导致成像质量有所降低4,因此,为获得清晰高质量的水下环境物体成像,需采取科学合理的针对散射环境下的光学图像成像系统,保障水下环境物体成像的最终质量,为有效监测与开发水下资源提供科学依据5-6。以往的光学成像方式普遍适用于常规环境中,对于散射环境下的成像质量无法有效保障。乔要宾http /等7提出的时域光信息近红外光学成像方法,主要是通过结合时域辐射传输方程,利用广义 Guess-Markov随机场模型,构建了正则化项,克服了反问题的病态特性。将步长加速法与序列二次规划算法相结合来求解反问题,实现对弥散介质中脉冲激光传送的仿真,并运用相关光学成像算法,实现介质中散射与吸收两种系数分配的重构,完成光学成像,但该方法主要通过重建的方式实现光学成像,所得成像细节清晰度稍差,且亮度不够均匀,不适用于散射环境下光学图像成像中;孙志伟等8研究的大景深空间目标成像光学系统主要是通过波前编码的方式,对拍摄中的景深予以扩展,并结合相关算法复原目标光学图像,此系统重点针对景深高的场景实现清晰成像,其利用FOPD 算法,对中间图像实现了较好的复原效果。而该方法对于因拍摄间距变化较大导致景深不同的散射环境而言,此系统的成像质量具有较大波动。高美静等9提出基于 FPGA 的红外成像系统及图像处理算法,采用 FPGA 作为红外图像处理系统核心处理器,搭建集图像采集、视频解码、数据缓存及显示等功能的红外图像成像系统,可以有效地改善红外成像质量并保持红外图像的处理速度,提升了红外成像系统的性能。但该方法无法在散射环境下提升图像质量。郭帅等人10提出基于 FPGA 的成像光谱仪多通道实时光谱识别设计,据 SAM 算法实时计算输入光谱与各通道参考光谱之间的光谱角,通过对各通道输出的光谱角进行比较进而实现光谱的实时识别。但无法消除散射光导致的图像内细节模糊等问题。徐项项等人11提出基于 FPGA 的自适应光学系统 SPGD 算法,采用 TimeGen 软件对 SPGD 算法进行时序分析,并采用 Vivado 软件分别对 SPGD 算法随机扰动电压生成、性能指标计算和控制电压的计算与输出进行FPGA 配置和编程。能够为下一步基于 FPGA 的SPGD 算法硬件实现和应用提供基础。但信噪比与对比度均较差。基于以上分析,结合 FPGA 芯片与小波变换图像增强算法设计一种散射环境下光学图像成像系统,实现散射环境下目标物体光学图像的高质量成像,为散射环境下监测及勘探等领域提供帮助。2 光学图像成像系统设计2.1 散射环境下光学图像成像系统整体架构设计通常散射环境下光学成像的探测间距在十米到几十米之间,如此便对散射环境下光学图像成像系统的成像质量具备更高的要求。一般而言影响散射环境下光学图像成像质量的关键元素有环境质量、目标物体入射角度以及成像间距等12-13。其中,相对而言影响程度较小的为散射环境质量与物体入射角度,影响程度较高的为成像间距,而影响成像间距的关键元素为后向散射,如果成像过程中后向散射降低,那么成像间距影响成像系统的程度也会随之降低14。通常散射环境下具备前向与后向两种散射,其中,对背景散射光能量起到提升作用的为前向散射,它能够降低成像系统的对比度与信噪比,以此将成像间距缩短,但是目标物体在前向散射下的反射光未出现显著衰减现象;而后向散射是入射光未照射物体而向探测器直接入射,可降低物体的反射光能量,并将背景噪声提升,降低光学图像的对比度15。综合以上得知,前向与后向散射均对散射环境下成像系统的成像质量具有较高的影响,为此,需将二者的影响因素考虑在内,设计散射环境下光学图像成像系统,降低光学图像成像中因散射导致的噪声高、对比度低及信噪比低等情况,获得更高质量的散射环境下光学图像成像。依据以上分析所设计的散射环境下光学图像成像系统,主要包括上位机、光学图像采集模块、光学图像处理模块、通讯模块及显示模块等部分,系统整体架构如图 1 所示。图 1 散射环境下光学图像成像系统整体架构图其中,光学图像采集模块与处理模块两部分属于该成像系统的核心部分,二者的主要任务是获取散射环境下的实时光学图像,并针对光学图像中因散射导致的噪声、对比度低及模糊不清晰等实施处理,得到高质量光学图像。在该成像系统的整体运行过程中,先通过上位机发送图像采集指令至光学图像采集模块,由该模块内的光学成像单元依据所接收指令采集散射环境下的光学图像,并经由 LVDS 接口向光学图像处理模块传输;然后上位机将相关控制指令传送至光学图像处理模块,光学图像处理模块接收到控制指令后对光学图像采集模块传输的散射环境光学图像予以接收,并对此类光学图像实施基础处理与增强处理;处理后的高质量散射环境光学图像经由通讯模块将传输至显示模块,由显示模块内的终端设备呈现最终191邓强,等:散射环境下光学图像成像系统设计http /的散射环境光学图像,实现散射环境下的光学图像成像目的。2.2 光学图像成像系统中光学图像采集模块设计光学图像采集模块主要由光学成像单元与 LVDS接口组成,其主要功能是实时采集散射环境中光学图像,并将所采集光学图像传输至光学图像处理模块。该模块的核心部分为光学成像单元,该单元的主要构成部分有成像探测器 CCD、偏振元件组、分光孔径组与分光棱镜等。光学图像采集模块的光学成像单元硬件结构见图 2。该模块中光学成像单元整体结构的划分主要通过分光棱镜实现,该棱镜属于无偏振棱镜,划分后获得两通道与四通道的分孔径单元。其中,所获得的两通道包含两个偏心子单元,在各个偏心子单元前方各放置一个玻璃平板与一个圆偏振片,可令各个偏心子单元的光学结构达到统一,同时令共孔径组的光轴周围对称布设分孔径子单元,达到分孔径子单元的偏心量统一,令两通道的分孔径子单元实现在探测器上成像,达到采集散射环境下光强度光学图像与圆偏振光学图像的目的;而四通道包含四个偏心子单元,在各个偏心子单元前方各放置一个线偏振片,实现在探测器上合成各通道分孔径子单元的成像,达到采集散射环境下 0135偏振方向的光学图像采集任务。图 2 光学图像采集模块的光学成像单元硬件结构2.3 光学图像成像系统中光学图像处理模块设计光学图像处理模块主要针对光学图像采集模块所采集的散射环境下光学图像实施基础处理与增强处理,将散射导致的光学图像各类不清晰元素消除掉,获取高质量散射环境光学图像。该模块的核心为两组 FPGA 开发板与增强处理算法,其中,两组 FPGA开发板属于该模块的硬件部分,增强处理算法属于该模块的软件部分,两部分的具体设计情况如下。2.3.1 光学图像处理模块中 FPGA 开发板硬件设计光学图像处理模块中第一组 FPGA 开发板的关键功能是接收光学图像采集模块所采集的散射环境光学图像及上位机传送的相关控制指令,并将所接收的光学图像与控制指令传输给第二组 FPGA 开发板;第二组 FPGA 开发板的关键功能是依据所接收的控制指令对第一组 FPGA 开发板传输的光学图像实施基础处理,并存储基础处理之后的光学图像。两组FPGA 开发板的硬件结构设计如下:(1)第一组 FPGA 开发板:其主要包含 LVDS 接口、RS232 接口及 FPGA 控制芯片部分,其中 FPGA 控制芯片又包含了 PLL 时钟、按键除抖单元、图像数据接收单元、图像数据调整单元等,该组 FPGA 开发板硬件结构见图 3。该开发板的左侧 LVDS 接口与光学图像采集模块相连,下方 LVDS 接口与第二组 FPGA开发板相连,两个 LVDS 接口主要负责光学图像数据的传输;RS232 接口与上位机相连,属于一种串行通信接口,主要负责上位机相应控制指令的传输,以上三个接口均连接到 FPGA 控制芯片上。FPGA 控制芯片内图像数据接收单元的关键任务是接收由 LVDS接口所传输的来自系统内光学图像采集模块所采集的光学图像数据;图像数据调整单元的关键任务是缓冲与转化图像数据接收单元所传输的光学图像数据,并调整光学图像输出频率,将频率提升一倍;PLL 时钟的作用是完成时钟变频任务,并将对应的时钟驱动供应给其余单元;按键除抖单元的关键任务是实现其他单元的按键复位及按键抖动去除工作。图 3 第一组 FPGA 开发板硬件结构(2)第二组 FPGA 开发板:此组 FPGA 开发板主要包括 FPGA 控制芯片、DDR2 内存芯片及 LVDS 接口,其中,FPGA 控制芯片主要由帧终止单元、处理单元、平移拉伸单元及按键除抖单元等构成,该组 FPGA开发板的硬件结构如图 4 所示。DDR2 内存芯片的主要功能是存储 FPGA 控制芯片处理之后的光学图像数据;LVDS 接口与第一组 FPGA 开发板相连,该接口的主要任务是传输来自第一组 FPGA 开发板频率调整后的光学图像数据;FPGA 控制芯片属于核心部分,主要实现光学图像数据的基础处理与平移拉伸操作,提升光学图像的清晰度。291邓强,等:散射环境下光学图像成像系统设计http /图 4 第二组 FPGA 开发板硬件结构2.3.2 光学图像处理模块中光学图像增强处理算法通过光学图像处理模块内的两组 FPGA 开发板对采集到的散射环境光学图像实施基础处理之后,提升了光学图像的基础清晰度,但针对光学图像中因散射因素导致的噪声与对比度低等不清晰元素,需采取相应的增强算法予以有效去除16,进一步增强散射环境光学图像的呈现效果,获得整体质量更高的散射环境下光学图像。光学图像增强处理算法的整体过程为:(1)小波正变换与颜色空间转换:设经两组 FP-GA 开发板基础处理后的光学图像颜色空间通过 RGB表示,将该颜色空间转换至 YUV 空间,并通过小波分解其中的 Y 分量,获得若干个各种尺度的高频子带Lhi、Hhi、Hli与一个低频子带 Llm,其中,i=1,2,m。(2)低频子带信息增强处理:散射环境下光学图像中的介质散射光信息重点存在于低频信息内,可通过高斯模糊低频子带图像,将低频子带图像内的介质散射光预估出来,并依据预估结果由低频子带图像中删除掉介质散射光信息。删除后衰减信息是低频子带图像内余下信息中的重点信息部分,衰减信息主要是指直射光信息,结合局部复杂度衰减因子调节方法自适应增强处理此部分衰减信息之后,即可将低频子图恢复,有效消除掉低频子带图像内的不均匀光照问题。低频子带信息增强处理过程为:高斯模糊低频子带 Llm后,获得高斯平滑图像通过 Am表示,将 Am看作低频子图内与介质散射光信息相近的某个预估,由 Llm中减去 Am后,此部分介质散射光信息被删除,获得低频子图剩余信息 Y。因剩余信息 Y数值不高,同时其中包含局部负值,应通过叠加修正值 Y,使低频子图剩余信息 Y能够达到 Llm的整体亮度,其中,通过 Llm与 Y的均值 Llm与 Y二者之差得出 Y的取值,通过该修正值调节后得到的低频子图信息为衰减信息 Y1,其表达式为Y1=Y+Y(1)通过局部复杂度衰减因子与 Y1相乘后,获得复原低频子图。首先运算出基础衰减因子为e+D(x)=E(E-Am)(2)式中,散射环境下光子的衰减系数通过 表示;系统内光学成像单元与所拍摄物的间距称为景深,通过 D(x)表示;YLlm子带的最高系数通过 E表示;所拍摄物的空间位置通过 x 表示。通过局部复杂度衰减因子调节方法修正公式(2)内的基础衰减因子e+D(x),获得修正后低频子带不同位置点的衰减因子(i,j)表示成:(i,j)=Fq(i,j)-M+12|d+?(3)式中,低频子带局部区间的复杂度通过 Fq表示,且 Fq1,M,其中,M=(2m+1)2代表低频子带此局部区间中全部像素数量;低频子带全部位置点的衰减因子均值通过?表示;尺度调整系数通过 d 表示。通过将 Y1的各个数值与修正后的衰减因子(i,j)相乘之后,获得增强后的低频子带复原子图,其系数 Y2可表示成:Y2=(i,j)Y1(4)(3)高频子带系数增强处理:设计高通滤波器,通过该滤波器增强各个尺度的不同级别高频子带,其中高频子带的增强系数可表示为G(k,wh,wv)=u1-u211+2.415w2h+w2v122kc()2n()()(5)式中,修改因子通过 u1与 u2表示;垂直方向权重系数通过 wv表示,水平方向权重系数通过 wh表示;滤波器阶数通过 n 表示;截止系数通过 c表示;分解级别数通过 k 表示,且 k=1,2,n,与各个分解级别数相对应的分辨率通过 2k表示。通过所设计的高通滤波器结合非线性变换函数,实现非线性变换小波域内不同高频子带系数,达到对光学图像高频部分信息的自适应增强作用,有效抑制图像内的噪声。高频子带小波系数非线性变换之后可表示成:wout=winG(k,wh,wv),winS0,-SwinSwinG(k,wh,wv),win-S|(6)式中,非线性变换之前的高频子带小波系数通过 win表示;非线性变换之后的高频子带小波系数通过 wout表示;阈值门限值通过 S 表示,且 S=2log10pp(),其中,高频子带系数的均方差通过 表示,各尺度高频子带系数的数目通过 p 表示。对-SS 区间内赋值391邓强,等:散射环境下光学图像成像系统设计http /等于 0 的高频子带小波系数实施噪声抑制,而对除此区间以外的其余高频子带小波系数则实施增强处理,实现光学图像细节部分的增强处理。(4)小波反变换与颜色空间转换:通过小波反变换增强处理之后的高、低频子带系数,获取到增强处理之后的亮度分量?Y,合成 UV 与此亮度分量?Y 后得到新的?YUV 空间,转换回颜色空间 RGB,得到高质量高清晰度的散射环境光学图像。3 实验结果分析实验散射环境选取为某区域水下环境,应用本系统获得该环境下目标物体的光学图像成像,观测者通过本系统的终端实时观测水下环境目标物体情况,以此检验本系统的实际应用效果。实验中由实验区域水下环境中选定 3 个目标物体(a、b、c),通过本系统先采集各目标物体的初始光学图像,如图 5 所示。由图 5 能够看出,实验水下环境各目标物体的初始光学图像均存在因散射光导致的不同程度噪声,以及较低的对比度与信噪比,不利于观测者实时观测水下环境中目标物体的变化情况。针对此问题,本系统对各个目标物体的初始光学图像分别实施了基础处理与增强处理,将双重处理的效果呈现,检验本系统的成像质量。(a)目标物体 a (b)目标物体 b(c)目标物体 c图 5 实验水下环境各目标物体初始光学图像首先,呈现本系统对实验水下环境中各个目标物体的初始光学图像实施基础处理后的效果,见图 6。通过图 6 可看出,经本系统实施基础处理之后,实验水下环境中各目标物体的光学图像与对应的初始光学图像相比,噪声有所降低,整体清晰度有所提升,但对比度与亮度改善效果不明显。(a)目标物体 a (b)目标物体 b(c)目标物体 c图 6 本系统基础处理后各目标物体光学图像效果继续通过本系统对基础处理后的各目标物体光学图像实施增强处理,处理后的效果呈现如图 7 所示。由图 7 能够看出,通过本系统增强处理之后,所获得的最终实验水下环境各目标物体光学图像成像对比度高,整体亮度得到明显改善,细节清晰度显著提升,整体成像效果好质量高,能够满足观测者的实时观测需求。(a)目标物体 a (b)目标物体 b(c)目标物体 c图 7 本系统增强处理后各目标物体光学图像效果为客观分析本系统的最终成像效果,选取对比度、信噪比、标准差及平均梯度四个评价指标,对各目标物体的初始光学图像、基础处理光学图像及增强处理后最终光学图像成像分别实施评价。其中,对比度指标值越高,代表光学图像的整体清晰度越高;信噪比指标值越高,代表光学图像中的噪声干扰越少;标准差指标值越高,则代表光学图像内所包含的细节信息量越丰富;平均梯度是指光学图像内细节反差的变491邓强,等:散射环境下光学图像成像系统设计http /化率,也就是光学图像在多维方向上的密度改变速率,该指标值越高则光学图像的清晰度越高。统计不同阶段各目标物体光学图像的各个评价指标值,详见表 1。分析表 1 可得出,较各目标物体的初始光学图像而言,经本系统实施基础处理与增强处理后两阶段光学图像的各个评价指标值均有所提升,其中,通过本系统双重处理之后的最终光学图像成像的各个评价指标值的提升幅度更为明显,由此可见,本系统可实现水下散射环境中目标物体的高质量光学图像成像,所得最终光学图像成像清晰度高,噪声干扰少,细节信息量丰富,具有较高的实际应用价值。表 1 各阶段目标物体光学图像评价指标值对比不同阶段图像编号对比度信噪比/db标准差平均梯度初始光学图像a18.0132.37203.1460.14b18.6234.05215.3165.31c17.5931.23170.3355.27基础处理后光学图像a214.1336.79295.6470.19b214.7743.17303.1576.31c214.1539.83214.8268.43增强处理后最终成像a324.3349.83671.3480.11b325.1750.12680.7585.36c324.0649.21660.9276.42为证明设计系统的技术前瞻性,将文献7提出的基于时域光信息的近红外光学成像方法、文献8提出的大景深空间目标成像光学系统以及文献9提出的基于 FPGA 的红外成像系统及图像处理算法与本方法进行光学图像评价指标值对比,对比结果如表2 所示。表 2 不同方法的光学图像评价指标值对比方法对比度信噪比/db标准差平均梯度文献7方法7.0131.37221.1461.14文献8方法15.1336.43224.6460.19文献9方法15.3339.83371.3463.11本方法25.4613.45648.1573.19由表 2 可知,本方法的对比度为 25.46,信噪比13.45 db,标准差为 648.15,平均梯度为 73.19。相比几种文献方法,本方法的光学图像评价指标值均有所提升。4 结论设计一种散射环境下的光学图像成像系统,通过结合系统中的光学图像采集模块、处理模块及显示模块等,获得散射环境下高质量光学图像成像,将本系统实际应用于某区域水下散射环境中,对其中的目标物体实施光学图像成像,并从主观与客观两个角度检验本系统的实际光学图像成像效果,检验结果表明,主观上通过人眼观测本系统的最终光学图像成像效果图,成像清晰无噪声干扰,亮度自然且细节清晰,客观上通过评价指标评价本系统的最终光学图像成像效果,成像的对比度与平均梯度较高,具有较高的整体清晰度,信噪比与标准差较高,可有效抑制噪声干扰,具有丰富的细节信息量。本系统的实际应用效果理想,可应用于散射环境的实时监控中,为精准有效监控提供保障。参考文献1 褚金奎,张培奇,成昊远,等.基于特定偏振态成像的水下图像去散射方法J.光学精密工程,2021,29(05):1207-1215.2 刘飞,孙少杰,韩平丽,等.水下偏振成像技术研究及进展J.激光与光电子学进展,2021,58(06):9-26.3 王国霖,田建东,李鹏越.基于双透射率水下成像模型的图像颜色校正J.光学学报,2019,39(09):16-25.4 陆婷婷,李潇,张尧,等.基于三维点云模型的空间目标光学图像生成技术J.北京航空航天大学学报,2020,46(02):274-286.5 李修建,唐武盛,衣文军,等.宽视场远距离光学散射成像技术研究进展J.中国激光,2021,48(04):207-222.6 伍雁雄,郭智元,余苗,等.基于非共轴阵列照明的小型化眼底相机光学系统设计J.光子学报,2020,49(08):19-29.7 乔要宾,陈辛,郭正玉.基于时域光信息的近红外光学成像J.光学学报,2019,39(04):206-216.8 孙志伟,刘伟奇,吕博,等.大景深空间目标成像光学系统设计J.液晶与显示,2021,36(11):1597-1604.9 高美静,彭春阳,李时雨,等.基于 FPGA 的红外成像系统及图像处理算法J.燕山大学学报,2021,45(02):160-167.10 郭帅,殷世民.基于 FPGA 的成像光谱仪多通道实时光谱识别设计J.半导体光电,2019,40(04):590-595.11 徐项项,吴阳,苏杭,等.基于 FPGA 的自适应光学系统SPGD 算法实现J.应用光学,2021,42(05):810-816.12 贾春辉,高明,杨书宁.四通道微光偏振实时成像光学系统设计J.应用光学,2019,40(02):334-341.13 李战涛,冯玉涛,韩斌,等.多波段全天空气辉成像仪光学系统设计J.光子学报,2019,48(05):98-106.14 王一斌,尹诗白,吕卓纹.自适应背景光估计与非局部先验的水下图像复原J.光学精密工程,2019,27(02):499-510.15 蔡晨东,霍冠英,周妍,等.基于场景深度估计和白平衡的水下图像复原J.激光与光电子学进展,2019,56(03):137-144.16 朱庆丰,张瑞,朱雯青,等.基于小波变换与像元对目标的短波红外图像增强算法J.半导体光电,2019,40(05):688-693.591邓强,等:散射环境下光学图像成像系统设计