基于LabVIEW的大视场激光视频图像采集系统_郏露锋.pdf

第 44 卷 第 4 期2023 年 4 月 激光杂志LASER JOURNALVol.44,No.4April,2023http /收稿日期:2022-07-13基金项目:江苏省现代教育技术研究智慧校园课题(No.2021-R-96737)作者简介:郏露锋(1979-),男,硕士,实验师,研究方向:计算机技术与应用。基于 LabVIEW 的大视场激光视频图像采集系统郏露锋,张凯亮徐州工程学院,江苏 徐州 221000摘 要:针对激光视频图像采集过程中视角不足、图像呈现效果不佳问题,设计基于 LabVIEW 的大视场激光视频图像采集系统。该系统利用帧触发器和串行接口与摄像机相连,控制摄像机拍摄大视场激光视频图像;摄像机依据 IEEE-1394 总线协议将拍摄的大视场激光视频图像,传输到视频图像编码器内,利用该编码器对其实施压缩编码处理后,将大视场激光视频图像传输到视频图像处理器内;该处理器采用 LabVIEW 软件编程形式,将视频图像处理算法程序写入其中,通过运行该程序对激光视频图像进行亮度差异调整、图像配准等处理,将处理后的图像存储到存储器内,并利用 USB 控制器连接显示屏,为用户程序大视场激光视频图像采集结果。实验表明:该系统的中断时间为 2.0 min 左右,采集的激光视频图像水平视场角由 48增加到 83,且压缩激光视频图像帧频率波动区间为 33 f/s-34 f/s,系统具备较强的应用效果。关键词:LabVIEW;大视场;激光视频图像;采集系统;图像配准;图像编码器中图分类号:TN957 文献标识码:A doi:10.14016/ki.jgzz.2023.04.259Large field Laser video image acquisition system based on LabVIEWJIA Lufeng,ZHANG KailiangXuzhou University of Technology,Xuzhou Jiangsu 221000Abstract:In order to improve the problem of insufficient visual angle and poor image rendering effect in the process of laser video image acquisition,a large field of view laser video image acquisition system based on LabVIEW is designed.The system control element uses frame trigger and serial interface to connect with the camera,and controls the camera to shoot laser video images with large field of view.According to IEEE-1394 bus protocol,the camera transmits the wide-field laser video image to the video image encoder.After the encoder implements compression and coding processing,the wide-field laser video image is transmitted to the video image processor.The processor adopts the form of the LabVIEW software programming,the video image processing algorithm program written to them,by running the program is carried out on the laser video image brightness difference adjustment,image registration,such as processing,the processed image is stored in the memory,and use the USB controller connected display,wide field for the user program laser video image acquisition result.Experiments show that the interruption time of the system is about 2.0 min,the horizontal field of view of the collected laser video image is increased from 48to 83,and the frame frequency fluctuation range of the compressed laser video image is 33-34 fs-1,and the system has strong ap-plication effect.Key words:LabVIEW;large field of view;laser video image;acquisition system;image registration;image en-coder1 引言激光技术的不断发展也使其应用领域不断扩大,http /尤其是在视觉处理技术方面应用极为广泛,如路面监控、测绘等领域1-2。激光视频图像采集是实现其视觉处理的基础,为更好地实现激光视频图像采集,很多学者研究其采集系统。王莹等人3设计了光斑图像高速采集系统,该系统通过设计硬件采集电路实现激光视频图像采集,并使用滤波算法去除激光视频图像光斑,然后利用无线通信传输形式将采集结果传输到用户端。但该系统在实际应用过程中,其提取的图像分辨率数值较低,且运行时稳定性较差。张瑞等人4设计了远距离视觉信息采集系统,该系统从激光视频图像采集距离入手,针对较远距离的激光视频图像采集效果较强。但对于较近距离激光视频图像采集时,受激光光源影响其采集的激光视频图像逆光状态较多,因此,呈现的激光视频图像效果较差,在应用过程中存在片面性。LabVIEW 作为软件程序开发环境,其在目前的软件开发过程中应用范围较大,主要是由于该软件所占内存小5-6,其与其他软件兼容性较好,可与其他函数软件包相连,调用函数极为方便。LabVIEW 适用 VB、VF、VC+等多种编程语言,且可以用图形的方式描述编程过程,具备操作便捷的特点。在此,利用 LabVIEW软件程序开发环境,设计基于 LabVIEW 的大视场激光视频图像采集系统,以提升激光视频图像采集技术水平。2 大视场激光视频图像采集系统设计2.1 系统总体结构设计大视场激光视频图像采集系统,其总体结构如图 1 所示。在大视场激光视频图像采集系统总体结构内,现场可编程逻辑门阵列(FPGA)为主控元件,该元件使用 220 V 电源为其供电,使用 LabVIEW 编程软件将激光视频图像采集程序写入其中。该主控元件与帧触发器相连后,控制摄像机拍摄大视场激光视频图像后,摄像机依据 IEEE-1394 总线协议将视频信息传输到视频图像编码器内。使用视频图像编码器对大视场激光视频信息进行编码处理后,将其发送到视频图像处理器内;利用视频图像处理器对激光视频信息进行亮度差异调整、图像配准和融合处理后,现场可编程逻辑门阵列将其传输到存储器内进行存储,然后利用 USB 控制器连接显示屏,为用户呈现视场激光视频图像采集结果。图 1 大视场激光视频图像采集系统总体结构2.2 硬件选取摄像机是采集大视场激光视频图像的基础设备,性能较好的摄像机采集到的大视场激光视频图像的分辨率和帧频均较高7-8。在此选择 Macro 大视场智能相机作为大视场激光视频图像采集系统的激光视频图像采集设备。Macro 大视场智能相机的大视场区间为 500 mm2 000 mm,其采集视频图像精度高达50 m,同时具备多图案投影功能9,拍摄激光视频图像时受漫射和存在反光的物体影响较小,且其内置软件自带优化功能,可对较暗的激光视频图像进行一定程度的调整。Macro 大视场智能相机参数如表 1所示。表 1 Macro 大视场智能相机参数参数名称数值单位传感器分辨率2 0482 048-光学尺寸2.66cm像素大小4.84.8m2最大帧速率180fps单声道color-摄像头连接时钟速度60MHz现场可编程逻辑门阵列(FPGA)选择 ZYNQ7000型 FPGA,该 FPGA 元件内置完整 ARM 硬核,其可独立执行相关程序和命令,且其可对异构计算方式进行处理,具备较强的灵活性。ZYNQ7000 型 FPGA 图像采集框架如图 2 所示。在 FPGA 图像采集框架内,利用 DDR3 控制器控制双核处理器,并由 AXI 互联总线连接双核处理器和 WEMA IP 处理单元。Macro 大视场智能相机与 FPGA 的图像采集 IP 相连后,经过BIDEO 转换 AXI-stream IP 单元将采集大视场视频图像传输到 VDMA IP 寄存器内,同样图像处理 IP 负责获取大视场视频图像的光条信息,而 HDMI 显示控制器 IP 则与视频图像采集卡相连10-11,负责对激光视频图像进行标定和初始图像的传输。图像处理 IP 和062郏露锋,等:基于 LabVIEW 的大视场激光视频图像采集系统http /HDMI 显示控制器 IP 均与其对应的 HDMI 显示控制器 IP 相连,经由 AXI 互联总线与系统的其他功能相连,实现大视场激光视频图像传输。图 2 ZYNQ7000 型 FPGA 图像传输框架2.3 激光视频图像编码器设计利用 FPGA 和 DSP 设计激光视频图像编码器,其结构如图 3 所示。用户采集大视场激光视频图像命令发送到 FPGA 内,利用 FPGA 内置程序采集到大视场激光视频图像后,将其传输到视频解码单元内,利用视频解码单元对其进行解码处理后,将大视场激光视频图像传输到帧存(SDRAM1)内。DSP 从帧存内读取解码后的大视场激光视频图像后,对其进行压缩处理并经由 FIFO 数据串口输出压缩编码后的大视场激光视频图像。图 3 激光视频图像编码器结构示意图2.4 基于 LabVIEW 激光视频图像采集程序设计LabVIEW 编程环境也称实验室虚拟仪器集成环境,其是一种编程软件开发环境。LabVIEW 编程环境可利用图标编写程序代码12-13,其在编写激光视频图像采集程序过程中,可依据数据流的流向执行程序。且该变化环境界面简洁、操作性强的同时其扩展性也较优秀。LabVIEW 编程环境内不具备激光视频图像采集和处理控件,需在用户编程输入设备上安装VDM 视觉开发包和 VAS 视觉采集软件。其中 VDM视觉开发包负责提供视频图像处理功能函数库,VAS视觉采集软件负责连接激光视频图像采集设备控制其执行采集任务14。VDM 视觉开发包和 VAS 视觉采集软件安装完成后,将摄像机设备接口与 FPGA 相连,通过启动视频图像功能函数和视觉采集软件实现大视场激光视频图像采集,其过程如图 4 所示。图 4 激光视频图像采集流程示意图在 LabVIEW 编程环境内启动 VDM 视觉开发包和 VAS 视觉采集软件后,首先创建相机设备并设置该相机拍摄参数,然后为采集到的激光视频图像建立内存空间,然后开始控制摄像机采集大视场激光视频图像。设置大视场激光视频图像采集循环体,以自定义形式控制摄像机执行拍摄任务。当摄像机执行完成拍摄任务后,停止摄像机拍摄命令,同时关闭摄像机,然后将激光视频图像内存关闭,完成激光视频图像采集过程。2.5 视频图像处理算法当大视场激光视频图像采集系统采集激光视频图像完成后,由于受摄像机拍摄光照环境影响15-17,导致大视场激光视频图像亮度差异明显,且存在干扰噪声。因此,需对大视场激光图像进行亮度差异调整和图像配准等处理,详细过程如下:首先对大视场激光视频图像进行亮度差异调整,令?U1、?U2分别表示大视场激光视频图像重叠部分的像素平均数值,重叠部分的像素公共值则是利用二者之和再除以 2 得到,其由?U 表示。利用大视场激光视频图像重叠部分公共值对其像素平均值进行亮度调节,其表达公式如下:U1=U1-?U1-?UU2=U2-?U2-?U(1)162郏露锋,等:基于 LabVIEW 的大视场激光视频图像采集系统http /式中,U1、U2分别表示调节后的大视场激光视频图像重叠部分像素平均值。依据公式(1)结果,计算视场激光视频图像灰度值比例系数,利用该系数对大视场激光视频图像重叠部分进行赋值后,实现大视场激光视频图像亮度差异调整。调整完大视场激光视频图像亮度差异后,使用相位相关算法对其进行图像配准,使大视场激光视频图像更为清晰18。相位相关算法是使用傅里叶变换方式将相邻的两幅大视场激光视频待拼接图像映射到频域内,使用傅里叶平移方法将待拼接的图像从空域平移到与其相对应的频域内,在计算其互功率密度后得到待拼接图像的平移量,依据该平移量对待拼接图像平移后,实现大视场激光视频图像配准。U1(x,y)、U2(x,y)分别表示相邻待拼接的大视场激光视频图像,二者的傅氏变换分别由U1(u,v)、U2(u,v)表示。使用 U2(x,y)描述 U1(x,y),其表达公式如下:U1(x,y)=U2(x-x,y-y)(2)对公式(2)进行傅里叶变换后计算后的互功率谱密度,其表达公式如下:fcorr(x,y)=U1(u,v)U2(u,v)e-j2(ux+vy)|U1(u,v)U2(u,v)|(3)式中,U2表示U2的复共轭数值;e-j2表示傅里叶变换函数;fcorr(x,y)表示互功率谱密度数值。对公式(3)再次进行傅里叶变换,得到大视场激光视频图像的冲激函数,其表达公式如下:fcorr(x,y)=(x-x,y-y)(4)式中,表示单位冲激函数。由公式(4)可知,其数值在大视场激光视频图像频域(x,y)位置时数值最大,因此,相邻的大视场激光视频图像相对位移数值即为(x,y)。利用该位移数值对相邻的大视场激光视频图像进行移动后,即实现大视场激光视频图像的配准,去掉了大视场激光视频图像内重影和模糊区域。为使拼接两张大视场激光视频图像的配准拼接位置更加美观,需对该位置进行融合处理。在此使用线性加权融合算法对大视场激光视频图像拼接位置进行结构定位,并将其像素按照 5 列为一组对其进行线性加权融合处理,即完成大视场激光视频图像的融合,达到使其美观的目的。3 实验结果与分析以某区域路段为实验对象,使用本系统采集该区域路段大视场激光视频图像,分析本系统的实际应用效果。其中本系统应用环境为处理器 Intel(R)Core(TM)i-5;运行内存 8 GB;64 位,Windows 10 专业版操作系统;浏览器为 IE9.0。3.1 激光视频图像亮度差异调整及配准融合以一幅大视场激光视频图像为实验对象,测试本文系统对其亮度差异调整功能,结果如图 5 所示。(a)初始图像(b)调整后图像图 5 图像亮度差异调整测试结果分析图 5 可知,初始大视场激光视频图像整体灰度数值较高,且激光视频图像画面上存在不均匀光斑。而经过本系统对其进行处理后,激光视频图像上的不均匀光斑被去除,图像整体的亮度得到提升,且图像的清晰度也提升了许多。综上所述,本系统可有效调整大视场激光视频图像的亮度差异,同时也可提升图像的清晰度,具备较好的图像亮度调整能力,使其采集到的大视场激光图像更为清晰。以一组日间激光视频图像为实验对象,使用本系统对其进行配准融合处理,结果如图 6 所示。262郏露锋,等:基于 LabVIEW 的大视场激光视频图像采集系统http /(a)初始图像(b)配准融合后图像图 6 激光视频图像配准融合测试结果分析图 6 可知,采集到的激光视频图像未经过本文系统配准融合时,图像中部区域景物出现重合现象(详见图 6(a)内红色方框标记位置),而经过本系统对其进行配准和融合后,整幅图像无重合区域且无拼接缝隙,图像较为美观。综上所述,本系统具备较强的图像配准和融合能力,其提取的大视场激光视频图像无重叠区域,提取能力较强。3.2 稳定性测试系统的稳定运行是呈现其应用性能的首要指标,若系统在运行过程中出现程序无法启动、自动断线或者卡顿等情况时,其在使用过程中不但影响大视场激光视频图像采集,也影响用户的使用感。以文献3系统、文献4系统作为实验对比方法,设置 8 个系统运行周期,每个运行周期为 25 天,同时设置每个运行周期的中断时间不得超过 3.0 min。统计三种系统在8 个运行周期内系统中断时间,结果如图 7 所示。图 7 稳定性测试结果分析图 7 可知,本系统随着其运行周期的增加,其中断时间也呈现上升状态。在前三个运行周期内,本系统的中断时间均为 0.2 min 左右。当运行周期超过 3 个后,本系统的中断时间呈现不断增加趋势,但增加幅度较小。在第 8 个运行周期时,本系统中断时间为 2.0 min 左右。该数值较所设置的阈值低 1.0 min,而文献3系统、文献4系统的中断时间均超出了所设置的阈值。说明本系统在运行时较为稳定。3.3 激光视频图像压缩编码测试以不同大小的大视场激光视频图像为实验对象,同时以大视场激光视频图像压缩编码时的帧率作为衡量指标,测试本系统在对其进行压缩编码时的帧率变化情况,以文献3系统、文献4系统作为实验对比方法,结果如图 8 所示。图 8 激光视频图像压缩编码测试结果分析图 8 可知,本系统在采集大视场激光视频图像时,其压缩激光视频图像的帧频率呈现波动趋势。但整体波动区间为 33 f/s34 f/s,说明本系统在采集大视场激光视频图像时不受图像大小影响,其压缩图像的帧频率较为稳定。而文献3系统、文献4系统的压缩图像的帧频率波动较大。上述结果说明:本系统采集大视场激光视频图像时,其采集帧频率较为稳定,可从侧面说明本系统具备优秀的大视场激光视频图像采集能力。3.4 大视场效果测试以一组激光视频图像为实验对象,使用本系统、文献3系统、文献4系统采集该激光视频图像并对其进行配准融合处理后,分析该激光视频图像尺寸、视场角等,结果如表 2 所示。表 2 激光视频图像大视场效果参数采集前本系统采集结果文献3系统采集结果文献4系统采集结果图像尺寸/mm 1 280720 1 0401 2801 2807201 280720水平视场角/48835664垂直视场角/28292828帧频/fps19121817分析表 2 可知,该激光视频图像在使用本系统采362郏露锋,等:基于 LabVIEW 的大视场激光视频图像采集系统http /集前,其图像尺寸、水平视场角、垂直视场角数值均较小,帧频数值较大。而经过本系统对其进行采集后,该激光视频图像的长宽尺寸增加了,而不同角度的视场角也增加了,尤其是水平视场角由原来的 48增加到了83,帧频则由最初的19 f/s 下降至12 f/s。而文献3系统、文献4系统对激光视频图像的尺寸增加程度较小。上述结果表明:本系统采集的激光视频图像大视场效果较好。4 结论使用 LabVIEW 软件开发环境设计基于 LabVIEW的大视场激光视频图像采集系统,并将其应用到采集某路段区域激光视频图像过程中。经过实验验证:本系统运行较为稳定,可有效扩大激光图像的不同视场角的同时,也具备较强的激光视频图像亮度差异调整和配准融合能力,具备较强的实际应用性。参考文献1 程超,游利兵,杨礼昭,等.基于 LabVIEW 的准分子激光诱导击穿光谱采集系统设计J.量子电子学报,2020,37(03):280-286.2 叶懋,黄品高,吕洋,等.基于 FPGA 的雾霾视频图像实时复原系统研究J.应用光学,2019,40(05):812-817.3 王莹,伞晓刚.激光通信光斑图像高速采集与实时处理系统J.应用激光,2020,40(01):124-128.4 张瑞,汤心溢.基于激光照明的远距离视觉信息采集系统设计J.红外技术,2019,41(02):153-156.5 荣传振,贾永兴,吴城,等.红外与可见光图像分解与融合方法研究J.数据采集与处理,2019,34(01):146-156.6 唐超影,浦世亮,叶鹏钊,等.基于卷积神经网络的低照度可见光与近红外图像融合J.光学学报,2020,40(16):37-45.7 杨俊,潘博,陈丽,等.图像边缘信息辅助的压缩采样策略J.激光与光电子学进展,2020,57(08):169-177.8 李文峰,蔡蓬勃.本质安全型低照度视频采集激光辅助光源设计J.工矿自动化,2019,45(01):13-17.9 张捷,朱铁林,张志芳.基于 Hi3519v101 的无人机双光视频采集编码系统设计J.电视技术,2019,43(02):111-115.10 孟蔓菁,邹彤,刘海波.基于 FPGA 的线阵 CCD 激光采集系统设计J.大地测量与地球动力学,2019,39(10):1096-1100.11 郑国权,唐悦,刘宣.基于光纤技术的电能信息采集系统设计J.激光杂志,2020,41(5):173-177.12 程超,游利兵,杨礼昭,等.基于 LabVIEW 的准分子激光诱导击穿光谱采集系统设计J.量子电子学报,2020,37(03):280-286.13 吕卫,王粟瑶.三维成像激光雷达高带宽数据采集与存储系统J.激光与光电子学进展,2019,56(10):259-268.14 刘汝卿,蒋衍,李锋,等.实时感知型激光雷达多通道数据采集系统设计J.红外与激光工程,2021,50(05):88-94.15 潘冰冰,梁勖,潘宁,等.基于 LabVIEW 的准分子激光器控制系统J.激光技术,2020,44(03):343-348.16 马春波,顾金波,黄新义,等.基于蓝光 LED 的水下可见光视频传输系统设计J.光通信技术,2021,45(12):21-24.17 杨宜林,李积英,王燕,等.基于改进双边滤波的深度图像修复算法研究J.激光与光电子学进展,2020,57(16):208-214.18 周理,刘琰.基于自适应遗传算法的激光图像处理J.沈阳工业大学学报,2019,41(02):174-178.462郏露锋,等:基于 LabVIEW 的大视场激光视频图像采集系统