生物视觉启发的低照度视频自适应增强设计与FPGA加速实现.pdf

生物视觉启发的低照度视频自适应增强设计与FPGA加速实现张显石宋健宋泗锦李永杰*(电子科技大学生命科学与技术学院成都610054)摘要：该文基于现场可编程门阵列实现了受生物视觉机制启发的夜间图像增强模型，实时高效地对夜间低照度视频图像进行自适应增强。受初级视觉系统中大小细胞通路启发，该文采取独立的两条通路分别处理结构与细节信息，获得了较好的处理效果与处理效率。为了实现对高清视频的实时增强，基于现场可编程门阵列对该文算法进行了加速实现。通过滑动数据窗并行处理、相邻帧信息共享、多通道并行化等硬件设计保证高数据吞吐量。该设计在XC7Z100现场可编程门阵列上达到对1080P60Hz彩色视频增强的实时性要求。与本领域已有设计相比，该文设计具有更高的数据吞吐量，适用于高分辨率实时图像增强应用。关键词：生物视觉计算模型；图像增强；现场可编程门阵列中图分类号：TN911.73文献标识码：A文章编号：1009-5896(2023)08-2739-10DOI:10.11999/JEIT221346Design of Biological-inspired Low-light Video Adaptive Enhancementand FPGA Accelerated ImplementationZHANGXianshiSONGJianSONGSijinLIYongjie(School of Life Sciences and Technology,University of Electronic Science andTechnology of China,Chengdu 610054,China)Abstract:Anighttimeimageenhancementmodelisproposedinthispaper,whichisinspiredbybiologicalvisionmechanismandimplementedonFieldProgrammableGateArrays(FPGA)forreal-timeenhancementoflow-lightvideosandimages.InspiredbytheMidgetcellsandtheParasolcellsintheearlyvisualsystem,theproposedmethodprocessesthestructureanddetailinformationthroughtwoindependentpathwaysrespectively,andobtainsaniceeffectandefficiency.Toachievereal-timeenhancementofhigh-resolutionvideos,thispaperimplementstheproposedmethodonFieldProgrammableGateArrays.Highdatathroughputisensuredthroughhardwaredesignsuchasslidingdatawindowparallelprocessing,adjacentframeinformationsharing,andmulti-channelparallelization.ImplementedonFieldProgrammableGateArraysXC7Z100,theproposeddesignachievesprocessing60framespersecondfor1 024768RGBimages.Comparedwithexistingdesignsinthisfield,theproposeddesignhashigherdatathroughputandissuitableforhigh-resolutionreal-timeimageenhancementapplications.Key words:Biologicalvisioncomputationmodel;Imageenhancement;FieldProgrammableGateArrays(FPGA)1 引言近年来，基于图像/视频获取信息的计算机视觉技术在自动驾驶、智慧城市、智能家居、安防监控等诸多领域得到广泛应用。然而，在照明不足(如夜间低光照场景)或不均场景中(如光源只覆盖部分区域场景)，摄像头采集到的图像或视频往往受照度不足、强噪声以及不均匀照度等因素影响1，质量较低，计算机难以从中获取足够信息，严重限制了计算机视觉技术在相关场景中的实际应用。因此，对此类图像/视频进行自适应增强的预处理技术有助于计算机视觉在真实世界的实际落地，具有重要现实意义。传统夜间低照度图像增强方法大致可分为空间域和频率域两大类。代表性的空间域增强方法有对比度拉伸、直方图均衡化等。其中，基于直方图均衡化的方法由于其简单易行的概念取得了极大发展。但由于缺乏位置信息表达，这类方法在增强图收稿日期：2022-10-27；改回日期：2023-07-13；网络出版：2023-07-19*通信作者：李永杰基金项目：四川省中央引导地方科技发展专项(#2022ZYD0112)，四川省自然科学基金(2022NSFSC0527)FoundationItems:SichuanScienceandTechnologyProgram(#2022ZYD0112),TheNaturalScienceFoundationofSichuanProvince(2022NSFSC0527)第45卷第8期电子与信息学报Vol.45No.82023年8月JournalofElectronics&InformationTechnologyAug.2023像对比度的同时往往也存在增强过度、噪声放大、失真等问题2,3。频率域增强方法通常采用特殊设计的滤波器将图像分解为低频结构层和高频细节层，在增强亮度的同时抑制噪声，但存在锐度损失、图像漂白、伪影等问题，同时色调再现性较差46。基于视网膜皮层理论(Retinex)衍生的各种图像增强算法是此类方法的代表。Li等人7关注低光照场景中捕获图像的噪声问题，利用结构信息建立鲁棒的Retinex模型，对受强噪声干扰的弱光图像具有良好的增强效果。Jiang等人8则采用掩码加权最小二乘法保留细节并抑制高频细节层中的噪声和伪影。Guo等人9引入颜色恒常问题中的白板假设和去雾问题中的暗通道先验假设，利用先验结构细化初始照明图，并从中获得最终增强。随着深度学习的不断发展，RetinexNet,KinD等结合深度神经网络与Retinex理论的方法正不断涌现1014。同样受生物视觉机制启发，Zhang等人15模拟视网膜水平通路对垂直通路的调控作用完成局部亮度调整；Yang等人4模拟具有较大感受野的伞型神经节细胞和感受野较小的侏儒型神经节细胞，分离处理视觉信息中的不同组分，并在后续工作中利用神经网络模拟了视网膜Naka-Rushton响应曲线的自适应过程16；Liu等人17重新思考了人眼空间频率特性，通过实验探索了感受野大小、图像空间频率和光照增强特性之间的关系，根据信息熵空间频率自适应调整神经元感受野大小，使其能够在感知全局一致性的同时完成局部细节增强。近期，立足真实世界，面向高级语义任务的低照度图像增强研究越来越受到重视。Hai等人18采用真实世界搜集的大规模成对低/正常照度图像代替合成图像进行训练，使用图像空间信息提高对比度，频率信息保留细节，具有较强的泛化能力；Wu等人19通过语义感知知识引导框架在特征空间整合语义先验，保持实例的颜色一致性，避免不同语义区域在照度调整过程中出现颜色偏离；Futschik等人20提出光扩散模型，针对性地处理阴影区域而非整个场景，极大提高了后续几何估计、语义分割等高级计算机视觉任务的鲁棒性。在生产生活实际应用中，图像/视频增强单元需要在保证效果的同时，兼顾实时性、稳定性、便捷性等不同要求。基于中央处理器的图像/视频增强单元受限于串行执行的特点，难以支撑数据吞吐量较大的场景。基于图像处理器的图像/视频增强单元得益于并行计算的特点，能够更好地满足实时性要求，但功耗与成本较高，不适合在边缘计算场景中大规模部署。相较而言，基于现场可编程逻辑门阵列(FieldProgrammableGateArray,FPGA)的图像/视频增强单元兼顾实时性与能效比，以相对较低的成本提供同等水平的结果，长期以来一直吸引着国内外学者的关注。基于Spartan3FPGA平台，Urea等人21受视网膜机制启发，设计实现了一种以减轻眩光为特色的色调映射算子。基于Virtex5FPGA平台，Lapray等人22实现了Duan等人提出的基于直方图均衡化的低亮度图像增强方法。基于Virtex6FPGA平台，Caada等人23实现了Zuiderveld等人提出的对比度受限自适应直方图均衡化方法，Joseph等人24实现了自适应Gamma校正。基于Kintex7FPGA平台，Ambalathankandy等人25实现了经典的局部直方图均衡化算法。基于CycloneIIIFPGA平台，Yang等人26在对数域实现从全局细化到局部的亮度调整，Shahnovich等人27将全局亮度调整和局部对比度增强相结合，Am-balathankandy等人28实现了Hor等人提出的指数增强算法。本文受生物视觉机制启发，在Yang等人42020年工作的基础上进行改进，提出一种夜间低照度视频图像自适应增强设计，并通过数据缓存滑动窗、帧共享、合并同类项卷积计算器等并行化硬件设计完成资源占用率低、数据吞吐量大的FPGA实现。本文工作包括：(1)对Yang等人4的夜间图像增强算法进行改进，保证效果的同时极大地降低运算复杂度，成倍缩减计算时间；(2)在FPGA硬件平台上并行化实现该算法，加速优化后的算法实现满足1080P60Hz输入彩色视频流的实时增强处理。2 本文算法2.1 对Yang等人4夜间图像增强模型的改进Yang等人4的夜间图像增强算法流程如图1所示。该算法利用全变分分解将输入图像分解为结构层和细节层，分别送入结构通路和细节通路进行处理。在结构通路，彩色图像由RGB颜色空间转入HSV颜色空间，再利用HSV空间亮度通道的全局与局部的均值和方差计算全局和局部的适应因子，在经典Naka-Rushton亮度归一化公式中引入空间依赖关系。考虑到亮度归一化可能带来的对比度损失，模拟视网膜双极细胞感受野的高斯差分算子以增强局部对比度。最后，在图像由HSV空间转换回RGB空间前，引入一个额外的颜色校正模板，以避免由亮度调整带来的浦金野位移。在细节通路，局部能量被用于进行噪声估计，指导噪声压缩。最后，结构通路和细节通路根据用户控制参数加权融合，获得增强后的输出图像。尽管Yang等人4的算法兼顾亮度调整与噪声抑2740电子与信息学报第45卷制，对夜间低照度图像的增强效果在非深度学习的传统算法中名列前茅。但其计算复杂度较高，在主流个人电脑上(IntelCorei7-12700K3.60GHz中央处理器，32GB内存)上，处理一张1 0801920像素的高清彩色图片耗时超过12s，难以实时处理高清视频流。对Yang等人4的算法代码进行分析，发现其结构通路的计算耗时约占计算总时间的50%，图像分解部分的计算耗时约占计算总时间的45%，其余部分的计算耗时约占计算总时间的5%。在结构通路中，Yang等人在Naka-Rushton公式中引入了根据全局方差计算的指数项n以调整亮度响应曲线的斜率。本文作者对HDRPS29,LOL10,SCIE30等多个图像库的数千张高动态范围图像和低亮度图像测试发现，对于绝大多数图像，其指数项n的取值通常在1到1.2之间，对亮度曲线斜率改变不大。因此，本文移除Naka-Rushton公式中的该指数项，在保证增强效果的同时减少计算量。在图像分解部分，Yang等人采用全变分分解将输入图像分解为结构层和细节层，该过程涉及迭代优化，计算耗时较长。本文采用式(1)所示高斯滤波替代Yang等人方法中的全变分分解完成图像分解，以减少计算量。Icb(x,y)=(Ic G)(x,y)G(x,y)=12exp(x2+y22)(1)Ic(x,y)Icb(x,y)G(x,y)(x,y)式中*表示卷积运算，表示输入图像，表示结构层信息，表示标准差为1的2维高斯滤波器，表示像素点坐标。经过上述修改，本文算法在保留Yang等人夜间图像视频增强模型优点的同时，极大地减少了计算量，在主流个人电脑上处理一张1 0801920像素高清图片的时间消耗从超过12s降低到7s左右。尽管修改后算法的计算速度有了极大提升，但仍难以满足实时处理高清视频流的需求。为进一步加速计算，本文以FPGA为平台，通过比特位并行计算、多行卷积数据并行计算、不同模块并行执行、不同通路并行处理等并行化措施，对算法进行加速优化实现。2.2 夜间低照度视频图像增强算法的FPGA实现本文采用米联客MZ7100FA开发板(核心芯片XC7Z100-2FFG900I)作为夜间低照度图像增强算图1Yang等人4夜间图像增强模型的算法原理框架第8期张显石等：生物视觉启发的低照度视频自适应增强设计与FPGA加速实现2741法的FPGA实现平台，使用Verilog语言编写代码。为降低功耗，本文实现以外部视频流为使能信号。当外部视频输入FPGA时，使能信号有效，图像增强单元开始工作。该FPGA实现模块划分如图2所示，主要模块包括：数据缓存模块、结构通路和细节通路分离模块、结构通路亮度适应模块、结构通路细节锐化模块、结构通路颜色校正模块、细节通路噪声抑制模块、图像重建模块。2.2.1 数据缓存模块数据缓存模块包含寄存器阵列，寄存器写入地址生成器，寄存器读取地址生成器和像素窗生成器，通过高度复用的方式提供局部数据，为并行卷积计算提供支撑。本算法中多处涉及卷积操作，处理数据量大，消耗资源多，时钟占用久。以1515像素的单通道卷积为例，假定采用常规的输入顺序地址递增方式存取输入的像素值，一个时钟周期只能获取一个数据，完成一次卷积运算需要消耗1515个时钟周期，消耗时间过长。为解决该问题，本文利用多个寄存器组成阵列对卷积计算中所需的多行数据进行存储，实现卷积并行计算。在本实现中，1515卷积操作需要的15行图像数据被分别依次存入由15个深度为1920的寄存器所组成的阵列中，每个时钟周期都能从该阵列中获取15个相邻的一列像素。在此基础上，利用像素窗滑动机制，使相邻像素在计算卷积时，复用1514个像素数据构造其各自的图2夜间图像增强算法的FPGA实现2742电子与信息学报第45卷1515卷积像素窗，每个时钟周期更新15个像素数据，输出一个卷积结果，相比单寄存器顺序存取方式显著加快了处理速度。寄存器写入地址生成器生成写入地址，并根据写入地址向寄存器中存入输入数据。写入地址分为列地址和行地址。列地址模为1920，随时钟递增，每个时钟加1；行地址模为16，列地址累加到1919时行地址加1。寄存器读取地址生成器生成读取地址，像素窗生成模块根据该地址从寄存器中取出数据。读取地址为列地址，模为1920，随时钟递增，每个时钟加1。像素窗生成器根据读取地址从寄存器读出数据到缓冲像素窗，再在使能信号控制下复制给输出像素窗，形成最终输出。像素窗生成器在寄存器阵列写满7行数据之后启动。当第8行第1个数据输入时，生成模块根据读取地址从前8个寄存器(对应输入视频图像的前8行)中读出8个数据，依次填入到缓冲像素窗最右1列下8行。同时，缓冲像素窗最右1列上8行填零。此后每个时钟周期，缓冲像素窗中已有数据左移1列，新读入数据填入最右列。如此8个时钟周期后，缓冲像素窗中获取到输入图像的88像素点(其余位置填0)，初始化完成(此时像素窗中心点为图像左上角第1个像素)，缓冲像素窗中内容复制给输出像素窗，输出像素窗再输出到后续计算模块。当缓冲像素窗右边缘向右滑动到图像边缘，读取完前8行中最后1列数据后，下一时钟周期，输出像素窗不再从缓冲像素窗中复制数据，而是将已有数据左移1列，最右列填零处理后输出到后续计算模块。同时，缓冲像素窗复位并下移1行，根据读取地址从前9个寄存器(对应输入视频图像的前9行)中读出9个数据，依次填入到像素窗最右一列下9行。如此8个时钟周期后，缓冲像素窗中获取到输入图像的89像素点(其余位置填0)，像素窗中心点移动到图像第2行第1个像素，缓冲像素窗中内容重新复制给输出像素窗输出到后续计算模块，如此往复循环。当行号大于16时，该模块根据行号模16结果调整读取数据在像素窗中填充位置。例如，当第18行数据输入时，18模16等于2，因此像素窗从上到下依次填充第315号、第1号、第2号寄存器数据。当像素窗下边缘向下滑动出图像边缘(即像素窗中心点到达1 074行第1列)后，缓冲像素窗只从寄存器中读取数据填充前15行数据，最后1行填零处理。当像素窗中心点到达1 075行第1列后，缓冲像素窗最后2行填零。如此往复，直至像素窗中心点到达1 080行1920列后，像素窗复位，开始新一帧数据处理。2.2.2 结构通路和细节通路分离模块结构通路和细节通路分离模块由数据缓存模块和卷积计算单元组成，采用R,G,B三通道并行处理方式以节省时间。本算法采用高斯滤波，滤波器参数沿中线和对角线对称，因此只需要保存全部参数的1/8参与卷积计算即可。同时，参数中远离中心位置存在大量零值，这些零值对应的像素值无需送入后续乘法/加法器进行处理。基于以上特点，卷积计算单元首先根据滤波器参数对应的像素窗位置进行分组，滤波器参数零值对应的像素被直接丢弃，具有相同滤波参数的像素被分为一组，先累加求和再与对应的滤波器参数相乘，再将乘积累加后输出。为了简化布线难度，提高信号稳定性，累加操作采用树形加法器组完成。2.2.3 结构通路亮度适应模块结构通路亮度适应模块由颜色空间转换、帧信息共享、全局/局部适应因子计算、全局/局部适应因子权值计算等单元组成，根据图像的均值和标准差对图像亮度进行调整。全局适应因子需要根据整帧图像的平均值和标准差进行计算。其中，平均值计算需要累加整帧图像的所有像素值，标准差计算需要计算整帧图像中所有像素值和平均值的差值，整个计算过程需遍历全图两次。如果采用先计算平均值再利用缓存数据计算标准差的实现方案，对于一幅分辨率为1 080P的高清图像，需至少缓存1 9801 080像素点，存储资源消耗极大，同时占据大量时钟周期。为解决该问题，本实现中利用视频图像相邻帧变化的平滑性，引入帧信息共享模块优化标准差计算过程(见图2右上框图)。当第1帧图像输入时，帧信息共享单元开始运行，根据输入值计算第1帧的平均值，同时利用预设平均值和当前输入值计算当前帧的标准差；此后每一帧，帧信息共享单元根据当前输入计算当前帧平均值，根据当前输入和前一帧的平均值计算当前帧的标准差。为了节约硬件资源减少功耗，本单元在计算均值和标准差时将除法操作转化为乘法和截位操作实现，采用逐次逼近法求取平分根。局部适应因子需要根据图像局部区域的平均值和标准差进行计算。本单元计算所需的图像局部区域数据由2.2.1节所述数据缓存模块提供。2.2.4 结构通路细节锐化模块、结构通路颜色校正模块、细节通路噪声抑制模块与图像重建模块结构通路细节锐化模块完成对比度增强工作，实现方式与通路分离模块类似，区别仅在于滤波器参数不同。结构通路颜色校正模块修正亮度调整后可能的第8期张显石等：生物视觉启发的低照度视频自适应增强设计与FPGA加速实现2743颜色偏移，采用红、绿、蓝3颜色通道并行处理方式以节省处理时间。为方便硬件实现，色偏控制参数s由Yang等人4方法中的0.6被修改为0.5，用开方运算替代指数运算，采用逐次逼近法求取平分根。细节通路噪声抑制模块根据局部能量对细节通路像素进行加权计算，采用红、绿、蓝3颜色通道并行处理方式以节省处理时间，实现方式与通路分离模块类似，区别在于卷积计算后进行乘法加权而非求差。图像重建模块对结构通路和细节通路输出加权求和，获得最终输出。3 实验结果与讨论本文首先在i7-12700K3.60GHz个人电脑上测试了本文对Yang等人4工作简化后低照度图像增强效果和计算效率方面的改变，再在米联客MZ7100FA开发板上测试了本文FPGA实现的软硬件实现一致性、资源使用率和综合性能。3.1 与Yang等人4工作的比较本文以实时计算为目标，对Yang等人4工作进行了简化。如图3所示，与文献4方法相比，本文简化方法尽管损失了一些去噪能力，但物体边缘保持更好，对低照度图像的整体增强效果与前者相当。表1报告了本文方法在LOL10图像库真实图像集上的测试结果。LOL10图像库真实图像集包含500对600400像素的低照度彩色图像和对应参考图像，通过在真实场景中调整曝光时间捕获。本文采用结构相似性(StructureSimilarityIndexMeasure,SSIM)与峰值信噪比(PeakSignaltoNoiseRatio,PSNR)作为指标评估本文方法的增强效果(表1中所报道数据为整个图像库全部图像的指标均值)，结构相似性越高说明对应方法的输出图像与参考图像结构上越相似，增强效果越好，峰值信噪比越高说明对应方法的输出图像与参考图像之间的均方误差越小，增强效果越好；采用平均处理时间作为指标评估本文方法的处理效率。如表所示，经过本文简化后，增强图像与参考图像的结构相似度平均值由文献4方法的0.730 6下降到0.728 7，下降0.26%；峰值信噪比平均值由文献4方法的18.274 6下降到17.966 6，下降1.69%；平均处理时间由1.496 7s下降到0.885 8s，下降40.82%。表2报告了本文方法在SCIE30图像库上的结果。SCIE库图像由多个不同相机采集，包括589个室内和室外场景，每个场景包含3 0002 000像素或6 0004 000像素的318张不同曝光度图像，以及由专家从13种经典图像增强算法结果中优选出的参考表 1 本文方法在LOL10图像库真实图像集上的测试结果输入图像LIME9RobustRetinex7文献4本文结构相似性0.181 60.454 70.655 70.730 60.728 7峰值信噪比(dB)7.767 116.186 816.954 318.274 617.966 6平均处理时间(s)-0.044 827.472 71.496 70.885 8图3本文结果与文献4结果的比较2744电子与信息学报第45卷图像。为测试低照度图像增强效果，本文选取SCIE图像库每个场景中曝光度最低的图像作为测试图像。如表所示，经过本文简化后，增强图像与参考图像的结构相似度平均值由文献4方法的0.615 5下降到0.604 8，下降1.74%；峰值信噪比平均值由文献4方法的17.272 3下降到16.930 5，下降1.98%；平均处理时间由89.5s下降到41.4s，下降54.08%。上述实验结果表明，本文方法对低照度图像的增强效果与文献4方法大体相当，但计算速度更快，计算时间显著降低。3.2 软硬件实现结果一致性比较图4比较了本文算法在FPGA平台上硬件实现与在个人电脑上通过MATLAB软件实现，其输出结果的一致性。图4中首行图像，从左到右依次为输入图像、FPGA(硬件)实现增强图像、MATLAB(软件)实现增强图像。图4次行图像，从左到右分别为FPGA输出波形和对应的MATLAB输出矩阵。可以看出，本文算法的FPGA硬件实现与MATLAB软件实现，其输出具有高度的一致性。3.3 资源使用率表3报告了本文FPGA实现在米联客MZ7100FA开发板上的资源使用率。表中可见，本文实现的资源使用率整体较低。受益于帧信息共享、像素窗数据复用等机制，在大量采用多通路并行设计以实时处理1 0801 920像素高分辨率图像的同时，本文FPGA实现中的块随机存取存储器与数字信号处理单元的占用率不到资源总量的10%。3.4 综合性能表4报告了本文FPGA实现的综合性能分析。在148.5MHz工作时钟频率下，本文FPGA实现能够以60帧/s的速度处理1 0801920像素的输入图像，以88 552像素/(mWs)的能效完成对1080P60Hz输入视频流的实时增强。如表所示，与相关工作相比，本文实现在处理速度上具有明显优势，能效方面处于中间偏上位置，仅次于文献28实现。4 结束语本文在Yang等人4工作的基础上，分析其计算瓶颈，以实时计算为目标进行优化。与Yang等人4的原始工作相比，优化后算法在不损失对夜间低照度图像增强能力的前提下大幅提升计算效率，成倍缩减了计算时间。更进一步，本文在FPGA平台上对优化后算法进行了并行化实现，通过数据缓存模块滑动窗设计实现低资源占用的并行卷积运算，引入帧信息共享模块压缩标准差计算过程中的存储空间与时钟占用，针对算法中滤波器参数特点设计了先加法后乘法的合并同类项卷积计算单元减少FPGA片上资源消耗。本文FPGA实现在ZYNQ7(XC7Z100)平台上以88552像素/(mWs)的能效对1 0801920像素的彩色图像处理速度达到60帧/s，与相关工作相比在处理速度上具有明显优势。本文实现为降低计算复杂度，采用高斯滤波替代了Yang等人4工作中的全变分分解进行图像分解，相对Yang等人4工作牺牲了部分去噪能力(在LOL10图像库上峰值信噪比均值下降1.69%；在SCIE30图像库上峰值表 2 本文方法在SCIE30图像库真实图像集上的测试结果输入图像LIME9RobustRetinex7文献4本文结构相似性0.254 80.544 30.525 20.615 50.604 8峰值信噪比(dB)8.656 415.465 314.580 117.272 316.930 5平均处理时间(s)4.67 835.589.541.1图4软硬件实现对比第8期张显石等：生物视觉启发的低照度视频自适应增强设计与FPGA加速实现2745信噪比均值下降1.98%)。探索双边滤波、引导滤波、小波变换等图像分解的其他替代方式，通过查找表和更好的定点化控制计算复杂度，在硬件实现友好的前提下提升去噪能力，是本文实现的后续改进方向。本文实现的主要缺陷在于，输入图像被固定为1 0801920像素，滤波器参数直接固定在代码中，缺乏灵活性。通过可配置参数，实现对主流分辨率的支持，将是本文实现的另一后续改进方向。由于缺乏针对低功耗的专门设计，与文献28工作相比，本文实现在能效方面尚有一定差距。所幸资源占用相对较低，因此有充足的片上资源进行改进设计，通过状态机、数据使能和时钟管理等措施降低功耗。参 考 文 献陈勇,陈东,刘焕淋,等.基于深度卷积神经网络的无参考低照度图像增强J.电子与信息学报,2022,44(6):21662174.doi:10.11999/JEIT210386.CHEN Yong,CHEN Dong,LIU Huanlin,et al.Unreferencedlow-lightingimageenhancementbasedondeepconvolutionalneuralnetworkJ.Journal of Electronics&Information Technology,2022,44(6):21662174.doi:10.11999/JEIT210386.1VELUCHAMYM,BHANDARIAK,andSUBRAMANIB.OptimizedbeziercurvebasedintensitymappingschemeforlowlightimageenhancementJ.IEEE Transactions onEmerging Topics in Computational Intelligence,2022,6(3):602612.doi:10.1109/TETCI.2021.3053253.2KIMW.Low-lightimageenhancement:acomparativereview and prospectsJ.IEEE Access,2022,10:8453584557.doi:10.1109/ACCESS.2022.3197629.3YANG Kaifu,ZHANG Xianshi,and LI Yongjie.AbiologicalvisioninspiredframeworkforimageenhancementinpoorvisibilityconditionsJ.IEEE Transactions on ImageProcessing,2020,29:14931506.doi:10.1109/TIP.2019.42938310.向森,王应锋,邓慧萍,等.基于双重迭代的零样本低照度图像增强J.电子与信息学报,2022,44(10):33793388.doi:10.11999/JEIT211593.XIANGSen,WANGYingfeng,DENGHuiping,et al.Zero-shotlearningforlow-lightimageenhancementbasedondualiterationJ.Journal of Electronics&InformationTechnology,2022,44(10):33793388.doi:10.11999/JEIT211593.5LIChongyi,GUOChunle,HANLinghao,et al.Low-lightimageandvideoenhancementusingdeeplearning:AsurveyJ.IEEE Transactions on Pattern Analysis andMachine Intelligence,2022,44(12):93969416.doi:10.1109/TPAMI.2021.3126387.6LIMading,LIUJiaying,YANGWenhan,et al.Structure-revealinglow-lightimageenhancementviarobustretinexmodelJ.IEEE Transactions on Image Processing,2018,27(6):28282841.doi:10.1109/TIP.2018.2810539.7JIANGXuesong,YAOHongxun,andLIUDilin.NighttimeimageenhancementbasedonimagedecompositionJ.Signal,Image and Video Processing,2019,13(1):189197.8表 3 夜间图像增强模型的FPGA实现的资源使用情况资源使用情况使用率(%)查找表56 67320查找表随机存取存储器40 60438块随机存取存储器385数字信号处理单元71输入和输出单元10830区域时钟缓冲器1031混合模式时钟管理器450锁相环113表 4 性能综合对比FPGA平台生物启发时钟频率(MHz)输入图像分辨率(像素)处理速度(帧/s)能效(像素/(mWs)文献23Virtex6否696404806061 645文献21Spartan3是40.256404806020 480文献24Virtex6是84.51 0247683066 459文献26Cyclone否1001 024768126文献28Cyclone否1001 024768126440 891本文Zynq7是148.51 9201 0806088 5522746电子与信息学报第45卷doi:10.1007/s11760-018-1345-2.GUOXiaojie,LIYu,andLINGHaibin.LIME:Low-lightimageenhancementviailluminationmapestimationJ.IEEE Transactions on Image Processing,2017,26(2):982993.doi:10.1109/TIP.2016.2639450.9YANGWenhan,WANGWenjing,HUANGHaofeng,et al.Sparsegradientregularizeddeepretinexnetworkforrobustlow-lightimageenhancementJ.IEEE Transactions onImage Processing,2021,30:20722086.doi:10.1109/TIP.2021.3050850.10ZHANGYonghua,GUOXiaojie,MAjiayi,et al.Beyondbrighteninglow-lightimagesJ.International Journal ofComputer Vision,2021,129(4):10131037.doi:10.1007/s11263-020-01407-x.11LIURisheng,MALong,ZHANGJiaao,et al.Retinex-inspiredunrollingwithcooperativepriorarchitecturesearchforlow-lightimageenhancementC.The2021IEEE/CVFConferenceonComputerVisionandPatternRecognition,Nashville,USA,2021:1055610565.doi:10.1109/CVPR46437.2021.01042.12MALong,LIURisheng,WANGYiyang,et al.Low-lightimageenhancementviaself-reinforcedretinexprojectionmodelJ.IEEE Transactions on Multimedia,To bepublished.doi:10.1109/TMM.2022.3162493.13GUO Xiaojie and HU Qiming.Low-light imageenhancement via breaking down the darknessJ.International Journal of Computer Vision,2023,131(1):4866.doi:10.1007/s11263-022-01667-9.14ZHANGXianshi,YANGKaifu,ZHOUJun,et al.RetinainspiredtonemappingmethodforhighdynamicrangeimagesJ.Optics Express,2020,28(5):59535964.doi:10.1364/OE.380555.15YANGKaifu,CHENGCheng,ZHAOShixuan,et al.LearningtoadapttolightJ.International Journal ofComputer Vision,2023,131(4):10221041.doi:10.1007/s11263-022-01745-y.16LIUXiaokai,MAWeihao,MAXiaorui,et al.LAE-Net:Alocally-adaptiveembeddingnetworkforlow-lightimageenhancementJ.Pattern Recognition,2023,133:109039.doi:10.1016/j.patcog.2022.109039.17HAIJiang,XUANZhu,YANGRen,et al.R2RNet:Low-lightimageenhancementviareal-lowtoreal-normalnetworkJ.Journal of Visual Communication and Image18Representation,2023,90:103712.doi:10.1016/j.jvcir.2022.103712.WUYuhui,P