基于雾密度智能感知的腹腔镜图像去烟雾算法研究.pdf

生物医学工程学进展2023 年第 44 卷第 3 期 医学影像 237多张不同曝光度的图像。基于去雾模型的方法则在物理解释上相对欠缺。虽然使用深度学习等相关理论进行图像去雾研究取得了很多不错的成果，但目前将机器学习方法和深度学习算法部署在腹腔镜系统的FPGA芯片上的方案还不成熟，难以形成商业应用，所以本文使用改进的暗通道去雾模型及Retinex理论和灰度变换结合的方法进行腹腔镜图像去烟雾增强。本文以暗通道去雾模型为基础，提出了一种针对腹腔镜图像的雾密度智能感知去烟雾算法。所谓的智能感知，即对不同图像像素区域的指标值（如不同像素区域的含雾程度、光照条件和强度），依照图像具体像素区域的不同含雾程度和明暗程度进行优化与调整，进行不同的处理操作，以达到更好的处理效果。通过比较分析，本文的方法在得到较好的去烟雾效果的同时，改善了图像质量和观感，并在无参考的去雾效果评价指标中得到了更高的分数。1 数据与方法 1.1 相关理论 1.1.1 经典暗通道去雾理论经典暗通道去雾理论 当前基于退化模型的去雾，最有效的模型之一是基于对大量有雾图像和无雾图像进行观察总结得到的图像映射关系，即文献4提出的暗通道去雾模型。该模型依照大气散射模型提出，大气散射模型如下。1xxxAxIJtt （1）式中，xI代表含雾图像；xJ代表无雾图像；A是全局大气光值；xt是传输函数，也称为透射率。该公式表示一幅含雾图像的形成过程。暗通道先验知识如式（2）所示。式中，dark()xJ表示图像的暗通道值；x是以x为中心的图像区块；c表示图像的各个通道；cJy表示当前区域各通道的像素值。dark,()=minminccr g bxxy JJy （2）基于此先验知识，结合上述物理模型，需要计算出图像的透射率分布图和大气光值，即可将无雾图像从原始有雾图像中还原出来，透射率分布如式（3）所示，最终图像还原如式（4）所示。1minminccc xxA yIyt （3）0 max,xAxxtIJt （4）1.1.2 基于像素智能感知权重的大气光值基于像素智能感知权重的大气光值 在经典暗通道去雾理论中，大气光值计算的是基于图像整体暗通道对应的最高亮度值，该方法具有原理简单、计算速度快的优点。但在腹腔镜图像中存在两个主要问题：（1）在腹腔镜图像视野中，不存在天空区域，且由于腹腔封闭空间和镜头光源的限制，腹腔内的光照具有很强的非均匀性；（2）不同于一般的含雾图像，腹腔镜视野中的内容仅有腹腔内各器官、组织、血管和黏膜，这使腹腔镜图像的红色通道分量值比一般图像高。因此，采用上述大气光值计算腹腔镜图像的大气光会出现较为严重的颜色偏离，R、G、B 3个通道采用相同的大气光，也会降低图像的去雾效果。本文根据文献10提出一种针对内窥镜智能感知大气光的计算方法，对内窥镜图像每个通道的每个像素定义像素智能感知权重，再根据权重计算智能感知大气光。其中，定义像素智能感知权重如式（5）所示。meanstd1 1fxfxecPaw （5）式中，xcPaw为第c个通道对应的各个像素智能感知权重；meanf为图像整体像素的均值；stdf为图像整体的方差。通过该权重，大气光随像素区域的变化而得到的智能感知大气光如式（6）所示。2551xxxxcccAIPawPaw（6）式中，xcA为计算得出的智能感知大气光；xI为原始含雾图像的各像素值。通过上述计算，各像素自适应权重由当前像素值和图像整体均值方差决定。在腹腔镜图像中，上述方法只能感知到存在过高的红色通道值，通过计算得出的大气光值就会得到相应的纠正，减少由大气光造成的图像偏色问题。1.2 基于雾密度智能感知的腹腔镜图像去烟雾方法 本文将腹腔镜图像去烟雾划分为两个步骤。首先，使用去雾算法对不同雾密度区域进行准确的感知和识别，从而对不同图像区域进行不同程度的去雾操作，以保证图像的质量。其次，保证去雾后的图像具有更加易于观察的视觉效果。故将去烟雾方法划分为基于透射率智能感知的图像增强和基于光照分量智能感知的图像增强两部分。生物医学工程学进展2023年第44卷第3期 医学影像 238 1.2.1 基于透射率智能感知的图像增强基于透射率智能感知的图像增强 在大气散射模型中，透射率描述了光在传播过程中尚未被吸收或尚未衰减的辐射亮度比例，可以认为，在去雾模型中，透射率是衡量雾密度的重要部分。因此，对雾密度的感知可以通过更加准确的透射率感知模型实现。去雾的过程实际上是增强对比度的过程，但对彩色图像来说，现有的模型增强对比度会造成部分像素值的丢失和截断，使色彩饱和度升高。对于图像的物理去雾模型，决定图像去雾程度和对比度增强的变量是透射率值 xt。计算图像对比度的有效方法之一是使用均方误差 对比度公式，如式（7）所示。2MSE1 NcppJCNcJ （7）式中，,cr g b为3个通道之一；cJ为图像像素块 pcJ的均值；N为像素块的像素数量。均方误差对比度较好地衡量了去雾后图像颜色对比度的高低。增强对比度会造成图像颜色的溢出。如图1所示，图1（b）（f）分别将式（3）中的参数调整为0.61.0。可以看到，随着图像饱和度的升高，缺失颜色的区域逐渐增大。（a）原始图像（b）=0.6 （c）=0.7（d）=0.8 （e）=0.9（f）=1.0 图 1 不同透射率的去雾效果 Fig.1 Defogging result of different t(x)文献5定义了一种去雾总体损失函数E。首先，定义由于去雾造成颜色缺失的损失函数，如式（8）所示。22loss,min 0,max 0,255r g b pEpp ccCBJJ（8）式中，B为对应的目标像素块，该公式可以进一步改写为式（9）。22255loss,0 255ccccccr g biiiAiAEAiAittccChh（9）式中，ich代表第c个通道的直方图；c和c代表像素值发生截断的地方。该损失函数衡量了图像因对比度增强而造成的颜色丢失程度。生物医学工程学进展2023年第44卷第3期 医学影像 239其次，由均方误差对比度可定义因去雾不彻底导致的对比度损失函数，如式（10）所示。22contrast2,r g b pr g b pBBppENt N cccccBcBJJII（10）式中，t为针对当前像素块B计算的透射率值；BN为像素块数量。定义去雾总体损失函数如式（11）所示，表示两种损失的加权和，其中L为平衡两种损失的系数，本文取0.5。contrastloss LEEE （11）得到上述去雾总体损失函数后，本文提出了一种智能感知透射率预测模型，通过感知像素块及图像各区域的雾密度，对各区域采取不同程度的去雾增强效果。通过智能感知方法得到图像各区域的含雾程度，迭代所有可能的去雾比例系数，寻找最适合当前像素块的透射率。具体做法为：将图像划分为10 10的像素块，根据其智能感知权重大气光值与式（3），对像素块进行透射率智能感知计算。迭代增加式（3）中的去雾比例系数，当前像素块去雾系数B满足式（12）时，将对应的记为当前像素块的比例系数，并计算相应的透射率值，其中每次迭代都将0增加0.05，最大迭代次数为16次。contrastlossargminBLEE （12）得到相应的大气光矩阵和透射率矩阵后，依据引导滤波17算法对透射率三通道矩阵进行细化，使用式（4）得到去雾后的图像。1.2.2 基于光照分量智能感知的图像增强基于光照分量智能感知的图像增强 去雾后的图像经过亮度增强后可显著改善观感。为兼顾算法的简便性，本文提高了算法的自适应程度和效果。在亮度图指导的彩色图像增强方法18的基础上，本文提出了一种基于光照分量智能感知的图像增强方法。首先将图像转移至HSV空间，使用其亮度分量V，依据Retinex理论提取光照分量作为图像增强的基础。提取方法使用的高斯函数,x yG如式（13）所示。222,xycx yq eG （13）式中，c为高斯函数的尺度因子；q为归一化常数。利用式（13）选取不同尺度的高斯函数对亮度分量图进行高斯滤波，并取均值作为图像光照分布图。依据图像光照分布图，本文提出了一种智能感知伽马函数自适应增强方法，如式（14）所示。,2550.52 5,5x yhhx yx yIFR（14）式中，,x yR为输出图像；,x yF为输入图像；,x yI为提取的光照分量；h为自适应感知因子，如式（15）所示。0.8 max,min,hx yx yII （15）通过上述增强，去雾后图像亮度得到增强，整体观感得到较大改善，优化了去雾效果。1.2.3 算法实现算法实现 根据上述内容，提出基于智能感知的腹腔镜图像去烟雾算法流程，如图2所示。首先将图像进行自适应大气光提取，并基于智能感雾密度估计模型计算和细化图像透射率，再进行去雾处理，之后对图像进行光照分量提取和亮度增强操作，得到输出图像。图 2 算法流程 Fig.2 Flow chart 生物医学工程学进展2023年第44卷第3期 医学影像 240 2 结果与评价 2.1 图像数据 本文使用的腹腔镜图像数据来自某国产品牌的4K 分辨率高清腹腔镜系统保存的手术视频和某国外品牌的1080P分辨率腹腔镜系统保存的手术视频。两段视频包含了不同光照和烟雾条件下的腹腔镜手术过程。本文将这两段视频中有烟雾的视频段分别每间隔5帧提取视频帧，保存成静态图像。每段视频保存100帧，共200帧图像，作为算法评估数据集。2.2 结果 图3和图4分别展示了1张1080P含雾腹腔镜图像和1张4K分辨率含雾图像对应的去雾结果，其中（a）为原始图像，（b）（e）分别为文献4、5、10及本文的去雾效果展示。2.3 主观评价 通过观察图3和图4可知，文献4的方法结果不够理想，且视野内边缘保持较差。文献5相比其他方法，对比度过增强导致图像颜色较深，不易观察。文献10在色彩还原、细节保持和去雾效果上较上述两种方法有一定改善。本文方法保留了文献10的优点，在两种分辨率图像上进一步减少了雾含量，并通过智能感知图像增强较为明显地改善了图像颜色和对比度，使去雾后的图像更加利于观察。（a）原始图像（b）文献4的结果 （c）文献5的结果（d）文献10的结果 （e）本文的结果 图 3 1080P 结果展示 Fig.3 1080P result display 生物医学工程学进展2023年第44卷第3期 医学影像 241 （a）原始图像（b）文献4的结果 （c）文献5的结果（d）文献10的结果 （e）本文的结果 图 4 4K 结果展示 Fig.4 4K result display 2.4 客观评价 为了更加客观地说明图像的去雾效果，本文采用了一种无参考感知雾密度客观评价指标对各方法结果进行评估。该指标由Lark等19于2015年提出，通过不同类型的图像统计特征来确定图像的雾密度，无须依赖透射率图、原始无雾参考图像和人类评级辅助训练，是一种较为全面和客观的图像去雾评价方法。通过衡量自然含雾图像和无雾图像的上述图像统计特征的代表值，针对当前待评测图像建立感知雾密度指标D，如式（16）所示。1fffDDD （16）式中，fD为根据上述12个指标计算的无雾图像统计量代表值与当前图像统计量的距离；ffD为含雾图像代表值与统计量的距离。图像含雾程度越高，其与含雾图像代表值的距离越近，图像感知雾密度越大。上述12个图像评价特征描述符如表1所示，其中序号1为图像MSCN系数的方差；序号2和3为目标像素垂直方向像素MSCN乘积的方差；序号4为局部标准偏差衡量的图像锐度；序号5为对应锐度的变化系数；序号68分别为灰度颜色、黄蓝通道和红绿通道的对比度能量；序号9为图像熵；序号10为文献4提出的暗通道先验理论所代表的暗通道值；序号11为HSV空间下的饱和度指标；序号12为计算均值和方差的色彩描述指标。这12个指标分别从不同的方面对图像的雾密度特征进行了表达，覆盖较为全面。生物医学工程学进展2023年第44卷第3期 医学影像 242 表 1 评价特征描述符 Tab.1 Evaluation feature descriptor 序号 特征描述符 1 MSCN 系数方差 2,3 MSCN 系数垂直乘积方差 4 图像锐度 5 锐度变化系数 6,7,8 对比度能量 9 图像熵 10 逐像素暗通道值 11 HSV 空间图像饱和度指标 12 图像色彩描述指标 本文基于3.1中的评估数据集，将各方法对应的感知雾密度评价结果绘制在统计折线图中，如图5所示。其中，（a）为1080P分辨率光照场景图像的统计规律，（b）为4K分辨率光照场景图像的统计规律。由图5可知，在两种分辨率的雾密度统计中，文献5所提算法表现出的稳定性不够理想，在1080P图像的实验中较为明显，个别图片雾密度下降幅度较大，低于本文提出的算法。文献4所提算法作为经典的暗通道先验算法，对图像进行处理后，整体雾密度值依然较高。文献10所提算法的整体效果与本文的算法较为接近，但仍然普遍高于本文的算法。因此，本文采取的图像增强方法相较于其他3种算法有更理想和稳定的雾密度值，对整体雾密度的降低有较好的效果。综合两种分辨率图像的结果，文献4、5、10所提算法和本文算法得到的指标平均值分别为1.191、1.197、0.813和0.712，本文的算法相较于文献4、5和10，指标分别降低了67.3%、68.1%和14.2%。图 5 感知雾密度统计结果 Fig.5 Statistical results of perception fog density 3 结论 本文提出了一种基于智能感知的腹腔镜图像去烟雾算法，其中对大气光值采用智能感知像素权重的计算方法。本文提出了一种雾密度智能感知透射率计算模型和基于智能感知的图像增强方法，更加准确地计算了去雾模型中的大气光和透射率值，改善了去雾后图像的观感。在一种综合感知雾密度评价模型中，本文的算法相较其他对照模型，取得了最低的分数。通过实验，本文的算法还存在以下不足。在烟雾较浓的情况下，由于图像细节纹理和颜色的缺失导生物医学工程学进展2023年第44卷第3期 医学影像 243致最终的去雾结果不够理想，针对此问题，将进一步对大气光计算进行智能感知优化，提高去雾效果。在对单幅图像的计算中，本文显示了较好的还原程度，但在应用于视频的连续帧时，连续帧之间出现了不稳定的闪烁现象，这是因为智能感知的阈值只考虑了单幅图像的情况，没有考虑连续帧之间的特点。后续工作会将上述智能感知算法扩展到帧之间的运算中，增强算法对视频处理的稳定性，以提高本文算法在视频处理中的可用性。参考文献 1 陈 东，赵 建，曹 锐.一 种 具 有 加 热 去 雾 功 能 的 内 窥 镜：CN214906599UP.20212023-01-06.CHEN Dong,ZHAO Jian,CAO Rui.Endoscope with heating and defogging function:CN214906599UP.20212023-01-06.2 王丽丽，王芳，孙梅林，等.一次性内窥镜球囊外套管：CN216090438UP.20212023-01-06.WANG Lili,WANG Fang,SUN Meilin,et al.Disposable endoscopic balloon outer sleeve tube:CN216090438UP.20212023-01-06.3 赵磊，韦巍，姜鹏，等.冲洗吸引管及手术装置：CN217187392UP.20222023-01-06.ZHAO Lei,WEI Wei,JIANG Peng,et al.Flushing suction tubing and surgical devices:CN217187392UP.20222023-01-06.4 HE K,SUN J,TANG X O.Single image haze removal using dark channel priorC/2009 IEEE Conference on Computer Vision and Pattern Recognition.IEEE:2009,1956-1963.5 KIM J H,JANG W D,SIM J Y,et al.Optimized contrast enhancement for real-time image and video dehazingJ.Journal of Visual Communication and Image Representation,2013,24(3):410-425.6 王诗毅，姚信威，姚远.G-SVD：一种基于高斯卷积和 SVD 的暗通道去雾算法J.小型微型计算机系统小型微型计算机系统，2021，42（4）：810-815.WANG Shiyi,YAO Xinwei,YAO Yuan.G-SVD:a dark channel dehazing algorithm based on gaussian convolution and SVDJ.Journal of Chinese Computer Systems,2021,42(4):810-815.7 陈玮，陈永顺，尹钟.结合天空分割和条件生成对抗网络的单幅图像去雾J.小型微型计算机系统小型微型计算机系统，2021，42（7）：1435-1440.CHEN Wei,CHEN Yongshun,YIN Zhong.Image dehazing by sky segmentation and conditional generative adversarial networkJ.Journal of Chinese Computer Systems,2021,42(7):1435-1440.8 LUO X B,YANG F,ZENG H Q,et al.Endoscopic video defogging using luminance blendingJ.Healthcare Technology Letters,2019,6(6):280-285.9 SAJEEVU S,ANISH B.Visibility driven contrast enhanced surgical defoggingC/2019 2nd International Conference on Signal Processing and Communication.Coimbatore.IEEE:2019,143-147.10 郭志飞，张仲亮，梁江荣，等.4K 内窥镜图像去雾方法、装置、电子设备及存储介质：CN114066780AP.20222023-01-06.GUO Zhifei,ZHANG Zhongliang,LIANG Jiangrong,et al.4K endoscopic image defogging method,apparatus,electronics and storage media:CN114066780AP.20222023-01-06.11 马悦.基于条件生成对抗网络的医学手术图像去烟算法J.计算机与现代化计算机与现代化，2021，2021（1）：50-55.MA Yue.Smoke removal algorithm of medical operation image based on conditional generative adversarial networkJ.Computer And Modernization,2021,2021(1):50-55.12 李云红，于惠康，马登飞，等.改进迁移学习的双分支卷积神经网络图像去雾J.北京航空航天大学学报北京航空航天大学学报，2022，1-11.LI Yunhong,YU Huikang,MA Dengfei,et al.Improved transfer learning two-branch convolutional neural network image dehazingJ.Journal of Beijing University of Aeronautics and Astronautics,2022,1-11.13 李鹏泽，李婉，张选德.高频信息对齐的多尺度融合去雾网络J.液晶与显示液晶与显示，2023，38（2）：216-224.LI Pengze,LI Wan,ZHANG Xuande.Multi-scale fusion dehazing network for high-frequency information alignmentJ.Chinese Journal of Liquid Crystals and Displays,2023,38(2):216-224.14 林森，王金刚，高宏伟.基于全局补偿注意力机制的战场图像去雾J/OL.兵工学报兵工学报：1-102023-02-26.http:/ Sen,WANG Jingang,GAO Hongwei,Battlefield image dehazing based on global compensation attention mechanismJ/OL.Acta Armamentarii:1-102023-01-26.http:/ WANG W H,WU X J,YUAN X H,et al.An experiment-based review of low-light image enhancement methodsEB/OL.https:/ieeexplore.ieee.org/document/9088214,2020.16 RAHMAN Z U,JOBSON D J,WOODELL G A.Retinex processing for automatic image enhancementC/Human Vision and Electronic Imaging VII.International Society for Optics and Photonics,2004:100-110.17 JIA Y X,RONG C Z,CHENG W,et al.Research on the decomposition and fusion method for the infrared and visible images based on the guided image filtering and Gaussian filterC/2017 3rd IEEE International Conference on Computer and Communications(ICCC).IEEE,2017.18 LEE S,KWON H,et al.A space-variant luminance map based color image enhancementJ.IEEE Transactions on Consumer Electronics,2010,56(4):2636-2643.19 LARK K C,JAEHEE Y,ALAN C B.Referenceless prediction of perceptual fog density and perceptual image defoggingJ.IEEE Transactions on Image Processing,2015,24(11):3888-3901.