基于NSCT域滚动引导滤波与自适应PCNN的医学图像融合.pdf

收稿日期：；修回日期：基金项目：甘肃省科技计划资助项目（）；国家自然科学基金资助项目（，）；甘肃省杰出青年基金资助项目（）作者简介：邸敬（），女，甘肃兰州人，副教授，硕士，主要研究方向为图像检测识别、信号处理技术和宽带无线通信；郭文庆（），男（通信作者），甘肃武威人，硕士研究生，主要研究方向为图像融合（）；刘冀钊（），男，甘肃兰州人，副教授，博士，主要研究方向为混沌电路；廉敬（），男，甘肃兰州人，副教授，博士，主要研究方向为人工智能、模式识别；任莉（），女，甘肃嘉峪关人，硕士研究生，主要研究方向为图像融合基于 域滚动引导滤波与自适应 的医学图像融合邸敬，郭文庆，刘冀钊，廉敬，任莉（兰州交通大学 电子与信息工程学院，兰州 ；兰州大学 信息科学与工程学院，兰州 ）摘要：针对传统 和 医学图像融合后存在边缘轮廓模糊、纹理细节丢失等问题，提出基于 域结合相位一致性滚动引导滤波与改进参数自适应双通道 的图像融合方法。首先，采用相位一致性滚动引导滤波对 源图像进行增强，提高骨骼轮廓结构清晰度。然后，通过 变换分解增强后的 和 源图像得到低频子带和高频子带。低频子带系数采用改进参数自适应双通道脉冲耦合神经网络融合策略，明显改善了软组织的纹理细节模糊效果；高频子带系数采用加权求和修正拉普拉算法融合，提升了融合后图像的细节、纹理等信息。最后，通过逆 变换重构出融合图像。通过五组对比实验表明，所提方法的 、以及 客观评价指标分别平均提高了 、，说明该融合方法在处理纹理细节、边缘轮廓、结构相似性以及图像像素方面性能更好。关键词：医学图像融合；非下采样轮廓波变换；相位一致性；滚动引导滤波；自适应双通道脉冲耦合神经网络中图分类号：文献标志码：文章编号：（）：，（，；，）：，（）（），（），：；引言现代医学影像设备为人体各个部位提供了多种病灶图像，如计算机断层扫描（）、核磁共振成像（）等，图像对骨、钙化、增强血管等成像有亚毫米级的分辨率，图像对关节软骨、软组织成像较清晰，有利于确定病灶区域。为从单模态医学图像中获得更丰富的信息，多模态医学图像融合被广泛用于临床分析，实现对病灶部位准确、全面的描述 。近年来，多尺度变换在医学、红外和多聚焦图像融合中被广泛应用 ，。最早的基于多尺度变换模型是金字塔变换，随后又提出小波变换 ，目前最为流行的是非下采样轮廓波（，）、非下采样剪切波（，），、离散小波 和剪切波 。文献 提出医学、红外和多聚焦图像融合算法，该算法利用 作为分解工具进行融合，但其过程存在伪影。文献 提出一种基于 域内稀疏表示的算法，在该框架下，低频子带利用稀疏表示法处理，造成融合图像细节信息丢失严重。文献 提出一种基于 域脉冲耦合神第 卷第 期 年 月计 算 机 应 用 研 究 经网络（，）的算法，该算法高频是将空间频率和参数自适应 组合，从整体来看融合结果图具有很好的视觉效果，但边缘保留较差。近年来，一些学者通过研究滤波器模型得出滤波器在处理融合图像边缘和轮廓结构具有很好的效果，如引导滤波 、滚动引导滤波、梯度与导向滤波等，已在图像融合领域取得较为满意的结果。文献 提出基于滚动引导滤波的融合算法，该算法具有良好的边缘保护性，且能实现细节处理，相比于传统的多尺度分解方法具有更好的性能。文献 提出了基于滚动引导滤波与显著性检测的分解方法，该算法将图像分解为基础层、显著层和基层，通过对基础层、显著层和基层进行系数融合，使融合后的结果图在纹理边缘方面处理较好。文献 提出快速引导滤波融合框架，在处理图像的过程中，没有过多地考虑与源图像结构的差异，所以部分边缘会出现轮廓模糊现象。针对医学图像纹理信息缺失、边缘和轮廓特征模糊等问题，本文提出一种 域相位一致性滚动引导滤波（，）与改进双通道 的医学图像融合算法。该算法使用 对已配准 源图像进行预处理，提高骨骼区域清晰度；改进双通道 重新定义了链接输入、阈值设置以及权值矩阵，充分提取低频子带的细节信息和轮廓特征信息；高频融合使用改进八邻域加权求和修正拉普拉斯（，）算法，提高了相邻像素的相关性。最终获得了较好的医学融合图像。数学模型 非下采样轮廓波变换 分解过程如图 所示。第一层通过非下采样金字塔滤波器组（）对配准图像分解得到低通子带图（，）和带通子带图（，）；第二层则是对第一层得到的 继续分解，但是通过第一次分解得到的数据特征信息与源图像最为相近。同时，用非下采样方向滤波器（）将通过 分解获得的 像进行分解。由两个单通道的滤波器组成，它的功能是实现在图像中多个方向的分解 ，根据平移特性和不变特性可知，每个尺度下子图和上一层原分解图的大小保持不变。图 变换分解模型 双通道脉冲耦合神经网络脉冲耦合神经网络由 等人 ，提出，它是一种类似于小型哺乳动物视觉皮层神经系统的反馈型网络。模型与其他神经网络相比有较大优势，可以不用训练测试数据，自身可以找到相似的特征信息。模型较人工神经网络模型更能满足人眼视觉特性，同时 模型算法在现在的生物学领域内具有更好的合理性和可解释性 。双通道脉冲耦合神经网络模型如图 所示。图 双通道脉冲耦合神经网络模型 （）（）（）（）（）（）（）（），（）（）（）（），（）（）（）（）（）（）（）（）（）（）（）其中：、为外部输入激励；、和 表示神经网络的反馈和输入链接强度；和 为衰减时间常数；、为神经元与周围连接的尺度和方向；和 ，为连接输入的放大系数和神经元加权矩阵；和 为神经元的输出与内部活动项。滚动引导滤波基于滚动引导滤波预处理图像，在尺度测量下完全控制细节平滑，与其他保边滤波器相比，滚动引导滤波是通过迭代实现的，具有快速收敛性，且算法可以自动保存模块较大的结构。滚动引导滤波的两个主要步骤是将模块较小的结构过滤和恢复图像边缘轮廓 。滚动引导滤波具体流程如图 所示。图 滚动引导滤波流程 ）用高斯滤波模型移除源图像中较小的结构。为输入 源图像，为去除小结构后的 图像，是高斯滤波模型的均方差，和 是图像中像素坐标数值。过滤器如下：（）（）（）（）（）其中：（）（）；（）表示以 为中心，以高斯滤波器窗口为大小采集相邻像素的像素集。）采用联合双边滤波器对图像边缘进行迭代恢复。首先，将 设为高斯分布的输出滤波，是使用输入 和 的联合双边滤波 次迭代的输出。（）（）（）（）（）（）其中：（）（）（）用于归一化；表示式（）中相同的输入图像；和 控制着空间权重和范围权重。第 期邸敬，等：基于 域滚动引导滤波与自适应 的医学图像融合 改进融合算法 融合流程 在处理图像纹理边缘有较好的效果，对图像轮廓信息具有较强的处理能力，这两种多尺度分解方法具有互补特性，所以将 和 相结合可以有效保留图像纹理边缘和轮廓细节信息。本文提出的基于 域 与改进参数自适应双通道 算法的图像融合流程如图 所示，具体融合步骤分为以下五步：）输入源图像，其中源图像 、分别为 和 图像；）利用 算法对 源图像增强，得到预处理图像；）用 分解经 增强的 图像与 源图像，得到高频子带和低频子带系数；）利用加权求和修正拉普拉斯算法和改进参数自适应双通道 分别进行高、低频子带融合；）利用逆 变换，得到融合后的医学图像。图 基于 域 与自适应双通道 算法流程 改进滚动引导滤波医学图像在成像时由于设备的影响存在着图像整体偏暗，细节纹理丢失等现象。本文在 分解源图像之前对医学图像进行预处理，适当地提高图像亮度，同时增强图像轮廓的清晰度。图像预处理常见方法有滚动引导滤波、双边滤波以及引导滤波等。双边滤波无须收敛，但滤波后的图像会出现模糊块，其算法时间和空间运行效率与窗口大小无关，在处理尺寸较大的图像时，其运算复杂度低、效率高，但是会出现光晕效应，而且会带有梯度反转；引导滤波对处理边缘有很好的效果，但是仅能够保持线性运算；滚动引导滤波不同于双边滤波与引导滤波，它通过迭代实现，具有快速收敛性，而且保留其他内容的同时删除小规模结构，在医学图像融合领域有广泛应用。从式（）可以看出，滚动引导滤波中权重因子 的值将直接影响融合后图像的信息量，在传统滚动引导滤波中，根据实验人工获取参数，会使源图像的边缘信息不能被最大程度地提取出来，会使图像边缘出现伪影。本文提出一种相位一致性滚动引导滤波（，）算法。在几何意义下，相位一致性是与局部傅里叶分量到达终点时的总路径长度之比。因此，相位一致性的程度与整个信号的幅度无关，这说明了该算子拥有良好的鲁棒性。通过相位一致性处理权重因子，可以更进一步提高融合图像边缘信息的清晰度。具体过程如下：（）（）（）（）其中：（）为第 个像素处的值；（）为以像素 为中心的相邻值；为调节系数，本文设置为 ，以防止分母出现零的情况。其相位一致性可以表示为（）（）?（）（）（）（）其中：（）表示滤波器频率的权重函数；（）表示第 个傅里叶分量的幅值，最大值为 ；为噪声强度阈值；为常量；?为括号内的值大于零时为原值，否则为零；（）表示相位偏移函数，即（）（）（）（）（）（）其中：（）为 处的第 个傅里叶分量相位值；（）是当（）的值最大时，所在像素处傅里叶项的振幅加权平均局部相位角。然后将 （）代入式（），可得到式（）：（）（）（）（）（）（）低频子带的融合低通子带包含了 和 图像中较多的细节信息，由于人眼视觉神经系统对图像整体的纹理相比于单个像素点更具有吸引力，所以采用在处理细节信息方面较好的自适应双通道 算法作为低通子带融合方法。简化的双通道 模型将单个像素作为神经元的刺激，不能保证细节信息的完整性。本文基于此使用归一化值作为 输入项来获取融合图像的低频子带，归一化不仅减小医学图像由于光线不均匀造成的干扰，而且保证 在最后输出数据中数值较小的值不被剔除。归一化算法具体过程如下：（）其中：为输入像素；为输出像素值；、为图像的最小像素和最大像素值。链接强度可以调整当前神经元和它相邻神经元的相互影响程度，从式（）可以看出，链接强度 会影响融合图像像素点在输入图像中的选取，并且在传统模型中利用实验获得数据并不能满足人眼视觉特性。因此，本文 的自适应链接强度系数分别由输入低频的拉普拉斯算子确定，即 ，（）其中：和 为源图像 和源图像 的各低频子带系数；表示拉普拉斯算子，其表达式为 在动态阈值 中起关键作用，本文使用大津阈值来进行处理，其具体的算法步骤为：）初始阈值 ；）使用 将图像分割为 和 两部分；）计算 和 占整幅图像的权重、与平均灰度 和；）得出类间方差 （）（），其中 为医学图像的平均灰度，将两式联合可得（）；）找到最大的类间方差 对应的 对图像进行分割。权重矩阵的作用是为了调节神经元与其他神经元之间的耦合性，影响接受区中链接输入的大小，在传统模型中设置为计 算 机 应 用 研 究 第 卷常数，但在图像像素中相邻像素之间的关联并不相同，因此本文使用自适应值来确定，即 ，（）（）槡（）其中：和 表示神经元连接范围，本文的权值矩阵为 矩阵。高频子带的融合经 分解后的 和 图像可得到一系列高频子图，分解后的高频子图中含有源图像大量细节、轮廓和纹理等信息，以往大多数经典的融合算法都是采用加权平均、绝对值最大值等方法，这些融合策略对噪声刺激很敏感，且系数的选择是单系数数值并没有考虑相邻系数，导致丢失一些纹理细节信息。文献 采用加权求和修正拉普拉斯（）算法进行高频子带融合，但采用相邻像素四邻域进行运算，然而四邻域并不能处理对角像素给当前像素带来的影响。因此本文使用改进八邻域加权求和修正拉普拉算法作为高频子带系数进行融合，表达式如下：（，）的八邻域拉普拉斯算子为（，）（，）（，）（，）（，）（，）（，）（，）（，）（，）槡 （，）（，）（，）槡（）（，）的 为 （，）（，）（，）（）其中：是归一化矩阵，。用 计算图像 和图像 的高频系数：，（，），（，）（）其中：，（，）为图像 在位置（，）的高频子带系数：，（，），（，）（）其中：，（，）为图像 在位置（，）的高频子带系数。通过选择最大活动系数方案得到初始融合决策：（，），（，），（，），（，），（，）（）最终的融合决策高频子带系数为，（，），（，）（，），（，）（，）（）实验结果 实验说明本文所有实验均在 ，社区版，硬件配置为 ，的笔记本电脑上运行。在 模型中衰减时间常数设置为 ，输入放大系数和阈值放大系数设置为 与 。本文窗口大小设置为 。为说明本文方法的有效性，实验选用了哈弗医学院全脑集中的大小为 预配准的致命性中风、多发性脑梗塞、脑膜瘤三组医学计算机断层扫描图像（）与核磁共振图像（）。大脑图像来自 ：。与近几年较为先进的五种图像融合方法进行对比，对比算法分别为文献 采用的基于 的融合方法、文献 采用的基于 的融合方法、文献 采用的基于 的融合方法、文献 采用的 的融合方法、文献 采用的 的融合方法。评价指标及实验结果对比 评价指标本文通过主观和客观评价对融合图像进行对比。为了更进一步体现本文算法的广泛性、有效性，在客观指标评价中选用了平均梯度（）、信息熵（）、相关系数（）、空间频率（）、交叉熵（）以及均方误差（）对三组医学计算机断层扫描图像与核磁共振图像的结果图进行总体评价，具体的计算如式（）（）所示。其中指标 、均为正项指标，对应融合后结果值越大，表明融合后图像对源图像信息提取越充分越丰富；和 表现在融合结果图与源图像对应像素的差异，和 的值越小，说明融合结果图与源图像像素越接近，提取到的信息越多；表示融合结果图和源图像的结构近似性能，其值越接近于 ，说明融合结果图和源图像的结构相似性越高。平均梯度的计算公式为（）（）（，）（，）（，）（，）槡（）其中：和 为图像的大小，本文为 ；（，）表示当前像素灰度值。信息熵的计算公式为 （）（）其中：，为像素值灰度分布；是像素值 的概率；是灰度等级。相关系数的计算公式为 （，）（，）（，）（，）（，）槡（）其中：和为融合后的图像与参考图像像素值的均值。空间频率的计算公式为 槡（）（，）（，）槡（）（，）（，）槡（）其中：和 为图像的行频率与列频率。交叉熵的计算公式为 （，）（，）（，）槡（）（，）（）（）（，）（）（）其中：（，）和 （，）分别为融合后的图像与配准图像 和配准图像 的交叉熵；，和 ，分别为融合图像和两幅源图像的灰度值分布，为灰度级总数，（，）表示灰度值等于 的像素数与对应图像的总像素数之比。均方误差的计算公式为 （，）（，）（，）（）其中：（，）和（，）为融合后的图像与参考图像当前像素灰度值。客观评价指标与主观评价指标第一组致命性中风 和 医学源图像如图 （）（）第 期邸敬，等：基于 域滚动引导滤波与自适应 的医学图像融合所示，图 （）（）是不同对比算法对图 （）（）进行图像融合得到相应的融合结果图像。从图 （）（）融合结果观察可知，算法的实验结果中，软组织和骨骼处偏亮，纹理细节和轮廓信息丢失严重；算法的实验结果中，能量严重丢失，整体偏黑，纹路模糊，软组织处分辨率极低；算法的实验结果中，轮廓左面融合后出现块效应，整体的人眼视觉效果较差；算法的融合图中，骨骼区域亮度较高，融合后的图像轮廓细节很大一部分被丢失；算法的实验结果中，该融合图像从整体上看较好，但目标边缘处比较模糊，出现伪影，从而无法正确显示病灶部位的信息。观察本文算法实验结果图，不仅对比度增强，且软组织纹理细节和轮廓信息特征明显，更好地将源图像的细节信息提取出来，整体的人眼视觉效果较好。图 致命性中风图像的不同算法融合结果 第一组致命性中风图像的客观质量评价指标如表 和图的折线图所示。从表中可以看出，本文算法中信息熵 和交叉熵 的指标略低于 和 算法，这是由于 和 算法在融合后的图片过亮，数值较好，但在融合后的骨骼之中的纹理细节并没有完全恢复，从而无法正确提供准 确 的 病 灶 信 息。、指 标 分 别 提 高 了 、，明显优于其他五种算法。综上所述，本文算法优于其他五种方法，在轮廓、纹理、细节信息等方面具有较好的融合性能。表 致命性中风客观评价指标 方法 本文算法 图 致命性中风客观评价指标折线图 第二组的多发性脑梗塞病灶图像各对比算法的融合结果如图 所示，表 和图 分别为对比算法的客观评价指标和折线图。可以明确地看出，本文算法的 指标略小于 算法，说明其融合后信息量稍弱于 算法，但 指标只专注灰度值分布，并不能体现融合图像与配准图像之间的关系，不能仅用该评价指标对图像质量进行评估，需要通过综合其他指标共同评估融合性能，得出本文算法最优。、指 标 都 有 很 大 程 度 的 提 升，分 别 提 高 了 、。综上，说明本文算法在融合图像的结构相似性和像素误差都较好，提取的信息较充分，且融合后医学图像纹理边缘轮廓清晰度高，高度符合人眼视觉效果。图 多发性脑梗塞图像的不同算法融合结果 表 多发性脑梗塞客观评价指标 方法 本文算法 图 多发性脑梗塞客观评价指标折线图 第三组的脑膜瘤图像各对比算法的融合结果如图 所示，从表 和图 （）（）中可以看出本文算法信息熵 和交叉熵 的指标略低 和 算法，是由于融合后的图像过度平滑，灰度像素值层次集中在一个区域，并没有差距，仅能用来反映融合图像携带的信息量，且人眼视觉效果较差。、指标分别提高了 、，依旧优于其他五种算法，说明与源图像结构、像素误差等有很好的处理效果。综上所述，本文算法在轮廓边缘、纹理、细节信息等方面明显优于其他五种方法。表 脑膜瘤客观评价指标 方法 本文算法 计 算 机 应 用 研 究 第 卷图 （）（）为脑膜瘤图像的两幅源图像应用不同方法得到的融合结果，可以看出 和 融合算法在软组织处较模糊，即融合图像对比度较低，从而无法真实反映源图像的信息；融合图像与原始 图像相比较，融合结果中骨骼的部分比较模糊，人眼视觉效果较差，进而容易影响医生对病情的判断；纹理细节过度平滑，清晰度较低，且图像出现伪影；融合算法相较于前四种融合算法，其融合图像整体较为清晰，但边缘轮廓较为模糊，进而无法正确显示病灶部位的细节信息。可以看出，本文算法得到融合后的图像在保留源图像软组织和骨骼结构方面最佳，能有效地提取源图像中的纹理及边缘细节信息，能全面综合 与 源图像的信息。通过观察表 的六种指标值和图 客观评价指标的柱状图，可以更直观地看到本文方法的指标值 、和 都有很大的提升。图 脑膜瘤图像的不同算法融合结果 图 脑膜瘤客观评价指标折线图 图 客观评价指标柱状图 通过对致命性中风、多发性脑梗塞和脑膜瘤的主观和客观指标评价可以得出，与其他方法相比，本文方法最优，能够避免边缘处产生伪影、轮廓模糊和细节纹理欠佳等问题，并且更多地保留了源单模态医学图像的信息，融合后的图像对比度增强，视觉效果也更佳，取得了较好的融合结果。结束语本文算法通过将 图像利用相位一致性滚动引导滤波进行增强，解决了图像整体偏暗、轮廓结构清晰度不够高等问题。两幅源图像的低频子带采用改进参数自适应双通道 进行融合，高度符合人眼视觉特性，有助于医生较快判断病灶区域。对于高频子带采用八邻域加权求和修正拉普拉斯算法，提高了高频子带图像全局信息的利用度。通过多组对比实验，说明本文算法能较好地保留单模态医学图像的数据，在处理图像纹理、轮廓结构清晰度、像素误差等方面能力更强。下一步主要研究算法的复杂度以及运行速度。参考文献：，：张炯，王丽芳，蔺素珍，等 局部全局特征耦合与交叉尺度注意的医学图像融合 计算机工程，（）：（，（）：）杨飞燕，王蒙 基于 分解和 深层网络的红外与可见光图像融合 激光与光电子学进展，（）：（，（）：），（）：，：，（）：，：，（）：，（）：，：，：，：，（）：（下转第 页）第 期邸敬，等：基于 域滚动引导滤波与自适应 的医学图像融合 ，（）：，）宋鑫，张荣芬，刘宇红 集成 语义分割网络的室内语义地图构建 计算机应用研究，（）：（，（）：）刘腾，刘宏哲，李学伟，等 基于无锚框分割网络改进的实例分割方法 计算机工程，（）：，（，（）：，），：，（）：，：，：，：，（）：，：，：，：，：，（）：，：，（）：，：，（）：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：（上接第 页），（）：张慧，韩新宁，韩惠丽 基于滚动引导滤波的红外与可见光图像融合 红外技术，（）：（，（）：），：，（）：，（）：，：，：，（）：，（）：，：，：，（）：，（）：，（）：，：，：，：计 算 机 应 用 研 究 第 卷