基于GPU并行计算的肺部结节图像融合探究_王燚堂.pdf

2023.7电脑编程技巧与维护1概述1.1图像资料图像融合技术在医学领域发挥着越来越重要的作用，医学影像的融合为临床诊断提供依据1。在保证图像质量的前提下，提升医学图像的处理速度，可以缩短诊断时间2。在此所有研究图像均来源于同一类设备，对图像进行预处理后，根据主流医学影像图像融合的算法，采用小波变换法进行优化3，并对融合图像采用并行与串行计算。在图像融合后采用主观评价与客观评价相结合的评价方式对图像质量和速度结果进行对比，保证对图像融合判断的准确性。1.2图像融合算法计算机内所有的信息都是用二进制的形式表达、传输和存储。医学影像图像同样也是一种数据，医学影像的图像融合可以看作是数据的融合4，数据的融合也是数据算法的设计与优化，通过融合图像来改善图像细节，查看肺部结节与其他组织是否相连，判断闭环结节是否为真。在此对肺部图像融合采用经典小波转换法，将图像低频与高频部分分解转换，以达到实验目的。将一幅图像分为低频和高频两部分，低频图像就是灰度（颜色）变化比较小的图像；高频图像就是灰度（颜色）变化比较大的图像。例如，肺部结节是白色的，背景是黑色的，肺部结节白色的内部就是低频，白色肺结节边缘与黑色背景部分变换过度较大，这部分就是高频。高频图像融合就很复杂，因为高频图像部分变换较大，对细节的融合更加困难。小波变换法在每一层次的变换,图像都被分解为4个1/4大小的图像。小波变换图像融合过程如图1所示。被分解后的每一份图像都是由原图与一个小波基函数的内积通过横轴与纵轴两个方向进行2倍的间隔采样而生成的，即图像的分解正变换。增拼采样和卷积即图像的重构逆变换5。1.3并行计算CUDA是NVIDIA公司基于C语言的扩展，CUD-A3.0已支持C+语言。CPU控制程序整体的串行逻辑和任务调度，GPU执行并行化程 度高、线程化的程序。当计算数据的并行性高、数据量庞大、数据顺序存放数组矩阵、数据相关性小时，可以突出GPU计算的优势。在CUDA结构中，把CPU端定义为主机（Host），把GPU端定义为设备（Device），在GPU上并行执行的内核（Kernel）程序被称为程序，进行并行计算，GPU作者简介：王燚堂（1983），男，通信作者，讲师，硕士，研究方向为计算机科学教育教学研究及管理工作；杨德武（1981），男，教授，硕士，研究方向为医学影像检查、图像处理技术及管理；王（1981），男，工程师，硕士，研究方向为网络工程及信息化建设。基于 GPU 并行计算的肺部结节图像融合探究王燚堂*，杨德武，王玮（北京卫生职业学院，北京102433）摘要：探讨图形处理器（GPU）并行计算在医学图像处理方面的应用。依托医院影像科室图像采集，选取 100 幅肺部医学图像，对图像进行预处理后，通过经典小波变换法融合图像。使用对比的方法对100 幅肺部图像进行中央处理器（CPU）串行计算，利用 NVIDIA 公司的统一计算设备架构（CUDA），在 GPU 平台上进行图像融合、并行计算对比，优化算法、数据传输、内存访问及指令，采用主观评价与客观评价相结合的评价方式，验证并行计算对图像融合效果和速度的提升。结果表明，基于 GPU 并行计算的肺部结节图像融合对图像质量有一定的提高，对图像融合速度的提升较大，并行计算在医学影像图像融合领域应用前景广阔。关键词：医学图像；图像融合；图形处理器；并行图1小波变换图像融合过程源图像A源图像B小波变换融合处理融合后多尺度图像小波逆变换融合图像小波变换140玮DOI:10.16184/prg.2023.07.0522023.7电脑编程技巧与维护工作原理如图2所示。CUDA并行计算过程如下。（1）在主机端1）启动CUDA；2）为影像数据分配主机内存空间，将计算数据初始化；3）在设备端为数据分配相应的显存空间，该空间将读取数据并处理输出后的数据；4）将主机分解的计算导入显存空间（CPU到GPU的数据传输）；5）调用设备端进行并行计算，将结果输出到显存空间中；6）在主机上分配相应的内存空间，将上一步结果回传到主机内存（GPU到CPU的数据传输）；7）释放占用内容；8）退出CUDA进程。（2）在设备端1）将计算数据从主内存导入显存；2）将数据从显存导入共享内存；3）采用算法处理计算数据；4）将该数据存储到显存空间中6。CUDA线程结构如下：设备端根据需要创建多个并行线程（Thread），线程组织成线程块（Block），线程再组成网格（Grid）。每个线程执行自身Kernel，线程之间通过共享存储器分享数据。并行线程通过GPU上的多个Kernel实现并行处理，进而整程序性能加速。在此CUDA平台内使用C+开发的小波变换图像融合算法处理数据，实现了图像融合的并行计算。2平台及优化2.1实验平台实验平台分为硬件和软件两部分：硬件CPU为In-tel(R)Core i5-11400F、主频为2.6 Hz，内存（RAM）的大 小 为16.00 GB、GPU为NVIDIA公 司 的GEFORCERTX3080Ti；软件操作系统为微软Windows 10旗舰版，微软Visual Studio 2015和CUDA 10.0。串行程序为C+语言实现的标准程序。2.2算法优化并行计算的主要目的是提高速度，在不影响融合质量的前提下，使算法简捷并提高运算速度。下面以两幅图像A、B的融合，融合后的图像为P为例，进行说明。（1）对肺部影像图像小波分解为N层，最后会有3N+1个不同的频带，为高频带3N个和低频带1个。（2）融合图像P的低频部分，取A、B图像分解后的加权平均值，计算如公式（1）所示：CN,P=（CN,A+CN,B）（1）融合图像A和B在小波分解尺度N上的低频分量表示为CN,A、CN,B，融合图像P在小波分解尺度N上的低频分量表示为CN,P。（3）融合图像P最高频分解上，经典算法比较两幅图像（A和B）在3个方向高频分量的小波系数，绝对值大的小波系数作为P的小波系数。（4）在中间分解层上，取像素为中心的局部区域的均值方差最大的图像A或者B的小波系数，作为融合图像P对应的小波系数。其方差定义如公式（2）所示：（2）其中，M、N为局部区域的行和列的值；Xi,j为局部区域内的某一个像素的灰度值；X为当前局部区域像素灰度值的平均值。（5）确定融合图像的各小波系数后，进行逆小波换行，可以得到融合图像P7。2.3数据传输优化GPU不是一个独立算法平台，需要与CPU协同工作，CPU可以被看作配合CPU工作的另一个处理器，只不过两者侧重点不同，GPU并行计算是基于CPU+GPU的异构计算架构。CPU为将在GPU执行的程序做好准备。数据传输时，CPU处于空闲状态，GPU也处于空闲状态，两者都在等待数据。优化CPU采用异步方式传输数据，在CPU开始指令后马上执行下一条指令，减少CPU空闲，缩短程序运行的整体时间，提高程序效率。2.4访存优化处理器的速度会超过内存的读取速度，GPU也不例外。GPU对全局存储器的访问速度高于对共享存储器或寄存器的访问速度，利用不同存储器的数据读取优势提高速度。在肺部图像融合算法中，把待融合的数据信息放在读取速度快的存储器上申请空间并初始化8。2.5指令优化指令的优化同样需要重视，使用CUDA自带指令进行运算，可以提高速度与准确度，使用GPU硬件中自带的数据处理命令同样可以减少时间消耗。图2GPU工作原理图CPU图形应用程序三角形纹理系统内存GPU几何处理顶点着色器单元三角形内存光棚处理光栅生成器像素着色器单元光栅操作单元纹理内存纹理帧缓存器1412023.7电脑编程技巧与维护3融合算法的 CUDA 并行实现综合肺部图像融合的CUDA优化策略，在CUDA过程中，小波变换的图像融合实质上就是一系列的模板卷积操作。整体过程如下：（1）将待处理的主机端肺部图像，变成像素矩阵的形式，传送到纹理存储器上。（2）提前在全局内存中预留一定的显存空间，将卷积模板放在共享存储器上申请空间并初始化。（3）对于肺部图像中卷积模板的运算各将线程，读取纹理内存中某个像素为中心区域的所有像素点。将共享存储器中的模板卷积取出，进行一个模板的卷积运算，然后将结果存放在预留的显存空间。（4）当最后一个核函数运算完成后，从设备端复制结果到主机端。4评价方法GPU并行计算对肺部结节图像进行融合，使用主观评价法和客观评价法对图像融合效果和并行计算速度的提高进行评价，融合效果是前提，融合速度是目标。4.1图像融合效果评价对肺部图像融合的评价采用主观评价与客观评价相结合的方式，通过主观评价查看客观数据，通过客观数据验证主观评价的准确性。主观评价由医学影像相关专业人员评价融合后的图像效果，通过对比融合前后图像的整体清晰度、细节呈现、结节部位是否完整，进行直观的观察，判断融合效果。但主观评价有时候存在片面、速度慢等缺点。客观评价主要使用信息熵、标准差、平均梯度来衡量融合图像效果，通过对融合前后数值的对比能衡量融合效果，速度较快具体如下。（1）图像的信息熵是图像信息丰富程度的重要指标，它表示图像包含信息量的多少。融合图像质量越好，熵值就越大，也说明融合图像信息越丰富。信息熵的公式如公式（3）所示：（3）（2）图像标准差反映了图像明暗对比度的不同，图像质量越好，其标准差越大，图像越清晰。标准差公式如公式（4）所示：（4）（3）平均梯度指图像边界附近的灰度变化差异，表示图像清晰度，图像评价梯度越大，表达信息越全面，图像越清晰。平均梯度公式如公式（5）所示：（5）4.2图像融合速度评价对速度的评价，时间是最重要的指标。CPU擅长处理复杂任务、复杂逻辑，重在对串行程序的处理。GPU擅长简单控制逻辑的任务，重在对并行计算的处理。在图像融合速度方面，对比CPU串行、GPU并行状态下处理同一组图片的速度，验证并行计算是否提高了速度。5结果5.1图像融合结果通过将100幅肺部图像分为50组、每组2幅图像进行融合后，得到50幅融合图像。以一组肺部图像为例，肺部结节影像图像融合效果如图3所示。医学影像相关专业人员在同一个室内环境、同一台计算机、同一幅图像查看软件环境下，对50幅融合前后的图像进行主观评价，相比融合前后的肺部结节位置图像发现清晰度有了一定的提高。在选取融合前2幅图像图3（a）图3（b）和融合后的图3（c）通过信息熵、均方差、平均梯度评价指标进行客观评价，融合效果评价指标对比表如表1所示。图3肺部结节影像图像的融合效果信息熵均方差平均梯度图3（a）4.23455.1478.351图3（b）4.93555.6977.370图3（c）5.92656.9629.123表1融合效果评价指标对比表（a）融合前（b）融合前（c）融合后（d）局部放大1422023.7电脑编程技巧与维护信息熵越大，图像涵盖的信息越多；均方差越大，图像的对比度越高；平均梯度越大，图像越清晰、质量越好。5.2速度对比结果在此主要基于GPU并行计算对图像处理速度的提高，根据多组图像处理结果得出结论，并行计算在图像融合过程中相比于串行计算对速度的提升更大。对处理速度的提高除了主观感知，客观处理速度的提高更具有说服力。统计3组图像的融合在CPU、GPU执行总时间，其中，开始时间为T1，结束时间为T2，T=T2-T1。执行时间比较如表2所示。明显看出GPU并行计算所用时间多于CPU串行计算所用时间，为进一步查看GPU的加速效果，将图3（a）图像数据缩小和放大后，得到3组数据，分别运行后，得到不同分辨率执行时间表如表3所示。将CPU运行时间TCPU除以GPU运行时间TGPU，得到运行时间加速比TS，定义时间加速比为TS=TCPUTGPU，不同分辨率加速比如图4所示。由对比结果可知，运行时间的加速比随图像分辨率的增大而增大，并行计算的速度优势明显。图像规模与算法复杂度都小时，并行计算大于串行计算，但加速效果不明显。当图像规模与算法都复杂时，并行计算的总执行时间加速效果明显9。6结语从GPU并行计算背景出发，探究肺部结节图像融合的过程，对多幅医学图像融合的经典算法进行CUDA并行优化。从主观和客观两方面探究结果，验证：GPU并行计算融合图像对肺部结节图像质量有一定的提高，对图像融合速度的提升较大，GPU并行计算在医学影像图像融合领域具有广阔的应用前景。参考文献1AZAM M A,KHAN K B,SLAHUDDIN S,et al.A re-view on multimodal medical image fusion:compendiousanalysis of medical modalities,multimodal databases,fusion techniques and quality metrics J.Computersin Biology and Medicine,2022,144:105253.2黄渝萍,李伟生.医学图像融合方法综述J.中国图象图形学报,2023,28(1):118-143.3符贻,李俊霖,韦嵬.基于小波变换的图像融合研究J.电脑知识与技术,2022,18(34):32-34.4史敏红.图像融合技术发展综述J.计算机时代,2019(9):27-29.5黄海.基于小波系数相关性的图像融合算法J.电子世界,2013,429(15):95-96.6沈艳梅.基于GPU的快速图像融合算法研究D.哈尔滨:哈尔滨工业大学,2017.7谢婷婷.基于GPU加速的医学图像融合研究D.重庆:重庆理工大学,2013.8赵进,刘昌明,宋峰,等.基于GPU的遥感图像融合并行算法研究J.微型机与应用,2013,32(6):35-37.9陈蒙.基于CT和MRI的医学图像融合研究J.软件,2020,41(5):211-214.图像名图3（a）医学图像图3（b）医学图像图3（c）医学图像图像大小512512512512512512CPU上执行时间（ms）5.8166.0655.687GPU上执行时间（ms）1.52511.6541.435表2执行时间比较表图像名第1组医学图像第2组医学图像 第3组医学图像图像大小51251225625610241024CPU上执行时间（ms）1.9215.93680.753GPU上执行时间（ms）0.6421.6467.085表3不同分辨率执行时间表图4不同分辨率加速对比2562565125121 0241 024加速比加速比151050143