基于差分曲率分组混合模型的脑部MRI图像超分辨重建.pdf

第 35 卷 第 6 期 计算机辅助设计与图形学学报 Vol.35 No.6 2023 年 6 月 Journal of Computer-Aided Design&Computer Graphics Jun.2023 收稿日期:2021-12-06;修回日期:2022-04-30.基金项目:国家自然科学基金(61501241);江苏省自然科学基金(BK20150792);生物流变科学与技术教育部重点实验室开放基金(CQKLBST-2018-011);山东省数字医学与计算机辅助手术重点实验室开放基金(SDKL-DMCAS-2018-04);江苏省交通运输科技项目(2021Y).王文倩(1995),女,硕士研究生,主要研究方向为医学图像处理、机器学习;李敏(1985),女,博士,副教授,硕士生导师,CCF 会员,论文通信作者,主要研究方向为医学影像分析与处理、图形图像技术与应用、遥感信息系统理论与应用;黄宇(1998)男,硕士研究生,主要研究方向为图像处理;邓小于(1997),女,硕士研究生,主要研究方向为图像处理.基于差分曲率分组混合模型的脑部 MRI 图像超分辨重建 王文倩1),李敏1,2,3)*,黄宇1),邓小于1)1)(南京理工大学计算机科学与工程学院 南京 210094)2)(重庆大学生物流变科学与技术教育部重点实验室 重庆 400045)3)(山东省数字医学与计算机辅助手术重点实验室 青岛 266003)()摘 要:核磁共振成像(magnetic resonance imaging,MRI)能够提供丰富的病理信息,在脑损伤的诊断和治疗中具有重要意义,受采样时间和现有医疗设备的限制,临床上很难获得高分辨率的 MRI 图像.为此,提出一种基于差分曲率分组混合模型的超分辨重建方法.首先在梯度特征提取的基础上引入差分曲率算法,进一步检测图像的边缘、斜坡等特征结构,并将特征块分为平滑区域、纹理区域和边缘区域 3 组;然后基于学生 t 分布混合模型分别学习 3 组特征区域的模型参数;最后选取多个似然概率较大的子分布共同重建高分辨率图像块.在癌症成像档案库数据集上的实验结果表明,在2,3 和4 超分辨任务下,所提方法的平均峰值信噪比分别为 41.36 dB,35.01 dB 和 31.32 dB,平均结构相似度分别为 0.984 8,0.941 5 和 0.879 5;与现有的超分辨重建方法相比,该方法重建的 MRI 图像纹理细节更丰富、边缘更清晰,并且重建时间更短.关键词:脑部 MRI 图像;超分辨重建;差分曲率;学生 t 分布混合模型 中图法分类号:TP391.41 DOI:10.3724/SP.J.1089.2023.19517 Super-Resolution Reconstruction of Brain MRI Images Based on Differential Curvature Grouping Mixture Model Wang Wenqian1),Li Min1,2,3)*,Huang Yu1),and Deng Xiaoyu1)1)(School of Computer Science and Engineering,Nanjing University of Science and Technology,Nanjing 210094)2)(Key Laboratory of Biorheological Science and Technology(Chongqing University),Ministry of Education Chongqing,Chongqing 400045)3)(Shandong Key Laboratory of Digital Medicine and Computer Assisted Surgery,The Affiliated Hospital of Qingdao University,Qingdao 266003)Abstract:Magnetic resonance imaging(MRI)provides rich pathological information which is of great sig-nificance in diagnosis and treatment of brain lesions.High resolution MRI images are hard to obtain in clinic due to the limitations of sampling time and existing medical equipment.To address these problems,a su-per-resolution(SR)reconstruction method is proposed based on differential curvature grouping mixture model.Firstly,a differential curvature algorithm is introduced on the basis of gradient feature extraction to detect edges,slopes and other feature structures of the image.Following that,the feature blocks are divided into three groups including smooth,texture and edge regions.Secondly,the student t-distribution mixed model is applied to learn the model parameters of the three sets of feature regions.Finally,multiple distribu-tion models with larger likelihood probability are selected to reconstruct high-resolution image patches.The 926 计算机辅助设计与图形学学报 第 35 卷 experiments on the cancer imaging archive(TCIA)dataset show that this method achieves an average peak signal-to-noise ratio(PSNR)of 41.36 dB,35.01 dB and 31.32 dB with an average structural similarity index(SSIM)of 0.984 8,0.941 5 and 0.879 5 respectively for 2,3 and 4 SR.Compared with some current SR reconstruction approaches,the proposed method reconstructs more reasonable images at the cost of less time with richer texture details and clearer edges.Key words:brain MRI image;super-resolution reconstruction;differential curvature;student t-distribution mix-ture model 核磁共振成像(magnetic resonance imaging,MRI)是一种安全、无创的成像技术,其利用强磁体、无线电波和计算机构建人体图像,能够提供丰富的病理信息,在脑部疾病的诊断和治疗中具有重要作用.当前,有 2 种途径可以获得较高分辨率的MRI图像:延长扫描时间和使用更精密的仪器1.然而,受扫描时间和现有设备等因素的限制,临床上很难获得高分辨率(high-resolution,HR)的 MRI图像.图像超分辨(super-resolution,SR)重建能够利用图像处理方法将低分辨率(low-resolution,LR)图像转换成 HR 图像,因此,在提高 MRI 图像质量方面更具应用潜力.SR 重建2是指利用软件算法从单个或多个LR 图像中重建出 HR 图像的过程,该技术已被广泛应用于医学成像3、卫星成像4、安防5等领域.根据研究方法的不同,现有的 SR 算法分为基于插值、基于重构和基于学习 3 类.基于插值的算法6-7利用固定的插值核来添加更多的像素点,从而生成 HR 图像,如最近邻插值、双线性插值和双三次插值等;该类算法简便、快速,但这种线性模型未考虑图像的先验知识,限制了图像恢复高频信息的能力,导致重建图像模糊,边缘有锯齿效应.基于重构的算法8利用图像的先验信息进行重构约束,如迭代反投影、凸集投影等.与插值算法相比,重构算法能够重建出边缘更清晰的图像,但当放大倍数变大时图像重建效果不佳.基于学习的算法9通过学习大量 HR/LR 图像块之间的特征映射关系来预测 LR 图像所对应的 HR 图像.Yang 等10利用字典学习和稀疏表示生成 HR 图像;Zeyde 等11提出一种更有效的字典学习方法,利 用 主 成 分 分 析(principal component analysis,PCA)降维来提高学习效率,虽然这些基于字典学习的方法在图像重构质量和内存分配方面有显著的优势,但当字典规模增加时,解决稀疏表示仍然耗时,限制了其在实际中的应用.基于深度学习的 SR 重建方法是一种更先进的学习方法,此类方法在重建质量和实时计算方面都取得了很大的进步12-13.深度学习的方法能够直接学习 LR 和HR 图像之间端到端的非线性映射回归,具有强大的表征能力,但深度学习是“黑盒”操作,其过程可解释性受限.文献14-17在子空间内学习 LR 和 HR 图像块之间的映射关系,能够在保证 SR 重建质量的同时减少处理时间.Timofte 等14提出的锚定邻域回归方法通过对相关邻域分组来学习 HR/LR 特征子空间之间的映射函数;Zhang 等15提出的多个线性映射 SR 重建方法使用 K-Means 聚类学习特征子空间的映射关系,多个子空间映射在重建时显示出了较好的性能.一些基于概率模型的研究建立了更准确、高效的映射回归18-20.Sandeep 等20利用高斯混合模型在 HR/LR 图像块之间建立映射回归关系,高斯混合模型对于块的结构信息敏感程度高,聚类效果比 K-Means 聚类算法更好.当数据存在噪声时,高斯分布往往不能满足建模需求.学生 t分布在高斯分布的基础上引入自由度参数,对噪声的鲁棒性更好,更适合处理数据集中存在噪声和离群点等情况21-22.在图像的特征提取方面,Chen 等23提出的差分曲率算子对于图像的特征结构有较好的预处理,在有噪声的情况下也能很好地检测出图像的边缘、斜坡等结构;Huang 等24利用差分曲率进行图像特征提取,取得了良好的 SR重建效果.本文提出一种基于差分曲率分组混合模型的脑部 MRISR 重建方法:首先利用差分曲率对提取到的图像块梯度特征进一步检测边缘、斜坡等特征;然后将特征块分为平坦区域、纹理区域和边缘区域 3 组,分别进行学生 t 分布混合先验的聚类学习;最后在重建阶段选取多个较大的似然概率子分布共同重建图像块,提高图像重建质量的同时加快重建速度.第 6 期 王文倩,等:基于差分曲率分组混合模型的脑部 MRI 图像超分辨重建 927 1 本文方法 本文提出的基于差分曲率分组混合模型的 SR重建方法分为训练和重建2个阶段,该方法的框架如图 1 所示.在训练阶段,首先对每个 HR 训练图像进行下采样降质,并将降质的 LR 图像再插值放大到目标图像大小,将 HR 图像与插值后图像的残差图像作为 HR 图像的高频特征,并将其与 LR 图像特征联合起来;然后借助差分曲率算法对梯度特征图像块进一步提取特征结构,并将特征块分成 3 组,即将整个图像块分为 3 组包含相似特征块的子空间,再对不同组别的特征块分别进行基于学生t分布混合模型的参数学习.图 1 本文方法框架 在重建阶段,首先对输入的 LR 图像进行上采样插值,使图像放大到所需尺寸的 HR 图像,并使用基于差分曲率的方法提取相应的 LR 图像块特征,根据训练时记录的阈值将图像块划分到对应的组中;图像重建时,选择多个较大的似然概率分布混合重建出 HR 图像块,再将其重建为完整的HR 残差图,融合插值后的 LR 图像形成完整的 HR图像;最后通过迭代反投影(iterative back-projection,IBP)算法优化,得到最终的 HR 图像.1.1 基于差分曲率的特征分组 差分曲率相当于一种边缘检测算子,其原理是二阶导数在一维信号中能够较好地区分边缘和斜坡.如图 2 所示，使用一阶、二阶梯度算子和对角算子,从低分辨率图像块中提取水平、垂直和对角上的边缘特征.将对应的特征分别表示为xf,yf,xxf,yyf和xyf,差分曲率D的表达式21为 Dff(1)其中,22222xxxxyxyyyyxyfff f ffffff(2)表示沿着梯度方向的二阶导数;22222yxxxyxyxyyxyfff f ffffff(3)图 2 梯度特征图 928 计算机辅助设计与图形学学报 第 35 卷 表示垂直于梯度方向的二阶导数.在图像的不同区域,像素点的差分曲率值不同:(1)对于图像边缘区域,f较大,f较小,根据式(1)将得出一个偏大的D值,所以在图像边缘区域的像素点差分曲率值较大.(2)对于图像斜坡和平坦区域,f和f均较小,将式(2)(3)代入式(1),将得出一个相比边缘区域较小的D值,所以在图像斜坡等区域的像素点差分曲率值相对较小.(3)对于图像的孤立噪声点,f和f均较大,根据式(1)将得出一个较小的 D 值,所以在图像的孤立噪声点处差分曲率值较小.基于上述分析,可以通过差分曲率值将图像中的边缘区域从斜坡、平坦和孤立噪声点中区分出来.对于图像中的孤立噪声点,通过对差分曲率值使用中值滤波25消除图像中可能存在的孤立噪声点,即对 D 值周围的邻域窗口选择其邻域像素的中值作为滤波结果,小于中值的孤立噪声点会被平滑,而边缘和斜坡等纹理信息不会被平滑.因此,本文用中值作为图像块的选择度量标准.考虑到图像的边缘、纹理等区域是重建图像的重点,而图像的平滑区域也对重建做出贡献,因此将所有的特征块样本进行分组,每组分别训练混合模型.根据图像块结构将特征块划分为平坦区域、纹理区域和边缘区域 3 组,由于无法精确各组的取值范围,采用人工确定各组所占的百分比进行辅助分组.假设有N个图像块,其中,40%为较低度量标准(平坦区域),30%为中间度量标准(纹理区域),剩下的 30%为较高度量标准(边缘区域).首先计算每个图像块像素点的值,并找出每个图像块的中值,记作V,以N个中值作为各个图像块的索引.然后将V从小到大升序排序,记为SV,将SV中50%的临界值记为阈值1S,把1VS对应的图像块划分到平坦区域;将 VS中 30%的临界值记为阈值2S,把12SVS对应的图像块划分到纹理区域;对于SV中 20%的部分,把2VS对应的图像块划分到边缘区域.至此,将特征块分成 3 个组别,对这 3组样本分别进行学生 t 分布混合模型的参数学习.1.2 学生 t 分布混合先验学习 在训练阶段,使用学生 t 分布混合模型学习LR 图像和 HR 图像间的映射关系,具体步骤如下.Step1.训练样本预处理与特征提取.将 HR 图像记为 H,首先对 H 进行降采样,得到 LR 图像;然后使用双三次插值将 LR 图像的尺寸放大到和 HR 图像一致,得到中间图像,记为 Y.由于残差图像通常包含重要的高频细节,对特征学习有很大帮助,因此将残差图像作为 HR 的高频特征.残差图像RHY,根据文献10中的联合学习策略将 HR/LR 特征结合起来,定义联合特征向量TXRY.将 X 划分为 N 个图像块 1Niix,利用基于差分曲率的图像块选取算法将 N 个联合特征向量分成 3 组,每组训练一个独立的学生 t 分布混合先验模型来表示各组 HR 和 LR 特征之间的潜在映射关系.为了减少计算量,使用 PCA 对联合向量特征进行降维.Step2.学生 t 分布混合先验学习.对每组联合特征向量,利用学生 t 分布混合先验学习得到的参数1,Kkkkkkv w .其中,K表示聚类个数;kv,kw,k,k 分别表示第 k 个学生 t 分布模型的自由度、权重、均值向量和协方差矩阵.学生 t分布混合模型的概率密度函数 1KkkikP xw px.其中,1/22/21/21/21/2kvkikkidkkkkkvpvvvxx(4)表示ix在第k个聚类上对应的多变量学生t分布的概率密度函数.其中,表示Gamma函数;d表示数据维数.当kv,学生t分布将转变为高斯分布.学生t分布混合模型的求解问题是一个参数似然估计问题,使得训练样本数据在概率密度函数中的概率值最大.本文使用最大期望算法(EM)学习最优的学生 t 分布参数,首先进行初始化,为了能够更快地收敛,使用 K-Means 算法将每一组联合特征向量聚成 K 类,计算初始参数1,Kkkkkw ,自由度 1Kkkv取随机值初始化;然后根据 EM 算法迭代更新参数值.求解过程分为 4 个步骤.Step1.计算联合分布的条件概率期望(E-Step).隐变量ik指观测向量ix属于第k个学生t分布的概率,公式为1kkiikKjjijw pw pxx.修正比例参数iku服从Gamma分布,其公式为1Tkikkikikkvduvxx .Step2.更新参数估计(M-Step),公式为 111T111NkikiNikikiikNikikiNikikikikikNikiwNuuuxxx(5)第 6 期 王文倩,等:基于差分曲率分组混合模型的脑部 MRI 图像超分辨重建 929 Step3.更新自由度kv,公式为 11ln1ln22ln0.22NikikikkkiNikikkuuvvvdvd 其中,kv表示未更新的自由度值;表示Digamma函数,即Gamma函数的对数导数.Step4.根据式(4)(5)的计算结果重新计算似然估计 111lnNKkkiikLw pNx(6)结束迭代的条件可以表示为/LLL.其中,L表示前一次迭代时的似然估计值,表示收敛阈值.如果收敛不满足,则返回EM算法继续更新参数.经过不断迭代训练,最终每组都能得到最优的学生t分布混合模型参数.1.3 多分布重建 通常在K个分布模型中选择似然概率最大的一组分布模型来重建图像,然而只选择一组分布模型有可能减弱其他分布的贡献作用,因此考虑从所有分布模型中选取p个似然概率较大的子分布模型共同重建图像.重建过程如下:Step1.获取测试样本.与训练过程中的样本预处理类似,将待重建的LR图像进行插值,得到与目标图像尺寸一样大的LR图像,记为1Y;将1Y划分为M个图像块 11Miiy,使用基于差分曲率的图像块选取算法计算每个图像块的差分曲率值并提取特征;把 11Miiy分为3组,根据训练阶段记录的阈值,将其分配到对应的组别,使用PCA降维.Step2.计算似然概率.对于输入的特征图像块1iy,通过 111kkiikKjjijw pw pyy(7)计算出属于每一个类别的似然概率.其中,1kipy表示1iy属于第k组多变量学生t分布的概率;ik表示隐变量,指1iy属于第k组多变量学生t分布的似然概率.将式(7)计算得到的每个隐变量降序排列,从最优的开始选择p个较大的似然概率,记为1Pikp.Step3.多分布模型SR重建.将Step2求得的1Pikp作为重建HR图像的权重,最后重建出的HR残差特征块 hl1Piikipyy(8)将式(8)计算得到的HR残差特征块hiy重组为完整的HR残差图像,并将插值后的图像与重建后的HR残差图像融合,得到HR图像.1.4 全局优化 为了进一步降低重建的误差,使用迭代反投影方法20对重建后的图像hY进行全局优化.经过迭代优化得到的高分辨图像*h1harg mins.t.DYYYYY.其中,Y表示输入 LR 图像1Y插值放大的结果,D表示降采样处理.迭代求解公式为 11*tttDsYYYYq.其中,tY表示第t次迭代后的 HR 图像;s表示放大 s 倍;q表示 Sobel 滤波器,用于边缘提取;*表示卷积操作.2 实验结果与分析 本文实验的硬件环境为 Intel Core i7-9700K,32 GB 运行内存;软件运行环境为 Matlab.使用的脑部图像来自癌症成像档案库(the cancer imaging archive,TCIA)公共数据库26中的 MRI 数据集.随机选择 80 幅图像作为训练数据集,44 幅图像作为测试数据集,进一步分为 3 个测试集:TEST1(8 幅图像),TEST2(14 幅图像)和 TEST3(22 幅图像).使用数据增强27对训练集进行扩增,即将原始图像旋转 90,180和 270,并缩放到原始大小的 60%,70%和 80%.最终获得 1 280 幅训练图像.基础图像块的大小设置为 33,重叠部分为 22,对于2,3,4 情况,HR 图像块的大小分别为 66,99,1212.EM 算法的迭代次数为 100,收敛阈值为410.对图像的重建质量采用峰值信噪比(peak sig-nal to noise ratio,PSNR)28和结构相似度(structure similarity index measure,SSIM)29这 2 个指标评估.2.1 SR 重建结果分析 为了评估本文方法的性能,将其与常用的双三次插值(Bicubic)方法、稀疏字典重建(sparse coding super-resolution,SCSR)方法10、全局回归(graph regularized,GR)方法14、基于卷积神经网络的 SR(SR convolutional neural network,SRCNN)重建算法12、轻量版快速卷积神经网络 SR(fast SR 930 计算机辅助设计与图形学学报 第 35 卷 CNN-small,FSRCNN-s)重建方法30和字典学习的分组 SR 重建方法31进行比较.对于脑部 MRI 图像在2,3 和4 情况下,不同方法在 3 个测试集下的 PSNR 与 SSIM 值比较分别如表 1表 3 所示.可以看出,除了 FSRCNN-s在一些测试集上略高于本文方法,本文方法在各个测试集下的平均 PSNR 和平均 SSIM 指标均高于其他 SR 重建方法.当4、测试集为 TEST3 时,与Bicubic,SCSR,GR,SRCNN 和 Li 等31方法相比,本文方法的 PSNR 分别提高了 1.96 dB,0.82 dB,0.56 dB,0.19 dB 和 0.12 dB,SSIM 分别提高了3.54%,2.15%,0.94%,0.53%和 0.32%.表 1 2 时不同 SR 重建方法的 PSNR 和 SSIM 值 TEST1 TEST2 TEST3 方法 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Bicubic 37.11 0.967 2 38.06 0.972 0 37.69 0.970 1SCSR10 38.06 0.975 5 39.56 0.979 6 39.01 0.978 2GR14 40.20 0.981 9 40.90 0.980 0 40.65 0.982 3SRCNN12 40.55 0.982 5 41.60 0.983 4 41.010.983 5FSRCNN-s30 40.64 0.983 4 42.00 0.986 9 41.350.984 6Li 等31 40.61 0.983 6 41.76 0.984 7 41.300.984 2本文 40.72 0.984 2 41.90 0.985 3 41.470.984 9 表 2 3 时不同 SR 重建方法的 PSNR 和 SSIM 值 TEST1 TEST2 TEST3 方法 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIMBicubic 31.80 0.899 8 32.84 0.920 3 32.44 0.912 8SCSR10 32.07 0.917 4 33.51 0.935 6 32.98 0.929 0GR14 33.36 0.930 0 34.27 0.940 1 33.93 0.933 1SRCNN12 34.03 0.931 9 34.75 0.942 8 34.480.935 9FSRCNN-s30 34.62 0.938 7 35.55 0.948 9 35.240.944 8Li 等31 34.28 0.933 9 35.25 0.944 7 34.890.941 6本文 34.56 0.936 2 35.38 0.946 0 35.080.942 4 表 3 4 时不同 SR 重建方法的 PSNR 和 SSIM 值 TEST1 TEST2 TEST3 方法 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIMBicubic 28.74 0.820 2 29.91 0.861 7 29.45 0.846 6SCSR10 29.47 0.846 0 31.25 0.874 5 30.59 0.860 5GR14 30.20 0.853 7 31.47 0.882 0 30.85 0.872 6SRCNN12 30.36 0.854 3 31.62 0.889 5 31.220.876 7FSRCNN-s30 30.90 0.866 5 31.94 0.892 6 31.670.885 3Li 等31 30.56 0.863 0 31.61 0.890 0 31.290.878 8本文 30.76 0.864 1 31.78 0.892 3 31.410.882 0将本文方法和其他方法的重建结果进行视觉对比.图 3 和图 4 所示分别为不同 SR 重建算法对2 和3 重建的局部细节图.可以看出,Bicubic 方法重建的图像比较模糊;SCSR 方法重建图像的锐度有了一定提升,但有明显的振铃效应;GR,SRCNN 和 Li 等31方法重建的图像有部分边缘模糊;FSRCNN-s 和本文方法重建的图像都没有模糊伪影,本文方法的视觉效果更接近原始图像,细节更加丰富,纹理更加清晰.图 5 所示为4 时不同方法的重建结果在矢状面局部细节图.可以看出,Bicubic方法重建的脑部图像边缘过于模糊,细节丢失较严重;SCSR 方法重建的脑部图像有明显的锯齿,边缘不够平滑;GR 和 SRCNN 方法重建的脑部图像产生了棋盘效应,纹理细节不够清晰;Li 等31方法重建的脑部图像具有较清晰的纹理,但也产生了振铃效应;FSRCNN-s 方法和本文方法都能重建出相比其他方 法 更 加 清 晰 的 纹 理,但 在 某 些 边 缘 区 域,FSRCNN-s 仍然产生棋盘效应.本文方法通过引入差分曲率检测图像的边缘、斜坡等特征结构,将特征块分为平滑区域、纹理区域和边缘区域,并基于学生 t 分布混合模型分别学习不同特征区域的模型参数;进而利用多似然概率子分布对 HR 图像块进行混合重建,其 SRSR 过程学习的是图像的浅层特征.FSRCNN-s 方法通过多个卷积层的非线性映射,能够捕捉图像的局部细节以及更复杂、更抽象的深层特征,具有比本文方法更强大的特征学习能力;但是,该方法由于反卷积层的卷积核大小未被步长整除,引起不均匀重叠,导致重建结果中产生棋盘效应.相比之下,本文方法重建的脑部图像更接近真实图像,视觉效果更好.2.2 策略消融实验 本文模型设计了3种策略:基于差分曲率的特征块分组(简称策略 1)、学生 t 分布混合模型(简称策略 2)和多分布重建(简称策略 3).在3 时,对这些策略进行消融实验的结果如表 4 所示.表 4 中,对比第 1 行和第 2 行可以看出,使用策略 1 的 PSNR 比不使用该策略提高了 0.15 dB,SSIM 提高了 0.11%,验证了在残差图中高频信息发挥作用的基础上运用策略 1 的有效性;对比第 2行和第 3 行可以看出,使用策略 1 和策略 2 重建图像的 PSNR 比使用策略 1 提高了 0.19 dB,SSIM 提高了 0.23%,证实了策略 2 的鲁棒性更好;对比第3 行和第 4 行验证了策略 3 对重建具有提升效果;第 6 期 王文倩,等:基于差分曲率分组混合模型的脑部 MRI 图像超分辨重建 931 图3 2时不同SR方法重建结果图 图4 3时不同SR方法重建结果图 表 4 3 种策略消融实验结果 策略 1 策略 2 策略 3 PSNR/dB SSIM 34.72 0.938 7 34.87 0.939 8 35.06 0.942 1 35.08 0.942 4 对比第 1 行和第 4 行可以看出,使用 3 种策略重建图像的 PSNR 比未使用这些策略提高了 0.36 dB,SSIM 提高了 0.37%.2.3 子分布数量分析 为了评估子分布数量对 SR 重建质量的影响,将平坦区域和纹理区域这 2 组的子分布个数固定为 2 和 4,选择边缘区域组对4 情况下进行实验,932 计算机辅助设计与图形学学报 第 35 卷 图5 4时不同SR方法重建结果图 对子分布数量 p 分析的实验结果如图 6 所示.可以看出,随着子分布个数 p 的增加,重建图像的评价指标开始时有所增加,然而增加到一定值时 PSNR值开始下降,并且趋于平缓.这是因为当子分布数量增加时,需要考虑更多的似然概率模型,一些分布模型可能收到噪声或干扰,从而降低了重建效果.图6 子分布数量p对SR重建质量的影响 2.4 SR 重建时间分析 以测试集 TEST2为例,对不同 SR方法进行4重建所需要的时间如表5所示.可以看出,GR方法利用邻域计算字典原子之间的相关性并采用全局回归策略,消耗的时间最少;SCSR 方法的时间最长,这是因为自样本学习不依赖外部训练图像块,根据图像自身的特性实时提取特征,导致重建花费较多的时间搜索特征映射以及自相似性特征块;与 SCSR 方法相比,SRCNN,FSRCNN-s 和 Li 等31方法明显缩短了重建时间,然而重建速度均不及本文方法;本文方法的平均耗时为 0.39 s,与 GR方法重建时间相差较小,与其他方法相比,本文方法在脑部 MRI 图像重建效率上有较高的提升.表 5 不同 SR 方法的重建时间对比 s 图像 SCSR10GR14SRCNN12 FSRCNN-s30 Li 等31本文 159.230.301.82 1.19 5.930.46 244.090.121.30 0.58 3.580.23 355.540.201.63 0.72 4.680.38 457.960.181.70 0.79 4.570.35 556.250.171.73 0.68 4.330.34 658.970.262.01 1.02 6.420.51 756.320.171.46 0.76 4.370.34 854.260.161.65 0.72 5.850.40 953.780.151.54 0.63 4.320.301051.460.131.43 0.62 4.170.271157.890.251.98 1.02 6.370.501262.540.262.12 0.96 6.480.511358.960.231.87 0.92 6.140.471457.580.221.90 0.86 6.220.45平均56.060.201.72 0.82 5.240.393 结 语 本文提出一种基于差分曲率分组混合模型的脑部 MRISR 重建方法,在梯度特征基础上采用差分曲率算法提取更丰富的特征结构,并将图像特第 6 期 王文倩,等:基于差分曲率分组混合模型的脑部 MRI 图像超分辨重建 933 征块分组,从而更好地学习不同特征的映射关系;对不同的特征组分别进行学生t分布混合模型的参数学习,与高斯混合模型相比,学生 t 分布具有更好的鲁棒性.在重建阶段,选择多个较大的似然概率子分布进行混合重建,使得重建后的图像块特征更加准确,从而提高整幅图像的重建质量.实验结果表明,与一些常用方法相比,本文方法重建脑部 MRI 图像质量更高、耗时更短.随着深度学习技术的快速发展和性能的不断提高,利用深度学习技术的优势进行超分辨重建具有广阔的前景,结合深度学习探究更有效的 SR 重建方法是今后工作的重点.参考文献(References):1 Lustig M,Donoho D L,Santos J M,et al.Compressed sensing MRIJ.IEEE Signal Processing Magazine,2008,25(2):72-82 2 Glasner D,Bagon S,Irani M.Super-resolution from a single imageC/Proceedings of the IEEE International Conference on Computer Vision.Los Alamitos:IEEE Computer Society Press,2009:349-356 3 Xu Jun,Liu Hui,Guo Qiang,et al.Super-resolution recon-struction of CT images using neural network combined with deconvolutionJ.Journal of Computer-Aided Design&Com-puter Graphics,2018,30(11):2084-2092(in Chinese)(徐军,刘慧,郭强,等.结合反卷积的 CT 图像超分辨重建网络J.计算机辅助设计与图形学学报,2018,30(11):2084-2092)4 Zhu Hong,Xie Junfeng,Wu Xiangqian,et al.Feasibility of super-resolution reconstruction in satellite platform jitter detec-tionJ.Laser&Optoelectronics Progress,2021,58(3):229-235(in Chinese)(朱红,谢俊峰,吴向前,等.超分辨率重建在卫星平台颤振探测中的可行性J.激光与光电子学进展,2021,58(3):229-235)5 Zou W W W,Yuen P C.Very low resolution face recognition problemJ.IEEE Transactions on Image Processing:a Publica-tion of the IEEE Signal Processing Society,2012,21(1):327-340 6 Keys R.Cubic convolution interpolation for digital image processingJ.IEEE Transactions on Acoustics,Speech,and Signal Processing,1981,29(6):1153-1160 7 Zhou D W.An edge-directed bicubic interpolation algorithmC/Proceedings of International Congress on Image and Signal Processing.Los Al