基于改进的Faster R⁃CNN的肺结节检测方法研究.pdf

Vol.42,No.3Journal of Inner Mongolia University of Science and Technology第42 卷第3 期September,20232023年9 月内蒙古科技大学学报基于改进的 Faster R-CNN 的肺结节检测方法研究王宁，唐思源？，白金牛（1.内蒙古科技大学信息工程学院，内蒙古包头0 140 10;2.包头医学院计算机科学与技术系，内蒙古包头014010)摘要：研究使用相同的CT图像数据集，对几种常见的肺结节检测方法进行对比试验，最终选取了检测精度高的Faster R-CNN进行了实验。然而,即使是本领域内检测精度最高的Faster R-CNN方法在肺结节检测领域的效果也难以令人满意。原始的FasterR-CNN中的锚框尺寸大,在肺结节检测领域无法达到好的应用效果,为了提高结节检测的精度,在Faster R-CNN的基础上进行了改进,改进的内容主要包括：(1)更多层的特征提取使得检测精度提高，因此，在网络特征提取时采用ResNet替换掉原始网络中的VGG16网络，采用ResNet-101进行后续实验的改进.（2)引入了一种K-Means聚类算法分析anchor的尺寸，选择合适的k值后，重新设置锚框的大小通过对锚框的尺寸的改进，数据与锚框大小的匹配度提高了，模型的整体性能有了提升。实验证明：所提出的方法具有较高的精度和效率。关键词：FasterR-CNN;K-Means聚类算法；肺结节;ResNet101中图分类号：TP399文献标识码：A文章编号：2 0 9 5-2 2 9 5(2 0 2 3)0 3-0 2 8 3-0 5D0I:10.16559/ki.2095-2295.2023.03.015Research on lung nodule detection method basedon improved Faster R-CNNWANG Ning,TANG Siyuan,BAI Jiniu?(1.Information Engineering School,Inner Mongolia University of Science and Technology,Baotou 014010,China;2.Department ofComputer Science and Technology,Baotou Medical College,Baotou 014010,China)Abstract:In this study,the same CT image data set was used to conduct comparative tests on several common detection methods forpulmonary nodules,and finally the higher detection accuracy Faster R-CNN was selected for the experiment.However,even the FasterR-CNN method,which has the highest detection accuracy in this field,was not satisfactory in the detection of pulmonary nodules.Dueto the large size of the anchor frame in the original Faster R-CNN,god application effect could not be achieved in the field of pulmona-ry nodules detection.In order to improve the accuracy of nodules detection,improvements were proposed based on Faster R-CNN,mainly including:(1)Using more layers of feature extraction to improve the detection accuracy.Therefore,ResNet was used to re-place VGG16 network in the original network during network feature extraction,and RESNET-101 was used to carry out subsequent ex-perimental improvements.(2)A K-means clustering algorithm was introduced to analyze the size of anchor.After selecting an appro-priate K value,the size of anchor frame was reset.By improving the size of the anchor frame,the matching degree between the dataand the size of the anchor frame was improved,and the overall performance of the model was improved.Experimental results show thatthe proposed method has high precision and efficiency.Key words:Faster R-CNN;K-Means clustering algorithm;pulmonary nodules;ResNetl01作者简介：王宁（19 9 8），女，内蒙古科技大学硕士研究生，研究方向为图像处理，深度学习检测肺结节。*通信作者：e-mail:收稿日期：2 0 2 2-0 5-11284第42 卷第3 期2023年9 月内蒙古科技大学学报肺癌 是最常见的不良癌症的一种，威胁着人类的生命健康近年来，随着经济社会的不断发展，环境污染导致环境问题变得恶劣，肺癌患者也在不断增加肺结节2 是肺癌早期的症状表现，因此精准的检测肺结节对于预防和诊治癌症有着重大的意义。早期大量的学者对肺结节的检测，是通过人工方式确定肺部CT图片上是否存在肺结节。这种人工检查肺结节的方式十分耗时且容易出错，现代计算机科学的快速发展使得计算机辅助诊断（CA D)3 出现，这一改变大大降低了医生的工作量，检测更为方便.CAD是指通过专业的计算机软件分析医疗图像，以辅助医师发现病变，以便于提升诊断的精确度，提高治好疾病的概率。而现代计算机的飞速发展也极大地促进了CAD技术的发展.由于计算机辅助诊断系统大大减少了医生的工作量，从而缩短了治疗消耗的时间，也可以减轻医师的误判因此将深度学习4 运用于肺结节检测会大大增加诊治的准确性。目前，在深度学习方向上的目标检测方法主要有R-CNN5系列和YOLO6系列，YOLO算法无法精确的检测肺结节，所以采用了检测性能在各指标上都表现较好的FasterR-CNN7算法进行实验。一数据集介绍及分析肺结节领域内的医学图像数据集十分稀少，数据来源于肺图像数据库联盟（LIDC-IDRI）【8 ，它是目前最大也是被广泛使用的公共数据集，使用的LUNA20169数据集是LIDC-IDRI的一个子集由于LUNA16数据集原始格式并不能直接用于网络的训练，所以本文将原始3 D数据集转换为PNG格式，转换后的数据如图1所示：0001.png0002.png0009.png0010.png图1转换后的肺结节数据对于深度学习来说，更多的数据量使得模型训练的效率更好而医学数据本来就稀缺，要想得到与深度学习模型相匹配的数据量就要对肺部CT数据进行增强过少的数据会导致过拟合，训练准确率大大降低通常数据增强的方式有水平翻转、垂直翻转、添加噪声、裁剪等，但肺部CT数据拍摄角度和范围大致固定为保证增强后的数据与原数据尽可能相似，采用水平翻转、随机剪切、旋转等方式进行增强进行实验之前，还要对数据进行标注，本文采用了“Labellmg”进行这一步骤.经过数据扩增过程后，得到了50 0 0 张结节的图片。对于FasterR-CNN来说，输入的数据格式必须和PASCALVOC2007的数据集格式相同训练集和验证集都参与了初步的训练，把训练集和验证集划分成2 个数据集是因为这2 种类别功能不同其中训练集的主要功能就是通过训练网络，使网络中的神经元都具有最优的权重和偏差而验证集则是减小了过拟合现象的发生率。2基于改进的FasterR-CNN的肺结节检测2.1FasterR-CNN的训练FasterR-CNN训练方法有2 种，一是交替训练方法，二是近似联合训练方法，本文选择交替训练的方法.对于训练图像，其原始纵横比不变.RPN101和Fast R-CNN的基本学习率、学习策略、权重衰减和动量相似.为获得最终的模型,所使用的4步交替练习法具体步骤如下：在第一步中，区域建议网络首先进行训练，然后FastR-CNN再进行训练.FastR-CNN训练后的产生的参数用于下一阶段区域建议网络的微调，再进行第二阶段的RPN训练，并且输出的建议区域再经历一次FastR-CNN的训练，并重复此步骤以使网络收敛本文采用交替训练来训练网络，使用SGD进行RPN训练和FastR-CNN训练,FasterR-CNN的多任务损失函数的计算如（1）式所示：1L(Pi,Pi)Z,Lea(P:P)+Ncls1Z,p:L(t,).(1)Nre2.2主干网络的改进FasterR-CNN的主要改进是区域建议网络，实现了端到端的检测,FasterR-CNN模型中精度的提285：基于改进的FasterR-CNN的肺结节检测方法研究升在于主干网络的特征提取能力研究表明：卷积神经网络的深度是决定其性能的一个极其重要的因素，卷积神经网络的性能将随着深度的增加而提高.所以本文对FasterR-CNN的主干网络进行了改进，选择了网络深度较高的ResNet11,本文采用的ResNet结构分别是ResNet-50和ResNet-101.通过更多层次的特征提取，得到的特征更加明显，而模型的精度就会越高。ResNet是残差网络，残差结构通过“快捷连接”将输人和输出通道联系起来，这不仅保证了网络可以实现深度和复杂的结构，提高表达能力的特性，而且还解决了很容易发生在网络上的过度拟合的问题和退化问题.ResNet可充分提取图像更深层次的特征，防止训练过程中梯度的消失将ResNet架构的各级特征合并到一个输出中，实现了深度语义特征和浅层外观特征的深度融合，提高了图片特征提取结果的准确性。以下将介绍一下残差块，ResNet使用2 种残差块.如图2 所示：n-d1x1,m3x3,nReLU3x3,mReLUReLU3x3,n1x1,nReLUTReLU图2残差块在图2 中，展示了2 种残差模块左图展示了浅层网络所用的残差模块，右图展示了深层网络使用的残差块右侧的残差模块中经过卷积操作先降维到维，然后再通过卷积恢复到n维，这样做是为了减少计算。经过改进后的FasterR-CNN网络总体结构如图3 所示图3 是本文改进后的FasterR-CNN网络结构，图中白色的部分是ResNet网络部分，第四部分卷积的输出既输人到区域建议网络，又输人到了感兴趣区域进行了池化12 第五部分的卷积层对感兴趣区域池化后的特征进行了整合，并且将整合后的特征用于后续的平均池化。本文使用Global平均池化取代了原始模型中的全连接层，得到的特征用于最终的分类和回归操作。输入图片ConvlConv2_xConv3xRPNConv4x-ResNetROLPoolingConv5xAveragePoolingBBox回归Softmax分类图3改进的FasterR-CNN网络总体结构FasterR-CNN原始模型中使用的是VGG16进行特征提取，本文则使用了ResNet进行了替换实验中的参数设置如下表1所示：区域建议网络中anchor_scales分别是8,16,3 2;anchor_ratios分别是0.5,1,2.表1参数设置参数初始化Learning_rate0.001Batch_size4Momentum0.9Weight decay0.000 5Epoch100Base_size16在相同的数据集对主干网络是ResNet-50和ResNet-101的FasterR-CNN网络进行训练，评价指标选择了常用的AP，最后在ResNet-101得到了0.853的精度实验结果如下表2 所示，表2不同主干网络实验对比主干网络AP平均检测顿率ResNet-500.8325.0fpsResNet-1010.8534.7fps2.3K-Means 聚类FasterR-CNN在区域建议网络中引人了锚框（a n c h o r）的概念，使用FasterR-CNN进行肺结节检测，首先要考虑到anchor大小与被检测目标的实际大小，但是检测目标十分微小，使用原始模型的anchor大小不适合检测因此，为了进一步提高实验的精度，则必须对anchor的尺寸重新计算。anchor2862023年9 月第42 卷第3 期内蒙古科技大学学报大小通过肺结节在数据集中的分布和肺结节的大小是如何分布来设定这是个典型的聚类问题，使用K-Means 聚类算法13 对 anchor大小进行分析.3实验结果及分析3.1实验环境及模型超参数实验模型是在Windows10操作系统上运行的，利用Python软件进行代码书写.3.2实验评价指标本次实验的效果主要从召回率R，正确率P2个方面来评价.TP：样本为正，预测样本为正；FP：样本为负，预测样本为正；TN：样本为负，预测样本为负；FN：样本为正，预测样本为负.1）召回率R(Recall)：T P/(T P+FN);2）正确率P(Precision):TP/(TP+FP).3.3对比实验结果使用Scikit-learn来进行肺部结节的聚类分析.首先，读取各训练集肺结节的位置标记文档，并据此计算每个结节的宽度和长度，生成数据集供后续的聚类分析。最后，选取总的距离误差作为标准，确定最佳的K值范围从实验中可以得出，当聚类中心数k值取3 和4时，总的距离误差下降趋势较为平稳因此将anchor的宽纵比参数设置为anchor_ratios=（0.8 1,1.2），在2 组聚类中心的基础上设计了2 组anchor尺寸参数分别为base_size=16，anchor_scales=（1.5,2.7,4.5)和base_size=16,anchor_scales=(1.37,2.25,3.5,5.7).实验在ResNet进行特征提取的基础上，在区域建议网络中，设计了几组anchor大小进行了实验。实验结果如表3 所示，通过几组不同的anchor大小的对比试验,结果表明平均检测帧率越快,模型的性能越好。表3不同anchor大小实验结果对比AnchorAP平均检测顿率base_size=16anchor_scales=(8,16,32)0.8534.9fpsanchor_ratios=(0.5,1,2)base_size=16anchor_scales=(1.5,2.7,4.5)0.8664.9fpsanchor_ratios=(0.8,1,1.2)base_size=16anchor_scales=(1.37,2.25,3.5,5.7)0.8754.8fpsanchor_ratios=(0.8,1,1.2)base_size=16anchor_scales=(1.37,2.25,3.5,5.7)0.8745.0fpsanchor_ratios=1模型的检测结果越精准,对医生的诊断越有利，医生可以通过结节的大小和形状直接判定病人的病情好坏以及结节的良恶性如图4所示，是所改进的模型可视化的展示，被红色边框框出来的区域就是肺结节，由图可以看出，预测框已经十分接近真实的病灶结节，最优的精度在0.8 7 5左右图中所示的结节都能够按标准检测出来。图4检测结果示例图如图5所示，是模型的PR图.PR图中，P(Precision）为精准率,R(Recall）为召回率，Precision代表模型对整个样本的判决能力，Recall代表所有正确检测出的结节占据测试集中存在的结节总数的大小，本图中的精度在0.8 7 5左右.1.00.80.60.40.20.0+0.00.20.40.60.81.0Recall图5测试PR图本文进行了对比实验的设计，同时也使用YOLO算法对肺结节进行了检测，而从实验的检测精度来说，所采用改进的FasterR-CNN网络确实精度更高，实验结果如下表4所示。表4实验结果对比实验所用方法AP/%Recall/%Faster R-CNN82.9180.8YOLOv573.3476.53改进后的FasterR-CNN87.5186.02如表4,对比了2 种方法，其中YOLOv5算法的AP值达到了0.7 3 3，改进后的FasterR-CNN网络在AP和Recall2个指标上都表现出更高的性能。287：基于改进的FasterR-CNN的肺结节检测方法研究图6 为使用YOLOv5对肺结节进行检测的精度图和召回率图，图中横坐标代表迭代次数，纵坐标代表精度和召回率图中结果显示，随着迭代次数增加，精度稳定在0.7 3 3 左右，召回率稳定在0.7 6 5左右PrecisionRecall0.80.60.60.40.40.20.2(a)(b)0.00.0图6YOLOv5检测精度及召回率图在一个数据集下对不同模型进行了训练，实验证明改进后的FasterR-CNN检测的检测精度相较于其他模型的检测精度更高，所以本文的改进是有效的使用此方法可以减轻医生的工作量，更方便医生进行病灶区域的诊断。4结论本文对FasterR-CNN网络进行了改进，将原始的模型中进行特征提取的VGG16替换成了ResNet-50和ResNet-101，最终通过2 个实验的对比，选择了ResNet-101作为特征提取网络进行后续的实验改进第二个改进是加人了K-Means聚类算法，通过选取合适的k值，对锚框大小进行改进，从而提高检测精度经过这一改进后，数据和锚框大小的匹配度提高，不仅实验精度有所提高，而且也缩短了检测时间。最后，也使用了YOLO模型进行了肺结节的检测，检测精度达到了0.7 3 3.在相同数据集下，提出的改进算法平均精度达到8 7.51%.实验结果表明，改进后的FasterR-CNN网络具有更高的检测精度，可以检测出较多的正确结节。肺结节检测领域上的图像并不稀少，但是大部分都保存在医院，不易获取公开的数据集比较稀少，并且数据集的质量一般，这为实验带来了难度。日后的研究中，研究者可以寻求更多的数据集作为深度学习的支撑。参考文献：1CHEN W,ZHENG R,BAADE P D,et al.Cancer sta-tistics in China,2015JJ.CA:A Cancer Journal for Cli-nicians,2016,66(2):115.2范伟康.基于改进 FasterR-CNN的肺结节检测 D.郑州：郑州大学，2 0 18.3郑光远，刘峡壁，韩光辉.医学影像计算机辅助检测与诊断系统综述J.软件学报.2 0 18,2 9(0 5）：147 1.4张译文，李琦.基于深度学习的羊只计数系统研究J.内蒙古科技大学学报,2 0 2 1,40（0 4）：3 7 0.5REN S,HE K,GIRSHICK R,et al.Faster R-CNN:to-wards real-time object detection with region proposal Net-worksJ.IEEE Transactions on Pattern Analysis&Ma-chine Intelligence,2017,39(6):1137.6张煜彬,方中纯.基于改进YOLOv3的输电线路外力破坏危险行为检测J.内蒙古科技大学学报,2 0 2 1,40(04):364.7LUO J,FANG H,SHAO F,et al.Multi-scale traffic ve-hicle detection based on faster R-CNN with NAS optimi-zation and feature enrichmentJ.Defence Technology,2021,17(04):1542.8SAMUEL G,ARMATO S,MCLENNAN G,et al.Thelung image database consortium(LIDC)and image data-base resource initiative(IDRI):a completed referencedatabase of lung nodules on CT scansJ.Medical Phys-ics,2011,38(2):915.9SETIO A A A,TRAVERSO A,DE Bel T,et al.Valida-tion,comparison,and combination of algorithms for auto-matic detection of pulmonary nodules in computed tomo-graphy images:The LUNA16 challengeJJ.Medical im-age analysis,2017,42:1.10赵春晖,周瑶.基于改进FasterR-CNN算法的舰船目标检测与识别.沈阳大学学报（自然科学版），2018,30(05):366.11胡伟健,樊杰，杜永兴，等.基于深度残差网络的番茄细粒度病症识别.内蒙古科技大学学报,2 0 2 0,3 9(03):251.12SHRIVASTAVA A,GUPTA A,GIRSHICK R.Trainingregion-based object detectors with online hard exampleminingCJ/IEEE conference on computer vision andpattern recognition.Las Vegas,UA:IEEE,2016,761.13丛思安,王星星.K-means算法研究综述J.电子技术与软件工程,2 0 18(17）：155.（责任编辑：师宝萍）