基于深度学习的结肠息肉检测算法.pdf

收稿日期:2 0 2 2 0 6 0 7基金项目:国家自然科学基金资助项目(6 1 9 7 1 1 1 8);辽宁省教育厅科学研究经费项目(L Z D 2 0 2 0 0 3)。作者简介:程立英(1 9 7 6),女,河北衡水人,沈阳师范大学副教授,硕士。第4 1卷 第3期2023年 6月沈阳师范大学学报(自然科学版)J o u r n a l o fS h e n y a n gN o r m a lU n i v e r s i t y(N a t u r a l S c i e n c eE d i t i o n)V o l.4 1N o.3J u n.2 0 2 3文章编号:1 6 7 3 5 8 6 2(2 0 2 3)0 3 0 2 7 4 0 6基于深度学习的结肠息肉检测算法程立英,刘祖琛,谷利茹,江龙涛,王晓伟,王玉莲(沈阳师范大学 物理科学与技术学院,沈阳 1 1 0 0 3 4)摘 要:近年来,受结肠疾病困扰的人群数量不断增加,由于诊断不及时,结肠疾病容易演变成结肠癌,严重威胁患者的生命健康。结肠息肉是结肠癌在患者体内的前期表征,通过结肠镜及时准确地检测结肠息肉并进行干预可以降低结肠癌发生的概率。目前,深度学习在医学图像处理领域应用广泛,在结肠镜图像息肉检测中应用深度学习技术,可以帮助医生进行精确诊断。针对传统方法在肠息肉检测中因息肉成像差异大、肠息肉类型多样等存在假阳性高的问题,利用U-n e t+网络对结肠息肉进行检测,提出一种引入注意力机制的U-n e t+改进模型,采用端到端的结构,并针对不同网络进行实验研究,对不同网络模型在结肠息肉检测结果进行精度和损失度对比分析。经过实验验证,引入注意力机制的U-n e t+改进网络模型能够快速精确地检测结肠息肉,可以更好地辅助医生进行临床决策和干预,具有重要的研究意义和临床应用价值。关 键 词:深度学习;肠息肉检测;注意力机制;U-n e t+网络中图分类号:T P 3 9 1.4 1;R 8 1 6.4 1 文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 6 7 3 5 8 6 2.2 0 2 3.0 3.0 1 6C o l o np o l y pd e t e c t i o na l g o r i t h mb a s e do nd e e p l e a r n i n g CHENGL i y i n g,L I U Z u c h e n,G U L i r u,J I ANGL o n g t a o,WANG X i a o w e i,WANGY u l i a n(C o l l e g eo fP h y s i c a lS c i e n c ea n dT e c h n o l o g y,S h e n y a n gN o r m a lU n i v e r s i t y,S h e n y a n g1 1 0 0 3 4,C h i n a)A b s t r a c t:I nr e c e n ty e a r s,t h e r eh a sb e e na ni n c r e a s e i nt h en u m b e ro fp e o p l ea f f e c t e db yc o l o nd i s e a s e.B e c a u s e t h ed i a g n o s i s i sn o t t i m e l y,t h ec o l o nd i s e a s e i se a s yt oe v o l v e i n t oc o l o nc a n c e r,a n dt h el i f e a n d h e a l t h o fp a t i e n t s w i l lb es e r i o u s l yt h r e a t e n e d.C o l o n p o l y pi st h e e a r l ym a n i f e s t a t i o no f c o l o nc a n c e r i np a t i e n t s,a n dc o l o ne n d o s c o p y i s t h em o s t e f f e c t i v em e a n s t od e t e c tc o l o np o l y p.A tp r e s e n t,d e e pl e a r n i n gs t a n d so u t i nt h ef i e l do fm e d i c a l i m a g ep r o c e s s i n g.T h ea p p l i c a t i o no fd e e pl e a r n i n gt e c h n o l o g yi nc o l o n o s c o p yp o l y pd e t e c t i o nc a nh e l pd o c t o r s m a k ea c c u r a t ed i a g n o s i s.I nv i e wo ft h ep r o b l e m so fh i g hf a l s ep o s i t i v e si ni n t e s t i n a lp o l y pd e t e c t i o nb yt r a d i t i o n a lm e t h o d s d u et ol a r g ei m a g i n g d i f f e r e n c e sa n d d i v e r s et y p e s o fi n t e s t i n a lp o l y p s,U-n e t+n e t w o r kh a sb e e nu s e dt od e t e c tc o l o np o l y p s,a n da ni m p r o v e d U-n e t+m o d e li n t r o d u c i n ga t t e n t i o nm e c h a n i s m w a sp r o p o s e d,w h i c ha d o p t e de n d-t o-e n ds t r u c t u r ea n dc o n d u c t e de x p e r i m e n t a l s t u d i e so nd i f f e r e n tn e t w o r k s.T h ep r e c i s i o na n dl o s sd e g r e eo fc o l o np o l y pd e t e c t i o nh a v eb e e n c o m p a r e d w i t h d i f f e r e n tn e t w o r k m o d e l s.T h r o u g h e x p e r i m e n t a lv e r i f i c a t i o n,t h ei m p r o v e dU-n e t+n e t w o r km o d e l i n t r o d u c e db ya t t e n t i o nm e c h a n i s mc a nq u i c k l ya n da c c u r a t e l yd e t e c t c o l o np o l y p s,w h i c hc a nb e t t e ra s s i s td o c t o r si nc l i n i c a ld e c i s i o n-m a k i n ga n di n t e r v e n t i o n,a n dh a s i m p o r t a n t r e s e a r c hs i g n i f i c a n c ea n dc l i n i c a l a p p l i c a t i o nv a l u e.K e yw o r d s:d e e pl e a r n i n g;c o l o np o l y pd e t e c t i o n;a t t e n t i o nm e c h a n i s m;U-n e t+n e t w o r k结直肠癌是源于结直肠黏膜上皮的恶性肿瘤,是临床上最常见的恶性肿瘤之一1。目前世界各国结直肠癌发病率和死亡率逐渐增加,根据2 0 1 9年国家癌症中心发布的全国癌症统计数据,结直肠癌在我国十大最常见癌症中排名第3,仅次于肺癌和胃癌2。对结直肠癌患者采取有效手段进行早期诊断和治疗有助于提高患者的生存率。结直肠癌在早期的表现通常为息肉,结肠镜检查也是结直肠癌筛查的金标准。目前防止结直肠癌的有效方法是患者通过结肠镜筛查并进行必要的肠息肉摘除3。因此,提前发现息肉并在息肉转化为癌细胞前将其摘除尤为重要。结肠镜筛查主要依赖医生临床经验,仅依靠医生主观诊断仍可能有息肉漏检的概率。采用计算机智能分析辅助医生结肠镜筛查是提高息肉检出率、降低漏检率的有效手段2。现有的息肉检测算法取得了一定的研究成果,但依旧会出现检测精度较低、速度慢、假阳性率高等问题4。本文利用深度学习的方法可以准确、高效地对结肠镜图像进行处理,检测图像中是否存在息肉,并对检测到的息肉进行有效提取,以解决息肉外观高变异性造成的假阳性率高的问题。1 结肠息肉智能检测技术结肠息肉是一种结肠表面的突起,从扁平到有蒂,以不同的形状出现。当扁平息肉通过其基部附着在结肠壁上时,带蒂的息肉附着在茎上。结肠息肉分为炎性息肉、增生性息肉和腺瘤性息肉。腺瘤性息肉是结直肠癌的癌前病变,通过结肠镜检查可以发现腺瘤性息肉,但由于其在内镜检查过程中不敏感,很难仅从外观上区分结肠息肉的类型。如图1所示,是从不同的结肠镜检查视频中提取出的8个不同的结肠息肉实例。图1 来自C V C-C l i n i c D B的8个不同的息肉实例F i g.1 E i g h t d i f f e r e n t p o l y p i n s t a n c e s f r o mC V C-C l i n i c D B传统机器学习算法已被应用于结肠镜图像智能分析。Y u a n等5将自下而上与自上而下机制结合的显著性检测算法用于息肉区域自动识别;T a j b a k h s h等6利用形状和上下文信息在结肠镜图像序列中进行智能检测。传统算法需要根据息肉特征人为进行特征设计,并制定某种规则或者利用分类器检测息肉。人为特征设计的依据主要来自医生的经验,受息肉极大差异性、医生阅历和主观性的影响,人为特征设计难以准确适应检测工作。近年来,深度学习技术在图像检测、医学图像处理等多个领域中表现出了远超传统检测方法的性能7。将卷积神经网络引入结肠镜图像目标识别,辅助医生尽早发现并对息肉进行及时处理,可以大大降低肠息肉癌变的概率8。Y u a n等9将旋转不变性和图像相似度引入算法,提出了用于内窥镜图像识别的R I I S-D e n s e N e t网络;F a n g等1 0将边缘信息引入算法,将网络分为区域提取和边缘提取2大分支,通过分支网络信息交互进行肠息肉信息的提取,但由于肠息肉成像差异大、息肉类型多样等导致检测结果假阳性高。本文针对以上问题,利用U-n e t+网络对结肠镜图像中结肠息肉进行检测,提出一种引入注意力机制的U-n e t+改进模型,采用端到端的结构,并针对不同网络进行实验研究,对各种网络模型在结肠息肉检测结果进行精度和损失度对比分析。经过实验验证,引入注意力机制的U-n e t+改进网络模型能够快速精确地检测结肠息肉,可以更好地辅助医生进行临床决策和干预,具有重要的研究意义和临床应用价值。572 第3期 程立英,等:基于深度学习的结肠息肉检测算法2 基于U-n e t+网络的肠息肉识别算法2.1 U-n e t+网络的基本原理在传统的U-n e t网络中,跳跃连接(S k i pc o n n e c t i o n)是一种利用特征拼接提高神经网络性能的方法,使用该技术在一定程度上可以将粗细粒度的特征进行融合,但是融合之后会产生语义鸿沟的问题1 1。为了解决跳跃连接引起的语义鸿沟,提出了如图2所示的U-n e t+网络架构。在图2中,最外侧一层是原始的U-n e t网络,中间圆圈部分均表示在跳跃连接上的密集卷积块,每个圆圈都代表2个连续的卷积操作,上方表示深监督(d e e ps u p e r v i s i o n)1 1。该架构是一种基于嵌套密集跳跃连接的分割体系结构,它将多个不同层次的U型网络集合起来,使整个架构可以在不同的层次分别提取图像各自层次的特征,再将这些不同层次的特征结合在一起1 2。它是一种不受跳接限制的新型分割体系结构,该结构将跳转连接设计在集成编解码器网络的高分辨率功能图和解码器网络相应语义丰富的功能图之前,这样的设计减少了编码和代码子网络的功能图之间的间隔1 3。在丰富模型时,该模型可以在解码器和编码器网络的功能映射中有效捕捉前景对象的细节,随着网络层数的增加,提取到的图像信息更加精确。图2 U-n e t+网络结构图F i g.2 U-n e t+n e t w o r ka r c h i t e c t u r e图3 S E模块F i g.3 S Em o d u l e2.2 注意力机制注意力机制(a t t e n t i o nm e c h a n i s m)于2 0世纪9 0年代被科学家研究发现并被作为一种信号处理机制应用到视觉研究中,如今已被引入人工智能领域并取得了很大的成功1 4。注意力机制源于人脑和人眼的感知机制,在深度学习任务中可以解释为从大量信息中筛选出需要重点关注的信息,表现为对数据进行加权变换,并 对 需 要 关 注 的 部 分 赋 予 高 权重1 2。注意力机制模块(S E模块)主要由S q u e e z e和E x c i t a t i o n2个操作构成,见图3。目前,已有一些学者将注意力机制嵌入编 码 解 码 的 网 络 结 构 中。O k t a y等1 5在U-n e t的跳跃连接上嵌入了注意力机制,用以突出跳跃传递过程中的显著特征;对W a n g等1 6在编码器与解码器连接的最后一层中间的b o t t l e n e c k处,嵌入了4个不同的S E模块用以对最具特征的语义信息进行编码。以上672沈阳师范大学学报(自然科学版)第4 1卷 研究均证明,在U型网络结构上嵌入注意力机制可以有效地提升网络性能,提高分割精度。2.3 引入注意力机制的U-n e t+改进网络模型在医学图像病灶检测研究中,许多基于U-n e t结构的改进算法都取得了良好的效果8。U-n e t的U型结构及跳跃连接,可以学习到图像中低层次与高层次之间的信息并进行整合,在小数据集上也可以取得很好的效果,因而U-n e t的结构成为医学图像分割任务的首选1 2。但是将U-n e t直接应用于结肠息肉的检测,跳跃连接过长会造成编码和解码之间的信息损失,U-n e t+的密集嵌套连接解决了信息损失的问题。由于编码解码的网络结构是一个注意力较为分散的模型,在网络解码的过程中所有输入通道的权重都是相同的,不能给予需要分割的目标区域重点关注1 1。因此,本文通过引入注意力机制,对U-n e t+网络进行改进,使得模型更加专注于待分割图像的关键区域,改进后的网络结构如图4所示。图4 结合注意力机制改进的U-n e t+结构图F i g.4 I m p r o v e dU-n e t+s t r u c t u r ed i a g r a mc o m b i n e dw i t ha t t e n t i o nm e c h a n i s m3 实验结果和分析本文深度学习网络算法主要采用P y t h o n3.7语言编程,在P y C h a r mC o mm u n i t yE d i t i o n2 0 2 0.2.3x 6 4平台下运行,实验配置电脑为6 4位W i n d o w s 1 0操作系统,处理器为I n t e l(R)C o r e(TM)i 7-8 7 5 0 UC P U 2.7 0 GH z。本文利用相似程度(d i c es i m i l a r i t y i n d e x,D S I)、召回率(r e c a l l)、错误率(v o l u m e t r i co v e r l a pe r r o r,VO E)和相对体积差异(r e l a t i v ev o l u m ed i f f e r e n c e,R V D)4个指标对不同网络模型实验结果进行评价。进行息肉检测的数据来自开源数据集E T I S中1 2 0 0张结肠息肉图像,选取6 0 0张图像作为训练数据,其余6 0 0张图像作为测试数据。利用U-n e t+和引入注意力机制改进后的U-n e t+网络分别进行2 5轮、6 0轮和1 0 0轮的模型训练,模型训练统一轮数和每轮步数,即e p o c h s=1,s t e p s_p e r_e p o c h=3 0 0。3.1 U-n e t+实验结果表1为U-n e t+模型的实验数据,表示相同肠息肉数据集分别在U-n e t+模型运行2 5轮、6 0轮和1 0 0轮数下的训练结果。表1 U-n e t+模型不同训练轮数的实验数据T a b l e1 D a t a f o r t h eU-n e t+m o d e l o f d i f f e r e n t e p o c h sU-n e t+模型轮数2 5轮6 0轮1 0 0轮E p o c h s3 0 03 0 03 0 0T o t a l p a r a m s90 4 16 0 190 4 16 0 190 4 16 0 1T r a i n a b l e p a r a m s90 4 16 0 190 4 16 0 190 4 16 0 1E TA6.3 5h1 5h4 1.6 7hL O S S0.2 6 59 50.6 5 78 50.1 8 55 5A C C0.9 2 220.9 4 060.9 4 74772 第3期 程立英,等:基于深度学习的结肠息肉检测算法 表1的数据表明,在U-n e t+模型中设置步长为3 0 0,其他条件不变时,训练的轮数越多,所需时间(E T A)就越长,损失精度(L O S S)越低,准确精度(A C C)越高。经验证,当训练轮数达到1 0 0轮以上时,息肉图像会被误分割为背景,出现明显的过分割现象,影响最终的分割效果。3.2 引入注意力机制改进的U-n e t+实验结果表2为改进后U-n e t+模型的数据,表示该模型分别在2 5轮、6 0轮、1 0 0轮数下进行训练的结果。表2 改进后U-n e t+模型不同训练轮数的实验数据T a b l e2 D a t a f o r t h e i m p r o v e dU-n e t+m o d e l o f d i f f e r e n t e p o c h s改进的模型改进后模型2 5轮改进后模型6 0轮改进后模型1 0 0轮E p o c h s3 0 03 0 03 0 0T o t a l p a r a m s90 4 16 0 190 4 16 0 190 4 16 0 1T r a i n a b l ep a r a m s90 4 16 0 190 4 16 0 190 4 16 0 1E TA5.2h1 3.4h3 7.8 6hL O S S0.2 4 37 20.5 3 27 60.1 7 46 9A C C0.9 2 560.9 5 280.9 6 01 从表2改进后U-n e t+模型的评估参数可以看出,参量总数(t o t a l p a r a m s)和训练总数(t r a i n a b l ep a r a m s)不变。在其他条件相同的情况下,引入注意力机制改进后的U-n e t+模型与U-n e t+模型相比,检测任务的训练时间(E T A)更短,损失度(L O S S)更小,精度(A C C)更高。3.3 基于深度学习的结肠息肉检测结果及分析本节从6 0 0张结肠息肉测试图像中选取第7 1到8 8张图像作为示例,设置模型统一轮数e p o c h s为1 0 0,每轮步数为3 0 0。图5为U-n e t+网络和改进后的U-n e t+网络对E T I S数据集中结肠息肉图像经过1 0 0轮训练后的分割结果示例。(a)U-n e t+分割结果(b)改进后的U-n e t+分割结果图5 分割结果示例F i g.5 S e g m e n t a t i o n r e s u l t e x a m p l e从图5的分割结果中可以看出,在相同运行环境、均训练1 0 0轮的条件下,图5(b)的结果表明引入注意力机制改进后的U-n e t+网络模型对于结肠息肉检测任务的分割效果更好。表3直观地利用4个指标数据评估了深度学习的U-n e t+网络模型和本文提出的引入注意力机制改进的U-n e t+网络模型在结肠息肉数据集检测任务上的性能指标。表3 改进前后模型的评估参数T a b l e3 E v a l u a t i o np a r a m e t e r so f t h em o d e l b e f o r ea n da f t e r i m p r o v e m e n t模 型D S IVO ER V DR e c a l lU-n e t+0.1 8 670.0 1 020.0 1 240.0 1 67 2本文改进的U-n e t+0.2 0 130.0 0 680.0 1 150.0 2 03 6 对表3中各个网络实验结果的数据进行比较可以看出,引入注意力机制改进的U-n e t+模型网络相对U-n e t+网络,相似程度(D S I)提升了0.0 1 4 6,模型的错误率(VO E)降低了0.0 0 3 4,相对体积差异(R V D)降低了0.0 0 09,召回率(R e c a l l)提升了0.0 0 36 4。实验数据表明,引入注意力机制改进了872沈阳师范大学学报(自然科学版)第4 1卷 U-n e t+模型,提高了结肠息肉检测准确性。4 结 语本文基于深度学习算法,结合结肠息肉特征和不同网络的优点和局限性,通过对U-n e t+网络在结肠息肉检测任务实验分析,引入注意力机制对U-n e t+网络进行改进。经过实验验证,本文构建出一种性能优于以往且分割效果更好的网络模型,提高了对结肠镜息肉的检测精度,减少了图像损失度,从而达到快速准确检测结肠息肉的效果,对预防和诊断结肠癌具有重要的临床应用意义。参考文献:1 郑莹,王泽洲.全球结直肠癌流行数据解读J.中华流行病学杂志,2 0 2 1,4 2(1):1 4 9 1 5 2.2 董煦,胡珂立,洪方雨.基于卷积神经网络的结肠镜图像息肉识别J.绍兴文理学院学报(自然科学),2 0 2 2,4 2(4):4 7 5 2.3 黄佩云,王凯妮,何晓璞,等.基于卷积神经网络的肠息肉分类方法的初步研究J.胃肠病学和肝病学杂志,2 0 2 1,3 0(3):3 3 6 3 4 0.4 张笑.基于深度学习的结肠镜息肉检测方法研究D.哈尔滨:哈尔滨工业大学,2 0 1 9.5YUANYX,L IDW,ME NGM QH.A u t o m a t i cp o l y pd e t e c t i o nv i a an o v e l u n i f i e db o t t o m-u pa n d t o p-d o w ns a l i e n c ya p p r o a c hJ.I E E EJB i o m e cH e a l t h,2 0 1 8,2 2(4):1 2 5 0 1 2 6 0.6TA J B AKH S HNN M,GURU D U SR,L I AN GJM.A u t o m a t e dp o l y pd e t e c t i o ni nc o l o n o s c o p yv i d e o su s i n gs h a p ea n dc o n t e x t i n f o r m a t i o nJ.I E E ET r a n sM e dI m a g i n g,2 0 1 6,3 5(2):6 3 0 6 4 4.7TAN WJ,L I U P,L IXS,e ta l.S e g m e n t a t i o no fl u n ga i r w a y sb a s e do nd e e pl e a r n i n g m e t h o d sJ.I E TI m a g eP r o c e s s,2 0 2 2,1 6(5):1 4 4 4 1 4 5 6.8 朱兴旺,严俊,何英丽,等.基于深度学习的人工智能技术在结直肠息肉性质鉴别中的应用J.世界华人消化杂志,2 0 2 1,2 9(2 0):1 2 0 1 1 2 0 6.9YUANYX,Q I N WJ,I B R A G I MOVB,e ta l.R I I S-D e n s e N e t:R o t a t i o n-i n v a r i a n ta n di m a g es i m i l a r i t yc o n s t r a i n e dd e n s e l yc o n n e c t e dc o n v o l u t i o n a ln e t w o r kf o rp o l y pd e t e c t i o nCI n t e r n a t i o n a lC o n f e r e n c eo n M e d i c a lI m a g eC o m p u t i n ga n dC o m p u t e r-A s s i s t e dI n t e r v e n t i o n.L e e d s:S p r i n g e r,2 0 1 8:6 2 0 6 2 8.1 0F AN G Y Q,Z HU D L,YAO J H,e ta l.A B C-N e t:A r e a b o u n d a r yc o n s t r a i n tn e t w o r k w i t hd y n a m i c a lf e a t u r es e l e c t i o nf o rc o l o r e c t a lp o l y ps e g m e n t a t i o nJ.I E E ES E N SJ,2 0 2 1,2 1(1 0):1 1 7 9 9 1 1 8 0 9.1 1 刘然,刘建霞,王海翼.改进U-n e t+的青光眼视盘视杯分割方法J.电子设计工程,2 0 2 3,3 1(1):2 7 3 3.1 2 程立英,王晓伟,刘祖琛,等.基于深度学习的C T图像肺气管分割J.沈阳师范大学学报(自然科学版),2 0 2 2,4 0(6):5 5 8 5 6 4.1 3 刘佳伟,刘巧红,李晓欧,等.一种改进的双U型网络的结肠息肉分割方法J.光学学报,2 0 2 1,4 1(1 8):7 2 8 0.1 4 张志玮,叶曦,程维东,等.基于多层次自注意力机制的U-N e t图像分割算法J.江汉大学学报(自然科学版),2 0 2 3,5 1(1):7 9 8 8.1 5OK T AYO,S CHL EMP E RJ,F O L G O CLL,e t a l.A t t e n t i o nU-n e t:L e a r n i n gw h e r et ol o o kf o r t h ep a n c r e a sCI E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R).L e e d s:S p r i n g e r,2 0 1 8:2 7 8 2 8 6.1 6WAN GCY,HE Y,L I U YF,e ta l.S c l e r a S e g N e t:A ni m p r o v e dU-n e tm o d e lw i t ha t t e n t i o nf o ra c c u r a t es c l e r as e g m e n t a t i o nC I n t e r n a t i o n a lC o n f e r e n c eo nB i o m e t r i c s(I C B).L e e d s:S p r i n g e r,2 0 1 9:1 8.972 第3期 程立英,等:基于深度学习的结肠息肉检测算法