基于U-Det模型对肺内小结节CT图像良恶性鉴别的价值分析.pdf

研究论著RESEARCH WORK36中国医疗设备 2023年第38卷 09期 VOL.38 No.09引言肺实质中细胞的不规则和不可控生长是肺结节形成的主要原因之一，在早期检测和分析肺组织中的这些结节可大大提高患者的生存机会，并有助于治疗。CT 因在肺结节筛查中的高性能而被广泛用作体格检查的工具。根据肺部 CT 筛查报告，实性结节评分 4 分以上（结节大小超过 8 mm）则怀疑为恶性，建议进行额外的诊断1。除了结节大小外，放射科医生还会根据毛刺、分叶和胸膜反应等放射学特征进行倾向诊断2。然而，由于这些病灶的错误分类，过度诊断和高假阳性率仍然存在，这与这些特征在 CT 图像上的外观和扫描参数在层厚和对比度增强方面的相似性有关。在精准医疗理念及数字技术、深度学习网络快速发展下，以医学与数字技术紧密联系，应用网络模型诊断、预测各种疾病具有一基于U-Det模型对肺内小结节CT图像良恶性鉴别的价值分析张靖中国中医科学院西苑医院 器材供应科，北京 100091摘 要 目的 探讨U-Det模型对肺内小结节CT图像良恶性鉴别的价值。方法 选取2021年6月至2022年1月于我院经病理检查的150例肺内小结节患者样本图片，留取恶性样本（n=104）及非恶性样本（n=46），扩增至各800张。按照73比例随机分为训练集样本（n=1120）和验证集样本（n=480）。根据训练样本对预训练的卷积神经网络架构ResNet50进行训练，建立卷积神经网络计算机辅助系统，测试筛选肺内小结节恶性病变方面的能力；同时选取LUNA16的1400张病理图片作为测试集，测试U-Det模型的诊断效能。结果 U-Det模型中训练样本的平均损失率为0.126%0.046%，验证样本的平均损失率为0.135%0.053%。U-Det模型中训练样本的平均准确度为88.42%4.21%，验证样本的平均准确度为89.01%4.09%。受试者工作特征曲线显示，U-Det、U-Net和ResNet50模型预测准确度递减（P0.05）；LUNA16测试集下U-Det模型的诊断准确度、敏感度、特异性、阳性预测值、阴性预测值最高，U-Net次之，ResNet50最低。结论 U-Det模型对肺内小结节CT图像良恶性鉴别价值较高，可将其用于肺内小结节良恶性诊断。关键词 肺内小结节；计算机断层扫描；卷积神经网络；加权双向特征网络Analysis of the Value of U-Det Model in Differentiating Benign from Malignant Small Pulmonary Nodules on CT ImagesZHANG JingDepartment of Equipment Supply,Xiyuan Hospital of China Academy of Chinese Medical Sciences,Beijing 100091,ChinaAbstract:Objective To investigate the value of U-Det model in differentiating benign from malignant pulmonary nodules on CT images.Methods Samples of 150 patients with small pulmonary nodules who underwent pathological examination in our hospital from June 2021 to January 2022 were selected.Malignant samples(n=104)and non-malignant samples(n=46)were retained and increased to 800 samples each.According to the ratio of 73,the samples of training set(n=1120)and verification set(n=480)were randomly divided into two groups.According to the training samples,the pre-trained convolutional neural network architecture ResNet50 was trained,and the convolutional neural network computer aided system was established to test the ability of screening malignant lesions of small pulmonary nodules.Meanwhile,1400 pathological images of LUNA16 were selected as the test set to test the diagnostic value of U-Det model.Results The average loss rate of training samples in U-Det model was 0.126%0.046%,and the average loss rate of verification samples was 0.135%0.053%.The average accuracy of training samples and verification samples in U-Det model was 88.42%4.21%and 89.01%4.09%respectively.The receiver operating characteristic curve showed that the prediction accuracy of U-Det,U-Net and ResNet50 models decreased successively(P0.05).The diagnostic accuracy,sensitivity,specificity,positive and negative predictive values of U-Det model in LUNA16 test set were the highest,followed by U-Net and ResNet50.Conclusion U-Det model has a high value in the differential diagnosis of benign from malignant pulmonary nodules on CT images.It can be used in the diagnosis of benign from malignant small pulmonary nodules.Key words:small pulmonary nodules;computed tomography;convolutional neural network;U-Det中图分类号 R197.39 文献标识码 Adoi：10.3969/j.issn.1674-1633.2023.09.005 文章编号 1674-1633(2023)09-0036-05收稿日期：2023-03-08作者邮箱：研究论著RESEARCH WORK37中国医疗设备 2023年第38卷 09期 VOL.38 No.09定可行性3。基于 U-Net 肺结节分割方法在肺结节分割中具有一定价值，但在肺内小结节分割方面的卷积神经网络架构仍不成熟4-5。为应对有效特征提取和适应肺结节异质性的挑战，本研究旨在提出一种改进的 U-Net结构，即具有加权双向特征网络（U-Det），将其用于多种形式肺结节的分割中，以期提高恶性肺内小结节的确诊率。1 资料与方法1.1 一般资料 选取 2021 年 6 月至 2022 年 1 月于我院就诊并经病理检查的 150 例肺内小结节患者作为研究对象，留取恶性样本（n=104）及非恶性样本（n=46）。纳入标准：肺结节良恶性经病理学证实6；CT 检查前未接受相关治疗；患者及其家属签署知情同意书。排除标准：厚度超过 3 mm 的薄层 CT 图像；使用造影剂拍摄的 CT 图像；既往存在肺部手术史。1.2 方法1.2.1 CT图像采集病理确诊前，研究对象均行胸部 CT 平扫（仪器：GE Optima 型 64 排 CT 扫描仪），扫描范围：肺尖处至双肺后肋膈角。参数设置：管电压：120 kV；管电流：200 mA；螺距：0.560 1；图像矩阵：512512；视野：360 mm；层厚/层间隔均为 10 mm。采用高分辨率算法重建，重建层厚为 1.25 mm。结果由两名胸部放射科医师独立审查影像归档和通信系统上的所有 CT 图像包括病变大小、毛刺和分叶等特征并达成共识后确定。留取恶样本及非恶性样本，扩增至各 800 张。按照比例 7 3随机分为训练集样本（n=1120）和验证集样本（n=480），同时选取 1400 张 LUNA16 数据集图片作为测试集样本。1.2.2 数据预处理采用统计参数图软件 SPM12 将原始 CT 图像数据集行三维重建，利用 CT 数据中的序列，将多个 DICOM转换为单个 NIFI 格式文件，以保留肺的空间特征。采用宽 高 深（WHD）表示数据尺寸行切片层数整理，首先找到切片中第一层肺组织的切片位置，将此层位置作为 Start 层，后根据标签定位至 End 层（最后出现肺组织的 CT 图像位置），以上述两层所在位置为基础，将切片层数扩展至 S 层（数据最完整地包裹肺，根据数据量情况得知 S 层为 20）。该步骤存在以下几种情况：以 Start 和 End 作为中心，向 S 层扩展；Start 层以上层数较 End 层往下少时，以 Start 为基础，往 End 层方向扩展至 S 层，反之往 Start 方向扩展至 S 层；若数据层数无法达到 S 层，则将该部分数据去除。1.2.3 肺图像的分割过程对 CT 图像进行下采样操作以保留肺图像的空间位置和形状特征，降低图像的尺寸大小，以最大限度保留目标器官的图像位置信息。设置抽取因子（R=4），在横截平面上对 CT 图像进行下采样处理后得到 CT 图像数据为 XR。经过预处理后，整理原始数据 X 的尺寸（51251220）。基于下采样原理，在横截面下采样后设置数据维度为（W/R）（H/R）20，使肺图像维度降为 12812820。采样后的 CT 图像 XR作为粗分割阶段的 U-Det 网络训练输入，下采样后 CT 图像作为输入，根据上述步骤构建 U-Det 网络模型。以 YR（Y为肺轮廓标签集，抽取因子 R=4）作为模型标签，获取感兴趣的候选区域（根据粗分割模型输出）。保持 U-Det网络结构基本不变，适当改进维度大小对粗分割的结果进行上采样操作，将上述采样操作获得的特征作为细分割输入，确保分割阶段能将肺组织所有图像包裹。1.2.4 模型体系结构U-Det 模型基于 U-Net 的编码器、解码器主干，以及在 Efficient-Det 中实现的功能丰富器 Bi-FPN，特征网络的输出分别与解码器结构相结合，用于肺结节分割。本研究提出的模型利用 U-Network 的骨干网与 Bi-FPN相结合的方式完成肺结节的分割任务，在 U-Det 模型编码部分，每一层分辨率包含 33 的卷积核（2 个）和损失函数（1 个），为确保网络模型快速收敛，行归一化处理（标准差和均值），实现整体数据更新处理。另外，基于全卷积网络的 U-Net 编码器获取 CT 图像（CT 扫描的 1 个切片），并输出 5 个相应深度处特征，这些特征是 Bi-FPN 的相应输入以特征网络的输出分别与解码器架构相结合，获得低层细粒度特征与高层语义特征的组合。具体 U-Det 模型结构如图 1 所示。1.2.5 U-Det模型的构建以 512512 图像作为输入，输出 512512 掩码。收缩路径由两个 33 卷积重复应用组成，每个卷积后有 1 个非线性 Mish 激活函数和 1 个 22 最大步长的池化操作，用于输入图像特征的下采样。将 5 个深度处的特征输入 Bi-FPN 中，输出的特征向量输入扩展段中。展开路径中的每一步均对特征图进行上采样，然后进行22 卷积，将每个深度上的特征通道数量减半。首先在骨干网的最后一层，得到 51251264 特征图经过两次 33 卷积；其次是 Mish 激活函数和最后一个 11卷积块；最后是 sigmoid 激活函数，从而得到形状为512512的输入CT图像的掩码对应的logits。将在U-Det卷积神经网络模型中输入预处理图片并进行训练，最后将验证集输入模型中以进行验证。研究论著RESEARCH WORK38中国医疗设备 2023年第38卷 09期 VOL.38 No.091.2.6 训练方法在模型的训练阶段，训练过程中模型优化算法采用Adam 法，初始学习率：110-5，权重衰减：0.0001，动量：0.9。同时，利用两个样本的批次大小来训练模型。在后处理阶段，批大小 batch_size 为 8。数据预处理后得到肺结节图片。1.3 统计学分析采用 Python 3.6.5（Win64）软件处理数据，计数资料采用 n（%）表示，采用 2检验；连续变量以x-s表示，采用 t 检验，以 P0.05），见表 1。表1 两组临床资料比较一般资料恶性组（n=104）非恶性组（n=46）2/t值P值结节直径/（x-s，mm）14.153.2613.114.021.5440.127结节位置/n（%）左上叶37（35.58）12（26.09）1.3060.253 左下叶15（14.42）10（21.74）1.2290.268 右上叶54（51.92）22（47.83）0.2140.644 右中叶18（17.31）6（13.04）0.4320.511 右下叶16（15.38）5（10.87）0.5400.4622.2 U-Det模型构建结果U-Det 模 型 中 训 练 样 本 的 平 均 损 失 率 为0.126%0.046%，验 证 样 本 的 平 均 损 失 率 为0.135%0.053%，见图 2。U-Det 模型中训练样本的平均准确度为 88.42%4.21%，验证样本的平均准确度为89.01%4.09%，见图 3。2.3 U-Det模型对肺内小结节的良恶性识别如图 4 所示，U-Det 模型能有效预测结节良恶性，辅助临床医生对疾病进行诊断。2.4 U-Det、U-Net和ResNet50模型的混淆矩阵U-Det 模型诊断准确度、敏感度、特异性、阳性预测值、阴性预测值最高；除特异性外，U-Net 模型的各项指标均高于 ResNet50 模型，见表 2。图1 基于U-Net的主干网络使用ResNet50的卷积神经网络进行下采样图3 U-Det模型构中训练组及验证组准确度图2 U-Det模型构中训练组及验证组损失情况研究论著RESEARCH WORK39中国医疗设备 2023年第38卷 09期 VOL.38 No.09表2 U-Det、U-Net和ResNet50模型的混淆矩阵模型模型诊断病理诊断准确度/%敏感度/%特异性/%阳性预测值阴性预测值恶性 良性U-Det恶性 1998 14692.40 96.06 84.13 93.19 90.42良性82774U-Net恶性 1765 28280.10 84.86 69.35 86.22 66.95良性 315638ResNet50恶性 1532 26872.80 73.65 70.87 85.11 54.33良性 5486522.5 U-Det、U-Net和ResNet50模型的预测价值比较受试者工作特征（Receiver Operator Characteristic，ROC）曲线显示，U-Det、U-Net 和 ResNet50 模型预测准确度递减，其中 U-Det 模型预测 AUC 最高为 0.924（95%CI：0.9000.943），U-Net 模型次之为 0.801（95%CI：0.7680.832），ResNet50 模 型 最 低 为 0.728（95%CI：0.6920.763），两两对比差异具有统计学意义（U-Det vs.U-Net，Z=4.966，P0.001；ResNet50 vs.U-Net，Z=2.195，P=0.028；ResNet50 vs.U-Det，Z=4.966，P0.001），见图 5。2.6 LUNA16测试集下U-Det、U-Net和ResNet50模型的混淆矩阵LUNA16 测试集下 U-Det 模型的诊断准确度、敏感度、特异性、阳性预测值、阴性预测值最高，U-Net 次之，ResNet50 最低，见表 3。表3 LUNA16测试集下U-Det、U-Net和ResNet50模型的 混淆矩阵模型模型诊断病理诊断准确度/%敏感度/%特异性/%阳性预测值/%阴性预测值/%恶性 良性U-Det恶性 6354192.43 90.71 94.14 93.93 94.14良性65659U-Net恶性 54714878.50 78.14 78.86 78.71 78.86良性 153552ResNet50恶性 47324566.29 67.57 65.00 65.88 65.00良性 2274553 讨论肺癌的早期诊断和分析需要在 CT 图像中精确有效地分割肺结节，这对随后的分析结果有重大影响，为确保诊断准确度，放射科医生必须检查包含 150500 个切片的 CT 扫描，这无疑会增加工作难度7-8。此外，CT图像中结节的匿名形状、视觉特征和周围环境给肺部结节的稳健分割带来了挑战。临床通过用简单阈值和基于形态学的方法对肺结节进行分割，但由于肺结节的大小和类型有很大差异、从粘连型结节（胸膜旁和血管旁）到毛玻璃样阴影结节导致稳健分割非常困难9-10。因此，急需一个稳健的分割网络来适应大规模结节问题。在计算机视觉领域，卷积神经网络已成为主流架构11-12，在乳腺癌13、头颈癌14、肝癌15等癌症中能为临床医生制定一个准确的诊断提供参考意见的形态学评估期间组织病理学图像，以减少人为错误诊断。Peng等16对结节予以多视图卷积神经网络进行分割，可分别从 3 个视点（矢状面、轴面和冠状面）对结节特征进行分析；Baldwin 等17认为采用增强金字塔池化卷积网络可有效提高肺结节分割性能，该网络架构能同时融合低级细粒度和高级功能的特征；另一方面，完全卷积网图4 U-Det模型对肺内小结节的良恶性识别 注：a.原始影像；b.实际结节；c.预测结节。图5 U-Det、U-Net和ResNet50模型对肺内小结节预测价值ROC曲线研究论著RESEARCH WORK40中国医疗设备 2023年第38卷 09期 VOL.38 No.09络是分割 CT 图像的不同方法，U-Net 作为完全卷积神经网络的一种架构，在生物医学成像领域中，该模型在分割任务上取得了较好的成果。Tang 等18提出的 2D U-Net 架构和 3D U-Net 方法是更适合生物医学成像的分割方法。然而，截至目前，用于肺结节分割任务的卷积神经网络架构仍不成熟。因此，开发处理以前体系结构缺点的高级体系结构至关重要。由于部分肺结节图像具有目标区域小、边缘模糊等情况，其训练时均采用原始U-Net 模型，将会出现特征利用率低、梯度消失等问题，最终对模型分割准确度造成一定程度的影响19-20。基于此，本研究尝试在 U-Net 模型的基础上，针对原始 U-Net模型的不足，提出了一种改进的肺结节分割法即 U-Det模型。该算法可有效增强网络算法对特征的传递与利用，缓解不平衡问题，并对肺结节等小目标区域的分割具有较大的改善作用。本研究对肺内小结节患者 CT 图像建立 U-Det 模型并对U-Det辅助诊断平台进行深度训练及临床数据验证，结果显示，随着迭代次数增加，U-Det 模型训练和验证损失随之减小、准确度逐渐增加并趋于稳定，U-Det 模型能准确预测肺内小结节良恶性；且采用 LUNA16 图片作为测试集进行测试后发现，U-Det 模型诊断价值最高。但由于肺结节种类相对较多、肺结节的判断标准相对复杂，本研究所收集的数据集尚不能充分体现肺结节的多样性，后期需增加样本量进行进一步研究。随着技术的进步，在肺结节检测中计算机辅助诊断系统或将发挥重要作用，未来还将开发基于 U-Det 组件的 3D 无监督胶囊网络，用于肺癌的全自动恶性分类。4 结论本文提出了一种使用 U-Det 分割肺部结节的高效改进 U-Net 结构的模型，是一种端到端的深度学习方法。该模型通过骨干 U-Net 架构提取和解码特征地图，Bi-FPN 通过合并多尺度特征融合充当特征丰富器。通过对所提方法结果的评估和可视化，能成功地分割结节病例，提高肺结节分割的精度，并为医生诊断提供辅助资料。参考文献1 孟祥峰,李佳戈,郝烨,等.病灶大小对肺结节辅助检测产品测试结果的影响J.中国医疗设备,2022,37(10):14-17.Meng XF,Li JG,Hao Y,et al.Effects of lesion size on test results of computer aided detection products for pulmonary noduleJ.China Med Devices,2022,37(10):14-17.2 Hu L,Gao J,Hong N,et al.Simultaneous preoperative computed tomography-guided microcoil localizations of multiple pulmonary nodulesJ.Eur Radiol,2021,31(9):6539-6546.3 石用伍,李小勇,石用德,等.基于注意力机制的空时融合深度学习睡姿监测算法研究J.中国医疗设备,2022,37(7):39-44.Shi YW,Li XY,Shi YD,et al.Attention-based spatial temporal fusion deep learning sleeping posture monitoring modelJ.China Med Devices,2022,37(7):39-44.4 Rocha J,Cunha A,Mendona AM.Conventional filtering versus U-Net based models for pulmonary nodule Segmentation in CT imagesJ.J Med Syst,2020,44(4):81.5 Liu W,Luo J,Yang Y,et al.Automatic lung segmentation in chest X-ray images using improved U-NetJ.Sci Rep,2022,12(1):8649.6 中华医学会呼吸病学分会肺癌学组,中国肺癌防治联盟专家组.肺结节诊治中国专家共识(2018年版)J.中华结核和呼吸杂志,2018,41(10):763-771.7 石海,杨凡,黄嘉海,等.基于人工神经网络模型的肺癌CT图像分割算法J.中国医疗设备,2019,34(10):86-89.Shi H,Yang F,Huang JH,et al.An algorithm of lung cancer CT image segmentation based on artificial neural network modelJ.China Med Devices,2019,34(10):86-89.8 Ashraf SF,Yin K,Meng CX,et al.Predicting benign,preinvasive,and invasive lung nodules on computed tomography scans using machine learningJ.J Thorac Cardiovasc Surg,2022,163(4):1496-1505.9 崔兆国,吴昊,汤敏,等.重建层厚(1/2/3 mm)对人工智能检测肺结节效能的影响J.中国医疗设备,2020,35(10):103-105.Cui ZG,Wu H,Tang M,et al.Effect of reconstruction thickness(1/2/3 mm)on effectiveness of artificial intelligence in detecting pulmonary nodulesJ.China Med Devices,2020,35(10):103-105.10 Kitahara H,Nagatani Y,Otani H,et al.A novel strategy to develop deep learning for image super-resolution using original ultra-high-resolution computed tomography images of lung as training datasetJ.Jpn J Radiol,2022,40(1):38-47.11 Baji F,Orel O,Habijan M.A multi-purpose shallow convolutional neural network for chart imagesJ.Sensors(Basel),2022,22(20):7695.12 Kim GR,Lee E,Kim HR,et al.Convolutional neural network to stratify the malignancy risk of thyroid nodules:diagnostic performance compared with the American college of radiology thyroid imaging reporting and data system implemented by experienced radiologistsJ.AJNR Am J Neuroradiol,2021,42(8):1513-1519.13 Zhang Y,Chen JH,Chang KT,et al.Automatic breast and fibroglandular tissue segmentation in breast MRI using deep learning by a fully-convolutional residual neural network 下转第52页研究论著RESEARCH WORK52中国医疗设备 2023年第38卷 09期 VOL.38 No.09Technol,2020,39(7):92-94.8 崔宏恩,朱茂林,张新白,等.基于可穿戴智能手环的血氧饱和度性能评估研究J.工业计量,2020,30(S1):1-5.9 劳婉仪,肖翔,黄劲,等.基于运用ProSim 8型生命体征模拟器进行数字心电图机质控检测的研究与实践J.计量与测试技术,2023,50(1):69-74.Lao WY,Xiao X,Huang J,et al.Research and practice of quality control detection of digital electrocardiograph based on Prosim 8 vital signs simulatorJ.Metrol Meas Tech,2023,50(1):69-74.10 陈俊峰,刘建海.心电监护仪血氧饱和度测量系统的常见故障J.医疗装备,2019,32(4):133-134.11 牛帅,李娜.医用监护仪的质量控制J.医疗装备,2020,33(13):33-34.12 Biebuyck JF,Severinghaus JW,Kelleher JF.Recent developments in pulse oximetryJ.Anesthesiology,1992,76(6):1018.13 ISO 80601-2-61,Medical electrical equipment-part 2-61:particular requirements for basic safety and essential performance of pulse oximeter equipmentS.本文编辑 盛伟CU-NetJ.Acad Radiol,2019,26(11):1526-1535.14 Osman A,Tamam NM.Attention-aware 3D U-Net convolutional neural network for knowledge-based planning 3D dose distribution prediction of head-and-neck cancerJ.J Appl Clin Med Phys,2022,23(7):e13630.15 He B,Yin D,Chen X,et al.A study of generalization and compatibility performance of 3D U-Net segmentation on multiple heterogeneous liver CT datasetsJ.BMC Med Imaging,2021,21(1):178.16 Peng H,Sun H,Guo Y.3D multi-scale deep convolutional neural networks for pulmonary nodule detectionJ.PLoS One,2021,16(1):e0244406.17 Baldwin DR,Gustafson J,Pickup L,et al.External validation of a convolutional neural network artificial intelligence tool to predict malignancy in pulmonary nodulesJ.Thorax,2020,75(4):306-312.18 Tang S,Yang M,Bai J.Detection of pulmonary nodules based on a multiscale feature 3D U-Net convolutional neural network of transfer learningJ.PLoS One,2020,15(8):e0235672.19 Park J,Yun J,Kim N,et al.Fully automated lung lobe segmentation in volumetric chest CT with 3D U-Net:validation with intra-and extra-datasetsJ.J Digit Imaging,2020,33(1):221-230.20 Ko YF,Cheng KS.U-Net-based approach for automatic lung segmentation in electrical impedance tomographyJ.Phys Meas,2021,42(2):025002.本文编辑 盛伟C上接第40页