基于深度学习的角膜活体共聚焦显微镜图像辅助识别系统的构建及应用.pdf

D0I:10.3760/cma.15989-20230101-00001临床研究.129.ChinJbrilai.Vol.42.No.2中华实验眼科杂志2 0 2 4年2 月第42 卷第2 期基于深度学习的角膜活体共聚焦显微镜图像辅助识别系统的构建及应用颜瑜琳蒋维艳程思敏！周奕文于薏郑碧清？杨燕宁！1武汉大学人民医院眼科中心，武汉430 0 6 0；武汉大学资源与环境学院，武汉430 0 7 9通信作者：杨燕宁,Email：o p h y y n 16 3.c o m【摘要】目的构建基于深度学习的角膜活体共聚焦显微镜（IVCM）图像人工智能（AI)辅助识别系统，并评估其在临床上的应用价值。方法采用诊断试验研究方法，收集2 0 2 1年5月至2 0 2 2 年9 月于武汉大学人民医院及武汉大学中南医院行IVCM检查的331例受试者18 8 6 0 张角膜IVCM图像，经资深角膜专家对图像进行筛选分类后用于模型的训练及测试。模型包括低质量图像过滤模型、角膜图像诊断模型及角膜上皮层、前弹力层、基质层和内皮层4个层次识别模型，判断正常及异常角膜图像与对应角膜层次。选取36 0 张独立于数据库的IVCM图像进行人机大赛，比较3位角膜专业高年资医师与人工智能对图片识别的准确度及用时。另选取8 位未经过IVCM培训且临床经验少于3年的低年资医师对36 0 张图像进行无模型辅助及模型辅助下识图，对2 次评估结果进行差异分析以评估模型辅助效果。结果本诊断模型筛选高质量图像的准确度为0.9 54,在内部及外部测试集中，识别角膜正常/异常图像的总体准确度分别为0.9 16 和0.8 9 6；在识别正常及异常图像的角膜层次中，内部测试集的准确度分别达到了0.9 8 3及0.9 2 5，外部测试集分别达到了0.988及0.9 2 9。人机大赛中，模型总体的识别准确度为0.8 7 8，与3名高年资医师的平均准确度相近，且评估速度远高于高年资医师，约为其30 0 倍。低年资医师经机器辅助后对图像正/异常及层次诊断的总体平均准确度为0.8 16 0.0 43,明显高于模型辅助前的0.6 6 9 0.0 6 1,差异有统计学意义（t=6.304,P0.001）。结论成功构建了一种基于深度学习的IVCM角膜图像辅助识别系统，可以较准确地分辨正常/异常图像并诊断图像对应角膜层次，能够提高临床诊断效率并辅助医师训练学习。【关键词】显微镜，共焦；角膜；人工智能；深度学习基金项目：国家自然科学基金（8 17 7 0 8 9 9）；湖北省重点研发计划（2 0 2 0 BCB055）；武汉大学人民医院交叉创新人才项目（JCRCZN-2022-007）Construction and application of a deep learning-based assistant system for cornealinvivoconfocalmicroscopy images recognitionYan Yulin,Jiang Weiyan,Cheng Simin,Zhou Yiwen,Yu Yi,Zheng Biqing,Yang YanningDepartment of Ophthalmology,Renmin Hospital of Wuhan University,Wuhan 430060,China;School of Resource andEnvironmental Sciences,Wuhan University,Wuhan 430079,Cth.n.oYanninAbstractObjective To construct an artificial intelligence(AI)-assisted system based on deep learning forcorneal in vivo confocal microscopy(IVCM)image recognition and to evaluate its value in clinical applications.Methods A diagnostic study was conducted.A total of 18 860 corneal images were collected from 331 subjects whounderwent IVCM examination at Renmin Hospital of Wuhan University and Zhongnan Hospital of Wuhan Universityfrom May 2021 to September 2022.The collected images were used for model training and testing after being reviewedand classified by corneal experts.The model design included a low-quality image filtering model,a corneal imagediagnosis model,and a 4-layer identification model for corneal epithelium,Bowman membrane,stroma,andendothelium,to initially determine normal and abnormal corneal images and corresponding corneal layers.A human-machine competition was conducted with another 360 database-independent IVCM images to compare the accuracy andtime spent on image recognition by three senior ophthalmologists and the Al system.In addition,8 trainees withoutIVCM training and with less than three years of clinical experience were selected to recognize the same 360 imageswithout and with model assistance to analyze the effectiveness of model assistance.This study adhered to theDeclaration of Helsinki.The study protocol was approved by the Ethics Committee of Renmin Hospital of WuhanUniversity(No.WDRY2021-K148).Results The accuracy of this diagnostic model in screening high-qualityimages was 0.954.Its overall accuracy in identifying normal/abnormal corneal images was 0.916 and 0.896 in theinternal and external test sets,respectively.Its accuracy reached 0.983,0.925 in the internal test sets and 0.988,0.929in the external test sets in identifying corneal layers of normal and abnormal images,respectively.In the human-machine:130ChinJExpOphthalmol,February2024.Vol.42.No.2中华实验眼科杂志2 0 2 4年2 月第42 卷第2 期competition,the overall recognition accuracy of the model was 0.878,which was similar to the average accuracy of thethree senior physicians and was approximately 300 times faster than the experts in recognition speed.Trainees assistedby the system achieved an accuracy of 0.8160.043 in identifying corneal layers of normal and abnormal images,whichwas significantly higher than 0.6690.061 without model assistance(t=6.304,P0.001).Conclusions A deeplearning-based assistant system for corneal IVCM image recognition is successfully constructed.This system candiscriminate normal/abnormal corneal images and diagnose the corresponding corneal layer of the images,which canimprove the efficiency of clinical diagnosis and assist doctors in training and learning.Key wordsMicroscopy，c o n f o c a l;Co r n e a;A r t i f i c i a l i n t e l l i g e n c e;D e e p l e a r n i n gFund program:National Natural Science Foundation of China(81770899);Major Project of Research andDevelopment Program in Hubei Province（2 0 2 0 BCB0 55);In t e r d i s c i p l i n a r y In n o v a t i v e T a l e n t s Fo u n d a t i o n f r o mRenmin Hospital of Wuhan University(JCRCZN-2022-007)D0I:10.3760/115989-20230101-00001角膜作为视觉形成的第一步，其透明度及屈光率可使光线折射进人眼内并聚焦于视网膜上，故角膜各层次的结构及功能损伤可导致视力下降，甚至致盲1。角膜疾病,如颗粒状角膜营养不良、Fuchs角膜内皮营养不良等可主要损害角膜单一层次，而感染性角膜炎、角膜机械性损伤及眼化学伤等则可造成多层次，甚至全层角膜损伤2 。同时，糖尿病及类风湿性关节炎等全身疾病亦可对角膜造成影响3。活体共聚焦显微镜（invivo confocalmicroscopy，IVCM）作为一种非人侵性的成像工具，可从细胞层面观测角膜及其在病理状态下的结构变化，拥有实时、无创、可反复检查及高分辨率等优点4,对多种角膜疾病的临床诊断具有重要参考价值，临床应用已日渐广泛。对角膜微观结构变化进行监测也有助于优化角膜病的针对性管理及评估患者全身疾病预后5-6 。但在实际工作中，由于IVCM镜头单次可拍摄面积较小（40 0 m400m），详细评估角膜时需采集大量图像，人工分析非常费时费力并不可避免具有主观性7 ，且IVCM阅片也对医师的经验及相关专业知识具有一定要求，医师常常需要一定的培训周期才能区分角膜各层次形态及判断其是否正常。早期诊断对于角膜疾病的精准治疗及预防角膜盲均有重要意义8 ，据世界卫生组织统计，约8 0%的角膜盲可避免，而目前全球发达国家及发展中国家的眼科医师均存在短缺情况9 ，提高角膜图像阅片时的准确度以及诊断效率，可为临床及科研工作减负、提高医师工作效率并有望给予更多角膜病患者快速准确的诊疗。人工智能（artificial intelligence，A I）的不断进步正在改变各个医学领域的筛查、诊断及治疗方式10 ,AI在眼科疾病中的应用也在过去10 年中有着显著发展。目前，AI在辅助IVCM图像中对角膜上皮细胞、角膜神经、角膜内皮细胞、真菌菌丝、树突状细胞及炎性细胞等多种结构的分割、量化及鉴别方面都取得了重大突破-14，其阅片速度及准确度均表现出优秀的性能，然而目前尚无对于角膜层次判断及识别角膜图像正/异常的相关研究。本研究拟构建AI辅助下IVCM图像的自动诊断模型,探讨其在临床应用中的效能及用于角膜疾病智能筛查的可行性。1资资料与方法1.1一般资料1.1.1IVCM图像来源采用诊断试验研究方法，收集2 0 2 1年5月至2 0 2 2 年9 月于武汉大学人民医院眼科中心及武汉大学中南医院进行IVCM检查（HRT/R CM，德国HeidelbergEngineering公司）患者的角膜图像。所有病例均来源于医院信息系统，所有IVCM图像均由工作经验超过15年的资深眼科IVCM检查医师经严格规范操作后采集，图像进行匿名处理后再用于标记及模型训练。本研究遵循赫尔辛基宣言，研究方案经武汉大学人民医院伦理委员会审核(批文号：WDRY2021-K148)1.22方法1.2.1IVCM图像筛选、预处理及分类共纳人武汉大学人民医院眼科中心2 46 例患者17 6 7 5张及武汉大学中南医院8 5例患者118 5张IVCM图像。图像先经角膜专业高年资医师筛选，分为清晰的高质量图像及因过曝、光线不足、对焦不清晰、拍摄模糊或接触不佳等情况所致低质量图像。高质量图像经光学字符识别提取深度信息，先统一转换为38 4像素38 4像素大小再进行分类。依据2 0 14年版活体角膜激光共聚焦显微镜图谱和2 0 2 1年版眼表活体共聚焦显微镜图谱，同时参考2 名临床经验超过2 0 年的角膜医师意见，制定如下分类标准：（1）正常图像标准正常上皮层图像为视野内出现的上皮细胞均结构完整，形态清晰，密度均匀；正常前弹力层图像背景为均质中度反光，可见粗细、弯曲度及密度适中的高反光神经纤维；正常基质层图像为无特征暗反光背景及边界清晰的基.131ChinJorial.Vol.42.No.2中华实验眼科杂志2 0 2 4年2 月第42 卷第2 期质细胞核，可见少量粗大高反光基质神经；正常内皮层图像为排列规则的均匀5 7 边形细胞，细胞边界清晰。（2）异常图像标准异常上皮层图像可见上皮细胞水肿、结构不清、间隙增大和/或出现炎性细胞等；异常前弹力层图像中可见明显的神经纤维迁曲、变细及密度降低，有10 个以上未活化的朗格汉斯细胞、有1个及以上活化的朗格汉斯细胞和/或椭圆形炎性细胞等；异常基质层图像可见基质细胞肿胀、活化、松针样高反光瘢痕及出现阿米巴包囊、真菌菌丝、真菌孢子、新生血管等异常结构；异常内皮细胞图像可见内皮细胞肿胀、变性、营养不良及任意角膜后沉积物等。该标准主要是为了提高灵敏度以尽可能多筛选出异常图像。图像首先由角膜专业高年资医师参照分类标准依图像特征分为正常及异常图像，然后分别依角膜层次分类为上皮层、前弹力层、基质层及内皮层。后弹力层因其厚度极薄并与角膜内皮细胞贴附紧密，故所收集图像较少，并且其临床意义相对有限，目前相关研究多集中于角膜移植领域，故不参与训练。将分类后图像划分为训练集、内部测试集、外部测试集及验证集，不同数据集分类详情见表1，纳入病例的临床诊断及对应例数见表2。1.2.2角膜IVCM图像自动诊断模型建立团队既往曾进行其他眼科图像的AI分类研究,经探索发现Res-Net-50作为目前稳定、简洁且高效的残差学习架构，十分适用于眼科图像分类，故本研究沿用了基于Res-Net-50的深度学习网络模型进行图像分类训练，使用EarlyStopping、D r o p o u t 以及数据集扩增来降低过拟合风险。具有4个NVIDIA GeforceGTX2080（G PU 内存8GB）的服务器被用于训练模型，计算机算法使用Python（3.6.5版）编写，开源TensorFlow库（1.12.2 版）和Keras库（2.2.5版）作为后端研究初期有针对层次及正/异常分类在模型中的顺序进行探索，依据模型时效性及准确度，最终建立模型训练流程如下：（1）深度卷积网络1(deep convolutional neural network 1,DCNN1)将图像分为高质量图像与低质量图像；(2)DCNN2对高质量图像进行识别，将其分类为正常及异常图像；（3)DCNN3、D CNN4、D CNN5及DCNN6由DCNN3及DCNN4分别将正常及异常图像分类为上皮/内皮层、前弹力层及基质层；再由DCNN5及DCNN6分别将正常及异常的上皮/内皮层图像分类为上皮层及内皮层图像。整体流程设计符合眼科模型建立的伦理要求15。详细模型训练流程见图1。表1收集数据的基本信息及数量Table1Information and quantity of the data collected患者例数图像图像数量年龄各层次图像数量（张）数据集(n）质量（张）(xs,岁)上皮层前弹力层基质层内皮层训练集180高质量1019547.32 4.691.50118875887920低质量2964内部测试集45高质量326049.65 5.775601103964633低质量896外部测试集85高质量1.18546.18 5.13267316310292人机大赛及新手21高质量36050.246.056289106103辅助识图数据集注：/：因大部分低质量图像无法明确角膜层次，故各层次数量均不进行单独统计Note:/:Because most of the low-quality images could not determine the corneal layers,thenumber of each layer was not counted separately表2纳入病例的临床诊断及对应数量Table2Clinical diagnosis and number of included cases正常及各类角膜疾病患者例数（n）数据来源感染性Fuchs角膜神经营养前葡萄角膜移角膜正常干眼其他角膜炎营养不良性角膜炎膜炎植术后化学伤武汉大学人民医院9353181512108829武汉大学中南医院311588352311正常图像正常上皮/内皮层角膜层次图像识别3分类识别上皮/内皮层上皮层前弹力层正常图像正常上皮/内皮层图像图像质量识别正常/异常图像识别内皮层基质层DCNN50DCNN3高质量图像正常图像输人图像高质量图像异常图像异常上皮/内皮层角膜层次图像识别低质量图像异书图像3分类识别上皮/内皮层DCNN1DCNN2上皮层前弹力层异常图像异常上皮/内皮层图像内皮层基质层DCNN6DCNN4图1模型训练流程图DCNN：深度卷积网络Figure1Flowchartof model trainingDCNN:deep convolutional neural network?132：ChinJExpam(briiar2024.Vol.42.No.2中华实验眼科杂志2 0 2 4年2 月第42 卷第2 期1.2.3评价指标1.2.3.1模型准确性验证1个内部测试的数据集（武汉大学人民医院）及1个外部测试的数据集（武汉大学中南医院）被用于评估模型的性能。采用准确度、特异度、敏感度、受试者工作特征曲线（receiveroperatingcharacteristic curve,ROC）、R O C曲线下面积（a r e a u n d e r c u r v e，A U C）、阳性预测值（positivepredictivevalue，PPV）和阴性预测值（negativepredictivevalue,NPV)评估模型准确性。1.2.3.2角膜IVCM图像诊断人机大赛模型训练完成后，另选取独立于机器训练集及测试集的图像360张，邀请3位拥有10 年以上工作经验的角膜专业高年资医师参与人机大赛。3位医师分别独立对图像表现正常/异常及图像层次进行诊断，并在测试中由同一名研究人员记录耗时，同时图像经模型重复评估3次获得相应的模型准确度及用时，最后比较3位医师及模型评估结果的准确性及评估用时。1.2.3.3模型辅助低年资医师阅片使用与人机大赛同一批图片，另邀请8 位未经过IVCM培训且临床经验少于3年的眼科医师分别在无机器辅助及有机器辅助（图像先由计算机进行评估并以标签形式显示结果）的情况下独立对36 0 张图片进行诊断并记录结果，比较2 次评估的准确度。1.3统计学方法采用SPSS25.0软件（美国IBM公司）及MedCalc19.1-64位软件（比利时MedCalcSoftware公司）进行统计分析。计量资料数据经Shapiro-Wilk检验证实符合正态分布，以xs表示。人机大赛中高年资医师及机器的诊断准确度比较采用独立样本t检验，计算机辅助前后低年资医师的诊断准确度比较采用配对样本t检验。P0.05为差异有统计学意义。2结果2.1模型识别准确性验证(1)计算机模型DCNN1在内部测试集中对高质量图像分类识别的准确度为0.9 54，敏感度为0.960,特异度为0.9 40,PPV为0.983,NPV 为 0.8 6 0。(2)DCNN2在内部测试集中对异常图像分类识别的准确度为0.916，敏感度为0.9 10，特异度为0.9 2 1,PPV为0.917,NPV为0.9 15；在外部测试集中准确度为0.896，敏感度为0.9 45，特异度为0.8 47,PPV为0.862,NPV为0.9 38。（3)DCNN3在内部测试集中对正常图像层次识别的总体准确度为0.9 8 3，其中对上皮/内皮层识别的准确度为1.0 0 0，对前弹力层识别的准确度为0.9 58,对基质层识别的准确度为0.9 8 6；在外部测试集中对正常图像层次识别的总体准确度为0.988,其中对上皮/内皮层识别的准确度为1.0 0 0,对前弹力层识别的准确度为0.9 6 2,对基质层识别的准确度为0.9 9 3。（4)DCNN4在内部测试集中对异常图像层次识别的总体准确度为0.9 2 5,其中对上皮/内皮层识别的准确度为0.9 0 9,对前弹力层识别的准确度为0.9 0 0,对基质层识别的准确度为0.9 8 5；在外部测试集中对异常图像层次识别的总体准确度为0.9 2 9，其中对上皮/内皮层识别的准确度为0.9 16,对前弹力层识别的准确度为0.8 9 3，对基质层识别的准确度为0.988。（5)D CNN5及DCNN6对正常及异常图像上皮及内皮层识别的准确度在内部及外部测试集中均为1.000。D C NN1和DCNN2对图像高/低质量及正/异常分类的混淆矩阵及ROC曲线见图2；DCNN3、DCNN4、D CNN5和DCNN6对图像层次识别的混淆矩阵见图3。3.00014005002.500紫亚1200紫工842541532131500904002.0001000章8003001500紫者13731231000143145460033562200400500100低质量高质量异常200正常正常异常预测值A预测值预测值C101.0L.00.80.80.80.60.60.6.40.40.4Q.20.2Q.2ROC.curve(aren=0.9886)Roccurve(aren=0.9682)ROCcurve(area=.0,9701)0.20.40.60.81.00.20.40.60.81.00.20.40.60.800D1.01-特异度1-特异度1-特异度图2DCNN1、D CNN2 和DCNN3模型的混淆矩阵及ROC曲线A：D CNN1模型（内部测试）混淆矩阵B:DCNN2模型（内部测试）混淆矩阵C:DCNN3模型（内部测试）混淆矩阵D:DCNN1模型（内部测试）ROC曲线AUC=0.989E：D CNN2 模型（内部测试）ROC曲线AUC=0.968F:DCNN2模型（外部测试）ROC曲线AUC=0.970ROC：受试者工作特征曲线Figure 2 Confusion matrix diagrams and ROC curve of DCNN1,DCNN2 and DCNN3 modelsA:Confusion matrix diagram of DCNN1（I n t e r n a l t e s t)B:Confusion matrix diagram of DCNN2(Internal test)C:Confusion matrix diagram of DCNN3(Internal test)D:ROCcurveof DCNN1(Internal test)AUC=0.989E:ROC curveof DCNN2(Internal test)AUC=0.968F:ROCcurveof DCNN2(External test)AUC=0.970ROC:receiver operating characteristic curve.133ChinJebruary2024.Vo1.42.No.2中华实验眼科杂志2 0 2 4年2 月第42 卷第2 期6003005003005006080532193425025040028502754002002003002147904654330014150150200200032310031010080547514031001005050上皮/前弹力层基质层上皮/前弹力层基质层上皮层内皮层上皮层0内皮层内皮层预测值内皮层预测值预测值C预测值D250140140250120284002524192001202001351321001001508080615101501114261006060100014901434040101481115950502020上皮/前弹力层基质层上皮/前弹力层基质层上皮层内皮层上皮层内皮层000内皮层内皮层预测值?预测值?预测值预测值?图3DCNN3、D C NN4、D C NN5和DCNN6模型的混淆矩阵A：D CNN3模型（内部测试）B:DCNN4模型（内部测试）C:DCNN5模型（内部测试D:DCNN6模型（内部测试）E：D CNN3模型（外部测试）F：D CNN4模型（外部测试）G:DCNN5模型（外部测试）H:DCNN6模型（外部测试）Figure3(Confusion matrix diagrams of DCNN3,DCNN4,DCNN5 and DCNN6 modelsA:DCNN3(Internaltest)B:DCNN4(Internal test)C:DCNN5(Internal test)D:DCNN6(Internaltest)E:DCNN3(Externaltest)F:DCNN4(Externaltest)G:DCNN5(Externaltest)H:DCNN6(External test)2.2人机诊断准确度比较针对36 0 张独立测试图像，模型及高年资医师对正常及异常图像分类识别的平均准确度分别为0.9 2 2 0.000和0.9 16 0.0 0 8，对图像层次识别的平均准确度分别为0.9 56 0.0 0 0 和0.9 510.0 0 5，总体准确度分别为0.8 7 8 0.0 0 0 和0.8 8 10.0 0 9。模型在正常/异常判断、层次识别及总体诊断的准确度均与3名高年资医师相近，差异均无统计学意义（t=0.749,P=0.495;t=1.487,P=0.300;t=-0.498,P=0.645）。高年资医师用时最短为3155s，平均8.7 6 4s/张；最长用时349 1s，平均9.6 9 7 s/张；模型评估用时11s，平均0.0 31s/张，评估速度远高于高年资医师，约为其30 0 倍（表3）。表3人机识别IVCM角膜图像的准确度及用时比较Table3Comparison of accuracy and time of identifyingcorneal IVCM images between the model andophthalmologists人机识别IVCM角膜图像准确度分类用时（s）正常/异常层次总体模型0.9220.9560.87811眼科医师10.9170.9530.8693155眼科医师20.9280.9440.8923.491眼科医师30.9080.9560.8833.420注：IVCM：活体共聚焦显微镜Note:IVCM:in vivo confocal microscopy2.3模型辅助前后低年资医师诊断准确度比较低年资医师经机器辅助后对图像正/异常及层次诊断的总体平均准确度为0.8 16 0.0 43，明显高于模型辅助前的0.6 6 9 0.0 6 1，差异有统计学意义（t=6.304,P0.001)(图4)。机器辅助前机器辅助后低年资医师1低年资医师2低年资医师3低年资医师4低年资医师5低年资医师6低年资医师7低年资医师80.40.50.60.70.80.91.0诊断准确度图4模型辅助前后低年资医师图像诊断准确度比较Figure 4 Comparison of imaging diagnosis accuracy of traineesbetween without and with model assistance3讨论本研究利用2 个三分类及4个二分类模型对9 种IVCM图像（低质量图像及高质量的正常上皮、异常上皮、正常前弹力层、异常前弹力层、正常基质、异常基：13 4ChinJExpOphthalmolFebruary2024.Vol.42.No.2中华实验眼科杂志2 0 2 4年2 月第42 卷第2 期质、正常内皮、异常内皮）进行识别诊断。首先利用DCNN1进行高质量图像筛选；利用DCNN2进行正常及异常角膜图像识别；利用DCNN3、D CNN5进行正常角膜图像的层次识别；利用DCNN4、D CNN6 进行异常角膜图像的层次识别。同时，虽然该网络为针对单张图片而非单个患者的诊断识别，实际临床操作中检查者会为每例患者采集几十到几百张不等的图片，只要将单个患者全部图像输人模型即可获得所采集图像的正/异常及层次识别结果，从而得到针对该患者IVCM检查的整体诊断。近年来，深度学习技术已被广泛应用于眼科疾病的诊断、鉴别及防治【16-19 ，美国食品药品监督管理局也于2 0 18 年批准了首个基于AI的糖尿病视网膜病变自主诊断工具2 0 。同时，机器学习在对裂隙灯显微镜图像、眼前节光学相干断层扫描（opticalcoherencetomography，O CT）、黄斑OCT及眼底造影等多种眼科前后节图像进行诊断、分割、量化及计算中均获得了令人瞩目的成果果【10.2 1-2 ,，如利用卷积神经网络构建了眼科B型超声的玻璃体视网膜疾病辅助诊断系统、基于深度学习的活动性角膜感染及角膜瘢痕区分模型等2 3-2 4。在IVCM识图领域，目前也有相关研究发现AI可辅助角膜神经的量化与分割、神经纤维曲率分级、神经纤维与树突状细胞及真菌菌丝鉴别、活化树突状细胞与炎性细胞的识别及角膜内皮细胞分割与形态参数评估等7.13.2 5-2 6 ，充分说明深度学习适用于辅助IVCM图像进行多种结构识别。但现有研究多围绕单一层次的角膜图像或部分具体组织展开，而角膜由多个层次构成，因此开发一个适用范围更广并能全面评估角膜图像的辅助识图模型有利于弥补这一研究领域的空白。Res-Net-50是一种具有计算负担小、易优化等优点的残差学习框架，是基于现有深度网络训练基础上提出的，其包含1个全连接层和49 个卷积层的优秀残差网络模型，可用来解决退化和梯度问题2 3。本研究中采用Res-Net-50创建了基于6 个深度神经网络的机器模型用于观察AI在筛选高质量图像、诊断正常/异常图像及识别角膜层次方面的能力，结果表明该模型在过滤低质量图像及识别图像表现正/异常方面具有较好的准确度、特异度及敏感度，并在区分角膜上皮层、前弹力层、基质层及内皮层4个层次上具有很高的诊断效能。人机比赛证明该模型具有与高年资角膜专家相当的准确度且识别速度远高于高年资医师，约为其30 0 倍。同时，低年资医师在经模型辅助后对IVCM图像识别的准确度明显提高，其中部分低年资医师的诊断准确度甚至接近高年资医师。上述结果表明，该模型在辅助评估IVCM图像中具有巨大的应用潜力，并有望助力实际临床科研工作中大批量图像的筛查分类，便于眼科医师快速集中地查看患者的异常图像或统一获取研究所需特定层次及类型的图像。本研究仍存在一定的局限性。首先，由于模型针对图像的识别结果是定性的，对实际异常的特征，如上皮层炎性细胞、基质层菌丝及内皮层角膜后沉着物等并不能进一步做定量或分级评估，本课题组计划在下一步研究中扩大训练的样本量，尝试针对不同异常特征进行分割识别。其次，虽然本研究已尽可能多地纳人临床角膜疾病的图像，但由于数据来源均为固定时间内的回顾性收集，仍有临床较少见的角膜疾病未能纳入；同时，模型训练依赖足够的样本数据，而部分纳人研究的疾病图像数量相对有限，不足以针对异常图像做进一步的病种识别，对于此问题，本课题组拟后期联合多家医院以建立病种更多、样本量更大的数据库用于模型训练优化，可综合分析患者各层次IVCM图像表现，增加对疾病病种的识别同时提高模型识别精度，以期将AI技术更好地应用于临床及科研，利于眼科智能医疗的普及综上，本研究开发了基于深度学习的角膜IVCM图像智能诊断模型，结果表明其拥有较高的准确度、特异度及敏感度，可辅助临床医师更快、更好地识别角膜IVCM图像。该模型有利于减轻人工阅片及诊断的工作量，后续有望结合移动终端帮助临床经验较少或角膜专业医师缺乏的社区和基层医院学习、识别角膜疾病的IVCM图像，也有助于针对大批量患者角膜疾病的筛查及获取研究所需特定角膜层次图像。利益冲突所有作者均声明不存在利益冲突作者贡献声明月颜瑜琳：设计试验、实施研究、采集数据、分析/解释数据、文章撰写；蒋维艳：实施研究、采集数据、分析数据；程思敏：实施研究、采集数据；周奕文、于薏：设计试验、实施研究、采集数据；郑碧清：参与人工智能模型搭建及测试；杨燕宁：参与试验设计、文章审阅及定稿参考文献I Kumar A,Yun H,Funderburgh ML,et al.Regenerative therapy for thecorneaJ/0L.Prog Retin Eye Res,2022,87:1010112023-06-10.https:/www.ncbi.nlm.nih.gov/pmc/articles/PMC8918435/.D01:10.1016/j.preteyeres.2021.101011.2 Durand ML,Barshak MB,Chodosh J.Infectious keratitis in 2021J.JAMA,2021,326(13):1319-1320.D0I:10.1001/jama.2021.0424.3 Wang EF,Misra SL,Patel DV.In vivo confocal microscopy of thehuman cornea in the assessment of peripheral neuropat