2025年机器智能辅助诊断眼底病变综述.doc

基于机器视觉的眼底病变辅助诊疗
1、眼科影像学在眼底病中的应用
世界卫生组织公布的权威数据显示，中国已成为世界头号盲人大国，且存在高致盲风险的低视力人群数也位居全球第一。据表明，面对总人数高达1.5亿之巨的盲人与存在视力问题的人群，平均每位眼科医生需要解决超出5000人的眼健康问题，几乎是一种“不可能完毕”的任务。存在着偏远地区缺少眼科专业医生，发达地区大型医院眼科医生供不应求的现状。
随着医学与当代科学的不停发展，医学影像学(Medical Imaging)就是众多与医学有关的新兴交叉学科之一，已广泛用于医学诊疗领域，在临床应用中可为疾病的诊疗提供大量科学和直观的根据，可配合临床的症状、化验等进行最后的精确病情诊疗，也可较好地应用于治疗方面。医学影像学是眼科疾病诊疗的基础，可获取诊疗和治疗所需的形态学、定性和定量的指标，其中，眼科影像学设备是眼科诊疗的核心。眼科影像学诊疗办法可分为：射线诊疗(x线、CT和MRI等)、声像诊疗(A超、B超、CDI和UBM)、眼底血管造影(FFA和ICGA)和光像诊疗(角膜地形图、晶状体形状图和眼底地形图等)，见表1.
表1 眼科影像学应用
眼科影像学办法
重要临床应用
裂隙灯显微镜
眼前节构造及有关病变检查
眼底摄影机
眼底视网膜、视网膜血管、视盘、黄斑及有关病变检查
荧光素眼底血管造影(FFA)
眼底血管形态、细微变化、视网膜血液循环和色素上皮层检查
吲哚青绿血管造影(ICGA)
视网膜、脉络膜循环构造和脉络膜血液循环状况检查
相干光断层成像(OCT)
视网膜、黄斑有关病变检查，眼前节构造、视神经纤维层测量
视网膜厚度分析仪
通过三维视网膜厚度地形图进行多个常见眼底病变的诊疗
A型超声
眼部的生物测量和病变性质判断
B型超声
眼球和眼眶组织的形态学检查
超声生物显微镜(UBM)
玻璃体周边检查和视网膜周边检查
彩色超声多普勒成像(CDI)
眼球、眶部血管性病变检查和肿瘤的血流特性检测
激光扫描检眼镜(SLO)
眼底血管造影，眼底及视功效检查
电子计算机断层扫描(CT)
眼球、眼眶及眶周组织病变检查
磁共振成像(MRj)
眼球、眼眶及眶周组织的软组织检查
随着社会经济的快速发展,生活水平的提高,生活模式的转变,以及人口老龄化的快速到来,全球糖尿病、高血压等病症的患病率和患者数正以惊人的速度增加。以糖尿病为例，我国近来糖尿病患病率增加了10倍左右,根据世界银行亚太地区报告的预测,糖尿病将在下一种十年成为我国最流行的疾病。糖尿病、高血压、高度近视患者都是患眼底病几率较大的人群。糖尿病性视网膜病变、高血压造成的视网膜动脉硬化等属于眼底病变，都可能造成失明或视觉损伤。眼底是指用肉眼无法窥见的眼球后段球内组织，眼底疾病变涉及了视网膜，脉络膜，视神经及玻璃体的炎症，肿瘤，各类血管的病变，多个变性疾病及多系统疾病引发的眼部病变。不仅种类繁多，并且对视功效损害较大。现在常见而又影响视功效的眼底疾病有糖尿病视网膜病变，老年性黄斑病变，视网膜静脉阻塞等等。眼底疾病变常见于动脉硬汉，高血压，糖尿病，肾炎，贫血，流感，结核，高度近视，颅内上位性病变等。如果能够得到尽早的诊疗和治疗，则能够有效的控制病情的发展；另首先，通过对眼底病变的观察，能够辅助诊疗其它疾病的发展。
常见的眼底病变影像诊疗方式有：
1、 检眼镜。现在惯用的直接检眼镜检查方式，费时费力，某些瞳孔较小的患者需要进行散瞳，易引发眼压升高，不合用于高血压、青光眼等不适于进行散瞳检查的患者。
2、 免散瞳眼底摄影。运用高感光原理,提高相机的感光度,使用较弱光线(瞳孔较大)对眼底进行摄影，能够在短时间获得图像，如果不清晰，则能够通过当代技术手段减少误差，方便资料存储。且成像清晰，能够看到更多细节，极大地缩短了诊疗周期，并减轻了散瞳剂给患者带来的痛苦。在控制质量上和二次获得图像方面，含有比较优势。同时也能在小瞳孔的条件下，将眼底图像加以统计，避免胶片作为存储介质的缺点。受试者能够获得良好依从性。
3、 荧光素眼底血管制影。是20世纪60年代兴起的眼科检查手段。运用荧光素钠做为制影剂畴前臂静脉快速注入，当荧光素钠随血流进入眼底血管时，通过一组滤色片的眼底摄影机，持续拍摄眼底血管外染料轮回时接受激发光线发射出的荧光形态，以察看视网膜动态轮回的过程，从而得以体会眼底血管的微细构造和微轮回的变化，为诸多眼底病的发病机理、诊疗、医治和预后评定供应按照。但不适应于患严重心、肝、肾疾病者或对药品有过敏史者、孕妇。
作为近视、糖尿病、高血压等健康疾病的多发国家，现在眼底病患数量日益增大而医疗力量局限性的现状，国家医改政策趋向于将病人留在社区，常见病、多发病、慢性病、眼科需接受分级治疗。而社区的眼科医疗队伍更是严重缺少。如果能用人工智能辅助进行眼底摄影图像筛选，对于合理国内医改越眼底摄影设备对于提高效率和整体治疗水平至关重要。
2、国内外眼底病变辅助诊疗研究的现状及存在的问题
2.1国内机器智能眼底病变辅助诊疗研究现状
现在国内从事眼底病研究的单位重要是有关研究所及某些高校和与某些高校合作的公司，研究内容与糖尿病和青光眼等疾病有关的居多，下面重要介绍一下对糖尿病视网膜病变的研究。
糖尿病视网膜病变(Diabetic Retinopathy , 简称DR)，发生在糖尿病损伤视网膜内部的微小血管时，这种微小的血管会在视网膜上渗出血液和液体，形成微脉瘤、出血、硬性渗出物、棉花斑和静脉环等特性。DR可广泛分为非增殖性糖尿病视网膜病变（NPDR）和增殖性糖尿病视网膜病变（PDR）。另外，糖尿病视网膜病变也是糖尿病最常见的微血管并发症之一，普通能够分为亮病变和暗病变，亮病变涉及硬溢出物和絮状体，暗病变涉及微脉瘤和出血。86%的1型糖尿病失明患者及约1/3的2型糖尿病失明患者因DR致盲,是成人失明的重要因素 ,在发达国家DR已成为其研究的首要内容。随着糖尿病患者数量急剧增多,因DR致盲和视力下降的患者日益增多。现在医学上多采用眼底荧光血管造影检查的办法，由有关医学专家观察鉴定后给患者的状况下结论，在互联网+发展快速的今天，视觉和听觉方面的医学病例研究越来越多的被注入了互联网的基因（特别是机器学习方面的因素）。临床医学研究表明：糖尿病性眼病的早期病变可通过视网膜和细微视神经组织构造的医学图像信息具体有关描述以下：
① 湖南湘潭大学张东波专家等人，在湖南省科技厅计划项目“糖尿病性视网膜眼底图像早期病变检测核心技术研究”中，运用 Gabor 滤波并结合边沿克制技术、多尺度和多滞后阈值等有关技术分割提取精细的血管构造；并运用多尺度匹配滤波和背景预计等有关技术对眼底病变中的微脉瘤检测，达成了40.9%的精确率。（根据微脉瘤的视觉可观察性，可将其划分为四类：微弱的、常规的、明显的、邻近血管的，其中微弱的和邻近血管的微脉瘤往往很难被对的检测，根据有关材料在Retinopathy Online Challenge网站上当时最佳的检测成果为40%。）
② 上海交通大学硕士林蔚在指导老师张继武的指导下，提出了基于K近邻图区域合并的视网膜硬性渗出自动检测研究算法。同样是采用了眼底图像增强技术进行预解决，然后根据灰度、颜色、对比度等方面的特性进行提取和分类。
③ 南京航空航天大学高玮玮等人，为谋求满足临床需求的硬性渗出自动检测办法,从而构建出基于眼底图像的糖尿病视网膜病变自动筛查系统,在运用Otsu阈值分割结合数学形态学快速提取出视盘的基础上,提出了两种硬性渗出自动检测办法(基于数学形态学的硬性渗出自动检测办法和基于RBF神经网络的硬性渗出自动检测办法),在此基础上还提出要采用后续解决以进一步提高检测精度,还就检测成果进行了比较。与其它硬性渗出自动检测办法相比,这两种办法在确保较高检测精度的基础上,效率也较高;在这两种办法之间,基于数学形态学的办法精度更高,基于RBF神经网络的办法效率更高;结合临床对硬性渗出自动检测快速、可靠性的规定,得出基于RBF神经网络的办法作为糖尿病视网膜病变自动筛查系统中的硬性渗出自动检测办法性能更优。
④ 福州大学潘燕红等人，提出基于SVM的眼底图像硬性渗出检测，对眼底图像进行数学形态学结合阈值办法的粗分割,得到硬性渗出的候选区域;然后在候选区域上提取特性,并在特性提取中引入调幅-调频(AM-FM)特性;接着用SVM分类出HEs（Hard Exudates 硬性渗出）和非HEs。在公开的糖尿病视网膜病变图像库DIARETDB1上进行实验,成果敏感性为91.1%,特异性为94.7%。表明该办法可对HEs进行可靠检测。
⑤ 华侨大学硕士杜雨峰在凌朝东专家的指导下，做了基于眼底图像的糖尿病视网膜病变检测系统的研究。他们在文章中提出要开发一套便携式眼底病变诊疗设备，使患者在视力受到损伤之迈进行定时的眼底检查，这在及早发现和及时治疗方面将发挥核心的作用，同时也能协助数百万处在医疗服务较差的地区的人们。文章中他们提出：“由于受眼底图片质量的影响，大部分的实验对的率会很低”，也因此提出了增强眼底图片质量的办法：对眼底图像进行HSI空间转换，在强度空间中值滤波后运用对比度受限直方图均衡技术进一步增强图像质量。接下来再将预解决好的眼底图像转换到色域更宽的lab空间，运用快速K均值聚类算法进行粗分割，然后运用SVM向量机对粗分候选区域进行硬性渗出（可能是高血压所造成的局部血管渗出，极有可能会损伤视力）提取。
2.2国外机器智能眼底病变辅助诊疗研究现状
由于多个因素的影响，国外科技发展进度始终处在领先状态，在眼底病研究方面，早在1996年，Gardner等人运用神经网络Back Propagation，BP）自动检测出了硬性渗出（Hard Exudates，HEs）；之后Walter 等人通过数学形态学对渗出物轮廓进行检测，然而作者无视了渗出物边界产生的某些错误，并且没有从絮状物中分离出渗出物；后来，Niemeijer M 等人直接从彩色图像中分离渗出物、絮状斑和脉络膜玻璃疣；再后来，Sopharak A 等人采用Fuzzy C-Means 聚类算法对视网膜病变病人的免散瞳低对比度数字图像进行渗出物自动检测；最后，L.Giancardo 等人提出基于Kirsch边沿检测算子和稳态小波的分析办法，在数据集DMED 中对硬性渗出进行分离，并在通用数据集上进行测试获得了良好的检测效果。固然多个新的办法也在陆续的提出，在这里就不一一赘述了。下面是近来几年国外有关学者做的有关研究：
① 新加坡南洋理工大学Acharya和Lim等人，根据糖尿病视网膜病变的多个特性，采用形态学图像解决技术和支持向量机（SVM）技术对糖尿病患者定时视网膜检查自动检测进行了有关的研究。他们对331幅眼底图像进行分类，并得到了五种分类成果：正常视网膜，轻度非增殖性糖尿病视网膜病变，中度非增生性糖尿病视网膜病变，严重非增殖性糖尿病视网膜病变和增殖性糖尿病视网膜病变。并使用图像解决技术从原始图像中提取出了血管、微量血液、渗出物和出血这四个特性，将这些特性传输SVM分类器进行分类，并达成了85%的精确率，82％以上的敏感度和86％的特异性（敏感度是实际有病并且被对的诊疗出来的概率，特异性就是实际没病并且被对的诊疗的概率，即敏感度高=漏诊率底，特异性高=误诊率低）。实验中他们对分类器（朴素贝叶斯分类器，Mahalanobis和k-最邻近分类器）进行了比较发现Mahalanobis分类效果最佳。
② 在糖尿病科学与技术杂志上Jayanthi Sivaswamy和Gopal Datt Joshi博士基于大多数糖尿病患者不能接受定时眼科护理，普通在部分视力丧失发作后诊疗的因素，提出并开发了一种基于web采集、分类糖尿病患者眼底病变图像的系统，预筛选系统来检查患者的眼底图像，并将有视网膜病变的患者信息转交给专家并反馈给患者，这样在很大程度上解决了专家稀缺的状况，并且它为初级保健者提供了一种低成本、有效且易于使用的筛选解决方案。另外经本系统统计，来检查的人当中，80%左右的人属于正常范畴。本设计中的创新点在于：将自动眼底图像分析整合到与web端摄像头配套的眼底照片拍摄仪上，将DR患者和非DR患者按照原则进行分类，这样解决了大规模疾病筛查中众所周知的挑战，自动质量评定模块确保转移符合分级原则的眼底图像。另外，这是一种易于使用的界面，含有新的可视化功效，专为案例审查而设计，还能收集多个有关DR患者的眼底图片，这样在方便患者和减轻专家工作压力的同时，尚有助于后期对DR自动识别诊疗的研究。
③ 美国新泽西州医学与牙科大学眼科与视觉科学研究所Anton M Kolomeyer等人，就眼底荧光造影（FAF）对于检测糖尿病视网膜病变的效果与否受彩色眼底照片的影响做了有关的实验，并发现微动脉瘤和脉络膜视网膜瘢痕在FAF图像上更容易看到。硬渗出物、视网膜前出血和纤维化、黄斑水肿和Hollenhorst斑块在彩色照片上更容易识别。因此，作为彩色眼底成像技术的FAF成像在眼底病筛查中检测糖尿病视网膜病变有进一步研究的价值。
④ 在糖尿病科学与技术杂志上Malavika Bhaskaranand和Chaithanya Ramachandra等人，对糖尿病性视网膜病变（DR）自动筛查分析提出了一种新的思路，他们对患者的眼底图像进行整顿并按像素分类整顿，把像素较低（影响临床诊疗）的图像临时搁置，对像素较好的图像进行增强解决（重要是增强血管、出血、棉花斑点、微脉瘤和黄斑水肿等特性），在去除边界干扰及噪声后使用监测工具对各特性像素点进行监测并进行标记和排定，运用一组特性描述符（多尺度中值滤波器组描述符，定向中值滤波器组描述符和其它建立的描述符）来描述由各个特性区域检测器识别的像素（其允许在多个尺度上进行本地描述）。 使用综合监督学习分类器对所计算的像素描述符进行分类，以获得描述属于MA（微脉瘤）的像素的置信度的鉴定统计，并用监督学习分类器分析杂交后的像素，用于鉴定微脉瘤，出血，硬渗出物，棉花斑点，黄斑水肿和新生血管形成。这样分类后的成果可达成90%的敏捷度和90%的特异性。也因此使用他们提出的自动化DR（糖尿病性视网膜病变）筛选和监测工具能够大大减少卫生保健系统的负担，同时为糖尿病患者提供更加好的护理。

将近年来的机器学习办法应用于眼底病变研究成果统计以下：

表2 机器学习应用于眼底病变（糖尿病）诊疗研究统计表

年份
研究者
诊疗内容
精确率
办法
数据来源

Acharya和Lim等人
不同程度糖尿病视网膜病变检测（Norm-al，Mild DR，Moderat-e DR,Severe DR,PDR）
平均敏感度：82%
平均特异性：86%
用形态学解决的办法增强图像，提取图像中的某些特性（血管、微量血液、渗出物和出血）加以筛选后输入SVM分类器进行分类识别
331幅五种像素为256x256的不同程度糖尿病患者视网膜图片，其中：Normal：62
Mild DR：73
Moderate DR：65
Severe DR：71
PDR：60

Jayanthi Sivaswam-y和Gopal Datt Joshi（博士）
筛选威胁性糖尿病视网膜病变患者
平均精确率超出90%
运用图像解决技术增强图像，筛选并检测与否有与DR有关的异常（微动脉瘤，硬/软渗出物和出血等），若有则统计并保存并同时向专家和患者发出反馈
119例糖尿病患者的临床实验，其中36例正常，33例轻度，23例中度，9例重度，3例PDR，15例黄斑水肿

Saima Waseem
黄斑病变（玻璃疣和渗出物）
平均精确率：92%
预解决（增强图像、去燥）后的第一阶段检测图像中的全部亮像素。从检测到的区域中删除可疑像素；在第二阶段，明亮区域通过支持向量机（SVM）分类出玻璃疣和渗出物
数据集为STARE的公开可用数据集，包含大小为700X605的123张图像，60幅图像与黄斑病变有关，63幅图像为糖尿病性视网膜病变。

Malavika Bhaskaranand和Chaithanya Ramachandra
糖尿病性视网膜病变（DR）
平均敏捷度：90%
平均特异性：63.2%
在增强图像去除边界干扰及噪声后使用监测工具对各特性像素点进行监测并进行标记和排定，运用一组特性描述符来描述由各个特性区域检测器识别的像素使用综合监督学习分类器对所计算的像素描述符进行分类
5084名糖尿病患者的40542张图像的数据集，像素从200万到1500万

A.L Nanayakk-ara和N. D Kodikara
渗出液和微脉动瘤
平均精确率：85%
用MATLAB预解决眼底图像，提取出渗出液或微脉瘤等用于检测异常阶段，使用统计模型将这些提取的特性转化为基于区域的统计数据，并将输出值发送给ANN
100名患者构成，涉及四类（健康，轻度，中度和重度）患者的眼底图像

Navkiran Kaur
视网膜眼底图像的红色病变（也叫出血）
平均敏感度：90.42%
平均特异性：92.53%
平均精确率：89.23%
用图像解决技术增强图像并在视网膜中定位出中心凹，平滑图像并找出候选区，运用形态运算和随机森林的组合分类办法来进行评定
从数据集DIARETDB1获得的50个视网膜图像

Radim Burget和Vaclav Uher
视网膜红色病变（微动脉瘤和出血）
平均敏捷度：89.1%
平均特异性：91.4%
采用基于形状的提取算法，方略性地选择三种基于形状的参数（面积，偏心度，周长），基于这些参数，能够从视网膜图像中提取红色损伤，有效并且独立于图像质量
数据集120张眼底图像，其中89张图像从DIARETDB1数据库中获取其它图像从本地医院的数据库中取出

May Phu Paing
病性视网膜病变的严重程度（血管，渗出液和微动脉瘤）
平均精确率：96%
通过应用人工神经网络（ANN），将糖尿病视网膜病变（血管，渗出液和微动脉瘤等）的面积，周长和数量等特性用于分类疾病阶段
数据集是来自DIARECTDB1和本地数据库的214张眼底图像

Wei Zhou和Chengdon- g Wu
红色病变（出血、微脉瘤）
平均敏捷度：91.89%
平均特异性：91.67%
对图像进行预解决（增强图像、去除噪声）并将膜图像调节为归一化照明和对比度条件，然后采用超像素分割获得红色构造，并从候选分割区域中提取一组特性，用FDA类器对候选地区进行培训和分类，最后去除血管和中心凹获得检测成果
数据集是由DiaretDB1数据库（原则糖尿病视网膜病变数据库校准级别1，版本1）提供的89幅RGB彩色眼底图像，固定的分辨率为1500×1152

谷歌公司
诊疗、防止眼病和失明

深度学习算法，正在进行中
摩菲眼科医院NHS信托基金过去数年收集的逾100万张眼睛扫描图

Norhasmir-a Mohamm-ad
微脉瘤
平均精确率：84.15%
预解决阶段用到使用伽马矫正进行绿色成分提取和底帽过滤的办法，通过应用高斯匹配滤波器来提取血管，然后使用某个阈值使其分段，最后用TEMPLAR算法进行分类
9个含有微脉瘤的图像的学习过程
3、现有研究基础及展望
现在，针对眼底图像分析问题，我们进行了部分预研工作，方案由下列几部分构成：

l 数据的来源：我们现有的数据是由北京某医院及该院有关医生提供的带有标记的眼底图像（共325幅分辨率为1536x1590的图片），图像的类型重要有黄斑病变类图片、糖尿病视网膜出血图片（微血管瘤）、需要临床检测的图片（无法检测类）、正常视网膜图片等，由于其中某些数据的质量问题（图片含糊，具体的病变特性显示不出来），给识别图片中的特性造成了麻烦。

下面是根据已有数据分出的六类图片中的一部分：
视网膜分支静脉阻塞类 黄斑病变类

微血脉瘤类（糖尿病视网膜病变） 正常眼底图像

中浆类 视网膜出血类

部分技术细节以下图所示：
将精确率低的某一类单独取出来做二分类，对整体精确率低的重新进行特性提取
眼底图像预解决
根据数据集的大小设立隐含层的数目，并不停地修改参数，可用遗传算法解决
对每类图像添加0~4的标签，并生成对应的计算机可识别的日志文献
神经网络的训练
隐含层数目
阈值及传递参数
网络参数的选择
对数据加标签
神经网络的预训练
生成日志文献
增强图像质量，裁剪图像尺寸，对强度进行均衡化解决
质量不达标的图像筛除

均衡化解决
数据预解决
图像的筛选
图像的获取
掩模解决

实验分析
实验可能碰到的瓶颈

整体精确率都很低
某一类精确率太低

这些问题都是由于数据量过少引发的，能够通过对二维图像进行三维重建生成我们需要的数据

数据不均衡化
数据过拟合

实验成果的评判原则

l 数据预解决及实验设备的准备：现在我们的设备重要是用于深度学习的带有GPU的计算机（包含了用于深度学习的caffe框架）。图像的预解决阶段是采用数字图像解决技术，以使图像中的特性显示更突出，减小图像的大小从而提高算法的运行速度。
以图像掩模解决为例。掩模是由0和1构成的一种二进制图像，当在某一功效中应用掩模时，1值区域被解决，被屏蔽的0值区域不被涉及在计算中。通过指定的数据值、数据范畴、有限或无限值、感爱好区和注释文献来定义图像掩模，也能够应用上述选项的任意组合作为输入来建立掩模。具体环节：首先提取感爱好区,用预先制作的感爱好区掩模与待解决图像相乘,得到感爱好区图像,感爱好区内图像值保持不变,而区外图像值都为0（提取感爱好区）；然后用掩模对图像上某些区域作屏蔽,使其不参加解决或不参加解决参数的计算,或仅对屏蔽区作解决或统计（屏蔽作用）；再用相似性变量或图像匹配办法检测和提取图像中与掩模相似的构造特性（构造特性提取）；最后用选定的图像、图形或物体,看待解决的图像(全部或局部)进行遮挡,来控制图像解决的区域或解决过程（目的图形的制作）。其中用于覆盖的特定图像或物体称为掩模或模板。实验中我们首先用图像掩模缩小眼底图像感爱好区（Region of Interest，ROI）边界，对图像进行阈值转换分割，通过实验拟定达成分割效果最佳时的阈值，然后对图像进行两次形态学开运算，从背景和前景区域移除细社区域，得到最后的图像掩模，将原图与得到的掩膜图像相乘，得到背景无噪音的图像，而感爱好区不变，最后对眼底图像的尺寸进行裁剪，以减少解决时间，在掩模图像边框上下左右各增加20个像素来进行修剪，得到最后的图像掩模和待解决图像（首先缩减了图像的尺寸提高了算法的运行速度，另首先也突出了感爱好区域）。

l 提取血管特性后的眼底图像
l 神经网络的训练及数据的验证和测试：对于网络的选择，我们现有的网络模型有goole-net、image-net和alex-net三个网络（这三个网络分别适应于不同大小的数据集的分类），对于神经网络的训练，重要是参数的选择以及隐含层的设立（隐含层数目、传递参数及阈值的选择我们能够结合遗传算法，进行最优化选用，使实验效果尽量的好）；根据原325幅彩色眼底图像，经筛选后合格的图像有300幅，训练集我们用150幅图像，验证集用50幅图像，测试集用100幅图像（每类眼底图像都包含）。对实验的效果的评定我们用相对精确率来衡量，即每一类都有TP（把P类对的分类为P类的高概率），FP（把其它类错误分到P类的概率），Accuracy（总体分类对的的概率），实验中对于对的率较低始终无法提高其精确率的类别能够将其单独的分离出来，对其它做完分类后再对其进行二分类实验，本次实验是在caffe框架下用其本身包含的几个模型来学习训练，由于神经网络的自适应学习特点，对特性明显的数据分类普通会达成比较好的效果。

3.1存在的问题
针对国内外眼底病研究的分析和预研的基础上，我们发现现在眼底图像辅助分析存在下列突出问题：
1、 现有研究多基于一类特定病变进行，尚未出现一种能够针对多类眼底病变的辅助诊疗模型，在实际应用中自动诊疗仍然无法获得良好效果。
2、 现有研究往往基于一类眼底图像进行，缺少不同图像之间的融合信息。不同类型的眼底图像，在辅助诊疗效果上方面也存在着差别。例如，眼底荧光造影获得的黑白图像与彩色眼底图像对于不同病变特性的凸显作用存在很大的差别。
3、 眼底图像的质量与数量将在很大程度上影响实验的成果，除个别研究机构外，普遍采用的图像数量较少，有较大的提高空间。
4、 眼底病变中有些特性的干扰因素太强，现在尚未找到较好的消除办法，造成识别效果不佳。例如：许多红色病变特别是出血与血管连通，造成难以达成完全删除它们；许多微脉瘤的尺寸都非常小，并且与血管很靠近，很难做到较好的分割效果；外来因素造成出血与病变造成出血特性还没能有具体的区别；
5、 现有研究多采用二维数据进行，缺少立体信息。如果能运用二维图像，对眼球进行三维立体建模，对于眼球病变辅助诊疗将非常有益。
3.2解决方案
针对上述问题，我们在预研的基础上提出了下列的解决方案及技术路线。
1、 针对多类常见眼底病变，建立统一眼底模型；
2、 采用不同设备采集眼底信息，对多通道眼底信息进行融合分析；运用多个类眼底影像信息提高辅助诊疗的精确新；
3、 分析眼底相机成像机制，采用更适合解决眼底图像形变的图像预解决办法，增强特性；
4、 运用深度学习技术取代传统机器学习，构造针对多类病变的含有高分辨和泛化能力的分类器；
5、 尝试进行眼球病变的三维立体建模。采用合成模型生产样本的方式，增大深度学习训练集样本数量，并用真实样本矫正的方式建立回归模型。或者考虑运用生成对抗网络进行病变分类的训练和提高；
6、 设计并实现眼底病变辅助诊疗系统，以网站或者移动端APP的形式，构造一种眼底病变远程诊疗（预判）/分级医疗预诊（咨询）平台。
建立统一的眼底模型

对不同的眼底信息进行多通道融合

眼底病变种类繁多
不同的设备采集的眼底信息不同
运用三维建模增加深度学习训练样本数据集

数据集过少，数据不均衡
传统的分类器无法达成抱负的效果
构造针对多类病变的含有高分辨和泛化能力的分类器
眼底病变辅助诊疗系统设计
用网站或APP构造一种眼底病变远程诊疗平台

不同特性的整合
建立统一模型
运用二维数据抽象三维模型型
纹理合成三维建模
将三维模型从不同角度投影
投影图像与不同的背景融合
将融合的新图片作为训练集
现流行的深度学习有传统分类器不可比拟的优势，结合深度学习构造分辨能力更强的分类器
特性提取
解 决
方 案
眼底相机采集的眼底照片存在变形
采用适宜的预解决办法，增强图像的特性

预解决
图像均衡化（归一化）解决
严重影响特性的图应舍弃
掩模解决，去除边沿化等
根据图像特性提取多维特性向量
多通道信息融合
分级医疗预诊
远程诊疗
图示以下：

4、期待获取的支持与协助
现在我们的预研实验离抱负效果还存在着很大的提高空间，迫切的需要得到眼科专业人员的支持和协助。根据前期的工作分析，现在我们需要的协助重要有下列方面：
1、 需要采集更多的眼底图像；
2、 需要专业人员对图像上的特性区域进行标记，并建立图像类别标签；
3、 需要专业人员指导选择2-3类（常见/有临床研究意义）的病变种类进行研究
现在，项目组的人员重要为重庆大学计算机学院的青年教师，均为计算机专业博士及硕士，项目重要实施地点为重庆市软件工程重点实验室。现在课题构组员负责的有关课题有国家自然科学基金项目2项，分别是三维建模及植物病害诊疗；另外还承当及完毕省部级项目多项。
我们深知，医务工作者工作量大、责任重大；需要您们在本职工作之外对此项目进行支持，我们深表感谢，并非常爱惜本次合作机会。我们期待，项目的研究能够有所突破，能够对国内眼科影像医学的发展有一点协助。