顾及地学特征的遥感影像语义分割模型性能评价方法.pdf

第 卷第 期自 然 资 源 遥 感.年 月 .:./.引用格式:刘立董先敏刘娟.顾及地学特征的遥感影像语义分割模型性能评价方法.自然资源遥感():.(.():.)顾及地学特征的遥感影像语义分割模型性能评价方法刘 立 董先敏 刘 娟(.自然资源部第三地理信息制图院成都 .自然资源部数字制图与国土信息应用重点实验室成都)摘要:深度语义分割目前已经被广泛应用于国土遥感监测和遥感解译生产领域针对现有语义分割结果质量评价方法无法反映语义分割结果在空间几何特征上保持情况的客观问题文章从遥感解译与测绘生产的实际需求出发提出了一种顾及地学特征的遥感影像语义分割模型性能评价方法 连通相似性指数()从遥感地物图斑连通相似性层面将地学特征嵌入语义分割模型性能评价体系 该方法可以定量评估遥感影像语义分割结果与实际样本标签的图斑连通相似性程度准确描述预测分类结果中图斑完整性的保持情况从而更加客观地判断预训练模型是否适用于测绘生产的遥感解译工作 经过大量实践证实该评价方法可以更好地实时监测和控制模型训练有效地指导从预训练模型集合中选取最优性能的模型准确地评估顾及地物几何特征的遥感影像预测结果的真实质量对深度学习赋能遥感解译与测绘生产具有重要作用关键词:性能评价 语义分割 地学特征 遥感解译 深度学习中图法分类号:文献标志码:文章编号:()收稿日期:修订日期:基金项目:四川省重点研发计划项目“面向国土空间规划的自然资源三维智能化管控关键技术研究与应用”(编号:)和自然资源科技创新发展项目“自然资源技术融合研究与应用示范”(编号:)共同资助第一作者:刘 立()男本科工程师主要从事自然资源调查监测与地理信息工程应用研究:.通信作者:董先敏()女研究生工程师主要从事行业地理信息服务应用研究:.引言近年来深度学习因特征提取能力强和识别精度高等优点已在计算机视觉和图像处理的语义分割领域取得重大进展并得到广泛的应用 在国土遥感监测和遥感解译生产领域将深度学习规模应用于地表覆盖分类、要素提取更新和地物变化分析等生产实践已经显著提高了遥感影像图载信息的提取效率 深度学习在遥感图像中的应用不同于自然图像遥感图像通常具有更复杂多样的模式和更丰富的时空光谱信息因此对语义分割结果的评价方法提出了更高的要求目前混淆矩阵作为语义分割模型性能评价的重要工具作为高级统计指标的标准输入计算准确率、精确率、召回率和 等各种评价指标从而绘制 曲线和 曲线等更全面地评价和比较语义分割模型的性能 国内外学者将形态轮廓()、微分形态剖面()、马尔可夫随机场()、局部二进制模式()、像素形状指数()、对象相关指数()和形状大小指数()等方法用于影像分类精度的评价 等提出了一种基于光谱相似性的图像对象的属性 来描述分类结果的空间特征 段嘉鑫提出了图像分割结果的逐像素误差谱的概念通过解码器预测细粒度的分割结果误差谱实现了分割结果的局部质量信息获取以及像素级的分割质量评价 党宇以图幅为评价基本单元对单一地类图斑评价有效性及混合图斑的评价策略进行研究及实验验证 郑明国等将包括目标语义信息和地学先验知识的地学知识嵌入遥感影像深度语义分割引导网络训练以提高分割结果的可解释性和可靠性 从国内外的研究现状来看顾及地学特征的深度学习语义分割模型性能评价的方法研究较少性能评价维度缺少空间关系特征尚难以有效支撑时空异质的遥感影像语义分割结果的评价主要问题表现在 个方面:评价对象是像素粒度像素只关注最低第 期刘 立等:顾及地学特征的遥感影像语义分割模型性能评价方法层次的局部特征信息无法满足高层次面向目标对象的遥感地物解译需求 评价准则是像素分类是否正确没有考虑到空间位置因素的影响无法直接反映预测结果在空间几何特征上的保持情况遥感影像智能解译是遥感应用落地的核心和关键技术而语义分割性能的准确评价是实现遥感影像智能解译的基础 性能评价体系应满足像素和对象等不同层级的需求遵循位置精度与逻辑完整性准则 本文从时空异质遥感解译和测绘生产的角度出发在分析现有模型评价体系的基础上提出一种顾及地学特征的遥感影像语义分割模型性能评价方法 连通相似性指数()在充分考虑像素归类是否正确的基础上以连通图斑(即像素群)为粒度聚焦空间位置和空间关系以真实标签和预测标签的连通序列相似程度来进行语义分割性能评价以期为模型训练的实时监测、预训练模型的最优选择和遥感影像预测结果的质量评价提供可靠的技术支持 模型性能评价问题分析语义分割是深度学习领域一种典型的面向像素级别的计算机视觉技术其性能评价指标是建立在表征图像预测分类结果的情形分析表即混淆矩阵的基础上 混淆矩阵元素是预测分类结果的统计值 在评价语义分割性能时标记图像至关重要为性能提供了逼近的标准 表 为目前常用的语义分割性能评价指标的内容与意义 评价指标将混淆矩阵中数量的结果表征为 之间的比率便于进行标准化的衡量 然而在遥感影像应用于测绘生产的实践过程中预期解译结果需要由聚集的像素群转换为保持地物空间特征的矢量化面状图斑如聚集成块的建筑群和保持带状连通的道路表 常用评价指标.指标意义准确率正确预测的样本占总样本的比例精确率“正确被预测为正”占所有“实际被预测为正”的比例召回率“正确被预测为正”占所有“应该被预测为正”的比例 以遥感图像中建筑物的语义分割为例在图()中共有 个格网每个格网代表一个像素共 个像素其中灰色像素格网表示目标遥感地物边界共 个像素 经过卷积神经网络训练后得到具备识别该遥感地物能力的模型对遥感影像进行预测呈现 类预测结果:图()预测的遥感地物轮廓保持较好的完整性图()遥感地物轮廓不完整但是地物的空间位置保持比较准确图()遥感地物部分像素虽然预测正确但完整性极差 种预测标签的准确率、精确率和召回率指标的计算结果如表 所示 可以发现虽然 种预测标签形状不同但同一评价指标的数值相同无法定量地评估预测标签的质量()真实标签()预测标签()预测标签()预测标签 图 真实标签和预测标签对比示意图.表 预测标签评价指标结果.指标图()图()图()准确率.精确率召回率.从遥感解译后处理的角度来看图()经过孔洞填充可以达到较为理想的结果图()经过小图斑过滤可以较好地保留空间位置而图()结果几乎没有实用价值所以期望结果的顺序应该为:图()图()图()综上在遥感应用场景的特殊需求下常规性能评价方法很难满足实际要求已经无法有效地指导遥感影像预测结果的质量评价 设计本文的目的是针对语义分割模型预测遥感影像探索出一种评价预测标签真实质量的方法并非是要替代现有的评价指标体系所以本文在现有的评价体系中增加图斑连通相似性评价以期在现有自 然 资 源 遥 感 年的评价指标无法区分的区间进一步提高对遥感解译质量的辨识度实现性能评价指标值与主观质量分数保持一致 计算数据输入为模型的预测标签和真实标签数据输出为连通相似性指数 其方法流程包括连通图斑特征提取、连通序列空间校准、连通序列相似度评价和连通相似性指数计算 图 显示了现有评价方法和 指标值对比随着训练时期的推移现有评价指标难以体现出性能差异在训练末期 指标差异性明显可以有效地评价语义分割性能图 性能指标评价方法对比.连通图斑特征提取本文定义真实标签与预测标签中水平或垂直方向上像素值相同的相邻像素集合为连通图斑 连通图斑识别采用四邻域两遍扫描法由左向右、由上向下对真实标签和预测标签进行逐行扫描搜索将同一连通区域的所有像素点标记同一连通索引值扫描完成输出一个标记所有连通图斑像素集合的连通序列 图 为连通图斑示意图图中均为连通图斑图 连通图斑示意图.连通图斑的特征有 类表示方法:一类是区域特征一类是轮廓特征 其中区域特征采用区域内像素总数量来定量描述 轮廓特征主要针对图斑的内外边界 经过逐一对连通图斑的特征提取最后输出记录所有连通对象特征信息的真实标签连通序列 和预测结果连通序列集合 其中真实标签连通序列 表示第 个连通图斑的轮廓信息和像素点总数量的二元组预测结果连通序列集合 表示第 个预测标签连通序列.连通序列空间校准连通图斑的识别方式为逐行扫描因此连通序列的存储顺序是基于连通图斑的识别先后顺序这就导致真实标签的连通序列 和预测标签的连通序列 中的顺序难以保持近似的对应关系 为了保证连通序列 和 匹配最优本文基于连通图斑的轮廓特征进行空间相交运算确定连通序列 中的每个连通图斑与预测序列 中连通图斑的空间对应关系将 中具备空间关系的连通图斑按照 的索引顺序重新排列将 中没有对应空间关系的连通图斑作为冗余删除图 显示 图斑与 和具备空间相交的关系图 空间相交关系.按照此方式就可以依次建立连通序列 与 的空间关联并按照 序列顺序重组得到连通序列 输出连通序列集合 图 为空间校准示意图图 空间校准示意图.连通序列相似度评价在连通序列中需要比较相似性的 个连通图斑的区域特征指标一般都不相等不同连通序列可能存在连通图斑序列轴上的位移亦即在还原位移的情况下 个连通序列是一致的 考虑到这些复杂情况本文通过把连通图斑序列进行延伸和缩短在连通图斑序列轴上进行局部的缩放和对齐使其形态姿势保持相对一致性从而计算 个连通序列第 期刘 立等:顾及地学特征的遥感影像语义分割模型性能评价方法的相似性图 的 条实线代表 个语义分割模型对同一景遥感影像预测标签的连通序列连通序列之间的虚线代表 个连通区序列之间的相似的点 个连通序列在形态上非常相似但是这些形态特征点(波峰、波谷)在时间上不能一一对齐 如果使用类似欧氏距离的常规方法来计算 个序列的相似性无法符合实际认知 通过对连通图斑序列进行匹配性的伸缩变形匹配效果会大幅度增强 本文采用动态连通区规整算法算法在匹配 个序列时序列中的点不再是一一对应关系而是一对一、一对多和多对一等不同映射关系 算法的核心在于基于动态规划匹配连通序列使得序列相似点之间的距离和最小 该距离即归整路径距离用于衡量 个连通序列之间的相似性图 动态连通区规整.真实标签连通序列 预处理后预测结果连通序列 序列长度分别为 和 相似度计算方法如下:)构建一个 的相似性矩阵网格 矩阵()位置的元素表示 和 这 点间的欧式距离()定义搜索起点为()开始搜索目标点()的上方()、左方()和左上方()确定两者之间具有最小矩阵元素之和的路径此时路径的元素总数就是连通区归整路径距离也就是点 和 的欧式距离与可以到达该点的最小的邻近元素的累积距离之和即()()()()()()重复以上步骤直至完成从矩阵要素起点()到终点()最短路径的搜索此时路径的元素总数就是连通区归整路径距离()即 和 的连通序列相似度.计算 计算是将所有预测标签对应的连通序列相似度归一化整合映射到同一尺度下 本文采用最值归一化方法将连通相似度集合中的数据映射到 之间 该方法虽然受边界影响较大但归一化的值具备较高的辨识度符合本文预期目的其计算方法为:()式中:为第 个预测标签的连通序列相似度值和 分别为所有预测标签的连通序列相似度的最小值和最大值 表示连通相似性指数值值越大表示第 个预测标签的连通性保持越好其对应的模型语义分割性能更优更加符合测绘生产的实际需求 实验分析.实验数据为了验证顾及地学特征的遥感地物图斑连通相似性评价体系应用于语义分割性能评价的可行性实验选取具备几何结构多样性和尺度差异性的水体作为研究对象实验数据来源于全球测图工程项目的芬兰西北片区影像源为资源三号()影像空间分辨率为 时相为 年 月 日光谱可见光波段为红光、绿光和蓝光 由于实验涉及模型训练和模型评估 部分因此实验数据样本包括训练样本、验证样本和测试样本 从目标影像上分别裁剪 幅 像素 像素大小的影像切片其中 幅作为训练样本 幅作为验证样本 幅作为测试样本 影像对应标签均来源于手工标定其中测试图像与其真实标签如图 所示()()()()波段合成影像()人工标定标签图 测试影像与真实标签.实验流程通过将实验区域的小样本数据集进行数据增强预处理输入至卷积神经网络框架经过超参数调整自 然 资 源 遥 感 年循环训练输出一系列模型集合应用本文提出的对比现有精度评价指标进行语义分割性能评价选择适配于测绘实际生产的最优模型针对模型训练实验搭建在 深度学习框架平台上基于残差学习机制的 卷积神经网络训练数据集、验证数据集和训练参数作为输入数据输出数据为预训练网络模型和模型性能参数经过循环迭代通过判断输出模型的预测值()与真实值 的不一致程度发送结束训练的信号 其训练参数设置如表 所示 由于卷积神经网络的拟合能力非常强在训练数据集上的错误率降到最低时容易造成模型过拟合从而在验证数据集上的错误率会相对较高本文希望获取一个最优泛化性能的网络模型 为了避免训练模型的过拟合状态出现本文应用数据增强模式、梯度下降优化算法和提早终止训练等方法来限制模型的复杂度表 模型训练实验参数.参数 数值样本数量/个 样本大小/像素 通道 通道网络模型 批尺寸/个预设训练时期/次 预设训练时期代表训练数据集中所有数据送入网络中完成了一次前向计算 反向传播的过程 针对模型评估实验基于模型训练的输出成果集合通过损失率和传统性能指标优先筛选出目标模型集合 遍历目标模型集合逐一预测测试影像输出预测标签集合应用本文提出的 设计方法识别每幅预测标签的连通图斑对由于影像质量等其他因素带来的独立像素图斑进行过滤预处理操作然后逐一与真实标签进行对比反演归一化整合计算 为更好地验证语义分割性能评估的有效性计算预测标签的现有精度指标并进一步进行各类评价指标的数值分析.实验结果及分析模型训练过程中损失函数值演变过程如图 所示在模型训练的不断迭代过程中损失函数在训练数据集上初期表现出稳步下降的趋势后期则呈现波浪状起伏之势而在测试数据集上表现则一直处于跌宕起伏状态 损失函数越小常规意义上代表模型的鲁棒性越好 为了能获得最好的泛化性能很好地拟合训练数据与验证数据早停法停止训练的标准取决于泛化错误的变化即定义当泛化错误在连续 个周期内增长的时候停止模型的继续训练 由图 可以看出模型在第 时期时在验证数据集上得到的损失率最低此后连续 个时期内损失率相对第 时期的指标都处于增长状态因此决定在第 时期停止训练图 模型训练评估指标演变.为了验证 指标的有效性模型评估实验选取第 时期前后连续 个时期的模型构成目标模型集合进行验证 图 展示以测试影像真实标签为参考基于空间地理位置匹配的准则在训练数据集上相同精确率与相同召回率的不同模型的预测标签与真实标签的连通图斑集合对比情况()第/时期()第/时期()第/时期图 不同时期模型预测标签连通图斑对比情况.第 期刘 立等:顾及地学特征的遥感影像语义分割模型性能评价方法()第/时期()第/时期()第/时期()第 时期()第/时期()第/时期图 不同时期模型预测标签连通图斑对比情况.传统指标评价以像素为粒度 以像素群为粒度两者在时间复杂度上保持一致 图 可以看出不同时期模型预测标签连通图斑序列的表现与真实标签相比整体变化趋势比较相近这也是精确率和召回率无法更好地判别语义分割性能差异性的验证 相似图斑出现的序列存在一定的差异性差异性越小越接近于期望模型 应用 评估连通图斑的差异性差异性表征 指标归一化分布在并与传统评价指标对比(图)图()描述目标模型集合在准确率、精确率和召回率上的表现力由于测试影像水体面积占比.背景值占比较大而准确率计算同时考虑到背景值的预测情况因此准确率平均高于精确率和召回率集中分布在.精确率分布集中在.召回率集中分布在.召回率在第 时期和第 时期分别最大和最小精确率在第 时期和第 时期分别最大和最小 图()展示目标模型集合在 表现力归一化后指数区间分布均匀第 时期指标值最大表示该时期模型在测试影像上连通性表现最完整而第 时期指标值最小表示该时期模型在测试影像预测结果连通性表现相对来说差强人意 对比不同时期模型序列的现有指标和 两者结果呈现弱相关性()传统指标评价值()评价值图 目标模型集合 评价值.为更好地验证 的合理性图 依次显示()真实标签()第 时期 .()第 时期 .()第 时期 .图 不同时期测试影像局部区域的预测二值图像.自 然 资 源 遥 感 年()第 时期 .()第 时期 .()第 时期 .()第 时期 .图 不同时期测试影像局部区域的预测二值图像.真实标签、较高的 个模型与 较低的 个模型预测的二值图像结果 第 时期 指标为 理论上表示该模型在水体连通性上保持能力最佳实际预测结果显示号湖泊没有零星图斑完整性保持最好局部边界有一点偏差 第 时期 指标值为 表征其连通相似性在目标模型集合中表现能力是最不好的实际预测结果显示号湖泊零碎图斑较多没有保持湖泊连通性的几何特征而且几乎丢失湖中心岛的空间位置信息 以上说明了 指标的可靠性具有很高的置信度与预测标签连通性保持着高度的一致性 结论本文针对遥感解译和测绘生产智能解译需求分析了现有语义分割性能评价体系没有涉及到空间关系特征保持难以有效支撑时空异质的遥感影像语义分割结果的评价因此提出了一种顾及地学特征的遥感影像语义分割模型性能评价方法 连通相似性指数 基于现有的模型评价指标构建复合指标体系可以更好地实时监测和控制模型训练 面向不同地理地域特征的不同时相的不同影像源可以有效地指导预训练模型的最优选取 同时实现在像素粒度的基础上顾及地物几何特征的遥感影像预测结果真实质量的准确评估本方法还有待改进的地方在于性能评价因子涉及到的地学特征更多地是关注自身包括像素是否归类正确、像素群是否区域连通没有涉及到邻近特征的考量 针对这一问题考虑在下一步工作中将地学先验知识纳入评价因子中进一步丰富完善遥感影像语义分析模型性能评价方法参考文献():龚健雅许 越胡翔云等.遥感影像智能解译样本库现状与研究.测绘学报():.():.:.():.:.:.:.():.洪 亮冯亚飞彭双云等.面向对象的多尺度加权联合稀疏表示的高空间分辨率遥感影像分类.测绘学报():.():.():.段嘉鑫.基于上下文信息的图像分割结果质量评价方法研究.成都:电子科技大学.:.党 宇.基于卷积神经网络的地表覆盖分类自动质量评价方法研究.徐州:中国矿业大学.:.郑明国蔡强国秦明周等.一种遥感影像分类精度检验的新方法.遥感学报():.():.欧阳松.地学知识嵌入的遥感影像深度语义分割方法研究.武汉:武汉大学.:.陶 超阴紫薇朱 庆等.遥感影像智能解译:从监督学习到自监督学习.测绘学报():.第 期刘 立等:顾及地学特征的遥感影像语义分割模型性能评价方法 .:.():.龚健雅.人工智能时代测绘遥感技术的发展机遇与挑战.武汉大学学报(信息科学版)():.():.叶利华王 磊张文文等.高分辨率光学遥感场景分类的深度度量学习方法.测绘学报():.():.常 亮邓小明周明全等.图像理解中的卷积神经网络.自动化学报():.():.曹玉东刘海燕曹 旭等.基于深度学习的图像质量评价方法综述.计算机工程与应用():.():.钱晓亮李 佳程 塨等.特征提取策略对高分辨率遥感图像场景分类性能影响的评估.遥感学报():.():.李 琳余胜生.基于深度学习模型的图像质量评价方法.华中科技大学学报(自然科学版)():.()():.薛 廉周春兰.基于监督分类分区域的特征因子提取.地理空间信息():.():.(.):.:().:(责任编辑:张 仙)