基于深度学习和Cesium的煤矿区地表变化检测方法研究.pdf

2023 年 10 月Oct.,2023doi：10.3969/j.issn.1672-9943.2023.05.054基于深度学习和 Cesium 的煤矿区地表变化检测方法研究（1.安徽恒源煤电股份有限公司，安徽 宿州 234002；2.中国矿业大学环境与测绘学院，江苏 徐州 221116）摘要 为了定量和定性分析煤炭资源开发对矿区地表的影响和破坏情况，采用Cesium开源三维引擎框架并融合高分遥感与深度学习技术，构建了基于B/S架构的煤矿区地表变化检测应用平台。平台在保持自动化检测精度的同时还充分顾及到检测算法存在的误检、漏检等缺陷，融入了检测结果的交互式编辑机制，并分析了系统架构的关键技术。该方法的变化检测结果较为可靠完备，为变化检测算法的应用提供了一种思路。关键词 变化检测；深度学习；Cesium中图分类号 TD325.4文献标识码 B文章编号1672蛳9943（2023）05蛳0171蛳040引言煤炭开采易造成矿区地表建（构）筑物毁损及农田受损等地质环境问题咱员暂。矿区地表变化检测可在时空上研究地物受到开采的影响，而遥感和深度学习技术的发展为实现检测任务提供了思路。如李明明咱圆暂、向阳等咱猿暂研究了基于深度学习的遥感影像变化检测；刘广进等咱源暂实现了基于 DenseNet 的遥感影像检测算法。这些研究因缺乏交互式应用导致其在实际使用中仍有较大的局限性。而 Cesium 是基于 JavaScript 的 Web 端开源引擎，能通过虚拟地球实现众多功能咱缘原苑暂。本文基于深度学习算法及 Cesium 引擎，构建了B/S 架构的矿区遥感影像自动化变化检测及交互式应用系统，以促进变化检测的实际应用。1系统架构系统总体架构如图 1 所示。图 1系统架构系统采用 B/S 架构，即应用层、服务层及数据层 3 层结构。数据层存储矿区变化检测相关数据；服务层主要封装了训练完成的变化检测模型；应用层主要用于相关服务的调用、可视化显示及报表输出等功能。其关键技术阐述如下：1.1数据类型及存储矿区地表变化检测框架中数据层中的数据类型主要包括：矿区多时相的遥感影像数据；与矿井和变化检测相关的矢量及文本等数据。变化检测结果数据库的若干关键字段如表 1 所示。表 1变化检测结果的数据库表设计矿区原始栅格影像数据为具有地理编码信息的 TIFF 格式数据文件。其对图像信息的存储较为灵活，可以支持较多色彩系统，而且独立于操作系统。但 TIFF 格式的影像数据通常会占用较大的存储空间，导致影像在 Cesium 前端加载时耗时较长。为此，对遥感影像数据使用 CesiumLab 工具处理成具有多分辨率层次模型的瓦片地图，以提高影像加载效率。瓦片是按标准金字塔命名的，格式为默认的z/x/y.png 目录组织的金字塔目录。最大的文件夹存储为级别Z，其下以此存储瓦片行列坐标编号X、Y，最后最小的则为 png 格式的影像数据，分辨率为 256256。不同年份的影像数据在存储及调用时以矿区名称和影像年份为索引。矢量和文本数字段名称字段类型字段描述IDBigint联合主键矿名String矿井名称（联合主键）日期Data变化年份名称String变化名称类型String变化类型面积Double矢量图形面积周长Double矢量图形周长应用层Cesium开源三维引擎框架自动化检测交互式编辑查询功能统计报表输出服务层深度学习变化检测模型地图服务数据服务数据层MySQL 数据库遥感影像矢量数据文本数据能 源 技 术 与 管 理Energy Technology and Management2023 年第 48 卷第 5 期Vol.48 No.51712023 年 10 月Oct.,2023毕卫华，等基于深度学习和 Cesium 的煤矿区地表变化检测方法研究据采用关系型数据 MySQL 进行创建、存储和管理。1.2深度学习变化检测模型构建在系统框架的服务层中需要构建并封装深度学习变化检测模型。构建时需要对待检测目标的分布特性进行分析，并训练及制定验证集划分的标准。在训练和测试数据集的基础上，采用如图 2 所示的网络结构，其可分为下采样（特征提取）、特征融合和上采样（特征还原）3 个部分。图 2深度学习网络结构特征提取阶段进行 5 层卷积操作，每层输出 2路尺寸相同的孪生特征，分别为 conv1、conv2、conv3、conv4、conv5 和 conv1忆、conv2忆、conv3忆、conv4忆、conv5忆。ResNet 孪生网络通过残差块输出两路特征图 F1，F2，F3，F4，F5 和 F1忆，F2忆，F3忆，F4忆，F5忆 分别组成前向的下采样网络。conv1 至 conv5 阶段输出尺寸分别为原始图像的 1/2、1/4、1/8、1/16、1/32。将输出特征 F5 和 F5忆进行通道连接得到 M5，然后对 M5 特征融合得到特征图 M5忆。这样可以融合局部图像的上下文信息，扩大感受野，丰富多尺度特征信息，有效降低中小目标检测时的漏检问题。上采样阶段将特征提取阶段的 ResNet 孪生网络生成的特征图直接输入到此阶段的同一尺寸网络中，得到特征图 P1忆，P2忆，P3忆，P4忆，P5忆。P1忆与M5忆进行通道连接线性变换（11 卷积）将其映射回原始大小，然后输入到注意力模块得到注意力特征 P1。P1 上采样后与 P2忆进行通道连接后，再经过线性变换进行通道数还原，然后输入到注意力模块得到注意力特征 P2。经过类似操作得到 P3 和 P4。将 P1、P2、P3 和 P4 分别经过 32、16、8 和 4 倍上采样后，联合 P5忆共同进行通道连接，然后经过线性变换进行通道数还原得到 P5。至此得到特征还原的网络分支 P1，P2，P3，P4，P5。每一层特征图均融合了前向不同分辨率、不同语义的特征。最后，将特征图 P5 上采样至原始图像大小，将其输入分类器得到最终的检测结果。对训练完成的深度学习模型封装成可调用的API 函数至服务层。本研究构建的检测模型返回数据及其说明如表 2 所示。表 2变化检测模型 API 返回数据说明1.3变化检测应用层中的遥感影像变化检测主要是查询并加载不同矿区的遥感影像，调用服务层中构建的变化检测模型完成变化检测。在实际应用中，变化检测算法不可避免地存在误检及漏检等情况。为此，应用框架提供了如下 2 种方案：（1）自动化检测结果的在线编辑。在自动化检测结果的基础上，对于存在误检及检测精度不高的情况时，可在构建的应用框架中进行交互式人工目视调整。即可以通过系统架构中的“信息编辑”模块对检测结果进行删除或拖动编辑。检测结果中的矿区名称、面积、周长等数据信息亦会实时做出相应调整。（2）人工目视判读。由于样本量不足等原因导致的变化检测模型训练精度不高的时候，会存在较高的误检率。此时，为了提高检测效率和精度，可全部采取人工目视判读的方式进行变化检测。对于上述变化检测结果，可实时存储在变化检测结果数据库中（表 1）。检测完成后进行报表输出，或是对已有的保存检测结果进行再次数据查看。2应用与分析2.1研究区概况及数据来源参数描述codeAPI 状态码geometry.type数据类型（本研究中均为“面”）geometry.coordinates图形坐标properties.class_name变化类型properties.segment变化类型状态码F1F1忆F2忆F2F3忆F3F4忆F4F5忆F5M5忆M5P1忆P1P2忆P2P3忆P3P4忆P4P5忆P51722023 年 10 月Oct.,2023选取安徽恒源煤电股份有限公司所属的恒源、钱营孜、祁东、百善等 11 个矿井矿权范围内约300 km2进行应用及分析。矿区主要分布在安徽省宿州市与淮北市境内，范围内地形以平原为主，地貌主要为农田与采煤塌陷区，零星分布村庄与厂区。以自然资源部国土卫星遥感应用中心的全国遥感监测的 DOM（Digital Ortho Map）成果为数据源，共收集了 11 对各矿区 2018 年 1 月及 2023 年 1 月的高分辨率（影像地面分辨率为 2 m）国产光学卫星图像对，共 22 张影像。对这些影像经正射校正、影像配准等预处理后用于矿区的遥感影像变化检测。2.2结果及分析考虑到实际的应用，选取建（构）筑物、道路及水体 类待检测目标，使用 ArcGIS 软件的标注工具，人工目译确定变化范围，勾勒出两期影像中增加和减少的变化信息，进行样本标注。按照训练集与验证集为 82 的方式随机地从数据集中进行选择，如果选择出来的标签中只有一种变化类型的分布，则重新抽取，最终获得 158 对变化标签影像对作为验证集，633 对影像作为训练集。实验环境为 i7-3770 处理器、采用 GPU 计算加速型服务器、32 G 内存，使用 NVIDIA GTX 3060 显卡。而对于由 ResNet组成的编码器，在这里使用 Torch vision 发布的官方预训练权重。网络结构中的其它模块为随机初始化。对上述构建的模型从理论精度进行评定。检测模型的理论精度可用式（1）所示的精确率（Precision）来评价。precision=TPTP+FP（1）式中：TP表示分类正确的正类别数，FP表示分类错误的正类别数。一般情况下，正类别数是变化类像素数，负类别是非变化类像素数。检测模型的精度评定结果如图 3 所示。图 3检测模型的精确率由图 3 可以看出，检测模型的精度基本均高于80%，且随着迭代次数的增加，模型精确率在逐渐提升。部分建筑物检测结果对比如图 4 所示。由图 4可知，模型对较大面积变化的检测均比较准确，仅某些小目标有所遗漏；同时，预测结果的图斑轮廓相比人工标注的结果更为圆滑。（a1）前期影像（a2）后期影像（a3）人工标注结果（a4）预测结果（a）部分建筑物 1（b1）前期影像（b2）后期影像（b3）人工标注结果（b4）预测结果（b）部分建筑物 2图 4部分建筑物检测结果对比采用 B/S 架构系统对祁东矿区的检测结果及交互式编辑如图 5 所示。（a）变化检测结果（图中细框线为矿区边界）训练次数/次8886848280787612345678910能 源 技 术 与 管 理Energy Technology and Management2023 年第 48 卷第 5 期Vol.48 No.51732023 年 10 月Oct.,2023结合系统加载的遥感影像数据可以看出，检测结果的最大问题是不能完全贴合变化区域且有一些遗漏。这也说明了对检测结果进行交互式编辑的必要性。3结论（1）本次研究充分顾及到检测算法存在的误检、漏检等固有缺陷，提出了采用自动化检测和人工交互式编辑相结合的手段进行变化检测，保证了检测结果的可靠性。（2）分析了基于 Cesium 开源引擎和 B/S 架构构建的煤矿区地表变化检测应用平台关键技术，构建了应用原型系统。具有重要的实践应用价值。（3）由于地物变化检测的复杂性，在进行模型训练时，需进一步研究如何选取并构造有效的样本数据以提高模型训练的精度，从而减少后续交互式编辑的工作量。参考文献1刘小杨，汪洁，东启亮，等.基于 3S 的安徽省煤矿采空塌陷区现状与治理对策研究 J.自然资源遥感，2023，35（1）：155-160.2李明明.基于深度学习的城市新增建设用地高分遥感变化检测研究 D.重庆：重庆交通大学，2021.3向阳，赵银娣，董霁红.基于改进 UNet 孪生网络的遥感影像矿区变化检测 J.煤炭学报，2019，44（12）：3773-3780.4刘广进，王光辉，毕卫华，等.基于 DenseNet 与注意力机制的遥感影像云检测算法 J.自然资源遥感，2022，34（2）：88-96.5马洪成，张玉驹，刘为民.基于开源 Cesium 框架的智慧街道三维可视化平台的研究与应用 J.测绘与空间地理信息，2019，42（8）：121-123.6何俊强，杨钦.基于 Cesium 的震源机制解三维可视化方法 J.工程地球物理学报，2022，19（6）：843-850.7王晓艳，陈宪冬.基于 Cesium 的三维模型可视化 J.地理空间信息，2022，20（1）：115-117.作者简介毕卫华（1982-），男，高级工程师，毕业于合肥工业大学地质工程专业，长期从事地质化探研究工作。收稿日期：2023-05-11图 5（a）中，多边形框线为矿区边界，各图斑块为检测结果，矩形框内为一个水体要素的结果。图5（b）为该水体要素的放大图，可直接拖动边界点进行精确调整。图 5（c）为信息编辑框，可对图 5（b）中图形信息的更改进行实时更新显示并存储，亦可通过输入框对属性信息和坐标信息进行输入更改。检测结果的报表输出如图 6 所示（Excel 文件）。图 6统计报表输出（Excel）（b）检测出的变化区域（白色多边形区域，对应图 5（）中矩形框内区域）（c）图 5（b）中检测结果的交互式编辑图 5祁东煤矿区地表变化检测结果及交互式编辑面积/m2序号矿名地物类型 名称周长/m坐标范围能 源 技 术 与 管 理Energy Technology and Management2023 年第 48 卷第 5 期Vol.48 No.5174