采用Rel-Copypaste的京津冀地区尾矿库内部要素提取.pdf

第51卷第4期2023 年8 月D0I:10.7631/issn.1000-2243.22256采用Rel-Copypaste的京津冀地区尾矿库内部要素提取福州大学学报（自然科学版）Journal of Fuzhou University(Natural Science Edition)Vol.51 No.4Aug.2023文章编号：10 0 0-2 2 43(2 0 2 3)0 4-0 52 5-0 7王浩洋，张小咏，吴凯?，陈正超3（1.北京信息科技大学高动态导航技术北京市重点实验室，北京10 0 10 1；2.内蒙古自治区大数据中心，内蒙古呼和浩特0 10 0 98；3.中国科学院空天信息创新研究院，北京10 0 0 94)摘要：利用国产高分六号数据构建针对尾矿库内部要素分割的Rel-Copypaste数据增强方法，实现数据集扩充；基于深度学习语义分割SE-ResUNet网络，实现京津冀地区尾矿库内部要素轮廓提取.研究结果表明：该模型平均提取精度高达8 5.0 6%，分别高出无数据增强方法和Copypaste数据增强方法2.53%和1.7 7%，可实现京津冀地区尾矿库的面积统计、尾矿库的分类和头顶库的筛查等.关键词：尾矿库；京津冀地区；要素提取；深度学习；数据增强；语义分割中图分类号：TP751WANG Haoyang,ZHANG Xiaoyong,WU Kai?,CHEN Zhengchao3(1.Beijing Key Laboratory of High Dynamic Navigation Technology,Beijing Information Science Technology University,Beijing 100101,China;2.Inner Mongolia Big Data Center,Huhhot,Inner Mongolia 010098,China;3.Aerospace Information Research Institute,Chinese Academy of Sciences,Beijing 100094,China)Abstract:A Rel-Copypaste data augmentation method for the segmentation of internal elements oftailings ponds is constructed by using the domestic high-definition No.6 data to realize data setexpansion.Based on deep learning semantic segmentation SE-ResUNet network to achieve contourextraction of internal elements of tailings pond in Beijing-Tianjin-Hebei region.The average extractionaccuracy of the model is as high as 85.06%,which is 2.53%and 1.77%higher than the no dataaugmentation method and the Copypaste Data augmentation method,respectively.The model realizesthe area statistics of tailings ponds in the Beijing-Tianjin-Hebei region,the classification of tailingsponds,and the screening of overhead ponds.Keywords:tailing pond;Beijing-Tianjin-Hebei region;element extraction;deep learning;data0引言在世界93种事故、公害的隐患中，尾矿库事故名列第18 位.我国现存尾矿库约1.2 万座】，主要集中在华北、东北、华中地区，京津冀地区是华北地区尾矿库分布的密集区，约2 6 0 0 余座尾矿库分布于此2 尾矿库通常由坝体系统、排洪系统等组成，在遥感影像上主要以坝体、干滩、废水3种内部要素呈现.通过尾矿库坝体、干滩、废水内部要素的提取可以获取其分布，从而得到尾矿库规模、类别、朝向和下游是否存在村庄、重要设施等信息，对于居民生活维持和环境保护具有重要意义.遥感技术作为一种远程监测技术，采集地面信息的速度快、周期短、信息量大，因此可以利用遥感数据快速、精确地完成尾矿库的定位、解译等.早期对于尾矿库的自动识别技术研究主要是以目视解译和通过其他特征推理为主.Schimmer等3 通过设计遥感指数检测出亚利桑那州内17 个尾矿库的特征；郝利娜收稿日期：2 0 2 2-0 7-14通信作者：陈正超（197 6-），研究员，主要从事遥感辐射定标、遥感图像处理、基于深度学习的遥感信息智能提取等方面的研究，chenzc 基金项目：国家自然科学基金资助项目（42 0 7 140 7)；高分辨率对地观测系统重大专项资助项目（0 3-Y30F03-9001-20/22)文献标识码：AExtraction of internal elements of tailings pond inBeijing-Tianjin-Hebei region based on Rel-Copypasteaugmentation;semantic segmentation526等4 结合尾砂的光谱、纹理特征等各种因素系统建立尾矿库高分辨率遥感图像的综合识别标志，采用WorldView-2图像识别出鄂东南地区的57 2 个尾矿库.尾矿库会随着时间推移产生形变、偏移、沉降等，对尾矿库内部要素的动态监测工作需长期进行.传统人工解译工作量大且周期长，不利于长期动态监测，借助深度学习技术则能更快完成尾矿库内部要素的自动提取.深度学习是通过模拟生物神经构建神经网络，完成计算、判断、推理的认知过程.在计算机视觉方面，早期深度学习主要应用于自然图像分类.由于遥感影像与自然图像具有很高的相似性，深度学习的研究逐渐从对自然图像的识别延伸到对遥感影像的解译工作，完成目标识别、语义分割、变化检测等任务5.许多学者也将深度学习技术应用在尾矿库的识别等任务中.Li等6 基于改进的SSD网络，从高分辨率的高分一号卫星图像中自动识别尾矿库的位置，并获取京津冀地区尾矿库的地理分布，检测准确率和召回率分别为90.2%和8 8.7%；张昆仑等7 利用GF1卫星空间分辨率为2 m的影像数据，提出一个多任务分支结构的实例分割网络，实现尾矿库精细边界的快速提取，保证召回率在9 5.8%时，准确率达到7 8.8%.由此可见，目前对尾矿库的研究主要集中在目标检测和实例分割上，只能实现尾矿库的定位和某一内部要素的检测，无法完整提取尾矿库的内部要素.本研究从遥感影像和尾矿库的特点出发，提出Rel-Copypaste数据增强方法，以实现样本扩充，并使用SE-ResUNet语义分割网络训练，实现基于高分六号卫星遥感影像的坝体、干滩、废水3种尾矿库内部要素的提取.1研究区域和数据1.1石研究区域选择京津冀地区作为研究区域。京津冀地区位于华北地区，包含北京市、天津市、河北省.截至2 0 18年，京津冀地区常住人口总数为1.12 7 亿.其中，北京市常住总人口占比19.1%，天津市常住总人口占比13.8%8截至2 0 2 0 年，全国共有142 17 个尾矿库.其中，京津冀地区尾矿库占全国尾矿库总量的2 5%，其分布杂乱、形状各异、难以治理2 .因此，京津冀地区尾矿库内部要素的提取有助于尾矿库高效、高精度的监测和管理1.2数据来源采用的数据源为国产高分六号（GF-6)卫星数据.GF-6卫星是一颗由中国空间技术研究院研制的低轨光学遥感卫星，于2 0 18 年6 月2 日在酒泉卫星发射中心由长征二号丁运载火箭成功发射，也是中国首颗用于精准农业观测的高分卫星。高分六号卫星具有高分辨率（分辨率为2 m）、宽覆盖、高质量成像、高效能成像、国产化率高等特点.以现有的目标检测点位为基础，通过目视解译筛选出正确点位，京津冀地区总共核查出112 6 个尾矿库点位.利用尾矿库点位制作样本，并将其以5：1的比例划分为训练集和验证集，得到9 39 张训练样本和18 7 张验证样本，如图1所示.福州大学学报（自然科学版）第51卷GF-6影像中尾矿库目标检测点位Fig.1 Semantic segmentation sample labeling process of tailings pond样本制作主要考虑：1）尾矿库整体面积较大，为保证样本标记中尾矿库的坝体、干滩、废水轮廓清晰且特征明显，选取分辨率为2 m的GF-6影像，并以尾矿库的目标检测锚框为基础，将边缘扩大50 px并输出样本影像；2）尾矿库样本的坝体、干滩、废水内部要素边缘不固定且形状复杂，因此选用多边形进行样本标记，避免标注不精确对内部要素特征提取造成影响；3）尾矿库内部要素的形状、面积随着时间变化，为保证标注样本的时效性，利用2 0 2 1年多时相的GF-6影像进行样本标记.尾矿库样本切片图1尾矿库语义分割样本标注流程http:/标本标注生成标签第4期王浩洋，等：采用Rel-Copypaste的京津冀地区尾矿库内部要素提取5272研究方法基于深度学习网络提取京津冀地区尾矿库坝体、干滩、废水3种内部要素，提取流程如图2 所示.首先，使用GF-6卫星影像制作训练集和验证集，考虑到不同类型尾矿库内部要素数量不一致，使用Rel-Copypaste数据增强方法对样本进行扩充，制作数量为原样本总量2 0%的伪样本，并将其与原样本混合以作为训练样本.其次，使用SE-ResUNet网络作为训练模型，此网络是基于编码-解码结构的UNet网络9 编码部分使用ResNet网络10 进行编码，同时融合scSE注意力机制!，准确提取尾矿库的内部要素特征；解码部分选用插值法上采样，搭建面向尾矿库内部要素提取的语义分割网络.最后，利用网络训练出的最优模型提取京津冀地区的尾矿库内部要素，得到京津冀每一座尾矿库的内部要素分布.2.1Rel-Copypaste数据增强方法目前，深度学习的研究集中在主干网络和额外模块的设计上，除传统的翻转、旋转等简单的数据增强方法外，研究者们对于数据增强的关注相对较少Copypaste12是一种针对实例分割任务的数据增强方法，它可以将两张样本经过翻转、缩放等简单的处理后，将一张图中的目标根据它自身的标签裁剪，基于复制粘贴原理拷贝到另外一张图片的任意位置，实现伪样本的制作，完成数据扩充.对于实例分割任务，Copypaste使用两种不同的扩展方法，即标准尺度抖动和大规模抖动.这两种扩展方法的实质是在复制粘贴过程中通过调整抖动值改变图像大小，标准尺度抖动的抖动值为0.8 0 1.2 5，大规模抖动的抖动值为0.102.00.如果图像经过缩放后小于其原始尺寸，则在图像的空白部分填充灰色像素.考虑到语义分割样本的特性，本研究基于Copypaste数据增强方法提出Rel-Copypaste数据增强方法，在改变尺度抖动方法的同时增加标签的关联性.首先，一次性加载两张样本和他们的标签，根据标签确定样本图像中每一个像素的类别（坝体、干滩、废水或背景），再对第一张样本中标签所标注的3个要素区域进行裁剪，同时将其复制到第二张样本中，完成两张样本的融合.经上述融合操作后，样本的计算公式为I=I,+I,(1-)式中：I是粘贴对象所在的样本；I是主样本；是粘贴对象所在样本的mask 掩模.即将I，中掩膜区域的像素抠出，并粘贴到I，中，实现复制粘贴机制.其次，进行标准尺度抖动和大规模尺度抖动的融合，标准尺度抖动在重采样时的抖动值控制在0.801.25，而大规模抖动的抖动值控制在0.10 2.0 0.在实例分割中，与标准尺度抖动相比，大规模抖动的精度有所提升，而语义分割需要细化到每类要素轮廓的分割，过度的缩放会导致部分样本缩小后特征不明显或部分要素放大后占据面积过大，影响其他要素的特征提取.因此，采用混合尺度抖动，在数据增强方法中主要采用0.50 1.50 的抖动值.最后，本研究采用标签关联性策略，即在样本融合时，根据两张样本的掩膜确定尾矿库的位置，控制第一张图中复制粘贴出的尾矿库内部要素部分与第二张图中尾矿库的内部要素部分有所重叠.在计算重叠率时引人交并比（intersection overunion，Io U），即两个区域重叠的部分与两个区域叠加部分的面积比.保证样本融合时交并比为0 0.4，实现基于Rel-Copypaste数据增强的样本扩充.经过Rel-Copypaste融合后，样本的计算公式为开始GF-6遥感影像获取图像预处理与样本制备Rel-Copypaste数据增强处理立SE-ResUNet网络训练模型性能评估精度提升图2 尾矿库内部要素提取流程图Fig.2Flow chart for internal elements extraction oftailings pondhttp:/准备预测数据精度降低京津冀地区尾矿库内部要素提取结果尾矿库坝体、干滩、废水3种内部要素提取结束(1)528式中：ni、n z 为第一张图和第二张图的抖动值；为主样本的mask掩膜；S为重叠率.Rel-Copypaste效果如图3所示.为使得训练样本不受限于单一的数据增强方法，本研究将随机旋转变换、随机拉伸变换、随机噪声、随机亮度融合进样本制作中.将改进的Rel-Copypaste与上述多种标准的数据增强方法随机结合，即部分样本除经过Rel-Copypaste数据增强处理外，还经过随机旋转变换或其他数据增强处理.通过空间级和像素级的变换，更大程度增加样本的不确定性，减少过拟合情况的发生.2.2SE-ResUNet 网络SE-ResUNet网络13 是基于经典的语义分割UNet网络搭建而成的.UNet为编码-解码结构的框架性网络，可以通过改进编码-解码的结构提升网络训练的精度.本研究的编码器采用ResNet-152残差网络作为主干网络.增加网络层数能够有效提取更加丰富的特征，但过度增加网络层数会导致梯度爆炸或者梯度消失，ResNet能在一定程度上解决这个问题.UNet的编码器对输人的图片（尺寸为512 pxx512px）和标签进行卷积、ReLU激活函数、最大池化等操作，逐步实现下采样，最终得到一个聚合原图语义信息的特征图.解码器部分采用插值法实现上采样，使特征图尺寸逐步恢复至与原图尺寸相同.在下采样与上采样中间，UNet网络中的跳跃链接操作将深层和浅层特征相结合，允许构建更深的网络结构，以实现精确的分割.同时，在每一层编码的末端增加scSE混合注意力机制，通过训练强化重要特征，削弱无用特征，使模型能更有效关注到对目标有用的信息上。2.3评价指标模型的精度评价采用语义分割网络的常用评价指标，包括平均交并比（IoU）和F，分数等.IoU为单张图中真实值与预测值相交区域和相并区域的面积之比，也是语义分割模型的最优评价标准；F，分数则由准确率和召回率计算得出.针对同一数据集，不同网络在训练过程中，随着迭代次数的变化，IoU会发生变化.为评估所选模型的性能，本研究选择IoU作为网络精度的主要评价指标3实验过程与结果分析3.1样本扩充将已有样本分为3组，进行3类对比实验.实验1为原样本直接在SE-ResUNet训练；实验2 为原样本经过Copypaste处理后在SE-ResUNet训练；实验3为原样本经过Rel-Copypaste处理后在SE-ResUNet训练.尾矿库内部要素分割结果如图4所示.在分析数据增强对验证集精度的影响时，为保证实验结果的可比性，除数据增强方法部分不同，其余完全按照表1的网络设置.经过1000次迭代后，各个模型的IoU值和F，分数如表1所示.使用Rel-Copypaste数据增强方法后，网络的验证精度可达到0.8 50 6，与没有使用数据增强方法和使用Copypaste数据增强方法的网络相比，其精度分别提升2.53%和 1.7 7%.福州大学学报（自然科学版）I=l,n+I2(1-)n2(ni,nz=0.5,1.5)S=(n)/(U)(S E 0,0.4)CopypasteRel-Copypaste图3Copypaste与Rel-Copypaste数据增强效果对比Fig.3 Comparison of Copypaste and Rel-Copypaste dataaugmentation effects(a)原图(b)标签(c)实验1(d)实验2 (e)实验3图4数据增强前后的分割结果Fig.4 Segmentation results before and afterdata augmentationhttp:/第51卷(2)(3)第4期Tab.1Comparison of sample validation accuracy before and after data augmentation实验编号IoU10.825 320.832.930.850 6除此之外，通过调整Rel-Copypaste中混合尺度抖动的抖动值和标签关联性策略的重叠率（见表2），完成消融实验.尾矿库内部要素分割结果如图5所示.结果表明，重叠率在40%以内且抖动值在0.50 1.50时，训练精度达到最优.表2 Rel-Copypaste 在不同重叠率与抖动值下样本验证精度对比Tab.2Comparison of sample verification accuracy of Rel-Copypaste under differentoverlap rates and jitter rates实验编号重叠率/%抖动值440540640720860王浩洋，等：采用Rel-Copypaste的京津冀地区尾矿库内部要素提取表1数据增强前后的样本验证精度对比IoU坝体IoU干滩0.838 90.850 30.844 90.856 90.861 30.880 1ouIoU坝体0.10 2.000.808 30.50 1.500.850 60.80 1.250.843 50.50 1.500.849 80.501.500.837 6529IoU凌水Fi，坝体0.786 70.896 00.796 80.904 20.81050.918 0IoU干滩IoU凌水0.823 80.841 10.861 30.880 10.858 50.873 40.863 20.873.40.855 60.864 2Fi，干滩0.904 00.910 50.912 80.917 30.925 50.936 2FFi，坝体0.760 10.888 70.810 5 0.918 00.798 60.909 70.812 80.914 80.792 90.905 1Fi，废水0.873 40.882 50.892 3Fi，干滩Fi，皮水0.89400.903 90.925 50.936 20.918 80.927 40.922.70.928 50.915 60.923 80.868 10.892 30.882 80.893 10.875 8(a)原图Fig.5Rel-Copypaste segmentation results at different overlap rates and jtter rates3.2尾矿库内部要素的提取实验比较在FCN、U Ne t、D e e p La b V3、SE-R e s U Ne t 语义分割网络下尾矿库内部要素的分割结果（如图6 所示），发现在SE-ResUNet网络下尾矿库内部要素分割效果更加准确（见表3），与FCN、U Ne t、D e e p La b V3网络所得结果相比，其精度分别提升14.39%、7.40%、4.7 3%.(b)标签图5Rel-Copypaste在不同重叠率与抖动值下的分割结果(c)实验4(d)实验5(e)实验6()实验7(g)实验8http:/530福州大学学报（自然科学版）第51卷(a)原图Tab.3Comparison of verification accuracy of different network samples实验编号模型9FCN10UNet11DeepLabV312SE-ResUNet3.3尾矿库内部要素分割结果与分析尾矿库坝体、干滩、废水3种内部要素的提取结果显示，坝体和干滩的提取精度略高于废水.这种情况是由于现存部分尾矿库已经停用或废弃，其内部要素中无废水，导致样本标记中废水的样本数略少于坝体和干滩，训练精度因此受到一定程度的影响.利用Rel-Copypaste数据增强方法进行样本扩充后，坝体、干滩、废水内部要素的提取精度可分别提高2.2 4%、2.98%、2.38%，说明该方法更有利于尾矿库内部要素的提取.山谷型尾矿库集中在山谷和丘陵地区，多为一面筑坝；傍山型尾矿库集中在丘陵和湖湾地区，多为两面或三面筑坝，整体面积偏小；平地型尾矿库集中在平原和沙漠地区，多为平地凹面筑坝.结合上述特点，对京津冀地区尾矿库内部要素的数量、面积、位置进行统计分析，京津冀共存在平地型尾矿库42 5座、山谷型尾矿库6 30 座、傍山型尾矿库51座，尾矿库整体面积为0.0 0 2 4.2 50 km.同时，针对山谷型尾矿库和傍山型尾矿库，根据每一座尾矿库坝体、干滩、废水的分布，可以推测出尾矿库的整体朝向，进而筛查出京津冀地区的头顶库，即在坝体下游1km内存在居民区和重点建筑物的尾矿库，共计16 6 座.这些头顶库存在一定程度的安全隐患，如溃坝、渗漏等自然危害，对其内部要素进行精确提取，即可正确排查周围居民区和重要建筑，从而及时采取安全防范措施.4结语通过分析尾矿库内部要素的特征，基于Rel-Copypaste数据增强方法和SE-ResUNet网络实现京津冀地(b)标签Fig.6 Different network sample segmentation results表3不同网络样本验证精度对比IouIoU坝体0.706 70.780 30.776 60.816 90.803 30.807 20.850 60.861 3http:/(c)实验9图6 不同网络样本分割结果IoU干滩IoU废水0.782.90.556 90.820 20.692.70.849 10.75350.880 10.810 5(d)实验100.827 10.873 30.875 40.918 0(e)实验11FF，现体0.879 10.900 80.872 40.925 5(f)实验12F.干滩0.886 90.905 50.910 40.936 2Fi.废水0.715 30.813 60.843 30.892 3第4期区尾矿库坝体、干滩、废水3种内部要素的提取，提取精度高达0.8 50 6.基于Copypaste数据增强方式，Rel-Copypaste数据增强是一种通过改变尺度抖动来增加标签关联性的策略，可更好地帮助网络训练.实验证明，利用深度学习在大量遥感目标中完成语义分割，该操作可行、快速且准确.本研究提出的语义分割方法对于提高大区域尾矿库要素提取精度具有重要意义.参考文献：1 张力霆.尾矿库溃坝研究综述J.水利学报，2 0 13，44（5）：594-6 0 0.2李庆，陈俊杰，李庆亭，等.基于SSD模型的京津冀地区尾矿库检测J.遥感技术与应用，2 0 2 1，36(2）：2 93-30 3.3 SCHIMMER R.A remote sensing and GIS method for detecting land surface areas covered by copper mill tailingsEB/OL.2022-04-12.https:/www.asprs.org/a/publications/proceedings/pecora17/0030.pdf.【4郝利娜，张志，何文熹，等.鄂东南尾矿库高分辨率遥感图像识别因子研究J.国土资源遥感，2 0 12，2 4（3）：154-158.5 YUAN Q,SHEN H,LI T,et al.Deep learning in environmental remote sensing:achievements and challenges JJ.RemoteSensing of Environment,2020,241:111716.6 LI Q,CHEN Z,ZHANG B,et al.Detection of tailings dams using high-resolution satellite imagery and a single shot multiboxdetector in the Jing-Jin-Ji region,ChinaJ.Remote Sensing,2020,12(16):2626(1-18).7】张昆仑，常玉光，潘洁，等.基于MTBNet的唐山尾矿库提取J.河南理工大学学报（自然科学版），2 0 2 2，41（4）：65-71;94.【8 孔紫琦.人口集聚与产业转型升级的关系探讨：以京津冀地区为例J.现代商贸工业，2 0 2 2，43（8）：8-9.9 RONNEBERGER O,FISCHER P,BROX T.U-net:convolutional networks for biomedical image segmentation C/Interna-tional Conference on Medical Image Computing and Computer Assisted Intervention(MICCAI).Heidelberg:Springer,2015:234-241.10 HE K,ZHANG X,REN S,et al.Deep residual learning for image recognition C/IEEE Conference on Computer Vision andPattern Recognition(CVPR).Seattle:IEEE,2016:770-778.11 ROY A G,NAVAB N,WACHINGER C.Concurrent spatial and channel squeeze&excitation in fully convolutional networksC/International Conference on Medical Image Computing and Computer Assisted Intervention(MICCAI).Granada:Springer,2018:421-429.12 GHIASI G,CUI Y,SRINIVAS A,et al.Simple Copy-Paste is a strong data augmentation method for instance segmentation CJ/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville:IEEE,2021:2918-2928.13 SONG K,YANG G,WANG Q,et al.Deep learning prediction of incoming rainfalls:an operational service for the city ofBeijing ChinaC/International Conference on Data Mining Workshops(ICDMW).Beijing:IEEE,2019:180-185.王浩洋，等：采用Rel-Copypaste的京津冀地区尾矿库内部要素提取531（责任编辑：樊华）http:/