基于卷积神经网络的轻量型裂缝分割方法.pdf

第 42 卷第 8 期 水 力 发 电 学 报 Vol.42,No.8 2023 年 8 月 Journal of Hydroelectric Engineering Aug.2023 收稿日期：收稿日期：2023-02-21 接受日期：接受日期：2023-04-18 基金项目：基金项目：四川省科技计划资助项目(2022YFSY0011;2021JDRC0088);国家重点研发计划(2019YFB1310504)作者简介：作者简介：税宇航(1999),男,硕士生.E-mail: 通信作者：通信作者：张华(1969),男,教授.E-mail:; 基于卷积神经网络的轻量型裂缝分割方法 税宇航1，张 华1，陈 波1，熊劲松2，符美琦1（1.西南科技大学 信息工程学院，四川 绵阳 621000；2.重庆红岩建设机械制造有限责任公司，重庆 404100）摘摘 要：要：针对通用分割模型作用在坝面混凝土表观裂缝时出现网络深度不断增加，导致模型参数过大，有效裂缝特征丢失，提出一种基于卷积神经网络的轻量型裂缝分割方法，以减小网络内存占用和特征丢失问题。网络采用编码-解码结构，利用深度可分离卷积和轻量特征提取模块构建级联编码器，解码器则融合编码器第二阶段的跨尺度信息，重构特征提取中丢失的像素级几何信息，以提高网络分割精度。试验结果表明：网络在自制坝面混凝土裂缝数据集上训练得到的模型大小为 10.8 MB，相较于 U-Net 减小了 90.8%，验证集测试下交并比为 73.30%，像素精准率为 85.36%，数据结果验证了网络在坝面裂缝分割方面的可行性，为提高坝面检测效率及坝面结构后期维护提供有力支撑。关键词：关键词：深度学习；卷积神经网络；裂缝分割；网络轻量化；深度可分离卷积 中图分类号：中图分类号：TP183；TP391.4；TU755.7 文献标志码：文献标志码：A DOI:10.11660/slfdxb.20230812 论文引用格式：论文引用格式：税宇航,张华,陈波,等.基于卷积神经网络的轻量型裂缝分割方法J.水力发电学报,2023,42(8):110-120.SHUI Yuhang,ZHANG Hua,CHEN Bo,et al.Method for lightweight crack segmentation based on convolutional neural network J.Journal of Hydroelectric Engineering,2023,42(8):110-120.(in Chinese)Method for lightweight crack segmentation based on convolutional neural network SHUI Yuhang1,ZHANG Hua1,CHEN Bo1,XIONG Jinsong2,FU Meiqi1(1.School of Information Engineering,Southwest University of Science and Technology,Mianyang 621000,China;2.Chongqing Hongyan Construction Machinery Manufacturing Co.,Ltd,Chongqing 404100,China)Abstract:When the general segmentation model is applied to the apparent cracks in the dam face concrete,the network suffers the problem of depth increasing that leads to excessive model parameters and certain loss of effective crack features.To reduce network memory occupation and feature loss,this paper develops a lightweight crack segmentation method based on a convolutional neural network.The network adopts an encoding-decoding structure,and uses a depth-separable convolution module and a lightweight feature extraction module to construct a cascade encoder;it is equipped with a decoder to fuse cross-scale information in the second stage of the encoder and to reconstruct the pixel-level geometric information lost in feature extraction to improve the accuracy of network segmentation.The experimental results show the model size of the network trained on the crack dataset of dam face concrete is 10.8 MB or a size reduction of 90.8%from U-Net,with its PA of 73.3%and IoU of 85.4%.The results verify the network is feasible in dam face crack segmentation and useful for improving the efficiency of dam face detection 税宇航，等：基于卷积神经网络的轻量型裂缝分割方法 111 and maintenance.Keywords:deep learning;convolutional neural networks;crack segmentation;network lightweighting;deep separable convolution 0 引言引言 混凝土结构在时间和环境因素的共同作用下，会逐渐产生裂缝、磨损、气蚀和侵蚀等表观缺陷，这些缺陷当中裂缝所带来的危害是最大的1，它不仅存在于表面，更有可能渗入内部，对结构整体安全产生巨大威胁2。目前混凝土结构的裂缝检测主要靠人工进行逐个筛别和记录3。传统的人工巡检混凝土裂缝不但在人力和物力上有着巨大的消耗，而且检测方案效率也极其低下，达不到快速检测目的4，同时伴随着计算机科学快速发展，如何利用计算机视觉方式来实现混凝土裂缝准确检测成为主要研究目标5-6。早期使用深度学习进行裂缝检测多使用Anchor Box方式，只能得到裂缝对象的大概范围。随着 Shelhamer 等7所提出的全卷积神经网络（fully convolutional networks，FCN）将 CNN 后的全连接层替换成卷积层，实现像素级目标检测，而后基于 FCN 为解决自动驾驶场景分割改进而来的SegNet8、实现嵌入式端的实时分割网络 ENet9、提出金字塔池化模块获得高质量分割效果的PSPNet10及医疗影像分割分割网络 U-Net11等都成为了各领域常用分割模型，至此语义分割成为裂缝检测新方向。裂缝检测可视为二分类问题，其目的是区分出复杂背景中干扰因素和突兀的线状或网状裂缝特征，而语义分割方法正好可以胜任此项工作。目前，语义分割方法在裂缝检测领域得到了广泛应用12-13。Pan 等14为了增强网络的特征提取能力，在 U-Net 原有的跳跃连接之间增加了全新的特征重用和注意力机制模块，通过对管道缺陷图像进行测试，该方法的 IoU 达到 76.37%；任秋兵等15同样融合迁移学习技术搭建深层 U-Net 网络实现水工混凝土裂缝分割和特征量化，参数计算结果均满足检测精度要求；陈波等16采用改进的针对性更强的裂纹分割网络 C-FCN，主要解决混凝土坝面裂纹的定量化检测问题，相比传统 FCN 像素精准率提升 5.61%，达到 75.13%；张伯树等17在原始HRNet 的基础上进行改进，采用 DUC 模块代替双线性插值上采样，利用逐级上采样结构进行网络解码，在自制数据集上 F1-score 达到 78.69%，但其运行时间却远超原始网络；Fan 等18利用多级对抗传输网络实现对水下裂纹图像特征的学习，并将注意力机制集成到分割网络中消除了分割过程中存在的噪声干扰，对比现有方法具有更高的分割精度却又因模型过深导致推理时间过长。综上所述，现有裂缝分割方法多针对经典网络改进，在精度上均取得了较高水平，但普遍存在参数量过大、模型复杂度较高，无法在硬件计算资源有限的平台上进行推理运算。为解决上述问题，保证模型精度的同时尽可能减小模型复杂度，使用传统图像处理方法、深度可分离卷积及轻量型注意力模块等低消耗特征提取操作生成级联编码器，实现对混凝土坝面裂缝特征精准提取，再利用上采样模块构建解码器，分阶段恢复特征提取过程中丢失的细节信息，实现轻量型分割网络特征恢复阶段准确分割。1 轻量型裂缝分割网络轻量型裂缝分割网络 传统分割模型多采用残差神经网络作为主干特征提取网络，并将提取到的特征图送入后续模块进行特征解析，从而实现对特定事物的分割，且取得了较好的效果。这样生成的通用分割模型却随着网络深度的不断增加，不仅在实际训练和预测时计算量巨大，对所需的硬件配置要求过高，而且这样的神经网络在进行特征提取时，会导致原本占据整个图像比例相对较低的裂缝特征逐渐丢失，造成非必要的计算资源浪费。为了不丢失模型分割精度以及减小模型复杂度，确保模型有较好的硬件向下兼容能力，本文提出一种基于卷积神经网络的轻量型裂缝分割方法，整个网络采取编码-解码结构，如图 1 所示。级联网络最初应用于目标检测19-20，通过级联多个检测网络以实现对预测结果的不断迭代优化21。基于此，网络整体以主干模块和特征增强模块为基础，构建级联编码器，实现坝面裂缝特征提取，记主干模块和特征增强模块为一次级联模块。利用深度可分离卷积搭建主干特征提取网络，不仅112 水力发电学报 减少网络模型参数量，还能在特征提取时利用其独有机制不断压缩尺寸扩大通道数，以此获得坝面裂缝在通道上的多尺度特征图。深度可分离卷积计算过程中可能会遗漏些许复杂、多变的裂缝信息，使用同样结合空间信息和通道信息的卷积注意力模块紧接其后，可以弥补通道数扩张时的坝面裂缝特征丢失、排除复杂背景因素干扰，继续维持网络在通道和空间两个维度上对坝面裂缝特征的关注，并将这一阶段提取到的特征图送入基于上下文信息的裂缝特征增强模块，再次结合图像局部信息和全局信息得到较为完善的坝面裂缝语义信息。且使用边缘检测算法得到裂缝粗检测信息，在每次级联开始时都会融合该信息，可以粗略地勾画出待分割对象进而得到精细的坝面裂缝分割结果。编码器阶段得到的多尺度复杂语义信息采用传统解码思想无法理想分割出图像中的裂缝。使用融合跨尺度浅层几何信息的上采样构成解码器，将来自编码器第二级联模块中主干网络的跳跃连接分支和网络主干双线性插值后的特征信息进行依次拼接，恢复编码器特征提取过程中丢失的图像细节，最后利用两次卷积构建而成的分类器即可完成整个裂缝图像分割任务。图图 1 网络结构网络结构 Fig.1 Network structure 1.1 主干特征提取网络主干特征提取网络 深度可分离卷积主要应用在移动端的轻量级CNN 网络22-23，其目的是尽可能保证精度的同时缩小模型参数与计算量。当使用的卷积核大小为 3时，同标准卷积相比其计算量减少了 8 9 倍，因此该卷积可以在计算代价很小的情况下有效提升模型提取特征能力。深度分离卷积计算消耗可表示为：inWHinWoutSKKCFFCFFC（1）其中：K 为卷积核大小；inC为输入特征图通道数；outC为输出特征图通道数；WF和HF分别为输出特 征图的宽和高。考虑到现实条件下坝面裂缝信息在图中占比过低，避免过多的卷积计算导致坝面裂缝特征丢失，以深度可分离卷积为基础搭建轻量型主干特征提取网络。主干特征提取网络构建中在第一层使用常规卷积降维，为了更好减小模型计算量和为网络后续解码阶段做预留工作，整个网络中仅存在三次步长为 2 降维参数，生成后的主干特征提取网络结构如表 1 所示，其中 Input 为输入特征图维度；Operator 为执行操作；bottleneck 为深度可分离卷积组成模块；c 为通道数；n 为 bottleneck重复次数；s 为步长。表表 1 主干特征提取网络结构主干特征提取网络结构 Table 1 Backbone structure table Input Operator c n s 48023 Conv2d 32 1 2 240232 bottleneck 16 1 1 240216 bottleneck 24 2 2 120224 bottleneck 32 3 2 税宇航，等：基于卷积神经网络的轻量型裂缝分割方法 113 续表续表 Input Operator c n s 60232 bottleneck 64 4 1 60264 bottleneck 96 3 1 60296 bottleneck 160 3 1 602160 bottleneck 320 1 1 1.2 基于注意力机制的特征提取模块基于注意力机制的特征提取模块 卷积注意力模块（convolutional block attention module，CBAM）24表示卷积模块的注意力机制模块，是一种结合了空间（spatial）和通道（channel）的注意力机制模块。卷积注意力模块在网络系统集成中发挥的作用是：任意给定一个中间特征图，卷积注意力模块都会沿着两个独立的维度通道和空间依次推断注意力特征图，然后将注意力特征图与输入特征图相乘进行自适应特征优化。坝面混凝土表观裂缝在图像中比例占比较少同时也易受复杂环境因素干扰，在经主干特征提取网络进行初步提取特征后，为了使网络进一步更好的区分出裂缝特征和复杂背景，引入卷积注意力模块去融合不同特征图之间的通道信息和同一特征图中的位置信息，尽可能筛选出更加有效的混凝土裂缝特征。同时又由于卷积注意力模块是轻量型通用模块，因此可以忽略该模块计算开销而将其无缝集成到任何 CNN 网络架构中，并且可以与基础 CNN 网络一起进行端到端训练，将其嵌入在主干特征提取网络与金字塔池化模块中间同样也可以实现节约计算资源的情况下进行有效的坝面裂缝特征提取工作。卷积注意力模块如图 2如示，其中 Mc、Ms 分别表示通道注意力权重和空间注意力权重。图图 2 基于注意力机制的特征提取模块原理基于注意力机制的特征提取模块原理 Fig.2 Principle of feature extraction module based on attention mechanism 通道注意力模块关注输入图片中有意义的裂缝信息，将输入的特征图经过两个并行最大池化层和平均池化层，将特征图从 CHW 变为 C11的大小，然后经过共享全连接模块，在该模块中，它先将通道数压缩为原来的 1/r（reduction，减少率）倍，再扩张到原通道数，经过 ReLU 激活函数得到两个激活后的结果。将这两个输出结果进行逐元素相加，通过一个 sigmoid 激活函数得到通道注意力的输出结果，再将这个输出结果乘原图，变回 CHW 的大小。通道注意力可表示为：ccc10avg10max()(MLP(AvgPool()MLP(MaxPool()()()MFFFW W FW W F（2）空间注意力模块关注的是裂缝目标在输入图片中的位置信息，将通道注意力的输出结果经过最大池化和平均池化，得到两个 1HW 的特征图，然后经过拼接操作对两个特征图进行融合，通过77 卷积变为通道数为 1的特征图，再经过 sigmoid激活函数得到空间注意力的特征图，最后将输出结果乘原图变回 CHW 大小。空间注意力可表示为：114 水力发电学报 7 7s7 7ssavgmax()(AvgPool();MaxPool()(;)MFfFFfFF（3）式中：F 为特征图；MLP 为共享全连接模块；为 sigmoid 操作；7 7f为卷积核的大小。1.3 基于上下文信息的裂缝特征增强模块基于上下文信息的裂缝特征增强模块 基于全卷积神经网络的语义分割模型是对各个像素进行分类，没有考虑到各个像素之间的关系缺乏空间一致性，在面对复杂裂缝样本时出现预测类别不匹配现象。为了充分获取全局裂缝信息达到空间一致性，利用基于上下文信息的裂缝特征增强模块即金字塔池化模块，聚合不同区域的上下文信息，以提高网络获取全局信息的能力。此模块将结合图像局部特征和全局特征，使裂缝分割结果更加准确，模块原理如图 3 所示。图 3 表示的是裂缝特征增强模块，该模块首先对裂缝特征图分层进行全局平均池化操作，池化模块为 4 层，每层的尺寸分别为 11、22、33、66，对全局平均池化得到后的结果进行 11 卷积将通道数减少到原来的 1/4，接着对得到的每一个特征图利用双线性插值上采样到原特征图相同的尺寸，然后将原特征图和双线性插值到的特征图按通道维度进行拼接。通过多个不同尺度的池化块进行全局平均池化再拼接的方式，恰好可以汇聚数据集图像中全局和局部区域的裂缝语义特征，实现网络模型对数据集中复杂裂缝样本的精准提取。图图 3 基于上下文信息的裂缝特征增强模块原理基于上下文信息的裂缝特征增强模块原理 Fig.3 Crack feature enhancement module based on contextual information 1.4 解码模块解码模块 特征图里包含了裂缝特征信息与大致位置信息，解码模块则需要对这些高阶语义信息进行解析，将裂缝对应到相应的像素点上。使用双线性插值、跳跃连接和拼接操作组成三次连续上采样，将编码器提取到的特征图分阶段与第二级联模块中主干网络下采样层依次进行拼接，融合跨尺度浅层几何信息弥补编码器特征提取过程中丢失的裂缝图像细节，最终实现裂缝图像分割。2 试验与结果试验与结果 2.1 数据集制作数据集制作 2.1.1 数据采集数据采集 采用 AJ-12014X 吊舱系统对坝面进行全覆盖式的数据采集。该吊舱是一款分辨率达到 1200 万像素，支持 14 倍变焦和图像跟踪的微小型三轴云台相机，具体参数如表 2 所示。特别地，相机出厂已经过标定，在使用时根据实际的场景再进行标定，保证图像采集无畸变。表表 2 AJ-12014X 吊舱系统主要参数吊舱系统主要参数 Table 2 Main parameters of AJ-12014X 参数 指标 工作电压 12 25 V 功率 6 W 重量 272 g 总像素 1271 万 工作模式 录像；拍照 变焦范围 1 14 倍 最大抓拍分辨率 40243036 税宇航，等：基于卷积神经网络的轻量型裂缝分割方法 115 根据图像精度和采集密度的分析，为保证采集图像长边和短边精度要求，采用无人机进行坝面缺陷图像采集时，控制无人机距离坝面 3 m 小范围内波动，同时无人机相邻横向和纵向采集点距离不超过 1.9 m。2.1.2 数据处理数据处理 通过设置仿射变换矩阵的值得到不同的翻转效果；调整扰动值实现原始数据的亮暗变化；改变扰动范围内随意的值实现原始数据的随机裁剪；使用改进的双边滤波算法来平滑低噪声，抑制强噪声降低干扰。本文根据实际需求并且考虑到后续分割网络计算量问题，使用上下左右翻转、亮度提升一倍和降低一倍以及将原始数据统一裁剪为 480480 像素大小的数据实现对数据的增广处理。最后筛选得到分辨率大小为 480480 的 1577张混凝土裂缝数据集，并通过设置训练集和验证集 9:1 的比例，随机生成 1419 张图片的训练集及158 张图片的测试集，使用标注软件 imgAnnotation进行人工标注，原始图像和标签图像的对比如图 4所示。（a）原始图像 （b）标签图像 图图 4 数据集对比数据集对比 Fig.4 Dataset comparison 2.2 试验环境试验环境 本文所涉及的数据处理都是在惠普Z840图形工作站上进行开发，具体配置如表 3 所示。表表 3 试验环境配置主要参数试验环境配置主要参数 Table 3 Main parameters of the experimental environment configuration 名称 参数 系统 ubuntu18.04 处理器 E5-2650 v4 显卡 NVIDIA Quadro P4000 专用内存 8G 试验平台 Pycharm Community Edition 2021语言 Python3.6 虚拟环境 Pytorch1.5 为保证训练效果，在训练过程中试验的训练总轮数为101轮，选取0.0001的学习率；使用Adam优化器进行网络优化；由于对比试验中存在某些网络内存占用过大的情况，为保证试验过程统一，试验中批处理数取 2。试验模型损失与精度变化曲线如图 5 所示。（a）精度变换曲线 （b）损失变换曲线 图图 5 模型损失与精度变化曲线模型损失与精度变化曲线 Fig.5 Curves of model accuracy and loss changes 116 水力发电学报 训练过程中使用损失函数采用组合损失函数，通过组合交叉熵损失函数（cross entropy loss）及Dice 损失函数缓解模型在不平衡数据上出现部分像素预测发生错误导致训练困难的问题。交叉熵损失函数常用于分类问题，它的出现是为了弥补sigmoid 函数的导数形式易发生饱和，从而避免梯度弥散。交叉熵损失函数定义为：()()()crossi=11ln(1)ln(1)NiiiLyyyN（4）式中：N 为样本总数；y 为样本标签值；y为样本标签取 1 的概率；1y为为样本标签取 0 的概率。Dice 损失函数则常用于图像分割问题25，对正负样本严重不平衡的场景有着不错的性能，在训练过程中不会受到图片大小的影响，更侧重对前景区域的挖掘，但是一旦有部分像素预测错误，那么就会导致损失值大幅度的变动，从而导致梯度变化剧烈。为此本文同时结合交叉熵损失函数和 Dice 损失函数解决上述问题。Dice 损失函数定义及最终组合损失函数为：Dice2|1|XYLXY （5）crossDiceLLL（6）式中：X 为预测结果；Y 为真实结果。2.3 试验评估依据试验评估依据 本文采用一系列指标进行模型性能评估，将从执行时间、内存占用及混淆矩阵相关指标 3 个方面对网络模型进行评估。其中执行时间是以训练好的模型预测单张验证集图片时所耗费的时间；内存占用则以网络训练后得到的模型实际大小为基准。而对于端到端的像素级检测，在像素层面上的预测结果包含正样本像素（裂缝像素）和负样本像素（背景像素）两种，因此预测情况分为以下四类：正样本判定为正样本（true positives，TP）、正样本判定为负样本（false negatives，FN）、负样本判定为正样本（false positives，FP）、负样本判定为负样本（true negatives，TN）。因此根据四类预测情况构成的混淆矩阵定义如表 4 所示。可以利用像素准确率、平均像素准确率、召回率、交并比和 F1-score 作为网络的混淆矩阵指标，具体计算如下：TPTNAccuracyTPTNFPFN（7）TPRecallTPFN（8）TPIoUTPFPFN（9）TPPATPFP（10）2 PA RecallF1PARecallscore（11）式中：所有混淆矩阵指标计算仅统计裂缝不包含背景；Accuracy 表示准确率，表征的是预测正确的正负样本像素占标准结果中总像素的比例；Recall表示召回率，表征的是预测正确的正样本像素占标准结果中总正样本像素的比例；IoU 表示交并比，表征的是预测正确的正样本像素占标准结果和预测结果中总正样本像素的比例；PA 表示像素精准率，表征的是预测正确的样本像素中正样本像素的比例；F1-score 表示像素精准率和召回率的调和平均数。表表 4 混淆矩阵定义混淆矩阵定义 Table 4 Confusion matrix definition 真实情况 预测结果 正例 反例 正例 TP FN 反例 FP TN 2.4 试验结果试验结果 本文网络分割结果如图 6 所示，试验结果如表 5 所示。同时为了验证网络的可行性，本文对网络各个部分，即：编码器网络级联时使用粗检测信息进行网络输入初始化，网络级联，引入注意力特征提取模块，以及解码器使用连续上采样，分别进行消融试验。试验一是网络完整结构试验数据；试验二是编码阶段每一次级联都未进行网络初始化试验数据；试验三是未使用级联思想构建网络编码器，但进行网络初始化试验数据；试验四是编码器构建时两个级联网络中都未嵌入注意力模块试验数据；试验五则是将三次上采样改为双线性插值试验数据。所有模型结构在验证集上的评价指标和最终大小对比如表 5 所示。其中，Backbone为主干特征提取网络，CBAM 为注意力机制特征提取模块，PPM 为裂缝特征增强模块，Coarse 为粗检测信息，Upsample 为连续上采样模块。通过对比表中具体指标可知，移除任意一个改进部分都能对网络的评价指标产生较大的影响，税宇航，等：基于卷积神经网络的轻量型裂缝分割方法 117 也由此可以证明本文网络可行性。其中，试验二、三和四的数据说明网络编码器整体设计是有效的。试验二和三证明单纯地将网络级联拼凑在一起不仅会使得网络层数过深造成过多的内存占用，且单一重复的级联特征提取也会使得图像裂缝特征逐渐丢失。特别的，编码器设计目的是为了网络轻量化和提升准确度，将表中 Backbone+CBAM+PPM 记为一次特征提取模块，在同一、特定的硬件条件下进行三次及以上特征提取模块级联时会出现内存爆炸情况，因此紧扣网络目的之一，在硬件内存资源不足的情况下，试验中仅使用一次和两次特征提取模块进行对比。试验四数据则说明嵌入注意力特征提取模块后，网络更能从空间和通道两个尺度加强对裂缝特征的注意，对比嵌入模块前后的模型大小，加入卷积注意力模块后模型文件仅增加 1 KB，证明网络在引入注意力模块保证模型分割精度提高的同时对模型复杂度的影响可以忽略。试验五将网络解码器改为插值解码思路，使用双线性插值替代连续上采样，数据结果证明结合浅层几何信息的连续上采样在特征恢复阶段能够较好的恢复出坝面数据集中复杂的裂缝特征。图图 6 网络分割结果网络分割结果 Fig.6 Network segmentation results 表表 5 完整网络及消融试验指标完整网络及消融试验指标 Table 5 Network and ablation experiment indexes 网络结构 像素精准率/%召回率/%交并比/%F1 分数%模型大小/KB(Backbone+CBAM+PPM)2+Coarse+Upsample85.36 84.23 73.30 84.79 11040(Backbone+CBAM+PPM)2+Upsample 48.16 43.91 24.74 45.94 10018(Backbone+CBAM+PPM)+Coarse+Upsample 77.87 48.60 42.30 59.85 10018(Backbone+PPM)2+Coarse+Upsample 80.74 78.57 69.79 82.45 11039(Backbone+CBAM+PPM)2+Coarse 65.79 70.67 50.98 68.15 10022 3 对比试验对比试验 为验证本文网络的优良特性，在上述配置及相同的试验参数下，本文将在自制混凝土坝面裂缝数据集上同 BiSeNetv226、ENet9、Fast-SCNN27和 CFPNet284 个轻量型分割网络以及 PSPNet10、U-Net11、RefineNet29和 DeepLabv3+304 个通用分割网络分别从单张图片执行时间、模型大小及混淆矩阵指标 3 个方面对网络模型进行对比评估。结果如表 6 所示。轻量型分割网络通常采用减少网络通道数、限定输入大小或者丢弃最后阶段的下采样以降低计算复杂度，RefineNet 通过多路径网络完善特征提取，U-Net 使用 U 型网络结构获取上下文信息和位置信息，PSPNet 提出全局金字塔模块融合多尺度特征，DeepLabv3+，结合空间金字塔模块优化了图像的分割边界。而本文网络使用二阶段级联网络构建编码器，并在网络级联时进行网络输入初始化使其有效对裂缝特征进行提取，最后解码器使用连续上采样以结合浅层几何信息深度还原裂缝特征。试验参数在像素精准率、召回率、交并比、F1 分数和准确率方面分别达到 85.36%、118 水力发电学报 84.23%、73.30%、84.79%和 99.75%，在指标上相较于最好的 ENet 分别提升了 6.32%、13.54%、14.26%、10.16%和 0.14%。同 BiSeNetv2、ENet、Fast-SCNN 及CFPNet 轻量型分割网络进行对比时在单张图片推理时间和内存占用上各有所长，但评价指标方面本网络优于上述轻量型网络；同PSPNet、U-Net、RefineNet 及 DeepLabv3+通用分割网络进行对比时，本网络在内存占用和评价指标两个方面均优于所述网络。表表 6 各模型指标对比各模型指标对比 Table 6 Comparison of different models 网络名称 像素精准率/%召回率%交并比/%F1 分数/%准确率/%模型大小/MB 执行时间/sOurs 85.36 84.23 73.30 84.79 99.75 10.8 0.2944 BiSeNetv2 64.14 68.24 48.86 66.13 99.45 13.90 0.1694 ENet 79.04 70.69 59.04 74.63 99.61 1.50 0.2028 Fast-SCNN 60.55 62.54 43.67 61.53 99.39 4.48 0.3005 CFPNet 66.98 56.09 42.83 61.05 99.45 2.48 0.4524 RefineNet 79.74 58.08 49.36 67.21 99.55 179.20 0.2065 U-Net 73.05 59.89 47.27 65.82 99.48 118.00 0.2123 PSPNet 52.52 43.25 30.59 47.44 99.53 178.00 0.2963 DeepLabv3+49.91 49.14 30.72 49.52 98.94 209.00 0.2784 3.1 对比结果可视化对比结果可视化 为了更直观地展示模型分割效果，本文对所有大坝裂缝数据集的测试集进行分割推理，综合像素精准率、召回率、交并比、F1 分数和准确率，将本文网络与对比网络分割图片进行对比展示，各试验模型输出结果对比如图 7 所示。将各个模型的预测结果与真实标签进行对比，可以在一定程度上对模型的漏检、误检情况进行明显判断。如图 7 所示，本文网络模型输出的分割结果均为连续曲线，相较于其他网络模型结果未出现明 显 的 漏 检 和 误 检 情 况，其 中 轻 量 化 模 型BiSeNetv2、ENet、Fast-SCNN 和 CFPNet，因为模型深度较低在对裂缝特征提取上略有不足，造成图像细节处理出错，容易将图像外的点标为分割点即物件情况较多，而对通用的 PSPNet、U-Net、RefineNet 及 DeepLabv3+模型，分割效果良好，但由于网络深度增加，参数量也随之加大，模型在经过较多的卷积操作后易出现特征丢失问题，造成分 图图 7 模型分割结果对比模型分割结果对比 Fig.7 Comparison of segmentation results by different models 税宇航，等：基于卷积神经网络的轻量型裂缝分割方法 119 割效果不稳定。这样的结果说明本文网络能保证较低模型复杂度情况下实现较为准确的分割，同时不明显的漏检和误检说明网络嵌入注意力模块和基于上下文信息的裂缝特征增强模块并进行级联后能有效缓解复杂背景对模型的干扰。3.2 不确定分析及泛化能力分析不确定分析及泛化能力分析 通过与其他网络结果和指标相比，本文网络在网络性能方面取得了良好的进步。然而，在对验证集图像进行预测时，出现了少许漏检情况，如图8 所示。这是因为数据集中存在裂缝和背景混淆的图片，导致人工标注的标签相对于真实值过大。此外，还存在成像模糊和光照不均等问题的图像，这些数据输入到模型中会导致置信度降低，从而出现漏检情况。图图 8 预测结果较差预测结果较差 Fig.8 Bad prediction results 为了进一步验证本文所提出算法的泛化能力，将文献12中用到的裂缝数据集用本文方法进行训练和测试测试集的各项指标如表 7 所示。通过对比可知，在相同的环境配置下，使用文献12的数据集进行训练和测试，本文所提方法模型大小只有对比模型大小 1/5.2 的情况下，仅在召回率和交并比上略有不足。结果表明，本文所提出的改进算法具有良好的泛化能力。表表 7 模型泛化能力指标对比模型泛化能力指标对比 Table 7 Comparison of model generalization capability indicators 模型名称 像素精准率/%召回率/%交并比/%模型大小/MB DeepCrack 83.34 83.00 71.74 56.2 Ours 86.34 79.19 71.31 10.8 4 结论结论 本文以坝面混凝土表观裂缝为研究对象，针对网络层数过深导致有效裂缝信息被过多丢失及模型推理时内存占用过大等问题，提出一种基于卷积神经网络的轻量型坝面表观裂缝分割方法。网络遵循轻量化和精准思路构建网络编码器，并在其中融合空间和通道、局部和全局信息加强其对裂缝特征的提取作用；通过融合多层次、多尺度浅层几何信息的上采样构成网络解码器，恢复编码器特征提取过程中丢失的图像细节，完成整个坝面裂缝图像分割任务。训练好的裂缝分割网络在自制数据测试集上交并比、像素精准度和召回率分别达到 73.30%、85.36%和 84.23%，并且训练后的模型大小只有 10.8 MB，通过对比多个通用分割网络，分析不同分割网络的优缺点，可以验证本文网络对坝面混凝土表观裂缝分割可行性，为提高坝面检测效率和后期维护提供有力支撑。本文在坝面混凝土表观裂缝的分割效果仍有提升的空间，后续可在保证分割精度的同时对网络结构进一步简化，并将其应用在实际场景下。参考文献（参考文献（References）1 冯帆,张国新,管俊峰,等.一种特高拱坝施工期特殊表面裂缝的成因分析J.水力发电学报,2014,33(3):231-238.FENG Fan,ZHUANG Guoxin,GUAN Junfeng,et al.Reasons analysis of a particular surface crack in super-high arch dam during construction J.Journal of Hydroelectric Engineering,2014,33(3):231-238.(in Chinese)2 刘立超,吴先加.长河坝水电站大坝砾石土心墙检测试验数据分析J.四川水力发电,2020,39(S2):94-97.LIU Lichao,WU Xianjia.Test data analysis of gravel soil core wal