引入注意力机制的整体嵌套边缘检测网络.pdf

欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟收稿日期：作者简介：刘超超（），男，在读研究生，研究方向：计算机视觉。通信作者：司亚超（），男，副教授，研究方向：物联网。犱 狅 犻：引入注意力机制的整体嵌套边缘检测网络刘超超司亚超（河北建筑工程学院，河北 张家口 ）摘要：边缘检测任务作为计算机视觉的基础性问题，随着深度学习技术的发展取得了显著的进步。回顾与总结了几种经典的手工设计的传统型边缘检测算子，并深入介绍了应用于边缘检测任务的 卷积神经网络。分析了 网络的网络结构优缺点，提出了一种引入注意力机制的 网络，经过实验验证有效提升了边缘检测任务的性能。关键词：边缘检测；整体嵌套边缘检测网络；注意力机制；计算机视觉中图分类号：犜 犘文献标识码：犃 引言边缘检测（或轮廓检测）是指借助计算机技术，对数字化图像中相邻像素间亮度、纹理、颜色等发生明显变化的像素点进行标识，以此来捕捉整幅图像中像素点的显著性变化，借助这些变化的像素点来刻画图像中所出现的所有物体、图案等的外部边缘情况具体来讲，边缘检测的任务是对于给定的一副图像中的所有像素点，判断该像素点是边缘像素点还是非边缘像素点，即对该像素点进行二分类，对应的整幅图像的边缘检测任务可以被认为是一个有关像素点的稠密预测二分类问题边缘检测任务是图像处理技术和计算机视觉中的基础性问题，对后续的计算机视觉高层任务如目标检测、图像分割、视觉跟踪等有一定的促进作用边缘检测作为计算机视觉中长期发展和演进的任务，一直以来受到研究者们的广泛关注在边缘检测相关算法的发展历程中，可以划分为两个阶段：由人类专家手工设计的传统的边缘检测算子和自动化参数设计的基于深度学习的卷积神经网络算法传统的边缘检测算子主要是利用了图像中梯度信息，借助求解图像在不同方向上的梯度变化时的阶跃变化特点，即在图像中物体与背景、物体与物体之间的梯度的显著差异性进行边缘检测，可以划分为一阶微分边缘检测算子和二阶微分边缘检测算子等传统边缘检测算子受限于卷积核的大小，只考虑到图像中局部感兴趣区域内的像素取值的变化，借助像素取值梯度信息寻找边缘点，未能充分利用整幅图像级别的语义特征随着深度学习在计算机视觉任务（如图像分类、图像生成、物体检测、图像分割等）中的持续突破，显示了卷积神经网络在提取蕴含在图像中高层语义特征的能力将卷积神经网络应用于边缘检测任务，能够自动地学习图像的特征信息，避免了手工设计特征提取时存在的偏差，同时卷积神经网络能够捕捉整幅图像的语义特征，可以显著改善提取的边缘图像的准确性，减少因图像成像过程中噪声、光照、投影、畸变对边缘检测的影响 年的 提出使用卷积神经网络提取图像中各个特征块的特征表示，将特征表示在字典中搜索潜在的匹配结果，使用匹配到的结果得到边缘信息 年的 网络借助 将边缘检测转化为分类和回归的问题、方法利用聚类算法对边缘图像进行划分，并使用卷积神经网络提取特征、随机森林算法整合特征图来输出边缘线条 年的 网络在 网络中引入侧边结构，借助多尺度和多层次的训练，首次实现了端到端的边缘检测网络 年的 网络使用多阶段卷积过程中的所有特征图，显著提升了边缘检测结果的准确性 年的 网络从传统的边缘检测算子中受到启发，使用像素差分卷积网络将边缘检测第 卷 第期 年月河 北 建 筑 工 程 学 院 学 报犑 犗 犝 犚 犖 犃 犔犗 犉犎 犈 犅 犈 犐犐 犖 犛 犜 犐 犜 犝 犜 犈犗 犉犃 犚 犆 犎 犐 犜 犈 犆 犜 犝 犚 犈犃 犖 犇犆 犐 犞 犐 犔犈 犖 犌 犐 犖 犈 犈 犚 犐 犖 犌犞 狅 犾 犖 狅 犑 狌 狀 结果提升到与人类视觉水平相当的水准 传统边缘检测算子传统的边缘检测算子主要依赖于图像的梯度信息，根据对图像梯度求偏导数时次数可分为一阶微分边缘检测算子和二阶微分边缘检测算子常见的一阶微分边缘检测算子包括 交叉梯度算子、算子、算子、算子等，二阶微分边缘检测算子包括 算子等假设图像在像素点（狓，狔）处的像素取值函数为犳（狓，狔），在该像素点的一阶微分（梯度信息）可以表示为一个具有方向和大小的矢量值，即：犳（狓，狔）犌狓，犌狔犳狓，犳狔（）由于图像的像素取值函数犳（狓，狔）为离散的二维函数，相应的微分运算就是相邻像素之间的差值，对应的水平方向与垂直方向一阶微分结果为：犳（狓，狔）狓犳 狓（狓，狔）犳（狓，狔）犳（狓，狔）（）犳（狓，狔）狔犳 狔（狓，狔）犳（狓，狔）犳（狓，狔）（）则犳（狓，狔）的幅值为：犿 犪 犵（犳）犳狓犳狔槡（）方向角为：（狓，狔）犳狓犳（）狔（）同理，在该像素点的水平方向和垂直方向的二阶微分可表示为：犳（狓，狔）狓犳（狓，狔）犳（狓，狔）犳（狓，狔）犳（狓，狔）犳（狓，狔）（）犳（狓，狔）狔犳（狓，狔）犳（狓，狔）犳（狓，狔）犳（狓，狔）犳（狓，狔）（）由此可得二阶微分的 算子为：犳（狓，狔）犳狓犳狔犳（狓，狔）犳（狓，狔）犳（狓，狔）犳（狓，狔）犳（狓，狔）（）交叉梯度算子 交叉梯度算子利用对角线方向的像素之间的像素差值进行梯度检测，对应的 算子的模板为：（）、（）（）算子的参数少，运算量小，对噪声干扰的平滑作用不明显，主要对边缘变化显著而噪声干扰较少的图像较为适用 算子 算子主要是利用像素点周围的其他像素的平均来抑制噪声对该像素点的影响，借助周围像素点的平滑及补偿来消除噪声的影响，对应的 算子的模板为：烄烆烌烎、烄烆烌烎（）算子的计算量相对 算子略大一些，但是在抑制噪声影响效果中相对较好，但是整体的边缘定位效果稍逊于 算子第期刘超超 等引入注意力机制的整体嵌套边缘检测网络 算子 算子与 算子相似，都是借助像素点周围其他像素的加权平均来抑制噪声影响，但是 算子增加了像素点水平方向左侧及垂直方向上上侧像素点的权值、并相应减少了水平方向右侧及垂直方向上下侧像素点的权值，更加强调了不同像素位置对边缘结果的影响，对应的 算子的模板为：烄烆烌烎、烄烆烌烎（）算子的计算量与 算子的计算量相同，在平滑周围像素点抑制噪声方面相比 算子略有提升，但仍然难以应对复杂图案情形下及噪声干扰影响较大的图像边缘提取任务 算子 算子与 算子相似，同样对水平和垂直两个方向的边缘设置了不同的检测模板，相比于 算子，调整了周围像素点的权值，能够对相邻像素间数值的突变给出较强的响应，对应的 算子的模板为：烄烆烌烎、烄烆烌烎（）算子 算子与之前的一阶微分算子不同，主要借助像素点的二阶微分进行计算根据图像的边缘点附近的灰度值有较大的变化这一特点，结合二元函数偏导数的数学性质，可以获知在图像的边缘点的一阶微分偏导数有局部的极值，从而二阶微分偏导数通过零点因而 算子是通过借助求解整幅图像中像素点二阶微分的零点的位置，以此来找到整幅图像中的边缘点，进而实现对图像的边缘检测常见的 算子的模板为：烄烆烌烎、烄烆烌烎、烄烆烌烎（）网络 网络（，整体嵌套边缘检测）是由谢赛宁和屠卓文于 年提出的用于边缘检测任务的深度神经网络，网络的骨干网络主要基于 网络 网络第一次实现了端到端的边缘检测，通过融合多个层级的特征图像，输出多尺度的边缘图像 网络 网络是由牛津大学视觉几何工作组于 年提出的深度卷积神经网络，该网络主要应用于图像分类任务，曾获得 图像分类任务分赛道的冠军有鉴于 网络表现出的对图像语义级别强大的特征提取能力，该网络也常常作为目标检测、图像分割等计算机视觉任务的骨干网络 网络常见的形式包括四种，分别为 层、层、层、层网络，随着网络程度的加深，提取高层语义特征的能力越强，但其计算量也相应增加，经过该网络的前向推理时长也越长在不同的计算机视觉任务中，往往会根据实际任务的需要做出平衡，选择合适的 网络形式，其中 网络是使用率较高的深度卷积神经网络 网络使用的骨干网络即是根据 网络修改得到的，下面将对 网络进行简短介绍 网络结构如图所示，在图示上方标注了网络各层对应的特征图尺寸大小，即特征图的宽、高及相应的通道深度 网络输入图像的大小限定为 分辨率的彩色图像，可将 网络分为由五个卷积块组成的卷积神经网络和全连接网络两部分，前者主要对输入图像进行特征提取，得到对应的特征输出，后者主要根据特征输出进行分类，得到分类结果五个卷积块的结构相似，都是经由两个或三个卷积层来获得较大尺寸、较深层次的特征图，再经过池化层对特征图尺寸进行缩减河 北 建 筑 工 程 学 院 学 报第 卷 网络中广泛使用了大小的卷积核，通过堆叠两个的卷积核来代替一个的卷积核、通过堆叠三个的卷积核来代替一个的卷积核，整体上减少了参数计算量，同时保持了相比于原始输入的感受野的大小图 网络结构 网络 网络结构如图所示，网络基于 网络进行特征提取，保留了 网络中的五个卷积块组成的卷积神经网络，同时去除了 网络中的全连接网络，解除了网络对输入图像尺寸的限制 网络在 网络的五个卷积块结构中，将各个卷积块最后一层的卷积层的输出添加了侧边结构，经过侧边结构的卷积层、上采样层获得边缘图像，同时将五个侧边结构的边缘图像进行融合图 网络结构示意图 网络通过对整幅图像进行多次特征提取，借助由浅层网络到深层网络多个层级获取到的特征，以此来获取整幅图像的高层级语义信息，进而实现对图像中出现的物体、图案等外轮廓的识别，得到各个物体、图案对应的边缘同时，将骨干网络中浅层网络获取的富含细节信息的特征与深层网络获取的富含语义信息的特征进行融合，利用浅层网络获取到的特征图像中细节比较丰富的特点，与深层网络中获取的特征图像中物体轮廓更连续，抗噪声能力更强的特点进行融合，以此来弥补浅层网络与深层网络各自的局限与不足，充分利用不同网络层级特征图像的特点，实现提取的边缘图像更加准确、边缘线条连续不中断 改进型 网络在 网络中，经过多个卷积层获取不同层级的特征图时，会随着网络深度的增加，对应的感受野增大，网络中获取的特征图的细节信息逐渐模糊，特别是某些中间层的输出未能充分聚焦在物体边缘周围，而浅层网络中携带的噪声影响无法借助深层网络完全抵消，影响对原始图像中边缘点的选择与定位因而考虑在 网络中引入注意力机制模块，增强不同卷积层的特征图获取时的聚集性，更加关注在通道维度上叠加深层结构后对噪声与干扰的抑制，在空间维度上动态学习选择性关注边缘点相邻第期刘超超 等引入注意力机制的整体嵌套边缘检测网络区域，以此来获得更为全面的特征信息，得到边缘线条更加准确、非边缘点干扰较小的边缘图像 卷积块注意力机制卷积块注意力机制（，）是一种同时关注通道和空间维度的双重注意力机制 ，通过在通道维度、空间维度设置不同的权重，以此来增强对应维度上的有用特征的强度，抑制不太重要的特征表示的强度，更加注重在有用特征周围的聚集性卷积块注意力机制的结构如图所示，将输入特征图分别经过通道注意力和空间注意力模块，得到重定义特征图，重定义特征图相比原始输入特征图可以更加集中于有用特征周围，其中，通道注意力模块包含最大池化、平均池化以及多层感知机，空间注意力模块包含维度扩展以及多个卷积层图卷积块注意力机制 引入注意力机制的 网络经过对 网络优缺点的分析，以及对 网络结构的洞察，本文提出一种引入 卷积块注意力机制的 网络，该网络的网络结构如图所示在 网络的五个卷积块输出之后，分别添加 卷积块注意力模块，得到重整后的特征图，将重整后的特征图再次送入原始 网络的侧边结构 网络通过在网络的特征图融合阶段引入注意力机制，将 骨干网络提取的特征图重新再次经过注意力模块进行进一步地聚焦，得到重新定义的特征图，新得到的特征图在通道维度上经过重整之后，抗噪声能力更强，同时在空间维度上，借助注意力机制提取更加有效的特征，忽略不太重要的特征引入注意力机制之后，整体网络的可调节超参数总量会相应增加，经过网络前向传播的总体耗时也会同样增加，网络中可调节超参数的增加可以提高网络中间层级特征图的特征提取能力的提升，进而提升整个网络的特征提取能力，同时影响后续对特征图融合能力的提升效果图 网络结构示意图河 北 建 筑 工 程 学 院 学 报第 卷 实验 飞桨深度学习框架 飞桨深度学习框架是由百度开发并于 年开源的完全拥有自主知识产权的国产化深度学习框架，该框架由、等编程语言开发，同时支持静态图和动态图的开发模式，兼容命令式和声明式两种编程范式，支持多客户端多平台的部署，特别是对国产芯片硬件（如百度昆仑、寒武纪、比特大陆等国产芯片厂商的芯片类产品）进行了全面的适配，支持麒麟、统信、普华等国产操作系统飞桨框架提供完善的中文文档说明，并提供了一系列应用案例示例程序，有效地降低了深度学习门槛 数据集及数据增强 数据集是由美国加州大学伯克利分校开放的适用于边缘检测任务的数据集，目前该数据集共包含 张图像，其中 张图像用于训练、张图像用于验证、张图像用于测试，常被称为 数据集该数据集中的所有图像均经过多位人类专家的认真标注，广泛应用于边缘检测算法的评估标准在本次实验实施过程中，将训练集和验证集图像合并后得到 张图像用于训练任务，另外 张图像用于测试相关算法的性能指标评价与对比有鉴于训练任务中的图像数量过少，容易造成卷积神经网络对相关超参数过拟合，为了有效避免该网络在测试集上的泛化能力衰退，需要对训练集图像进行数据扩充，采用数字图像处理技术对训练集图像数据增强对于训练集图像，主要采用多尺度变换与图像旋转、图像翻转相结合的方法，对每张原始图像以 度为间隔进行旋转，针对旋转后的图像进行水平翻转，并对处理后的图像进行多尺度变换，最终将原始训练集扩充为 倍，共计 张训练集增强图像 边缘检测评价标准边缘检测的常见评价标准 主要包括三个相关的数值指标：全局最佳阈值（，）、单图最佳阈值（，）、平均准确率（，）精确率（），表示经过网络测试获得的边缘检测的像素值预测结果符合真实标注像素值结果的概率情况召回率（），表示经过网络测试获得的边缘检测的像素值预测结果中被认为是真实的标注像素值结果占全部所有的真实标注像素值结果的比值对于边缘检测的像素值预测结果中，记犜 犘表示经过边缘检测模型输出的结果中被认定为正类的正样本，一般认为给出了正确的可接受的结果；相应地，犉 犘表示经过边缘检测模型输出的结果中被认定为正确的类别中的负样本，犉犖表示经过边缘检测模型输出的结果中被认定为错误的类别中的正样本，相应的精确率和召回率的定义为：犘 狉 犲 犮 犻 狊 犻 狅 狀犜 犘犜 犘犉 犘、犚 犲 犮 犪 犾 犾犜 犘犜 犘犉 犖（）值（一般简称为值），是一种综合了精确率和召回率的结果，其取值结果介于和之间，其数学定义为：犉犘 狉 犲 犮 犻 狊 犻 狅 狀犚 犲 犮 犪 犾 犾犘 狉 犲 犮 犻 狊 犻 狅 狀犚 犲 犮 犪 犾 犾（）全局最佳阈值 ，表示在整个数据集中的所有数据达到最好的结果时，值的平均值即为 ；单图最佳阈值 ，表示在整个数据集中的每一张图片都达到最好的结果时，值得平均值即为 平均准确率，其计算方式为 曲线下方的面积，其取值范围在和之间 实验过程本次实验过程中，使用 编程语言在飞桨深度学习框架编写深度神经网络实验代码，借助 显卡进行 硬件加速在训练过程中初始学习率设定为 ，学习率调度策略使用多项式衰减策略，批次大小设置为单次迭代共 张图像，共迭代 万次，训练过程总时长约 小时训练完第期刘超超 等引入注意力机制的整体嵌套边缘检测网络成后，针对 张测试集图像生成对应的边缘图像，借助 进行性能指标验证，验证过程总时长约 小时最终引入注意力机制的 网络在 获得 的结果，相比 网络的 结果 提升了，具体实验结果如表所示表对比实验结果 结语应用于边缘检测任务的传统型边缘检测算子利用图像中像素变化的梯度信息，整体计算量小，但手工设计的算子模板受限于局部特征，未能充分利用图像的高层语义特征使用卷积神经网络进行特征提取的 网络，充分利用了整幅图像的语义特征，通过多尺度的特征图融合输出边缘图像在分析了 网络结构的优缺点之后，通过向 网络引入注意力机制，加强了有用特征，改善了边缘检测任务的性能参考文献 侯志敏基于奇异函数和曲线拟合的边缘检测方法研究湖北：华中科技大学，冯芙蓉，张兆功目标轮廓检测技术新进展计算机科学，（）：李翠锦，瞿中基于深度学习的图像边缘检测算法综述计算机应用，（）：林川，曹以隽基于深度学习的轮廓检测算法：综述广西科技大学学报，（）：周峙龙基于多尺度特征融合的边缘识别算法四川：电子科技大学，臧沙沙基于改进 网络的地震图像边缘检测方法研究陕西：西安石油大学，叶冲，杨晶东基于 的垃圾图像分类算法研究智能计算机与应用，（）：张德春，李海涛，李勋，等基于 和 改进 的渔船目标检测渔业现代化，（）：姚齐水，别帅帅，余江鸿，等一种结合改进 模块和 的轴承故障诊断方法振动工程学报，（）：肖扬，周军图像边缘检测综述计算机工程与应用，（）：犎 犈 犇犖 犲 狋 狑 狅 狉 犽狑 犻 狋 犺犃 狋 狋 犲 狀 狋 犻 狅 狀犕 犲 犮 犺 犪 狀 犻 狊 犿犔 犐 犝犆 犺 犪 狅 犮 犺 犪 狅，犛 犐犢 犪 犮 犺 犪 狅（，）犃 犫 狊 狋 狉 犪 犮 狋：，犓 犲 狔狑 狅 狉 犱 狊：；河 北 建 筑 工 程 学 院 学 报第 卷