多尺度注意力机制的电子元器件深度迁移识别方法.pdf

：引用格式：夏玉果，丁晟，赵力多尺度注意力机制的电子元器件深度迁移识别方法无线电工程，（）：，（）：多尺度注意力机制的电子元器件深度迁移识别方法夏玉果，丁晟，赵力（江苏信息职业技术学院 微电子学院，江苏 无锡；东南大学 信息科学与工程学院，江苏 南京）摘要：电子元器件的识别对于现代电子产品的智能生产和制造具有重要的作用，为了进一步获取电子元器件图像的关键特征，提升图像细粒度表达能力，提出一种基于多尺度注意力机制深度迁移识别方法。以为主干网络架构，引入多尺度池化通道注意力和多尺度空间注意力模块，结合空间金字塔池化的思想，对特征图的每个通道进行不同尺度的最大池化和均值池化，获取通道方向上不同尺度的特征信息；在空间层面上进行不同尺度的空洞卷积，增大特征图的感受野，获取更加全面的空间特征信息；通过深度迁移学习，实现特征参数共享，进一步提高模型的泛化能力。在种常见的电子元器件数据集上进行实验，结果表明，所提方法能有效获取图像不同尺度的显著特征信息，提升识别效果。关键词：电子元器件；注意力机制；迁移学习；中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（），（，；，）：，：；引言电子元器件是电子产品的重要组成部分，也是电子产品生产的基础。电子元器件的识别是根据不同元器件的外形特征，判断其属于不同的类别，它是电子产品进行焊接、检测、组装的首要环节，将直接决定现代电子产品生产的质量和效率，对于智能制造和精益生产具有非常重要的意义。收稿日期：基金项目：国家自然科学联合基金重点支持项目（）；江苏省高等学校自然科学研究项目（）；江苏信息职业技术学院重点科研课题（）：（）；（）；（）工程与应用 年 无线电工程 第 卷 第 期 目前，国内外对于电子元器件自动识别的研究还不多。年，杜思思等首次提出电子元器件自动分类的算法，主要包括直线段精确检测、快速圆检测和管脚数检测算法，在种常见的元器件识别中取得了显著效果，但是要针对每一种元器件的特点来设计一种手工特征提取算法，过程较为繁杂，通用性较差，并且对于体积较小的电子元器件错误率较高。年以来，随着深度卷积神经网络在机器视觉各个领域的成功应用并引起广泛关注，电子元器件识别的研究也普遍采用深度学习方法，如陈翔等提出的基于深度神经网络的电子元器件分类方法，利用网络自动提取特征并进行分类，在种常见的电子元器件数据集上取得了不错的分类效果，但是存在数据库不全面、样本差异性小、网络训练参数较多以及容易出现过拟合现象的问题。蔡立明等则针对电路板上的板载元器件，提出了多特征融合的深度神经网络算法，但是数据库中元器件的类别较少，而且后端仅仅利用类似作为分类器，网络结构相对简单，对元器件高层特征的表达不够。陈文帅等利用目标检测算法对极性电子元器件类别与方向识别进行了研究，将与相结合实现对极性电子元器件的准确分类和方向识别，在种型号的二极管数据集上取得了良好的检测精度和速度，但是元器件数据集种类比较单一。总之，相对于传统的基于特征提取的算法，深度学习的方法虽然具有自动提取图像特征、分类准确率较高等特性，但也需要更深的网络来支撑特征提取，而且随着网络的不断加深，计算量逐渐增大，对计算资源也提出了更高要求。针对以上分析，结合电子元器件自身存在的种类多、体积小、差异性小和分布不均衡等问题，本文提出一种基于多尺度注意力机制的深度迁移识别算法，从以下三方面进行改进：为了进一步优化网络结构，在确保网络深度和识别精度的基础上，选择作为主干网络，相比较传统的神经网络，网络通过在横向上增加的各种卷积操作，在不增加网络复杂度的前提下，提高网络对图像细粒度的表达能力，进一步提取更深层次的图像特征，还可以解决电子元器件图像之间差异小的问题。为了更加关注图像的关键信息特征，将注意力机制融入神经网络中，借鉴通道和空间注意力的设计理论，提出多尺度注意力机制，更加关注不同尺度的特性信息，并给予关键特征更大的权重，进一步解决电子元器件之间差异性小的问题。使用深度迁移学习方法，引入数据集上的预训练模型，并采用数据增强的方法，解决电子元器件数据集样本数量少且不均衡的问题。多尺度注意力机制注意力是模仿人类大脑处理信息的一种机制，对于图像识别来说，就是关注图像的重点区域，忽视不重要的部分，这样做的目的是增加图像关键特征的权重，以快速获取有价值的信息，从而有效提升图片关键特征的表达能力，在图像分类、目标检测等领域已取得巨大成功。在图像识别中常用的注意力机制分为通道注意力、空间注意力和混合域注意力，其中通道注意力关注特征图通道之间关系，对不同通道的特征图进行权重分配；空间注意力更加关注图像的像素区域，更好保留图像的空间信息；混合域注意力则是将上述种不同注意力组合起来，其中典型的模型是（），它是从通道和空间个维度计算特征图的注意力权重，然后与特征图相乘，从而构成从通道到空间的顺序结构。依据这一思想，本文在此基础上，提出一种基于多尺度注意力机制，根据图片在不同尺度的通道和空间位置信息，重新为特征图赋予不同权重。多尺度池化通道注意力中的通道注意力是对每一个通道进行全局的最大池化和均值池化，虽然可以获取不同通道的特征权重，但由于采用全局的池化容易忽略图片在不同尺度上的特征，特别是对于元器件，由于它们之间的相似性较大，势必影响识别效果。因此，本文结合空间金字塔池化的思想，采用多尺度池化来获得通道注意力权重，如图所示。工程与应用 图多尺度池化通道注意力模块 设输入特征图，首先在类似金字塔池化层中，进行不同尺度的最大池化操作，池化的尺寸分别为、。为了进一步提取图片的高层特征，对的通道注意力中的池化连接方式进行修改，将“并行”连接改为“串行”连接，即将最大池化后的特征图分别进行全局均值池化，然后将得到的个特征相加，并输入多层感知器（，），最后经过函数生成通道注意力权重（）：（），（）（），（）（）（），（）式中：表示最大池化，表示不同池化尺寸，表示全局均值池化，表示多层感知机，表示函数，（）表示通道注意力权重。多尺度空间注意力为了获取更加全面的空间位置信息，本文在传统的空间注意力模块的基础上，引入多尺度特征提取方法，提出了一种多尺度空间注意力模块。通过引入空洞卷积，设置不同的膨胀率，增大感受野，从而获取多尺度下的更加全面的空间特征信息。多尺度空间注意力模块是由个标准卷积和个空洞卷积组成，如图所示。首先，输入的特征图，经过的标准卷积压缩通道维数并提出特征图细节信息，然后利用个的空洞卷积层来提取不同尺度的空间信息，再经过的标准卷积生成维的空间特征图，最后经过函数生成空间注意力权重（）：（）（）（）（）（）（）（），（）（）（）（），（）式中：（）表示空间注意力权重，表示函数，（）表示卷积运算，表示空洞卷积的膨胀率，表示感受野大小。当 时，空洞卷积就是标准卷积；当时，空洞卷积是在标准卷积的卷积核中每个相邻权重之间插入个，此时感受野的大小为（），这样就可以通过增大感受野来获取图像不同尺度特征的空间信息。图多尺度空间注意力模块 空洞卷积在使用时，容易出现网格效应（），从而导致卷积的结果没有相关性，造成局部信息丢失，为此通过采用连续增加卷积层的膨胀率的方法，在更加广阔的像素范围内获取信息，从而增加像素之间的相关性，避免信息丢失。本文中个空洞卷积层的膨胀率分别为、。深度迁移学习目前，在计算机视觉领域内大量性能优异的深度网络模型被提出，这些模型的提出为深度学习的研究提供了重要参考，也被越来越多地应用于深度迁移学习。相比于从头开始训练一个神经网络，深工程与应用 年 无线电工程 第 卷 第 期 度迁移学习不仅可以减少训练的数据量、节约训练时间，并且能更好地提取网络深层次的特征、提升学习效果。采用预训练模型是深度迁移学习中比较常用的方法，即利用在大规模数据集上已经训练好的网络模型，针对特定的任务，将其网络结构或参数进行迁移并调整，以满足学习任务要求。本文选用在上的预训练模型。网络是的改进网络模型，主要特点是引入深度可分离卷积和残差网络。这里的深度可分离卷积先用卷积处理跨通道信息，然后在每个通道上使用单独的卷积核处理其特征的空间信息，有效地实现了在空间与通道上映射的分解耦合性，大大减少模型参数量，也使得模型具有一定的深度，可以确保模型学习到图像高层次的语义信息。同时，利用残差网络连接机制，加快网络的收敛速度，进一步提高模型性能。克服传统卷积中随着深度增加，神经网络模型参数量变大后，容易产生梯度消失或爆炸等问题。结构如图所示。图结构 迁移学习迁移学习是利用不同任务的相关性，将在源领域学到的知识应用于目标领域的新问题或系统，从而获取更快更好的学习效果。大量实验表明，迁移学习在小样本或者数据量不足的情况下能够获得比较好的训练结果，并且能够有效提升模型的性能。迁移学习可分为实例迁移、特征迁移、参数迁移和关系迁移，其中实例迁移、特征迁移和关系迁移实现在数据层面的迁移，而参数迁移则实现在模型参数层面的迁移。在图像识别领域，常利用数据集构建预训练模型。数据集中共有 万张图片，分为 个类别，覆盖人类生产生活中各种各样的图片，如家庭用品、通勤工具等。由于图像识别问题本质上是提取图像特征，建立输入图像与所属类别标签之间的映射关系，图像的低层次特征，如灰度、纹理和形状等，可以在不同任务之间共享，因此，采用基于参数迁移学习方法，将在预训练好的模型参数迁移到元器件识别模型中去。本文的深度迁移学习示意如图所示。首先将数据集上训练的作为预训练模型，并将预训练模型中的各层网络参数（除分类层）迁移到本文的电子元器件识别模型中，作为底层特征的提取层，然后添加多尺度注意力层，并将其作为高层特征的提取层，在此基础上，添加平均池化层、全连接层和分类层，从而构成新的网络模型。图深度迁移学习示意 实验结果与分析 数据采集与准备目前，国内还没有公开发布的电子元器件数据库，本实验利用万像素工业相机，以人工拍摄的方式采集图片，图片分辨率为 。数据集主要包括电阻器、电容器、电感器、二极管和三极管种常见的元器件，每种元器件包括不同的封装形式，如插件、贴片等，共计 张，如图所工程与应用 示。由于这种元器件之间的差异性很小，且由于使用范围原因，它们的数量不均衡，其中电阻器和电容器相对较多，这种不均衡很容易导致训练中产生过拟合现象。为了保证训练样本的充足性、均衡性，提高模型的适应性，实验中对训练样本采取随机旋转、翻转、裁剪和亮化等方式进行增强。此外，实验中对数据集进行图片大小、格式等预处理，并将其按 的比例划分训练集、验证集及测试集。图电子元器件数据库 实验平台与参数配置实验采用工作站硬件环境，操作系统为，显存 ，为 ，版本为，深度学习框架为。实验利用加快模型训练速度，选择自适应性矩估计作为模型参数优化器，训练周期设定为次，每批次训练的图片数量为张。学习率更新采用固定周期缩减策略，将初始学习率设置为，在训练过程中，当训练周期大于时，学习率缩小为原来的，以达到最优的模型。损失函数采用带有标签平滑（）的交叉熵损失函数。标签平滑也称为标签平滑正则化，它能在计算交叉熵损失时考虑正确标签损失的同时，也考虑错误标签的损失，从而提高模型的学习能力和分类性能，克服过拟合问题。为此，加入标签平滑后的交叉熵损失函数为：（），（）（），（）式中：为真实标签平滑操作后的样本标签，为真实标签，（）为每个类别的概率，为引入的固定分布，为平滑因子，设置为。实验结果 考察不同注意力机制的识别结果为了验证本文所提的多尺度注意力机制（）的识别效果，将此方法与常见的通道注意力机制（）、混合域注意力机制（）以及高效通道注意力机制（）作对比实验，主干网络为，选择准确率、值、召回率和精确率作为性能评价指标，实验结果如表所示。表不同注意力机制下的元器件识别结果 方法准确率 值 召回率 精确率 从表可以看出，融入注意力机制后，模型的各项性能指标均高于单一的模型，平均提升，说明采用注意力机制能有效提取图片的关键信息，提高辨识效果。另一方面，从种注意力机制的识别结果可知，本文所提的和方法要高于和方法，这是因为和方法仅仅关注图片通道方向的特征信息，而和则提取图片在通道和空间个方向的特征信息，因此获取的特征信息更加全面，识别率更高。需工程与应用 年 无线电工程 第 卷 第 期 要指出的是，在基础上，更加关注通道上和空间上更多不同尺度的特征信息，从而能更加全面地提取图片的显著特征，因此识别率最高。考察不同注意力机制的有效性为了进一步验证本文所提方法的有效性，实验还考察了种注意力机制在训练过程中的准确率和损失的变化情况。在训练过程中，训练集每完成个周期，对验证集数据进行次测试，记录识别结果并绘制整个训练过程的分类性能变化情况。图所示为不同注意力机制的准确率变化情况，在前个迭代周期内，所有模型的准确率曲线波动幅度都比较大，整体呈上升趋势。当训练至个迭代周期后，模型曲线逐渐趋于稳定，而其他种注意力机制模型曲线仍有波动，但波动幅度逐渐减小。当训练至个迭代周期后，所有模型曲线趋于稳定。从图中还可以看出，在个迭代周期以后，模型的准确率要高于其他种注意力模型，并且曲线波动幅度相对较小，模型的表现更加稳定，性能更佳。实验结果表明，模型的分类效果优于其他种注意力模型。图训练过程中准确率变化 图所示为不同注意力机制在数据集上的损失变化情况。从图中可以看出，种注意力机制模型的损失曲线相似，变化规律和波动幅度基本一致，其中模型损失值的下降速度和收敛速度最快，当训练至个迭代周期后，模型损失值趋于平稳，与模型的准确率变化相吻合，整个模型表现出了良好的性能。图训练过程中损失变化 消融实验为了进一步验证本文所提方法的有效性，本文还进行了消融实验，其中主干网络为，融入多尺度注意力机制后，将此模型记为，在此模型上分别考察引入数据增强（，）、迁移学习（，）以及同时引入二者的实验结果，表展示了各种方法的识别结果。表消融实验的识别结果 方法准确率 值 召回率 精确率 从表可以看出，采用数据增强后，模型的各项评价指标都有提升，平均提高了，说明数据增强对提高模型识别性能具有一定的有效性。引入迁移学习方法后，模型的各项评价指标明显提升，平均提升，其中准确率提高最多，验证了深度迁移学习对提高模型识别性能的有效性。当同时引入迁移学习和数据增强时，模型的识别效果大幅度提升，更加验证了这种方法的有效性。考察不同模型的识别结果为了考察本文所提出的主干网络模型的有效性，将此模型与常用于图像分类的分类模型、以及作对比实验。不同模型下元器件的识别结果如表所示。实验结果表明，模型在测试集上的分类准确率最低，工程与应用 平均准确率为，而模型的分类准确率最高，平均准确率为。因此本文选取主干网络能够很好表达元器件的细粒度，是一种性能优异的分类模型。表不同模型下的元器件识别结果 方法准确率 值 召回率 精确率 考察不同元器件的识别结果为了更进一步考察本文所提算法的有效性，本实验考察了数据库中各种元器件的识别率，实验结果如图所示。从图中可以看出，采用多尺度注意力机制后每种元器件的识别率上升明显，其中三极管的识别率提升幅度最大，说明多尺度注意力机制能通过更加关注每种元器件细粒度特征的区别，从而提升元器件的识别效果。同时还可以看出，在多尺度注意力机制基础上融入深度迁移学习，每种元器件识别率得到进一步提升，表明深度迁移学习进一步提升了模型的性能。图不同类别元器件的识别结果 结束语本文以为主干网络，提出一种基于多尺度注意力机制的元器件深度迁移识别方法。在通道注意力模块中，以不同尺寸对输入特征图进行最大池化，再对不同尺寸的特征图使用均值池化，从而关注不同大小的通道特征。在空间注意力模块中，采用标准卷积和空洞卷积相结合的方法，选择不同的空洞率，增大特征图视野，关注更多的空特征信息。在深度迁移学习方法中，引入预训练模型，进一步提升模型在小样本上的识别性能。实验结果表明，与其他识别方法相比，本文所提方法能有效提升元器件识别的准确率，取得了良好的识别效果。但本文提出的多尺度注意力机制也导致了网络训练参数的增加，相应的训练时间有所增加，后续研究将集中在不影响网络性能的前提下，进一步改进模型，减少网络参数数量，并进一步增强元器件样本之间的平衡性。?参考文献杜思思，单忠德，黄樟灿，等电子元器件自动分类的算法研究与系统开发机电产品开发与创新，（）：陈翔，俞建定，陈晓爱，等基于卷积神经网络的电子元器件分类研究无线通信技术，（）：蔡立明，李威，高永发，等基于多特征图像增强深度卷积神经网络的航天用电子元器件分类算法导航与控制，（）：陈文帅，任志刚，吴宗泽，等基于深度学习的极性电子元器件目标检测与方向识别方法自动化学报，（）：，（）：储臖，朱晓阳，冷璐，等引入通道注意力和残差学习的目标检测器模式识别与人工智能，（）：，：（）：，：，（）：，：，：（）：，：葛芸，马琳，叶发茂，等基于多尺度池化和范数注意力机制的遥感图像检测电子与信息学报，（）：，（）：，：工程与应用 年 无线电工程 第 卷 第 期 ：（）：，：，（）：，：，（）：，（）：，（）：，（）：，：，：作者简介夏玉果男，（），硕士，副教授。主要研究方向：图像处理、机器学习。丁晟男，（），博士，高级工程师。主要研究方向：人工智能、高速信号处理。赵力男，（），博士，教授。主要研究方向：人工智能与情感计算。工程与应用