基于特征聚合的铜合金金相图分类识别方法.pdf

2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2593-2601ISSN 10019081CODEN JYIIDUhttp：/基于特征聚合的铜合金金相图分类识别方法黄学雨1，2，贺怀宇1，林慧敏1，陈金水3，4*（1.江西理工大学 软件工程学院，南昌 330013；2.江西理工大学 南昌市虚拟数字工厂与文化传播重点实验室，南昌 330013；3.江西理工大学 材料冶金化学学部，江西 赣州 341000；4.江西理工大学 先进铜产业研究院，江西 鹰潭 335000）（通信作者电子邮箱）摘要：针对铜合金成分检测过程中产生的时滞问题，提出一种基于特征聚合的铜合金金相图分类识别方法。首先，在特征提取阶段，构建灰度共生矩阵（GLCM）和基于卷积注意力模块的残差网络（ResNet）模型分别提取图像的全局与局部特征；其次，在特征聚合阶段，将提取到的特征规范化后进行简单的级联；最后，在分类识别阶段，使用支持向量机（SVM）精确分类。实验结果表明，所提方法的准确率达到了98.963%、宏F1达到了98.996%，优于基于单特征的机器学习方法。可见，不同的方法提取的特征经过聚合后可以更全面地描述铜合金金相图的纹理及边缘信息，所提方法可以通过金相图识别不同铜合金，提升了识别的准确率，且具有良好的鲁棒性。关键词：特征聚合；纹理特征；残差网络；灰度共生矩阵；支持向量机；铜合金；金相图中图分类号：TP391.41 文献标志码：AClassification and recognition method of copper alloy metallograph based on feature aggregationHUANG Xueyu1，2，HE Huaiyu1，LIN Huimin1，CHEN Jinshui3，4*（1.School of Software Engineering，Jiangxi University of Science and Technology，Nanchang Jiangxi 330013，China；2.Nanchang Key laboratory of Virtual Digital Factory and Cultural Communications，Jiangxi University of Science and Technology，Nanchang Jiangxi 330013，China；3.Faculty of Materials Metallurgy and Chemistry，Jiangxi University of Science and Technology，Ganzhou Jiangxi 341000，China；4.Jiangxi Advanced Copper Industry Research Institute，Jiangxi University of Science and Technology，Yingtan Jiangxi 335000，China）Abstract:Focusing on the issue of long delay in detection of copper alloy composition，a classification and recognition method of copper alloy metallograph based on feature aggregation was proposed.Firstly，in the feature extraction stage，the Gray-Level Co-occurrence Matrix（GLCM）and the Residual Network（ResNet）model based on convolutional block attention module were constructed to extract the global and local features of the image，respectively.Secondly，in the feature aggregation stage，the extracted features were normalized and then cascaded in a simple way.Finally，in the classification and recognition stage，a Support Vector Machine（SVM）was used for accurate classification.Experimental results show that the proposed method achieves the accuracy of 98.963%and macro-F1 of 98.996%，which are better than those of machine learning methods based on single feature.It can be seen that the features extracted by different methods can describe the texture and edge information of copper alloy metallographs more comprehensively after aggregation，and the proposed method can identify different copper alloys by metallographs，which improves the accuracy of identification and has good robustness.Key words:feature aggregation;texture feature;Residual Network（ResNet）;Gray-Level Co-occurrence Matrix(GLCM);Support Vector Machine(SVM);copper alloy;metallograph0 引言 传统的铜合金材料的成分分析方法主要采用电火花直读光谱、原子吸收光谱分析、原子荧光光谱分析、原子发射光谱分析、X射线荧光光谱分析、红外光谱分析、俄歇电子能谱分析、光电子能谱分析、探针显微分析和离子探针显微分析等方法1。虽然这些方法精确度高，但相关设备不仅无法工作在高温、高尘的熔炼现场，同时因价格昂贵，可能出现多个生产线共用一个检测设备的现象，当检测任务繁重时，不免会产生时滞问题2。提高生产效率是解决时滞问题的关键，也是工业智能化发展的必然趋势，因此高效、快速分析铜合金材料所含成分具有重要意义。图像智能识别在工业生产领域得到了广泛的应用：Kim等3通过图像的颜色识别，对Cu-Zn、Cu-Sn和Cu-Al等铜二元合金图像色调强度进行分析，最终构建指数方程模型预测铜二元合金的成分；Zhang等4针对再生铜检测时滞大的问题，提出了将颜色特征与最小二乘支持向量回归（Least Squares 文章编号：1001-9081（2023）08-2593-09DOI：10.11772/j.issn.1001-9081.2022060893收稿日期：20220620；修回日期：20220905；录用日期：20220909。基金项目：国家重点研发计划重点专项（2020YFB1713700）。作者简介：黄学雨（1970），男，江西赣州人，教授，博士，主要研究方向：企业信息化、智能工厂；贺怀宇（1996），男，山西大同人，硕士研究生，主要研究方向：图像识别；林慧敏（1997），女，江苏徐州人，硕士研究生，主要研究方向：智能计算、图像处理；陈金水（1993），男，江西赣州人，博士研究生，主要研究方向：高性能铜合金制备、加工、表征。第 43 卷计算机应用Support Vector Regression，LSSNVR）结合估计铜合金成分，但样品表面的缺陷以及光线阴影等外部因素可能会影响到预测结果，这给识别分析金属材料所含成分带来了困难和挑战。金相图检测技术通过观察金属材料内部的显微结构与晶粒的类型、形态、大小及分布等特征1，多应用于缺陷检测5-6、性能分析7、磨损检测8等。通过分析金相图像中的结构特征，可以有效避免颜色对预测结果的影响。建立微观组织与成分之间的关系模型，通过金相图谱高效快速地识别铜合金材料成分是个有效率价值的课题。近年来，国内外许多学者将相关深度学习算法运用于分析金相图谱，取得了丰硕的成果9-10。Papa等11为了解决金相图像中铸铁的自动表征问题，使用了支持向量机（Support Vector Machine，SVM）、贝叶斯算法和最优路径森林分类算法作比较，基于最优路径森林分类算法在准确性和速度方面都表现出了总体上的优越性；DeCost 等12利用 SVM 模型和视觉特征对球墨铸铁、灰铸铁、可锻铸铁、退火双坯、黄铜超晶钢等7 种合金进行了分类，并取得 80%以上的准确率；张永志等13基 于 ImageNet 数 据 集 预 训 练 VGG（Visual Geometry Group）模型，采用冻结全部卷积层权值和微调部分卷积层权值两种迁移学习方法对火力发电机组耐热钢的金相组织分类识别，两种方法的准确率达到了 92.5%和 94.2%；Azimi等14提出了完全卷积神经网络，将像素化分割用于低碳钢微观结构成分的分类，实现了93.94%的分类精度。总之，通过金相图谱来判断金属所含成分具有一定的可行性。通过金相图谱来识别金属所含成分的关键问题是提取图像中的纹理特征。而传统纹理提取的方法包括局部二进制 模 式（Local Binary Patterns，LBP）、小 波 变 换（Wavelet Transform，WT）和灰度共生矩阵（Gray-Level Co-occurrence Matrix，GLCM）等15。Brynolfsson等16发现，图像中的噪声、分辨率、量化方法的选择和灰度级数对大多数纹理特征都有显著影响，并且不同特征之间的影响大小各不相同；Webel等17提出了一种使用 GLCM 对低碳钢的微观结构进行分类的方法。上述分析表明，GLCM 适用于分析合金的微观结构，但使用 GLCM 提取图像的纹理特征具有局限性，捕捉图像的局部细节能力有限。现有的图像局部特征提取方法通常使用注意力机制（Attention Mechanism，AM）模块与主干网络相结合作为图像识别领域的一个重要的模块，可以快速定位图像内更有价值更感兴趣的区域，提升模型分类的效率和准确性。考虑到单一特征并不能完整图像的特征，融合多特征是提高铜合金金相图分类识别性能的关键。例如：Lin等18为了解决多尺度问题，提出了一种带有横向连接的自上而下的特征融合网络，用于所有尺度上构建高级语义特征图。王志伟等19为了有效融合不同尺度的服装图像特征，设计了基于特征相似性融合（Feature Similarity Fusion，FSF）公式，通过FSF公式将多尺度融合特征与传统特征相结合，模型准确率提升了16.4%；但结构复杂的特征融合方法不仅会增大内存开销，也会增加计算的耗时，因此，本文选择简单的级联方法，将全局特征和局部特征聚合起来。针对上述铜合金多分类问题，本文拟采用基于特征聚合的铜合金金相图分类识别方法。在特征提取阶段，采用卷积注意力模块的残差网络（Residual Network，ResNet）模型提取铜合金金相图的局部纹理特征，通过GLCM提取图像的全局特征，将提取到的两类特征规范化后，采用级联的方法进行特征聚合。聚合后的特征可以从全局与局部两方面描述金相图谱的纹理信息，更加全面地捕获金相图的纹理特征，从而更加精确地识别金属所含成分。最后利用SVM对聚合特征分类识别，完成对铜合金成分的分类识别。基于特征聚合的铜合金金相图分类识别方法具有收敛速度快、预测精度高以及泛化性能好的特点，可以较好地解决基于金相图的铜合金多分类问题。本文的主要工作有：1）为了更好地提取金相图谱的局部特征，提出一种基于注意力机制的ResNet模型。在传统残差网络的基础上添加了卷积注意力模块，相比改进前的模型，提高了捕捉图像局部细节特征的能力。2）为了解决单特征不能完整表达金相图纹理特征的问题，在特征提取阶段分别使用 GLCM 提取图像的全局特征、用改进的卷积神经网络算法提取图像的局部细节特征。将两种不同的输出特征聚合为统一的表现形式。1 基于特征聚合的铜合金金相图分类识别方法本文提出基于特征聚合的铜合金金相图分类识别方法，框架如图1所示。首先，对原始铜合金金相图谱进行数据预处理；其次，对预处理后的金相图谱进行纹理特征的提取，运用不同特征提取方法在不同粒度上描述金相图谱的语义信息；再次，将提取到的特征规范化后聚合；最后，将预处理后的聚合特征输入SVM算法中训练学习，获得一个鲁棒性强、精度高及泛化能力强的模型，最终实现对不同成分铜合金的分类识别。下面将对基于聚合特征的SVM分类识别模型中的各模块进行详细的介绍。图1基于特征聚合的铜合金金相图分类识别方法框架Fig.1Framework of classification and recognition method of copper alloy metallograph based on feature aggregation2594第 8 期黄学雨等：基于特征聚合的铜合金金相图分类识别方法1.1铜合金金相图谱数据集建立1.1.1原始数据集公开的铜合金金相图数据集十分稀少，本文实验的样本图像来自江西先进铜产业研究院采集的铜合金金相图图像数据，在采集过程中由经验丰富的专业人员标注，并利用电感耦合等离子光谱发生仪进行成分检测。根据专业人员标注的铜合金金相图像文件，建立铜合金金相图像数据集。数据集含有4种类别的合金：Cu-Cr-Zr（143张）、Cu-Fe（119张）、Cu-Fe-Cr（117 张）和 Cu-Fe-Mg（29 张）。图片分辨率有三种2 5921 869，821541，3 8401 932。为了防止信息泄露，每个类别按训练集验证集测试集比例为 6 2 2 随机分配。铜合金金相图片示例如图2所示。1.1.2预处理数据集研究分析发现，铜合金金相图谱具有分辨率高、内部组织和成分分布均匀等特点；同时，由于数据集的规模较小，因此要对原始高分辨率金相图谱进行一系列的预处理。1）灰度处理。由于图像的色谱容易受到光照等因素的影响，以及金相在制作过程中使用的化学浸蚀液不同导致其金相图谱的颜色也有明显差别。本文为了消除图像色谱对研究的影响，将图像进行灰度处理，仅保留图像的梯度，即纹理、边缘特征。使用灰度图像不仅可以用较少的数据描述图像的大部分特征，同时也可以提高后续模型算法的效率。本文使用ITU-R 601-2亮度变换将RGB图像转换为灰度图像。2）直方图均衡化。直方图均衡化可以用来增强动态范围偏小的图像对比度，是一种有效简单的图像增强技术。本文采用直方图均衡化技术对灰度处理后的金相图进行处理，增加了图像的灰度动态范围，同时也增强了图像的对比度，使相邻像素之间的灰度差别变大，图像纹理更加清晰。3）图像切片。由于金相图谱属于微观图像，具有高分辨率且成分分布均匀的特点，本文按照分辨率将不同金相图剪裁为多张统一分辨率为672672的切片，最终得到训练集（3 046张）、验证集（1 028张）和测试集（964张），如表1所示。为了防止信息泄露，本文先随机划分了数据集再进行图像切片，同时由于原始图片的分辨率不同，最终导致切片后的图片数有一些差别。预处理后的4种类型铜合金金相图示例如图3所示。1.2金相图谱的特征提取1.2.1基于灰度共生矩阵提取全局特征由于金相图谱内的金属成分分布均匀，因而在金相图谱中相隔一定距离的两个像素间存在一定的灰度关系，即图像的空间相关特性。通过灰度共生矩阵（GLCM）可以研究图像的灰度空间相关性，描述金相图谱的纹理特征。通过GLCM 可以分析图像的纹理特征以及排列规律等。在不同方向乃至同一方向的不同步距上，构建的GLCM也不相同。传统方法是在归一化灰度共生矩阵的基础上，计算二次统计量来表示纹理特征，更加方便直观地反映了图像纹理有关变化幅度、不同间隔以及不同方向等的综合信息，以更好地描述金相图谱的纹理特征。为了估计不同 GLCM 之间的相似性，减小计算的复杂性，本文只应用二阶矩（Angular Second Moment，ASM）、对比度（Contrast，CON）、相 异 性（Dissimilarity，DI）、逆 差 矩（Inverse Difference Moment，IDM）和 相 关 度（Correlation，COR）表示图像纹理特征20。其中，在归一化后GLCM中，起始像素点灰度为i，相隔距离为d，且角度为的方向上的像素点的灰度为j的概率为Pd(i，j)。1）二阶矩：通过计算灰度共生矩阵中各元素的平方和得出，该特征参数反映了铜合金金相图像中纹理的粗细程度。如式（1）所示：VASM=i jP2d(i，j)（1）2）对比度：该特征参数可以反映铜合金金相图像表面沟纹的深浅以及清晰度。对比度的值越大，图像表面的纹理沟纹越深；反之，则相反。如式（2）所示：VCON=i jPd(i，j)(i-j)2（2）3）相异性：同对比度类似，但在计算权重时采取线性增长的方式。反映了铜合金金相图像的纹理沟纹深浅的程度均匀性和清晰度。如式（3）所示：VDI=i jPd(i，j)|i-j|（3）4）逆差矩：反映铜合金金相图像中纹理的清晰程度以及分布信息。其值越大，表示图像中的纹理越清晰且具有规律性。如式（4）所示：VIDM=i j11+(i-j)2Pd(i，j)（4）图2数据集中每个类别的图像样本Fig.2Samples of images of each category in dataset表1预处理后的数据集分布情况Tab.1Distribution of pre-processed dataset数据集类型训练集验证集测试集不同成分的铜合金Cu-Cr-Zr1 020348336Cu-Fe878296272Cu-Fe-Cr824276266Cu-Fe-Mg32410890图3预处理后的4种类别的图像样本Fig.3Four categories of image samples after pre-processing2595第 43 卷计算机应用5）相关性：体现了铜合金金相图像中纹理区域在某些方向的相似度，相似度越高则相关性越强。主要反映金相图表面的纹理是否具有一致性。如式（5）所示：VCOR=1xyi j(ij)Pd(i，j)-xy（5）其中x=i jiPd(i，j)y=i jjPd(i，j)x=i j(i-x)2Pd(i，j)y=i j(i-y)2Pd(i，j)1.2.2基于改进残差网络模型提取局部特征卷积神经网络（Convolutional Neural Network，CNN）可以利用卷积层学习到图像的局部模式，如边缘、纹理等。通过CNN可以学到模式的空间层次结构，即使用多层卷积有效学习到更加复杂、抽象的视觉概念；同时CNN学习到的模式具有平移不变性，即在图像的某一位置学习到某个模式后，可以在任意地方识别这个模式，具有高效性以及很好的泛化性。残差网络（ResNet）相比CNN，引入恒等映射，实现跳层连接，解决网络深度增加导致准确率退化的问题，提高了对输入到输出的映射表达能力。然而网络深度的增加虽然具有更强的特征提取能力，但会在反向传播中出现梯度消失的问题，同时在小规模数据集上表现不太理想。研究表明，注意力机制可以通过定位有感兴趣的区域，并对其他区域进行模糊处理，从而提高模型分类、预测的精确 度。卷 积 注 意 力 模 块（Convolutional Block Attention Module，CBAM）结合了空间注意力和通道注意力，不仅可以关注到目标在图像上的位置，同时也可以关注到图像数据的通道信息。具体计算过程为：1）假设输入中间特征图F RC H W，对输入特征图F按照通道进行全局最大池化以及均值池化操作，把池化后的两个一维向量输入到全连接层后相加生成一维通道注意力MC RC 1 1，将生成的通道注意力MC与输入特征图F相乘，获得特征图F，如式（6）所示；2）将F按空间进行全局最大池化以及均值池化操作，池化后的两个二维向量拼接后进行卷积操作，得到二维空间注意力MS R1 H W，将得到的空间注意力MS与F相乘，如式（7）所示。整个过程可以归纳为：F=MC(F)F（6）F=MS(F)F（7）其中：表示按元素相乘；F是最终的输出21。为了更加全面地提取金相图谱的特征，本文在特征提取阶段将CBAM与ResNet50相结合，设计了一种基于卷积注意力 模 块 的 残 差 网 络（Residual Network-Convolutional Block Attention Module，ResNet-CBAM）模型，具体参数如表 2 所示。该模型不仅可以利用残差块提高模型的分类能力，同时也融合了卷积注意力模块，在空间与通道两个层面上挖掘图像的局部细节特征。改进后模型的网络结构如图4所示，主要部分的具体描述如下：ResNet-CBAM 模型由 8 个阶段（Stage）组成，其中Stage0仅含1个卷积层，用于对输入数据的预处理；Stage1为卷积注意力模块；Stage2Stage5 与传统 ResNet50 结构一致，都由 BottleNeck 组成；Stage6 再次加入卷积注意力模块。最后在Stage7使用平均池化层对整体特征信息进行下采样，通过两个全连接层分别将二维特征转化为一维向量并减少输出特征数，在两个全连接层中加入dropout防止过拟合。1.3金相图谱的特征聚合为了更加全面地学习铜合金金相图谱的纹理特征，本文将灰度共生矩阵提取到的特征与卷积神经网络提取到的特征进行聚合。如图1的特征提取模块所示，基于特征聚合的铜合金金相图分类识别方法对于预处理后分辨率为224224的图像，表2ResNet-CBAM网络参数Tab.2ResNet-CBAM network parameters阶段Stage0：Conv 1Stage1：CBMAStage2：Conv2Stage3：Conv3Stage4：Conv4Stage5：Conv5Stage6：CBMAStage7输出大小224224224224224224224224112112565628282828282811ResNet-CBAM33，64，stride 111，4，stride 111，64，stride 177，1，stride 1，padding 333 max pool，stride 21 1，643 3，641 1，2553 1 1，1283 3，1281 1，5124 1 1，2563 3，2561 1，1 02461 1，5123 3，5121 1，2 048311，4，stride 1 11，64，stride 177，1，stride 1，padding 3Average pool，1 024-d fc图4ResNet-CBAM结构Fig.4Structure of ResNet-CBAM2596第 8 期黄学雨等：基于特征聚合的铜合金金相图分类识别方法采用不同的特征提取方法，分别提取图像全局和局部的纹理特征。为了提取这些特征，引用了传统纹理特征提取方法灰度共生矩阵与基于卷积注意力模块的残差网络模型两种方法。通过构建灰度共生矩阵，指定偏移值为2、8、16，方向为0、45、90、135四种方向。每幅图像可以构建12个灰度共生矩阵。为了反映图像的空间相关特性，每个灰度共生矩阵可以计算对比度、能量、自相关、相异性和逆差矩五种统计特征，因此每幅图像可以生成60种特征值，即每幅图像生成一个长度为 60的一维纹理特征向量F1；通过基于卷积注意力模块的残差网络的卷积部分的计算，得到输入金相图像的特征图，经过平均池化后，平铺成一个长度为1 024的一维特征向量F2。将两种方法提取到的特征通过Concat()进行简单的级联操作。由于不同类型的特征具有不同的值范围，通过Norm()对聚合特征调整到-1，1的范围，特征表示为：Fcon=Norm(Concat(F1，F2)（8）其中：Norm()表示规范化操作；Concat()表示简单的拼接操作。1.4SVM分类识别方法SVM作为一种用于分类、回归的监督学习方法，在高维空间以及维度数大于样本数的情况下仍然有效。为了把给定的二分类算法有效地扩展到多分类问题应用中，SVM采用“one-vs-one”的策略函数。同时，为了更好地逼近非线性函数并使模型具有更好的泛化性，选择径向基函数（Radial Basis Function，RBF）作为SVM的核函数，如式（9）所示：exp(-x-x2)（9）其中：代表单个训练示例的影响力，必须大于0。越大，其附近的其他样本越会被影响到。正确选择对SVM的性能至关重要。因此，在实验训练阶段使用GridSearchCV来寻找最优参数。本文研究的铜合金金相图多分类识别问题，数据集规模较小，同时1.3节中得到的聚合特征维度较高，使用SVM相较于其他分类器会更加合适。在实验对比阶段，采用K近邻算 法（K Nearest Neighbor，KNN）与 决 策 树 算 法（Decision Tree，DT）作为对比。基于特征聚合的铜合金金相图分类识别方法的优势从以上内容可以看出：首先，该模型可以通过不同方法获得金相图像不同类型的纹理特征，从不同的粒度来看，这些特征之间是互补的；其次，该模型可以将这些不同方法得到的纹理特征聚合为最终特征表示后，通过机器学习模型进行准确分类，最大可能地包含金相图所有的判别信息。基于金相图谱聚合多特征的金属成分识别比单一特征的学习模型训练效果更好，同时鲁棒性与泛化性也大大加强，适用于基于金相图的金属成分识别。2 实验分析 2.1实验运行环境本文的硬件环境：GPU：RTX A4000 显存：16 GB，CPU：12核 Intel Xeon Gold 5320 CPU 2.20 GHz，内存：32 GB；软件环境：Pytorch1.9.0、Python3.8等。2.2评价指标本文所解决的是铜合金分类识别属于多分类问题，采用的评价指标是宏查准率（macro-P）、宏查全率（macro-R）、宏F1（macro-F1）。同时，利用准确率（accuracy）进行辅助评价。2.3实验结果与比较本节针对预处理后的铜合金金相图谱数据集，采用以下消融实验进行比较分析，通过准确率、宏查准率、宏查全率及宏F1这4个方面来验证每组实验训练的效果。2.3.1基于注意力机制的残差网络的性能分析在当下流行的卷积神经网络体系结构中，本节比较分析了基于注意力机制的残差网络ResNet-CBAM与ResNet系列的 ResNet50、ResNet101、稠密卷积网络（Dense Convolutional Network，DenseNet）系列的 DenseNet121 和 GoogleNet（Google Inception Net）系列的Xception在基于金相图谱的铜合金分类识别问题上的表现。在训练阶段，将预处理后的图像调整到分辨率为 224224 输入到网络。不同卷积神经网络的初始学习率设置为0.01，当epoch达到第60轮、第120轮、第180轮时，每个参数组的学习率会按照之前学习率的 0.2 倍衰减；batch size 为16，即每16幅图像进行一次提取训练；采用动量梯度下降法进行参数更新；epochs设置为 150，共训练 150轮。5种模型的损失值（loss）随着训练轮数（epoch）变化曲线如图5所示；在验证集上的准确率（accuracy）变化曲线如图6所示。由图 5 可知，在 batch size 相同的情况下，ResNet50 模型在前30轮训练中，损失值在0.020.6波动，在60轮训练后，损 失 函 数 逐 渐 收 敛，在 0.021 上 下 波 动；ResNet101 与ResNet50 相比，前 30 轮训练的损失值在 0.20.5 的范围波动，但在第 60 轮训练后，损失函数有上升的趋势，最终在0.023 附近收敛；ResNet-CBAM 是基于 ResNet50 改进的模型，在训练过程中，损失值从0.2逐渐减小，第13轮训练下降到 0.010 并在附近收敛；DenseNet121 在训练过程中，同ResNet-CBAM 类似，损失值从 0.2逐渐减小，第 15轮训练下图5训练过程中不同卷积神经网络模型的损失曲线对比Fig.5Comparison of loss curves of different convolutional neural network models during training图6训练过程中不同卷积神经网络模型的准确率对比Fig.6Accuracy comparison of different convolutional neural network models during training2597第 43 卷计算机应用降到0.012并在附近收敛；Xception在训练过程中，损失值从0.1逐渐减小，第15轮训练下降到0.014并在附近收敛。比较分析可得，ResNet-CBAM 的收敛速度明显优于改进前的ResNet50 及 层 数 更 多 的 ResNet101，且 与 DenseNet121 及Xception的速度相当。如图6所示，随着迭代轮数的增加，ResNet50、ResNet101及 ResNet-CBAM 的准确率都维持在 0.93 上下，而 DenseNet的准确率维持在 0.95 上下，Xception 的准确率维持在 0.94上下。说明这 5种模型在基于金相图的铜合金多分类识别上的性能相似。在测试阶段，采用最佳训练权重的5种模型在测试集上的评价指标对比结果如表3所示。表3表明，ResNet-CBAM的准确率为97.510%、宏查准率97.525%、宏查全率97.662%、宏F1为97.662%；与ResNet50相比有显著提高，稍高于Xception及ResNet101的各项指标；DenseNet121的准确率为 97.925%、宏查准率 98.213%、宏查全 率 98.325%、宏 F1 为 98.162%；但 在 模 型 结 构 方 面，ResNet50仅有56层，与DenseNet121模型结构的121层相比，模型结构更加简单，参数更少。2.3.2基于特征聚合的铜合金金相图分类识别方法的性能在本节选择KNN、SVM、DT三类机器学习模型作为分类器，分别对全局特征、局部细节特征以及聚合特征进行分类识别。分类器在训练过程中，由于可用数据相对较少，为了更加精准地评估模型、优化模型参数，因此将训练集和验证集的数据合并后，采用10折交叉验证的方法。同时，结合网格搜索，在一定范围内找到最优的参数。最后，在测试集上对调参后的机器学习分类器进行性能测试。1）基于灰度共生矩阵全局特征的分类方法。利用上述三种分类方法，基于根据金相图构建灰度共生矩阵后计算出的60组统计特征，对铜合金进行分类。在训练过程中，三种分类器经过网格搜索调参，得出：当k=1时，KNN 算法在训练集得到的度量值最佳；当划分标准选择基尼指数（Gini index），最大深度为 10 时，DT 的度量值最佳；当采用RBF核，gamma=0.1时，SVM的度量值最佳。在测试阶段，三种分类器在测试集上的评价指标对比结果如表4所示。在测试集中调参后的三种分类器，SVM的分类 效 果 远 高 于 KNN 与 DT。使 用 SVM 识 别 的 准 确 率 为92.738%、宏查准率为 93.714%、宏查全率为 93.234%以及宏F1为93.412%，在4种指标上，利用SVM识别基于灰度共生矩阵提取的特征相较于使用 KNN、DT 均有显著的提升。由于每幅图片仅提供长为 60的一维特征，且训练集规模较小，因此使用SVM可以有效防止过拟合，在测试集上的分类效果最好。但与2.3.1节中的卷积神经网络相比，仍有不小的差距。通过GLCM方法提取到的全局纹理特征有限，不能全面反映图像的纹理特征；而卷积神经网络可以通过多层卷积，从金相图提取出尽可能多且更细节的特征。2）基于卷积网络提取局部特征的分类方法。在本文 2.3.1 节的基础上，通过 ResNet50、ResNet101、DenseNet121、Xception以及ResNet-CBAM，提取出铜合金金相图谱的长为1 024的一维特征。使用上述三种分类器，在训练集经过10折交叉验证调参后，得到三种分类器的最佳参数。在测试阶段，利用调参后的最佳参数，构建 KNN、SVM以及 DT 三种分类器，分别对 ResNet50、ResNet101、ResNet-CBAM、DenseNet121与Xception五种卷积网络提取到的一维特征进行分类，结果如表5所示。从表5可以看到，利用DT作为分类器的识别准确率、宏查准率、宏查全率以及宏 F1 均在 96%97%，而利用 SVM 与KNN作为分类器的识别准确率、宏查准率、宏查全率以及宏F1 均在 98%之上。由于铜合金金相图像纹理信息比较复杂，可能会造成 DT 分类的波动较大，性能相对较差。特别的，ResNet101-SVM与ResNet-CBAM-KNN两种方法对铜合金金相图识别的准确率都达到了 98.651%，但 ResNet-CBAM-KNN 的宏查准率、宏查全率以及宏 F1 略高于 ResNet101-SVM，效果略好于其他方法。与 2.3.1 节中不同，卷积神经网络的实验对比分析可得，卷积神经网络与机器学习分类器相结合的方法相较于单独使用卷积神经网络模型，性能进一步提高。传统卷积神经网络对卷积层提取到的特征使用全连接层进行分类，相当于表5测试集上基于卷积特征的不同分类方法比较 单位：%Tab.5Comparison of different classification methods based on convolutional features on test setunit：%方法ResNet50-KNNResNet50-DTResNet50-SVMResNet101-KNNResNet101-DTResNet101-SVMResNet-CBAM-KNNResNet-CBAM-DTResNet-CBAM-SVMDenseNet121-KNNDenseNet121-DTDenseNet121-SVMXception-KNNXception-DTXception-SVM 注：粗体表示最好的三个结果。accuracy98.23796.57798.34098.43297.30398.65198.65196.88898.44498.54896.05898.54898.02996.68098.029macro-P97.89395.95898.41297.98197.14198.11498.63597.29298.44598.31395.37498.53497.27296.45097.644macro-R97.36296.21898.17898.24197.69298.23598.48396.73298.44198.31396.26698.54398.28995.89398.300macro-F197.61796.07998.27898.10297.37998.17198.55296.99298.44098.40895.73298.52197.74296.13097.950表3测试集上不同卷积神经网络模型的性能比较 单位：%Tab.3Performance comparison of