基于门控特征融合与中心损失的目标识别.pdf

DOI:10.3785/j.issn.1008-973X.2023.10.010基于门控特征融合与中心损失的目标识别莫建文，李晋，蔡晓东，陈锦威(桂林电子科技大学信息与通信学院，广西桂林541004)摘要：针对目标活动、光线及摄像头距离等问题，提出一种基于门控特征融合与中心损失的目标识别方法.门控特征融合是为了弥补单一特征信息丢失时，身份识别准确率下降的缺陷.门控结构指导网络对输入的人脸、行人特征进行贡献量评估,再根据贡献量去分配权值，组合产生识别性更强的身份特征.通过添加中心损失函数，在引导网络下减少了特征的类内距离，使得特征更具判别性.实验结果表明，在自建数据集上所提方法的最终识别准确率最高可以达到 76.35%，优于单特征识别方法以及多种融合方法，使用所提的融合损失函数后，平均识别准确率可提高 2.63%.关键词：身份识别；监控场景；特征融合；门控机制；中心距离损失中图分类号：TP391文献标志码：A文章编号：1008973X（2023）10201107Target recognition based on gated feature fusion and center lossMOJian-wen,LIJin,CAIXiao-dong,CHENJin-wei(School of Information and Communication,Guilin University of Electronic Technology,Guilin 541004,China)Abstract:Atargetidentificationmethodbasedongatedfeaturefusionwithcenterlosswasproposed,aimingattheproblemsoftargetactivity,lightandcameradistance.Gatedfeaturefusionwasdesignedtocompensateforthedecreaseinidentityrecognitionaccuracywhenthesinglefeatureinformationwaslost.Gatedstructureguidancenetworkevaluatedthecontributionofinputfacialandpedestrianfeatures,andweightswereassignedaccordingtothecontributiontoproduceamorerecognizableidentityfeature.Byaddingacenterlossfunction,theintra-classdistanceofthefeatureswasreducedundertheguidancenetwork,makingthefeaturesmorediscriminative.Thefinalrecognitionaccuracyoftheproposedmethodontheself-constructeddatasetcouldreachupto76.35%,whichwasbetterthanthatofsingle-featurerecognitionmethodsandmultiplefusionmethods.Theaveragerecognitionaccuracycouldbeimprovedby2.63%withtheproposedfusionlossfunction.Key words:identification;surveillancescene;featurefusion;gatedmechanism;centerdistanceloss生物特征识别身份的系统非常有吸引力，它们易于使用且安全系数高，因此研究者们对这些人体固有的生理或行为特征的研究也日益增多.Wang 等1提出动态类池化方法来存储和更新身份特征，在不牺牲性能的情况下，节省时间和成本.Zhu 等2提出全局-局部交叉注意和成对交叉注意来实现各类图像间的信息交互，学习到细微特征可以提高行人识别准确率.Ye 等3提出一种基于二维卷积神经网络(twodimensionalconvolu-tionalneuralnetwork,2D-CNN)和门控循环单元(gatedrecurrentunit，GRU)的深度神经网络(deepneuralnetwork，DNN)模型，实现说话人的身份识别等.当特征采集器获取特征出现误差时，由于现实场景的复杂性，仅仅采用单一生物特征很难维持身份识别的稳定性；当单一生物特征无法满足现实需求时，研究者们便尝试以多生物特征的收稿日期：20220922.网址： 等4使用可见图像生成辅助灰度模态，挖掘可见图片特征与对应图片的红外特征之间的结构关系，解决白天和夜间因存在光线差异的目标身份识别问题.Qi-an 等5有效地结合人脸信息和语音信息，显著地提高个人身份验证系统的性能.Sarangi 等6提出一种基于耳朵和人脸轮廓的多模态生物识别系统，组合 2 个有效的局部特征，产生高维特征向量.在频域和空间域中保留互补信息，弥补了耳朵特征进行身份识别时的缺点，也提高了整体的身份识别准确率.在社区安全问题中，指纹、语音、人脸、行人等则是需要特定的前端设备和安装角度的位置相互配合.现有的监控设备大都不具备这种配合条件，因此在这种场景下动态的目标识别就变得比较困难.目前尚未发现有研究通过人脸和行人特征的融合来解决类似的问题，如何组合人脸特征与行人特征并产生鲁棒性更强的目标身份特征是亟待解决的问题.目前常用的多模态特征融合方法7有联合表示和协调表示等，联合表示常用的是 Concat 方法直接拼接产生维数更高的特征或 Add 方法将 2 个特征向量组合成复合向量，而协调表示则是学习协调子空间中的每个模态的分离但约束表示.Concat 方法是简单拼接的方法，虽然丰富了目标身份特征信息，但是使得冗余信息增加，会对身份判决带来强干扰.受多生物特征融合8的启发，本研究设计出门控特征融合网络（gatedfeaturefu-sionnetwork，GFFN），考虑各部分特征的融合程度，在丰富特征信息的同时，也避免冗余信息带来的误判.针对本研究的目标多分类问题，交叉熵损失函数虽然能实现类间区分，但是类内的距离却没有进行约束.当不同人的穿着或相貌相似时，类间距离减少；当同一人受拍摄角度或者光线强度等影响时，类内距离增大，则会出现类间距离小于类内距离的情况.Dickson 等9发现将平方和误差损失函数与交叉熵损失函数混合使用可以提高网络性能，结合现实应用与 Wen 等10的损失函数融合思想，通过加入中心损失对分类网络进行类内距离约束，使得提取的特征判别性更强.1GFFN 模型由于摄像头角度、抓拍距离、目标活动及光线明暗程度等现实情况的影响，使得监控场景下人脸数据的有效性受限，从而导致人脸识别网络的准确率急剧下降.受多模态特征融合的启发，在实际应用中考虑到人脸与行人特征各自的价值以及在不同场景下所受到的技术约束，对两者各自的优势进行融合应用，采用的门控融合网络可以指导神经网络去综合考虑人脸和行人特征的贡献量，有效地缓解因单生物特征信息模糊而导致识别准确率低的现象.GFFN 模型的整体框架如图 1 所示.模型输入模块特征融合模块损失函数模块图 1 GFFN 模型框架图Fig.1GFFNmodelframe1.1 模型的输入模块QfQpGFFN 模型的输入模块如图 2 所示，为人脸特征，为行人特征.输入待识别的图片，使用 In-sightface 人脸识别模型11和 PCB+RPP 行人识别模型12进行特征提取.PCB+RPP行人特征提取器Insightface人脸特征提取器Qf,Qp首尾拼接6 块 512维特征向量3 072 维行人特征512 维人脸特征QpQf图 2 GFFN 的输入模块Fig.2InputmoduleforGFFN1.2 模型的特征融合模块将得到的 2 个特征送入特征融合模块进行融合，组合出更加丰富且有效的身份特征.1.2.1特征相加融合如图 3(a)所示，相加融合是指特征值相加，通道数不变，将 2 个特征向量组合成复合向量.,1.2.2特征拼接融合如图 3(b)所示，拼接融合是指将 2 个特征进行首尾拼接.当通道数增加时,为向量首尾拼接符.fatt()1.2.3软注意力融合如图 3(c)所示，Shon 等13提出一种基于软注意力的融合方式，在两两输入特征之间进行互补平衡.通过注意力层得到各生物特征的注意力得分：ai=fatt(Qf,Qp).(1)2012浙江大学学报（工学版）第57卷 ai af ap式中：为某生物特征的注意力得分，为人脸特征的注意力得分，为行人特征的注意力得分.最终的加权融合特征为ez=fQx,pQx.(2)ezQxQxQfp式中：为加权融合特征，为经过全连接（fullyconnected，FC）层后的生物特征，为最终的组合特征，为人脸的加权融合系数，为行人的加权融合系数.具体计算过程为f=exp(af)exp(af)+exp(ap),p=exp(ap)exp(af)+exp(ap).(3)QxQxQx1.2.4门控特征融合如图 3(d)所示，门控机制是应用在 GRU 或长短期记忆（longshorttermmemory，LSTM）网络等循环网络中的流量控制部件，使用的门控特征融合结构5.在结合特征融合优势的同时，重点在决策层面进行优化控制.GFFN 设计的目的是将不同的生物特征数据进行组合并找到最优表示.每个对应于与每个生物特征相关联的特征向量，经过双曲正切函数的激活，该函数旨在对特定特征的内部进行映射编码.对于每个激活后的特征，通过一个门控神经元(在图中由 sigmoid 函数输出表示)控制输入.当新 ID 数据被输入到网络时，门控神经元接收拼接后的特征向量作为输入，并使用它们来决定生物特征对整体识别任务做出的贡献量，门控学习机制的数学原理为Qx=tanh(Wi,Qx)，(4)S=(WsQf,Qp)，(5)Q=SQf+(1S)Qp.(6)tanhWs、WiS式中：为双曲正切函数，为网络学习到的权重参数，为门控网络的权值分配系数，为sigmoid 函数.Q为了不同特征的组合找到最优的表示，模型以人脸 512 维特征和行人 3072 维特征作为输入，都经过一个 FC 层，该层还包括归一化层（batchnor-malization，BN）和 Drop_out 层.BN 层的加入是为了加快网络的训练和收敛、控制梯度爆炸和防止梯度消失；Drop_out 层则可以防止训练过拟合，整体是为了得到更加紧凑和区分性更强的特征.人脸特征和行人特征的输出维度均为 1024，再用双曲正切函数进行激活.最初输入的人脸特征和行人特征进行首尾拼接后，以及经过相同的 FC 层操作后，得到 1024 维融合特征，使用式（4）得到分配 2 个特征的权值系数.最后用权值系数与人脸特征和行人特征分别进行对应元素相乘并相加，得到最终的特征表示，再通过损失层进行 ID 预测分类.1.3 模型的损失函数模块在一般的识别任务中，训练集和测试集的所有类别都会有对应标签，如著名的 Mnist 和 Im-ageNet 数据集，里面包含的每个类别是确定的.大多网络最终采用 Softmax 损失函数进行监督训练，得到的深度特征都具有良好的类间区分性.身份识别任务存在类间复杂及类内多样的问题，预先收集所有测试目标的信息是不切实际的，因此需要网络学习到的特征具有较强的判别性.中心距离损失的设计主要是为了缓解类间距离小于类内距离导致识别有误的情况，通过寻找每一类特征的中心，以度量学习的形式惩罚所学特征与它类中心的距离即缩小同类样本之间的距离.Wen 等10通过以手写数字分类任务为例（Mnist数据集），展示网络最终的输出特征在二维空间的分布.类间距离虽然被区分，但是仍存在类内+损失层损失层损失层损失层(a)(b)(c)注意力层(d)全连接层全连接层全连接层全连接层全连接层全连接层全连接层Q双曲正切激活函数双曲正切激活函数S1SQpQpQpQpQpQpQfQfQfQpQfQfQfQfQf,QpQf,QpQf,Qp图 3 多种特征融合方法图Fig.3Mapofmultiplefeaturefusionmethods第10期莫建文,等：基于门控特征融合与中心损失的目标识别 J.浙江大学学报：工学版,2023,57(10):20112017.2013距离过大的情况，于是提出 CenterLoss 来约束类内距离.本研究借鉴减少类内距离的思想，将门控分类与中心损失结合产生新的损失函数为Lfu=La+Lb=1MMi=1lneWTy,ixiNj=1eWTjxi+2Mi=1?xicy,i?22.(7)LaLbMNxiyiixi RddWTjWTy,icy,iyicy,i Rd式中：为门控分类损失；为中心距离损失；和分别为小批次中的图片数量和类别数；为属于类别的第个特征，；为特征的维数；和为网络训练的权重参数；为特征的第个类中心，；为平衡 2 种损失的权值超参数，经实验效果对比将其设置为 0.2 最佳.门控分类损失与中心距离损失在深度神经网络中的融合结构如图 4 所示.2实验处理与结果分析2.1 实验数据集的制作4106为了抓拍到丰富的行人姿态，在某高校人口流动稳定的路段安装了 12 台监控抓拍设备.在若干天的固定时间段下，收集到约张行人流动图，利用已开源的行人检测和人脸检测技术，裁剪出单个目标行人的整体图片和对应的人脸图片，经过人工数据处理和筛选，最终得到 ID 数为 1392 的行人和人脸数据集（G-campus1392），如图 5 所示.图 5 G-campus1 392 数据集样例Fig.5DatasetofsampleG-campus1392Nu为了验证实验的有效性和稳定性，将数据集以随机抽取的方式分成 3 组（Randomdata1、Ran-domdata2、Randomdata3），如表 1 所示，其中为图片数量.类比公开的行人数据集 Market1501 中训练集和测试集的 ID 数比例，随机抽取的各组数据集中训练集和测试集 ID 数均为 696 个，并且每个 ID 都有 5 组行人人脸库图片用于测试环节的距离度量.由于人脸图片是从行人图片中裁剪得到，以表 1 中的图片数量来表示行人或人脸图片数量.2.2 实验训练与测试说明本研究以表征学习的形式来训练识别模型，最后的全连接层维数等于类别数.在测试时，需要利用的是训练网络的特征提取能力，并且训练集和测试集的 ID 不能共享，因此会丢弃最后的全连接层.为了保证实验的合理性，对单行人、单人表 1 G-campus1392 数据集的图片数量Tab.1NumberofimagesinG-campus1392dataset数据集Nu训练集测试集库Randomdata115138164863480Randomdata215846157783480Randomdata315354162703480特征输出层全连接层中心距离损失门控分类损失标签图 4 门控分类损失和中心距离损失的连接图Fig.4Connection diagram of gated classification loss and centerdistanceloss2014浙江大学学报（工学版）第57卷脸、各种融合方法均采用 ID 分类网络进行训练.将所有方法中网络的全连接层数和超参数进行统一，取全连接层之前的 1024 维特征作为输出特征，便于后续的距离度量.AllIDTrueID实验的评价指标是重识别任务(re-identifica-tion,ReID)中常用的识别准确率（accuracy，ACC）和平均准确率（meanaverageprecision，mAP）.为了真实刻画目标识别的合理性与真实性，计算库中每个 ID 的 5 张图片与待测试的图片之间的欧式距离，采用加和求平均数的方法得到平均距离.当平均距离最小的库 ID 与待测试图片 ID 相同时，则该测试图片识别正确，所有测试图片（总数记为）中识别正确的个数记为，则 ACC的计算为ACC=TrueIDAllID.(8)ACC 指标则是统计识别正确个数占总 ID 数的比重.为了能够更加全面的衡量 ReID 算法的性能，采用 mAP 指标来反映检索的人在数据库中所有正确图片排在序列表前面的程度，其计算式为mAP=1E1jEmam,i1am,iam,ii(9)Em (1,E)iam,i(am,0=0)mijm式中：为总查询次数，；为查询中返回的图片数量；为第次查询中，返回的前张图片中识别成功的个数；为第次查询结束时，识别正确图片的总个数.2.3 实验方法为了验证所提方法的有效性，实验部分对比了图 3 中的 3 种特征融合方法，也将单一特征的分类识别结果与各融合方法进行对比.在现实监控场景下，人脸和行人的特征融合，能够弥补单一特征信息丢失的不足.2.4 实验分析在试验中，通过对比单一特征识别结果、多特征识别结果以及是否加入中心距离损失来验证所提方法的有效性.2.4.1各识别方法的实验结果分析在控制网络层和超参数的前提下，计算 ACC 值和 mAP 值，实验结果如表 2 所示.从表 2 可知，人脸识别的准确率最低.在现实情况及非配合情况下，人脸识别准确率确实会受到较大的影响.3 组数据的人脸和行人平均识别准确率分别为 40.574%、54.818%，行人特征相比于人脸具有较高的鲁棒性.在多特征融合方法中，特征相加融合的平均准确率为59.16%，这种求和方式默认 2 种特征的贡献量是相同的，所得平均值容易因质量差的特征产生偏差.首尾拼接融合的平均准确率为 61%，该方法将 2 个特征均放入网络中组合训练，缺点是整体的性能会因损坏的特征数据而下降.以上 2 种融合方法都是静态的特征融合，而软注意力融合与本研究的门控特征融合都是动态的特征融合方式，两者的平均准确率分别为 63.6%、73.0%.从实验结果看，多特征的动态组合不仅能弥补单一特征信息缺失的不足，也能缓解多特征融合存在冗余的问题.两者虽都为动态融合，但两者在动态程度上存在差别，软注意力机制会重点关注某一特征，并且会综合考虑所有特征，最终所得的权值系数很难取到极端值.在现实应用场景下，人脸往往模糊到无法获取有用的特征甚至是干扰的信息.本研究的门控方法采用 sigmoid函数进行权值分配，由于该函数的平滑性和取值特征，考虑到的因素更多，更适合现实场景下的应用.不难发现，本研究的门控特征融合方法带来的提升效果是显著且稳定的.表 2 多种识别方法的结果对比Tab.2Comparisonofresultsofmultipleidentificationmethods方法Randomdata1Randomdata2Randomdata3ACC/%mAP/%ACC/%mAP/%ACC/%mAP/%人脸分类40.65935.53241.61536.08939.44734.389行人分类55.26552.27555.45151.52753.73750.626特征相加融合59.87855.58560.23555.96157.36754.146首尾拼接融合61.74957.89061.31357.09159.93955.851软注意力融合64.58259.83563.51958.93662.69856.261门控特征融合73.89369.34273.30568.58371.80767.280第10期莫建文,等：基于门控特征融合与中心损失的目标识别 J.浙江大学学报：工学版,2023,57(10):20112017.20152.4.2中心距离损失效果分析对于多分类问题，不可避免的就是类内与类间距离的大小问题，所提的融合损失能够针对该问题进行优化.各分类方法在表 2 的实验基础上，加上中心距离损失重新训练和测试.ACC 值和 mAP 值如下表 3、4 所示，其中 L1 为分类任务中常用的交叉熵损失，L2 为所提的融合损失.通 过 观 察 表 3、4 的 实 验 结 果 可 以 发 现，ACC 值和 mAP 值在加入中心距离损失后均有提升，各方法的平均准确率分别提高 3.0%、5.6%、7.2%、9.5%、8.1%、2.6%.各方法在加上中心距离损失训练后，随着类中心距离在训练过程中不断更新调整，有效缓解样本由于类间距离小于类内距离而导致判决错误的情况.6 类方法的平均准确率先上升后下降，当 2 个特征进行融合后，融合特征的类内距离会随之增加.为了使得融合后的类内特征距离更加紧凑，加入中心距离损失，改善因类内距离过大而出现误判的情况，单特征改善情况则不会那么显著.本研究的门控方法加入损失后的提升效果虽不如其他方法明显，是因为特征的有效性已经接近上限，同时也反映出本研究特征融合方式是紧凑的.表 3 分类网络增加中心距离损失后的 ACC 值Tab.3ACCvalueofclassificationnetworkafterincreasingcenterdistanceloss%方法Randomdata1Randomdata2Randomdata3L1L2L1L2L1L2人脸分类40.65943.98941.61544.21939.44742.612行人分类55.26561.19755.45160.69853.73759.213特征相加融合59.87865.23560.23567.59357.36766.326首尾拼接融合61.74971.43061.31370.68159.93969.490软注意力融合64.58272.29863.51971.79662.69871.008门控特征融合73.89375.79873.30576.34771.80774.714表 4 分类网络增加中心距离损失后的 mAP 值Tab.4mAPvalueofclassificationnetworkafterincreasingcenterdistanceloss%方法Randomdata1Randomdata2Randomdata3L1L2L1L2L1L2人脸分类35.53237.92536.08937.99334.38936.665行人分类52.27556.77751.52756.18250.62654.934特征相加融合55.58561.62355.96161.96254.14659.247首尾拼接融合57.89065.64257.09164.68455.85162.271软注意力融合59.83567.23458.93666.03956.26164.915门控特征融合69.34271.46168.58371.25767.28069.7152.4.3错误样本分析以上述实验结果中的门控损失和距离 loss 实验结果为例，整理出 4 组错误的典型样本如图 6 所示.每组左边为测试样本，右边为模型识别出的错误结果.从图 6 来看，当人脸模糊或不配合、行人衣服颜色相似时，即使采用融合方式，模型在应对 2 个特征信息不准的情况下，鲁棒性表现的都不够强，这表明不仅融合算法存在挑战，单行人或人脸识别模型的特征提取也有待改进.数据集的丰富性也会影响结果，当训练量足够多时，现实场景下的目标识别率也会进一步提升.图 6 所提方法的错误样本Fig.6Errorsamplesofproposedmethod2016浙江大学学报（工学版）第57卷由于本研究数据集由项目合作方提供，暂时没有取得公开权限，读者可以搜集多个公开数据集如 Market1501 等.在使用能够看到人脸和行人的数据时，可以与本研究相当的数据量进行重现测试，也可以根据介绍的数据集制作流程，重新制作数据集进行复现.3结语本研究提出了一种基于门控多特征融合与中心损失的动态目标识别方法.以门控的方式将行人特征与人脸特征进行动态融合，产生更强的类间区分性特征，可以弥补单一特征在现实场景下由于信息丢失导致识别准确率下降的问题.将中心距离损失与门控分类损失结合，随着类中心距离的更新，类内距离不断缩小，使得特征更具判别能力.在自制数据集实验结果中，监控场景下的特征融合方法可以有效降低目标识别的误判概率.在实际场景下，会出现待识别目标被遮挡、更换衣服或监控环境光强变化等复杂情况，这样会导致特征融合产生不了更强的特征，反而会组合产生干扰特征，因此进一步的研究可从如何提取强鲁棒性的特征或训练出带有记忆的识别网络2 个方向来展开.参考文献(References):WANG K,WANG S,ZHANG P,et al.An efficient trainingapproachforverylargescalefacerecognitionC/Proceedingsof the IEEE/CVF Conference on Computer Vision andPattern Recognition.NewOrleans:IEEE,2022:40834092.1ZHUH,KEW,LID,etal.Dualcross-attentionlearningforfine-grained visual categorization and object re-identification C/Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition.New Orleans:IEEE,2022:46924702.2YE F,YANG J.A deep neural network model for speaker3identificationJ.Applied Sciences,2021,11(8):3603.YE M,SHEN J,SHAO L.Visible-infrared person re-identificationviahomogeneousaugmentedtri-modallearningJ.IEEE Transactions on Information Forensics and Security,2020,16:728739.4QIANY,CHENZ,WANGS.AudiovisualdeepneuralnetworkforrobustpersonverificationJ.IEEE/ACM Transactions onAudio,Speech,and Language Processing,2021,29:10791092.5SARANGIPP,NAYAKDR,PANDAM,etal.Afeature-levelfusionbasedimprovedmultimodalbiometricrecognitionsystemusingearandprofilefaceJ.Journal of Ambient Intelligenceand Humanized Computing,2022,13:18671898.6GUOW,WANGJ,WANGS.Deepmultimodalrepresentationlearning:asurveyJ.IEEE Access,2019,7:6337363394.7AREVALOJ,SOLORIOT,MONTESYGOMEZM,etal.GatedmultimodalnetworksJ.Neural Computing and Applications,2020,32:1020910228.8DICKSONMC,BOSMANAS,MALANKM.HybridisedlossfunctionsforimprovedneuralnetworkgeneralisationC/PanAfrican Artificial Intelligence and Smart Systems:FirstInternational Conference.Cham:SIP,2022:169181.9WENY,ZHANGK,LIZ,etal.Adiscriminativefeaturelearningapproach for deep face recognition C/Computer VisionECCV 2016:14th European Conference.Netherlands:SIP,2016:499515.10DENGJ,GUOJ,XUEN,etal.Arcface:Additiveangularmarginloss for deep face recognition C/Proceedings of theIEEE/CVF Conference on Computer Vision and PatternRecognition.LongBeach:IEEE,2019:46904699.11SUNY,ZHENGL,YANGY,etal.Beyondpartmodels:Personretrieval with refined part pooling(and a strong convolutionalbaseline)C/Proceedings of the European Conference onComputer Vision.Munich:s.n.,2018:480496.12SHONS,OHTH,GLASSJ.Noise-tolerantaudio-visualonlinepersonverificationusinganattention-basedneuralnetworkfusionC/ICASSP IEEE International Conference on Acoustics,Speech and Signal Processing.Brighton:IEEE,2019:39953999.13第10期莫建文,等：基于门控特征融合与中心损失的目标识别 J.浙江大学学报：工学版,2023,57(10):20112017.2017