基于深度学习的低质量图像模糊人脸识别方法.pdf

第44卷第10 期2023年10 月宁夏师范学院学报Journal of Ningxia Normal UniversityVol.44 No.10Oct.2023基于深度学习的低质量图像模糊人脸识别方法何佑明，马荣荣（安徽文达信息工程学院通识教育学院，安徽合肥2 312 0 1）摘要：为避免灰度区域含噪度对人脸识别准确度的影响，提出基于深度学习的低质量图像模糊人脸识别方法.采用小波变换离散化低质量图像，获取包含不同方向特征的轮廊线尺度信息，根据人脸面部特征，检测人脸轮廓线关键点，并通过计算待识别样本与源样本的协方差矩阵、图像的隶属度函数，对噪点进行均匀采样，以降低含噪度.结合关键点阈值函数，多角度匹配关键点.采用深度学习算法构建识别分类器，并计算多角度匹配关键点结果中两个样本之间的距离实现人脸识别.测试结果表明，在不同模糊比例的人脸图像识别中，所提方法得到的识别准确度均较高，证明所提方法可以准确识别低质量图像模糊人脸。关键词：深度学习；低质量图像；模糊人脸；人脸识别中图分类号：TP301收稿日期：2 0 2 3-0 5-2 3基金项目：安徽省教育厅拔尖人才项目（gxbjZD2021091).作者简介：何佑明（196 8 一：），男，湖北武汉人，副教授，硕士，研究方向：计算机图像处理.文献标识码：A文章编号：16 7 4-1331(2 0 2 3)10-0 0 7 5-0 9在计算机视觉领域，人脸可以快速实现身份匹配且更容易获取，因此人脸识别一直是研究的热点.然而，包含大量噪声标签且模糊率高的低质量模糊面部图像给面部识别技术提出了更高的要求.张晋婧等 1采用融合注意力机制对人脸图像进行尺度不变特征变换，结合分类迁移学习模型，对图像进行卡尔曼滤波以提高图像质量，进而实现人脸识别.该方法虽然能够提高识别的健壮性，但未考虑图片的动态情况，使识别结果的融合性差.姚锦江等 2 采用特征匹配方法对人脸进行识别，该方法通过特征值提取与判别，并嵌入空间匹配模块对图像像素点进行加权处理，从而完成人脸识别.但此方法需要采用数据增强手段扩充测试样本以训练识别模型，需要的样本数量规模较大.赵汉理等 3 设计了一种感知去模糊的生成对抗网络结构，在粗略提取人脸结构的基础上，通过面部纹理细节恢复实现人脸识别，但是该方法受图像质量影响较高.ZHANG等 4I提出一种用于面部表情识别的模糊优化卷积神经网络-递归神经网络(CNN-RNN)方法.该方法虽然能够解决没有图像增强的直接图像卷积和简单卷积堆栈，但是它忽略了特征逐层卷积导致信息丢失的问题，易受图像清晰度影响.BANERJEE等 5I提出一种基于布朗运动的自适应神经模糊推理系统Crow搜索算法来进行人体图像的面部表情识别.但是该方法主要集中于识别单个图像的个人面部表情，有一定的局限性.WENYANL6I对传统的自适应遗传算法进行改进，引入方向扰动算子对自适应调整概率进行非线性化，进而实现教学场景中的人脸识别，但是该方法局限于某一领域，需进一步分析复杂环境中的应用性能。76本文综合已有的研究成果，结合深度学习算法，针对低质量图像模糊人脸的识别方法进行研究与设计，以拓展生物识别技术的应用范围.1低质量图像模糊人脸识别方法设计1.1人脸轮廓线关键点检测面部图像的鼻子、眉毛和眼睛是关键点聚集区域，不同面部图像的轮廓线差异也集中在该区域7。因此，可以通过识别图像中面部轮廓线的关键点，并构建空间信息表征人脸的面部特征。由于低质量的模糊人脸图像是一个离散信号，为了提高人脸轮廓关键点的检测效果，需要对图像进行连续离散化处理.利用小波变换算子对图像中的模糊像素进行傅立叶逆变换，变换系数的定义如下(1)其中，C。表示离散变换系数，f(t）表示像素重构函数，do（t）表示结构函数，t表示采样时间.对于模糊的面部图像，可以通过一次包络分解获得低频，然后通过二次包络分解得到低频图像，二次包络包括水平、垂直和对角线方向的面部信息8，分别用LL、LH、H L和HH4个小波算子进行描述，如图1所示。宁夏师范学院学报Co=Jf(t)4o(t)dt,2023年10 月LL1LLLHLH1HL1HH1HLHLHHHLHH(a）一层分解在面部图像中，纹理特征可以反映面部部位的灰度变化，这与像素灰度值，和相邻像素的灰度值直接相关，可以表示为(2)其中，L。表示像素无偏置项的参量，e表示输出矩阵的通道数，；表示第i个表征人脸信息的小波算子。由于中心像素和相邻像素之间灰度值的差异，因此，使用中心区域和相邻区域之间的灰度差来描述面部纹理特征之间的差异 9，灰度差的表达式uo为：(3)(pf-pi,pipr,uo二第10 期引人高斯滤波构建面部轮廓线的差异尺度空间，即其中，H表示人脸三维尺度空间，G,表示像素通道维数，取值为1M，?表示叠加运算符，6,表示特征叠加向量，其计算公式为(5)其中，0 1和2 表示不同的两个面部轮廓特征原始向量，即图像特征向量和形状描述符向量，k表示调节参数。使用较小的模糊数学分布确定图像的隶属度函数 10，并且模糊规则对于模糊图像的灰度值的隶属度函数建立如下(6)d-(TH(d-c)b,其中，之表示图像输出的最大灰度值，6 表示隶属度函数中心所对应的灰度值，表示隶属度函数曲线的扩大展程度，d表示隶属度函数曲线的陡峭程度.对于给定的人脸图像，假设其平均灰度值为，在图像的降噪区域选择一个模糊数学规则 11,则降噪区域内灰度值的含噪度可表示为(7)其中，n表示特征值数量，（，y）表示降噪区域坐标.将含噪区域对应的最大灰度值赋予图像的中心像素点，使该区域中的噪声最小化 12 。因此，面部目标区域的灰度共生矩阵可表示为(8)其中，G，表示图像灰度共生矩阵，（i，j）表示识别框与真实框的重合区域中心点的坐标，g和s分别表示特征尺度融合因子与提取因子.使用形状变化指数对图像进行均匀采样，并通过面部瞬时数据设置采样点集的参数值，由此得到人脸轮廓线关键点的检测结果为(9)其中，F表示人脸轮廓线关键点采样集，P表示自适应选取尺度.利用以上公式检测低质量模糊图像人脸的轮廓线关键点，并将此作为识别依据，便于后续人脸关键点匹配.1.2人脸关键点匹配收集面部轮廓线关键点对应的不同面部特征，选择不同角度匹配关键点，将待识别的人脸和数据库何佑明，等：基于深度学习的低质量图像模糊人脸识别方法uo(o,?H),s=O,H=(uo(G,H),其它,0,=(01,02)X2k,之-6TH.(c-6)b,从()=Ji=()Z(a,y),nG=Ji(i,j)(l-g)+s(i-j)，F=max77(4)78中的人脸变换到同一空间 13，求输入图像与原有图像之间的差异程度，即协方差矩阵，公式如下其中，F表示人脸轮廓线关键点集合，S；表示人脸库中人脸曲面上的关键点i的特征i，p。和pi分别表示图像切平面与法平面的参量.将特征向量进行单位正交化，以挑选出大于阈值的特征值与特征向量 141，计算公式为其中，e表示特征值阈值，入，表示像素最近邻系数，入表示噪声标签转移概率，p表示像素梯度下降系数。计算各个特征向量与样本之间的关联程度，公式如下lij=erVjai,其中，入，表示图像噪声标签，表示交叉熵损失函数.将输入的人脸图像样本映射到低维空间，并最小化像素的损失函数 15，公式如下其中，N表示编码向量数目，y表示像素元参数的移动平均值，表示像素散度因子，表示运算误差，f）表示粗糙度函数.将人脸轮廓线关键点输出归一化到0 1,获得一个系数向量。，则得到的关键点软阈值为其中，。表示特征通道，。表示收缩阈值.由于目标面部图像质量较低且模糊，两张面部图像在关键点匹配过程中容易出现特征值差异 16 .因此设置比较损失L以补偿由模糊引起的特征差异，表达式为(15)i=1其中，K表示人脸图像的训练集总样本数，i（）表示通道注意力权重，f。（）表示平衡函数.将邻域中的所有关键点转换到以图像的中心像素为圆心的参考坐标系中 17，以构建局部最优特征的空间结构，表达式如下(16)其中，d（p 2）表示像素单位向量，n（p 2）表示像素模长.则可利用下式完成人脸关键点的匹配，即Va.y=arccos(其中，V，表示人脸关键点匹配结果，大于0 表明匹配成功，小于0 表明匹配失败，则应重新计算关键点软宁夏师范学院学报q1=FX(S,)PoPi,e=9,i=1,2,p,=1KL,=Z(.)fo()-g.),V=d(p2)n(p2)L.,2023年10 月(10)(11)(12)(13)(14)(17)V第10 期阈值；f，和f，分别表示测试集人脸曲面与人脸库中的人脸曲面.通过将人脸轮廓线关键点进行低维空间转换，挑选出大于设定变换阈值的特征值与特征向量，结合损失函数与模糊补偿函数，对关键点进行多角度匹配，为接下来实现人脸识别提供有利条件.1.3基于深度学习的人脸识别根据人脸关键点匹配结果，运用卷积神经网络算法对人脸进行识别，其识别流程如图2 所示。何佑明，等：基于深度学习的低质量图像模糊人脸识别方法79脸部候选边框回归输图像将原始输入图像调整为2 52 56 0 大小，并根据每个面部图像的比例删除超过面部候选的预选框 18 .将识别框中心点的坐标设置为（n，m），且其到达真实框上边缘与下边缘的距离分别为s和，卷积神经网络算法的置信度值可以使用以下公式计算(18)其中，Vx表示人脸关键点匹配结果，y表示识别元损失平均值，即确信值，9表示敏感参数，。表示像素交叉熵.将提取到的人脸关键点特征与匹配结果输入卷积神经网络的输人单元中，利用网络的第二层卷积层对源数据进行映射处理 19，即(19)其中，Q(i,j）表示图像数据Q的特征仿射，ai表示人脸穴余特征信息，Ui表示卷积核.利用卷积神经网络的全连接层对输人图像进行池化处理，得到=maxIi+a,j+b,其中，表示人脸特征数据的池化最大值，I表示原始输入图像，和6 分别表示特征数据到预选框的水平距离与垂直距离.基于人脸数据的池化结果，利用网络的记忆模块对人脸进行分类识别，其公式为其中，6 表示人脸图像对比库中的源数据.将输人图像的池化结果与对比库的源数据进行比较，计算M的值.当M=1时，表明待识别图像与网络输出人脸图像为同一张人脸；当M1时，表明待识别图像与网络输出人脸图像不为同一张人脸。通过卷积神经网络算法进行身份检定，以此实现基于深度学习的低质量图像模糊人脸识别方法的设计。2实验论证为验证本文方法有效性，选取专用于研究低质量模糊人脸图像识别的FERET、O R L和YALE3种脸部坐标定位卷积卷积图2 基于深度学习的人脸识别流程y=Z0,Q(i,j)=aiui+y,M=池化(20)(21)80数据库，以测试本文方法的识别效果.2.1实验准备面部识别方法测试实验使用Matla-bR2019b平台进行，CPU为3.40 GH，内存为16 GB，选择Windows11操作系统和i7处理器.FERET数据库包含32 6 个目标对象和1412 3个3D面部图像；ORL数据库包含18 5个目标对象和7 8 7 5个3D面部图像；YALE数据库包含8 9个目标对象和2 395张3D面部图像.3个数据库中包含大量丰富的表情、姿态与角度不一的低质量模糊人脸图像，部分数据集如图3所示.宁夏师范学院学报2023年10 月(a）图像1(b）图像2(c）图像3图3部分数据集图像对原始实验数据集进行平移、旋转、缩放以及不透明度调整等处理，以增强数据集，然后使用专业图像处理软件对图像进行预处理操作.根据光照变化条件，可以将所有图像划分为5个子集.第一个子集的照明方向为0 10，第二个子集的光照方向为112 0 第三个子集的光照方向为2 135，第四个子集的光照方向为36 7 7，第五个子集的光照方向为 7 8 在实验过程中，选择每个数据子集的2 0%作为实验样本，采用设计方法和比较方法对其进行人脸识别.由于关键点检测时，选择的阈值会直接影响人脸识别结果，采用三类数据库进行实验，获取最优阈值，得到稳定性最高的关键点.因此，在三个数据库中分别对各表情类型进行关键点检测，设置相同对象中相同位置的点为存在差异点云中欧式距离 3.9mm的关键点.2.2实验说明实验时，随机选取数据集中前50 0 张人脸图像对卷积神经网络进行训练与拟合，并按照表1所示的网络运行参数对卷积神经网络层次进行设计.(d)图像4第10 期人脸识别算法结层次卷积层A池化层A卷积层B池化层B卷积层C池化层C卷积层D池化层D采用softmax函数作为激活函数来监督训练网络，软阈值设为0.50，学习率设为0.0 0 6 5，迭代轮数设为2 0 0；训练人脸分类识别模型时使用SGD优化算法，其中次梯度系数为0.1，偏差度因子为0.5.2.3人脸识别准确率实验对比分析从每个数据集中选择前50 幅图像作为训练集.为避免原始图像大小变化影响实验结果的问题，对所有数据集进行无失真缩放，使每个图像都包含不同角度的人脸，使算法更容易识别人脸判别特征，人脸识别过程如图4所示.何佑明，等：基于深度学习的低质量图像模糊人脸识别方法表1卷积神经网络算法运行参数表图像输入格式12X1212X1211X1113X1214X1112X1314X1411X14:81步长图像输出格式3145X145X22220X220X61123X123X55123X124X14100X100X63145X145X86132X132X52126X126X6图4人脸识别流程人脸的1:1验证是评估人脸识别算法的常用指标，为测试本文方法的有效性，采用文献 1 融合注意力机制（方法1）、文献 2 特征匹配（方法2）作为本文方法的对比方法，利用平均准确度P作为不同识别算法的评价指标，其计算公式为P=%100%,其中，9，识别正确的人脸图像数量，q表示输入的总人脸图像数量.分别采用以上3种方法对输入网络的容量图像进行识别分类，并利用上式计算不同方法的识别平均准确度，以定性评估3种方法的识别性能.对比结果如图5所示.(22)82图5可以看出，在不同模糊比例较低的人脸图像识别中，利用本文方法得到的识别准确度均远高于对比方法.方法1建立的人脸识别分类模型没有较好地平衡模型总控制参数量与模型学习率之间的关系，故影响了识别效果；方法2 对模糊比例较低的人脸图像识别准确度相对较高，但对于模糊程度较高的低质量人脸图像，该方法无法准确提取图像边角局部细节特征，所以方法2 并不适用于较高模糊比例的人脸识别.由此可以说明，本文设计的方法能够较准确地识别低质量图像模糊人脸识别准确度.3结束语本文在人脸检测与识别算法上，基于深度学习算法提出低质量图像模糊人脸识别方法，通过检测人脸轮廓线关键点与匹配关键特征点，利用卷积神经网络实现人脸识别.对比实验结果表明，提出的方法具有较高的识别准确度.宁夏师范学院学报方法11.0方法2本文方法0.80.60.40.2图5不同方法的人脸识别准确度结果对比2023年10 月1020模糊比例/%304050参考文献：1张晋婧，刘双峰，丰雷，等.融合注意力机制的人脸识别算法研究 J.国外电子测量技术，2 0 2 3，42（2）：107-113.2好姚锦江，蔡沂.特征匹配下人脸轮廓线三维局部最优识别方法JI.信息技术，2 0 2 2，46（12）：8 0-8 4.3赵汉理，刘影，卢望龙，等.基于感知去模糊的高效人脸图像修复算法J.计算机辅助设计与图形学学报，2022,34(9):1420-1431.42ZHANG D,TIAN Q.A novel fuzzy optimized CNN-RNN method for facial expression recognition JJ.Kaunas University of Technology(KTU),2021,27(5):67-74.5 BANERJEE R,DE S,DEY S.A novel facial expres-sion recognition system using BMCSA based adaptiveneuro-fuzzy inference systemJ.International Jour-nal of Uncertainty,Fuzziness and Knowledge-basedSystems:IJUFKS,2021,29(6):791-813.6WENYAN N.Construction of network open teach-ing platform of analytical chemistry based on facialrecognition and artificial intelligenceJ.Journal ofIntelligent&.Fuzzy Systems:Applications in Engi-neering and Technology,2021,40(4):7435-7445.7邵玉颖，曹林，康峻，等.基于跨批次存储预训练的素描人脸识别方法J.计算机工程与应用，2 0 2 3，59(3):175-1838盛江岸，陈淑荣.融合双重注意力机制的戴口罩人脸识别方法 J.计算机与现代化，2 0 2 3，（2）：7 2-7 7.9卢添烨，刘兴德，刁建超，基于Vit的口罩遮挡人脸识第10 期别方法 J.电子制作，2 0 2 3,31（4）：50-53.10杨兵，刘晓芳.基于模糊隶属度函数的脑图像分割方法 J.计算机应用与软件，2 0 2 2，39（4）：2 54-2 6 2.11汪淑贤，欧阳玉梅.基于深度学习的三维人脸识别方法研究 门.集成电路应用，2 0 2 3，40（1）：7 3-7 5.12全星，王涛，田青，等，基于PaddlePaddle和VGG的戴口罩人脸识别方法设计J.警察技术，2 0 2 3（1）：41-43.13姜绍忠，姚克明，陈磊，等.基于CNN与Transform-er混合模型的口罩人脸识别方法 J.传感器与微系统,2 0 2 3,42(1):144-148.14仲崇丽，刘华.改进卷积神经网络的热红外成像人脸识别 J.激光杂志，2 0 2 2，43（12)：117-12 1.15卢，邓浩敏.一种基于MTCNN和MobileFaceNet人脸检测及识别方法 J.自动化与仪表，2 0 2 3，38(2):76-80.何佑明，等：基于深度学习的低质量图像模糊人脸识别方法8316 LE Q D,VU T,VO T Q.Application of 3D facerecognition in the access control systemLJl.Roboti-ca,2022,40(7):2449-2467.17KHAN F A,BOURIDANE A,BOUSSAKTA S,etal.Secure facial recognition in the encrypted domainusing a local ternary pattern approachJJ.Journal ofInformation Security and Applications,2021,59(6):102810.18ENVELOPE M,ENVELOPE S K.An ingeniousface recognition system based on HRPSM_ CNNunder unrestrained environmental condition sciencedirectJ.Alexandria Engineering Journal,2022,61(6):4307-4321.19CEVIK T,SAHIN F.A high-discriminative facialrecognition method based on shape and grey-levelappearances using landmark-points J.The VisualComputer,2021,37(5):1139-1150.A method on fuzzy face recognition in low-quality image based on deep learningHE Youming,MA Rongrong(School of general education,Anhui Wenda University of Information Engineering,Hefei Anhui 231201)Abstract To avoid the impact of noise in grayscale regions on the accuracy of facial recognition,this paper proposes adeep learning-based low-quality image blurred face recognition method.Firstly,we use wavelet transform to discretize low-quality images and obtain contour scale information containing different directional features.Secondly,we detect key pointsof facial contour lines on facial features and uniformly sample the noise by calculating the covariance matrix between the i-dentified sample and the source sample and the membership function of the image to reduce noise content.In addition,thispaper combines the threshold function of key points to match key points from multiple angles.Finally,using deep learningalgorithms to construct a recognition classifier and calculating the distance between two samples in the multi-angle matchingkey point results we achieve face recognition.The test results show that the proposed method achieves high recognition ac-curacy in facial image recognition with different fuzzy ratios.Key words Deep learning;Low quality image;Blur the face;Face recognition责任编辑王芬