改进模糊二值模式算法及其在卷积神经网络中的降噪性能_李芳慧.pdf

第 51 卷收稿日期：2022年8月10日，修回日期：2022年9月21日作者简介：李芳慧，女，硕士，研究方向：深度学习，图像处理。裴腾达，男，硕士，研究方向：物联网工程。1引言目前人脸识别技术已经在社会诸多领域上得到了广泛应用，为社会的安全以及经济发展带来了巨大的便利。传统的人脸识别技术主要以浅层结构模型为主，它们在处理图像、视频、语音等高维数据方面表现较差，特征提取难以满足需求，而深度学习技术弥补了这一缺陷1。深度学习采用深层神经网络模型，即具有特殊训练方式的包含多个隐藏层的神经网络2。1989年LeCun提出了真正意义上的适用于深度学习训练的算法卷积神经网络（Convolutional Neural Networks，CNN）3。CNN因其具有独特的结构优势，在图像分类、图像检索、人脸识别等领域得到了广泛应用4。目前比较成功的CNN网络模型有AlexNet5、GoogleNet6、VGGNet7、ResNet8等。CNN网络对输入图像进行分类识别，然而在含有噪声干扰的环境下，采集到的图像质量差，使得网络的效果大幅度降低。在卷积神经网络中，池化层的重要作用是实现特征降维、提取关键信息并丢弃冗余信息。然而，传统的池化操作只是对数据进行简单的粗处理，如最大池化法只极端的保留最大值元素，很容易引进噪声；平均池化法取池化窗口内的均值，弱化了最大值关键元素。对此，国内外许多研究学者提出了改进模糊二值模式算法及其在卷积神经网络中的降噪性能李芳慧裴腾达（大连大学信息工程学院大连116622）摘要针对传统池化方法未考虑不同像素点信息贡献存在差异的问题，论文设计了融合改进模糊二值模式的加权池化方法，该算法利用模糊隶属度函数计算出各像素点为等价模式的概率，并对应生成合适的权重值，在卷积神经网络的池化阶段，结合输入特征图及权重图，得到其加权池化输出值。利用ORL人脸数据库进行的实验结果表明，在测试图像含有噪声的情况下，论文提出的加权池化算法比传统最大池化法具有更好的降噪能力和人脸识别效果。关键词模糊二值模式；卷积神经网络；加权池化；降噪中图分类号TP301.6DOI：10.3969/j.issn.1672-9722.2023.03.032Improved Fuzzy Binary Pattern Algorithm and Noise ReductionPerformance in Convolutional Neural NetworksLI FanghuiPEI Tengda（School of Information Engineering，Dalian University，Dalian116622）AbstractSince the traditional pooling method does not take into account the difference in the importance of different pixels toexpress information，In this paper，a weighted pooling method with improved fuzzy binary mode is designed.This algorithm uses thefuzzy membership function to calculate each pixel.It is the probability of the equivalent model and correspondingly generates a suitable weight value.In the pooling stage of the convolutional neural network，the input feature map and the weight map are combinedto obtain its weighted pooled output value.The experimental results on the ORL face database show that the weighted pooling algorithm proposed in this paper has better noise reduction ability and network recognition rate than the traditional maximum poolingmethod when the test image contains noise.Key Wordsfuzzy binary model，convolutional neural network，weighted pooling，noise reductionClass NumberTP301.6总第 401 期2023 年第 3 期计算机与数字工程Computer&Digital EngineeringVol.51 No.37122023 年第 3 期计算机与数字工程较为有效的改进方法。2013年Rob Fergus 等9提出了随机池化（Stochastic pooling）方法，在池化窗口内对特征图数值进行归一化，按照特征图归一化后的概率值大小随机采样选择。2018年Wei等10提出了局部加权平均池化方法，通过给池化元素添加可学习的权重来实现更有效的特征提取。本文算法考虑了图像像素点的噪声影响，提出了融合改进模糊二值模式的加权池化方法，减少干扰信息逐层累积传递。2融合改进模糊二值模式的加权池化算法2.1自适应中值的改进模糊二值模式近年来，局部二值模式（Local Binary Pattern，LBP）11的特征提取算法在人脸识别的应用中取得了显著的成果，但仍存在对光照变化较敏感，以及对含噪声纹理图像特征表述能力不足等问题12。为增强 LBP 算法对图像干扰的稳定性，Iakovidis等13引入数学中的模糊逻辑理论，提出了模糊局部二值模式（Fuzzy Local Binary Pattern，FLBP）算法，并在超声图像实验中获得了不错的分类效果。FLBP的算法过程为：取33窗口内的8个邻域像素值依次与中心像素值作差，若差值大于某特定阈值，则编码为0或1，否则将该点编码为不确定位u，其公式表达为b()zp=|1zptpu|zptp0zp-tp（1）其中tp是一个预定义的阈值，Zp是邻域像素与中心像素的灰度差，u代表不确定位。对于不确定位，编码为 0或 1的概率可利用隶属度模糊函数来确定，计算公式如下：p()u=1=0.5+0.5zptp（2）p()u=0=1-p()u=1（3）p（u=1）表示编码为1的概率，p（u=1）表示编码为0 的概率。统计编码值即可得出图像的局部特征。FLBP虽然能够在一定程度上提高算法的抗噪性能，但如果中心像素点为噪声点，则以该点为基准的编码计算将失去其意义。因此本文借鉴自适应中值滤波14的思想，提出了自适应中值的改进FLBP算法，根据干扰噪声的灰度值通常常远大于或远小于邻域像素值的特性先判断中心像素点是否为噪声点，若是则用中值替换，然后再进行编码以提高算法抗噪性。过程如图1所示。9280818815087979982LBP编码：0000000080 81 82 87 88 92 97 99 150自适应中值928081888887979982LBP编码：11110000图1自适应中值的改进FLBP算法示意图左图为原像素分布，右图为改进后的像素分布。从编码结果中可以看出，经改进FLBP算法计算出的编码更丰富，具有更强的图像特征描述能力，并能有效的剔除突发噪声点，提高算法抗噪性。2.2加权池化方法为降低特征维度，Ojala 等将编码结果简化为等价模式和非等价模式，其中等价模式的数量达到90%以上，能够代表大部分信息，可以视为图像的关键特征15。在正常的人脸图像中，等价模式出现的频率远高于非等价模式，且这些小部分出现的非等价模式通常是由噪音导致的。因此本文算法基于等价模式理论，取该像素点属于等价模式的概率和为权重值，该权重反应了像素点信息的重要程度，计算过程如图2所示。9280818890879799821 u1110u20010110000101101001111010011110000100u1u2110非等价模式等价模式 P=0.24图2权重计算在编码的循环二进制值串中，0-1或1-0的跳变次数小于2的编码结果都属于等价模式。如图中 11110000 的变化次数为 2 次，所以属于等价模式。根 据 式（2）和 式（3），可 以 计 算 出 编 码 为11110000 的概率值为 p（u1=1，u2=0）=0.30.8=0.24，即该点的权重为0.24。池化层是深度学习中一个较为重要的概念。本文提出的加权池化方法依据各像素点信息大小的差异，赋予其不同的权重值，并对输入特征图进行加权池化操作。加权池化过程如图3所示。10.30加权求和010.71000.250.07500.250000.250.175池化输入生成权值重新分配池化输出图3加权池化过程1）取图像的33窗口，利用改进的FLBP算法进行编码计算，得到中心像素点对应的权值；2）重复步骤1），可生成一张与原图对应的权重图；3）取713第 51 卷权重图33窗口内的值，按比例重新分配，确保其值总和为1；4）将原像素值与权值进行加权求和，得出池化输出结果；5）以步长为2的重叠池化窗口遍历整个输入图像，可最终得出池化输出结果。3实验设计与仿真结果分析本文使用的实验平台为CPU，Windows10操作系统，平台搭载的测试软件为 Matlab R2018a。本文选取ORL数据库进行人脸图像可视化测试，该数据库包含40人，每人含有10张不同姿态、角度和表情的人脸照片。为防止网络过拟合，增加数据多样性，在实验使用人脸图像前，进行了一定的数据增强以扩充数据集。图4直观地比较了LBP算法和本文所提加权FLBP算法的特征提取效果图。图4第一行为正常人脸图像，第二行为LBP特征提取图，第三行为加权FLBP特征提取图从图中可以直观地看出，LBP算法能够提取出人脸的大致轮廓；而利用改进的加权FLBP算法可以更为突出的提取出人脸的关键特征，对于越重要的特征，权重分配越大，颜色越亮。为进一步验证改进算法的特征提取能力，本文分别使用两种算法提取特征向量，并结合KNN分类器16，对人脸图像进行分类识别。以2 8的比例将人脸图像分为训练集和验证集，取实验10次的平均结果，其中LBP算法的分类识别率为87%，加权FLBP算法的分类识别率为 91%，所提算法比 LBP 算法识别率高出4%，具有更好的特征提取效果。为验证所提算法在卷积神经网络中的降噪性能，本文设计了 CNN-7和 AlexNet网络模型，并将加权算法融合在池化层中，与最大池化方法对比识别率。CNN-7参考LeNet网络结构框架，共包含3层卷积层、2层池化层、2层全连接层，重叠池化窗口步长为2，初始学习率为0.01。采用随机梯度下降算法，ReLU激活函数，Softmax分类器。实验的训练集、验证集和测试集分别以7 2 1的比例将数据库进行随机划分，测试集中分别添加了不同程度的椒盐噪声和高斯噪声。表1CNN-7网络中所提加权池化法与最大池化法对椒盐噪声的降噪比较（识别率/%）椒盐噪声最大池化所提加权池化=097.898.6=0.188.895.5=0.265.975.3=0.347.358.8表2CNN-7网络中所提加权池化法与最大池化法对高斯噪声的降噪比较（识别率/%）高斯噪声最大池化所提加权池化2=097.597.92=0.0296.897.22=0.0483.488.62=0.0671.677.5从表1和表2的实验结果中可以看出，当噪声密度为0时，即测试集不含噪声的情况，加权池化网络的识别率与最大池化网络相差不大，但随着两种噪声的密度不断增加，加权池化方法优于最大池化方法的效果越来越明显，当椒盐噪声密度为0.3时，最大池化方法识别率已经降到50%以下，基本失去识别能力，而本文提出的加权池化方法识别率比最大池化高11.5%，差距达到最大。Alexnet迁移网络移去原有Alexnet预训练网络中最后三层，并添加适合本人脸识别任务的全连接层softmax层和分类输出层。相比使用随机初始化权重从头训练网络的方式更加方便高效。网络处理数据的最小批尺寸为10，最大训练Epoch设置为10，初始学习率设置为0.01。测试集组分别添加了6种不同程度的椒盐噪声和高斯噪声。表3AlexNet网络中所提加权池化法与最大池化法对椒盐噪声的降噪比较（识别率/%）椒盐噪声最大池化所提加权池化=0.0838.8585.13=0.0929.7977.32=0.141.675.5=0.240.073.2=0.334.862.6=0.422.558.9表4AlexNet网络中所提加权池化法与最大池化法对高斯噪声的降噪比较（识别率/%）高斯噪声最大池化所提加权池化2=0.0145.6584.742=0.01531.2578.002=0.0249.1076.402=0.0442.0075.202=0.0640.7069.702=0.0836.4064.20李芳慧等：改进模糊二值模式算法及其在卷积神经网络中的降噪性能7142023 年第 3 期计算机与数字工程从表3和表4中可以明显地看出Alexnet迁移网络结合最大池化方法的抗噪性能不强，但采用所提算法的网络识别率较为稳定，且总体效果要比最大池化高很多。再次验证了提出算法的优越性。4结语本文提出了一种改进的模糊二值模式算法，并将其应用在卷积神经网络的池化层中，采用加权池化的方式替代传统的池化方法。实验表明该方法能够有效提升噪声环境下的人脸识别率，具有一定的降噪能力。虽然本文方法能够提升卷积神经网络的抗噪性能，但同时存在计算复杂度较高，时间开销略大的不足。因此设计出更加简单有效的抗噪性卷积神经网络是下一步的研究重点。参 考 文 献1郑远攀，李广阳，李晔.深度学习在图像识别中的应用研究综述 J.计算机工程与应用，2019，55（12）：20-36.ZHENG Yuanpan，LI Guangyang，LI Ye.A Review of theApplication of Deep Learning in Image RecognitionJ.Computer Engineering and Applications，2019，55（12）：20-36.2尹宝才，王文通，王立春.深度学习研究综述 J.北京工业大学学报，2015，41（01）：48-59.YIN Baocai，WANG Wentong，WANG Lichun.A Reviewof Deep Learning ResearchJ.Journal of Beijing University of Technology，2015，41（01）：48-59.3Lecun Y，Boser B，Denker J，et al.Backpropagation Applied to Handwritten Zip Code RecognitionJ.NeuralComputation，2014，1（4）：541-551.4田启川，王满丽.深度学习算法研究进展 J.计算机工程与应用，2019，55（22）：25-33.TIAN Qichuan，WANG Manli.Research Progress in DeepLearning AlgorithmsJ.Computer Engineering and Applications，2019，55（22）：25-33.5Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks C/Advances in Neural Information Processing Systems，2012：1097-1105.6C.Szegedy，W.Liu，Y.Jia，et al.Going deeper with convolutions C/Proc of IEEE Conference on Computer Visionand Pattern Recognition.IEEE，2015：1-9.7Simonyan K，Zisserman A.Very Deep Convolutional Networks for Large-Scale Image RecognitionJ.ComputerENCE，2014.8He K，Zhang X，Ren S，et al.Deep Residual Learningfor Image Recognition J.2016 IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.9Zeiler M D，Fergus R.Stochastic Pooling for Regularization of Deep Convolutional Neural NetworksJ.EprintArxiv，2013.10Wei Q，Mu T，Han G，et al.Face Recognition Based onImproved FaceNet ModelC/Proceedings of the FifthEuro-China Conference on Intelligent Data Analysis andApplications，2019.11Ojala T，Pietik？Inen M，Harwood D.A ComparativeStudy of Texture Measures with Classification Based onFeature Distributions J.Pattern Recognition，1996，29（1）：51-59.12高攀.基于改进LBP算子的图像纹理分类研究 D.成都：西南交通大学，2018.GAO Pan.Research on Image Texture ClassificationBased on Improved LBP OperatorD.Chengdu：Southwest Jiaotong University，2018.13Iakovidis D K，Keramidas E G，Maroulis D.Fuzzy localbinary patterns for ultrasound texture characterizationC/International Conference Image Analysis and Recognition.Springer，Berlin，Heidelberg，2008：750-759.14Jiang M.Chan Tony F，Shen Jianhong（Jackie）：ImageProcessing and Analysis：Variational，PDE，Wavelet，and Stochastic Methods.J.BioMedical EngineeringOnLine，2006，5（1）：1-3.15Ojala T，Pietikainen M，Maenpaa T.Multiresolutiongray-scale and rotation invariant texture classificationwith local binary patterns J.IEEE Transactions on Pattern Analysis&Machine Intelligence，2002，24（7）：971-987.16Abeywickrama T，Cheema M A，Taniar D.k-NearestNeighbors on Road Networks：A Journey in Experimentation and In-Memory Implementation J.Proceedings ofthe VLDB Endowment，2016，9（6）：492-503.715