基于循环生成对抗网络的遮挡人脸识别系统设计_尹金.pdf

基于循环生成对抗网络的遮挡人脸识别系统设计尹金，陈翠红，胡贵恒，胡俊（安徽工商职业学院信息工程学院，安徽 合肥 ；安徽国际商务职业学院信息工程学院，安徽 合肥 ）摘要：由于大多数采集到的人脸图像被口罩、帽子、头发遮挡，导致人脸识别效果较差 为此，设计基于循环生成对抗网络的遮挡人脸识别系统 该系统利用电源模块为存储器、人机交互、人脸识别等模块提供稳定电压 系统中的人脸识别模块使用 处理器控制人脸视频图像采集和识别，处理器内置人脸图像自动采集程序，利用该程序控制视频采集前端使用 传感器、可编程逻辑器件等采集人脸视频图像，并基于循环生成对抗网络的遮挡人脸识别算法识别遮挡人脸图像后，通过通信接口模块将识别结果传输到存储器模块和人机交互模块分别进行存储和展示 实验结果表明：该系统具备良好的运行稳定性、通信性能以及图像缩放功能，且可有效识别不同类型遮挡的人脸，识别精度高达 关键词：循环生成对抗网络；遮挡人脸识别；生成网络；判别网络；处理器中图分类号：文献标识码：文章编号：（）引言人脸识别技术是生物特征识别技术之一，是利用计算机图像处理技术对人脸进行跟踪侦测来区分生物个体的技术手段，人脸识别技术目前被广泛应用于企业、住宅管理、电子身份认证、刑侦以及电子政务审批等领域，且在其应用领域发挥着不可或缺的作用但目前人脸识别技术在识别有眼镜、口罩和帽子等遮挡物的人脸图像时存在很大漏洞，促使很多学者致力于研究存在遮挡的人脸识别系统的方法 如李梦潇等设计了基于 的人脸识别系统，通过在仿真平台搭建人脸识别系统运行环境，利用主成分分析算法分析人脸存在遮挡时的图像维数，并使用特征值分解算法计算人脸图像特征，依据该特征达到识别人脸的目的 朱毅等设计了基于 人脸识别系统，使用计算机 视觉库开发人脸识别系统 界面，利用深度学习技术识别人脸图像上述两种人脸识别系统虽可实现人脸识别的目的，但在识别遮挡人脸图像时精度不高由于目前摄像机等设备采集到的人脸图像存在不同程度的遮挡，如口罩、帽子、头发等为增强遮挡人脸识别效果，本文在优化人脸识别系统硬件的基础上，借助循环生成对抗网络可转换不同模态图像的优势，将人脸图像的不同模态进行网格化处理后，生成判别网络，构建识别目标函数和约束条件，实现了基于循环生成对抗网络的遮挡人脸识别系统的设计 遮挡人脸识别系统设计 系统整体框架使用“分块”思想设计基于循环生成对抗网络的遮挡人脸识别系统，其整体框架如图所示第 卷第期 菏泽学院学报 年月 收稿日期：基金项目：安徽省高校自然科学重点项目（）；安徽省质量工程项目（）；安徽国际商务职业学院教研项目（）作者简介：尹金（），女，安徽蚌埠人，讲师，硕士，研究方向：机器学习、计算机视觉DOI:10.16393/ki.37-1436/z.2023.02.005图遮挡人脸识别系统整体框架在基于循环生成对抗网络的遮挡人脸识别系统整体框架内，该系统被划分为电源模块、存储器模块、人脸识别模块、通信接口模块、人机交互模块和视频采集前端大模块其中电源模块为系统内存储器模块、图像处理模块、视频采集前端提供稳定的电压供应，保障系统的正常运行存储器模块主要用于存储识别的结果人脸识别模块由 处理器和其附属电路组成，通过在该处理器内编写视频图像自动采集程序、基于循环生成对抗网络的遮挡人脸识别算法等程序，控制视频采集前端模块执行视频采集任务，并完成识别视频图像和存储等功能，且通过该模块与人机交互模块相连为用户呈现遮挡人脸识别结果 通信接口模块与图像处理模块相连，由 和 接口组成，负责传输图像处理模块内产生的视频图像处理数据，为人机交互模块提供数据调取的通信方式 人机交互模块由 显示屏和遥控器组成，其中 显示屏为用户提供遮挡人脸识别的视觉展示，用户可利用遥控器控制系统执行图像识别、视频图像采集等操作 硬件设计 系统处理器选取选择 型处理器作为本文系统的主处理器，该处理器属于达芬奇处理器结构，其具备良好的可扩展、可编程的数字信号处理功能，可自定义数字信号处理内核、加速器以及各种外接设备，适用于功能强大的处理系统 且该处理器内具备音频解码器，在其配置结构中快速实现图像识别软件的启动和运行 处理器结构如图所示图 型处理器结构 型 处 理 器 由 视 频影 像 协 处 理 器（）、视频处理子模块、资源交换中心（）和外设 数据传输子模块组成 其中资源交换中心为 型处理器的资源转换中心，视频影像协处理器利用子模块和数字信号处理内核，处理人脸视频影像后将其传输给资源交换中心视频处理子模块则利用前端功能和后端功能对人脸识别图像进行缩放、预览以及利用视频解码器，完成遮挡人脸识别等操作后，将结果传输到资源交换中心资源交换中心将接收到以及处理后的遮挡人脸识别结果传输到外设 数据传输模块内，该模块使用串口接口连接其它设备，向其它设备传输人脸识别信息并将信息和程序进行存储操作 型处理器的视频处理子模块是实现遮挡人脸识别的核心，其包括视频处理前端和视频处理后端，二者分别负责图像外部输入和人脸识别并输出功能 视频处理子模块的前端和后端结构如图所示图 型处理器视频处理子模块结构 年 尹金，等：基于循环生成对抗网络的遮挡人脸识别系统设计 第期 型处理器视频处理子模块的前端由摄像头控制器、人脸图像自动采集程序、硬件引擎、视频预览引擎、基于循环生成对抗网络的遮挡人脸识别算法等构成，负责控制整个系统采集当前人脸图像，并对图像进行直方图均衡化和遮挡人脸识别等功能，它通过硬件引擎和视频预览引擎驱动系统及其它硬件共同协作，为系统的人机交互模块提供人脸图像或者识别结果预览功能视频处理子模块的后端则由 画中画显示器和视频编码功能等组成，其可为用户呈现人脸识别画面的画中画功能和对视频添加图标以及字幕等功能 其中视频编码功能可将遮挡人脸的原始视频信号转换为特定格式以便于模拟视频数据和数字视频数据 人脸拍摄摄像机选取及安装方法遮挡人脸识别系统的主要工作是对存在遮挡的人脸图像进行识别处理，因此摄像机采集图像的质量是影响该系统识别结果的重要因素，为使采集到的人脸图像效果更佳，在此选择 型高清摄像机拍摄人脸图像 型高清摄像机内置 传感芯片，可自动调整夜间和日间拍摄模式，且具备 镜头接口，可自行设置其拍摄快门参数 型高清摄像机拍摄的视频图像最大尺寸为（）像素，帧频率达到 ，具备较好的饱和度和亮度其适应室外高温差和高湿度环境且耗电量仅为摄像机拍摄人脸图像效果与摄像机自身功能有关也与其安装位置有关 在任何角度拍摄的人脸图像像素均不小于（）像素，为使摄像机符合该拍摄条件，摄像机安装位置如图所示图摄像机安装示意图摄像机安装在人员出入口的正前方位置，其与人员出入口的水平长度不得低于，为拍摄人脸正面图像，其左右偏转角度区间为 ，上下偏转度数区间为 设置摄像机焦点在人员出入口处，并开启移动侦测功能，当人员出入口有人员移动时，摄像头自动对其进行移动侦测和视频图像采集 系统通信设计系统通信功能是实现人机交互功能的首要途径，系统利用通信功能将遮挡人脸识别结果传输给人机交互模块的 显示器内，用户也可通过遥控器向系统处理器发送参数变更，图像采集等命令，进而实现系统的人机交互功能遮挡人脸识别系统的通信使用 协议族实现通信功能，使用 协议族内 和 类函数实现信息的调用与传输其中利用 函数监听系统的信息传输串口，当用户发送通信传输指令时，其会发出 （）信号，此时 型处理器内利用该信号关联相应的槽函数并发送相应的信息 类函数负责接收用户发送的指令信息并向用户返回 （）信号，依据用户发送的指令信息关联相应的槽函数对信息进行接收遮挡人脸识别系统的 型处理器识别完成遮挡人脸图像后，将结果保存到存储器存储模块内的同时，向人机交互模块发送其识别结果，当人机交互模块接收到该识别结果后，向信息发送端传输已收 到 信 息 的 反 馈 并将人 脸 识 别 结 果 呈 现 在 显示屏内 软件设计遮挡人脸识别系统使用循环生成对抗网络识别存在遮挡的人脸视频图像 循环生成对抗网络是生成对抗网络的改进，其中生成对抗网络由生成网络和判别网络组成，生成网络负责生成图像网格，可将图像内的随机噪声也生成图像，而判别网络负责判别生成网络生成的图像真假，因此判别网络和生成网络形成博弈过程 为满足识别存在遮挡人脸图像的目的，对生成对抗网络进行改进，形成循环生成对抗网络 循环生成对抗网络可将不同模态下的图像之间进行转换使各个图像模态形成映射关系利用循环生成对抗网络识别遮挡人脸过程如下循环生成对抗网络可转换不同模态图像，令、分别表示同一人脸视频图像的不同模态，循环生成对抗 网络 的 生 成 网 络对 该 两 种 模 态 进 行 网 格化，则网格化的两种模态分别用、表示.网格化后的遮挡人脸视频图像的判别网络分别由、表示.令和分别表示模态和下的真 年 菏泽学院学报 第期实图像，循环生成对抗网络将模态和进行相互转换后，并经过模态的网格化处理后得到两个模态下生成的图像（）和（）.将（）和（）分 别 进 行模 态 的 网 格 化 处 理 后 得 到（）和（）通过上述循环生成对抗网络转换不同模态图像分析过程可知，循环生成对抗网络相当于两个生成对抗网络的重叠，使用判别网络判断（）是否为模态下的真实图像，则其判别时的损失函数表达式如下：（，）（）（）（）（）（）式（）中，（）和 表 示 判 别 操 作；（，）表示判别网络判断（）是否为模态下的真实图像的损失数值.在该公式中，的存在只为生成图像（），并使该图像与模态下的真实图像更为接近，而的目的则是辨别（）是否为模态下的真实图像.鉴于此，设置循环生成对抗网络的第一个判别网络的优化目标函数约束条件为 （，），依据上述相同步骤得到该网络的第二个判别网络的优化目标函数约束条件为 （，）.为使循环生成对抗网络输出结果更为精准，在此设置循环损失函数，其表达公式如下：（，）（）（）（）（）（）式（）中，、分 别 表 示（）和（）.将循环损失函数代入到公式（）内，得到循环生成对抗网络的总损失函数，其表达公式如下：（，）（，）（，）（）式（）中，表示循环损失函数权值通过求取公式（）数值并判断其是否符合依据循环生成对抗网络第一个生成网络和第二个生成网络最优目标函数约束条件，即判断不同模态遮挡人脸视频图像是否为同一个人，即获得遮挡人脸识别结果实验分析使用 ，位操作系统、酷睿 内核、主频和 内存的系统运行环境测试本文系统的实际应用效果 实验设置实验测试的遮挡人脸图像来自于 数据集（），其包括眼镜、帽子等多种遮挡类型图像 从中选取 张分辨率为（）像素的 图像进行测试 图为数据集中的部分人脸图像图部分遮挡人脸图像实验过程中，循环神经网络的参数设置情况如下：输入层包含个神经元，输出层包含个神经元，隐含层个数为，初始学习率为 ，迭代次数为 次，隐含层权值矩阵为 结果分析 稳定性测试系统运行的稳定性是体现其应用性能指标之一，系统在运行过程中发生偶发故障时，会出现自动热启动情况，测试本文系统在长时间运行情况下，出现热启动次数，以衡量其运行稳定性，结果如图所示图系统稳定性测试结果 年 尹金，等：基于循环生成对抗网络的遮挡人脸识别系统设计 第期分析图可知，系统的自动热启动次数与其运行时间呈正比例关系 本文系统在其运行时间为 时，其并未出现自动热启动情况而在其运行天数为 时，系统运行时出现一次自动热启动情况，该情况一直持续到其运行天数为 时随着运行天数的继续增加，本文系统在持续运行 时，共出现次自动热启动情况，其每天的自动热启动概率仅为 上述结果说明：本文系统在持续运行出现自动热启动次数较少，具备较好的稳定性 系统通信性能测试以传输大容量网络编码数据包的形式测试本文系统的通信性能，绘制该网络编码数据包传输时的时域波形，从该波形分析其通信传输性能，结果如图所示图大容量网络编码数据包传输时域波形分析图可知，本文系统在传输大容量网络编码数据包时，其在该数据包开始传输时幅值迅速响应且随着该数据包的传输，其幅值波动区间较为规整始终在 之间，表明其在数据包传输过程中未发生数据丢失情况当大容量网络编码数据包传输完成后，该数据包的时域波形恢复为 状态 而本文系统在传输该大容量网络编码数据包的消耗时间仅为 左右，传输速度较快上述结果说明：本文系统在数据传输过程中可保障数据完整性且数据传输速度较快 图像缩放功能测试以 峰 值 信 噪 比（，）为衡量本文系统图像缩放功能指标，测试在图像放大倍数不同情况下，图像的峰值信噪比数值为更清楚掌握本文系统图像缩放功能，同时使用文献 系统和文献 系统对图所示男士遮挡人脸进行缩放实验并进行分析，结果如表所示 其中文献 系统表示基于 的人脸识别系统，文献系统表示基于 人脸识别系统表图像不同放大倍数下峰值信噪比数值 图像放大倍数文献系统文献系统本文系统 分析表可知，人脸视频图像的放大倍数是影响其峰值信噪比的关键因素，其放大倍数越大，则图像的峰值信噪比数值越低在三种系统中，当人脸视频图像放大倍数小于等于 倍时，其人脸视频图像放大后的峰值信噪比数值虽然呈现降低趋势，但降低幅度较为轻微 随着人脸视频图像放大倍数继续增加，三种系统缩放后的人脸视频图像峰值信噪比数值大幅度降低，但本文系统缩放后的人脸视频图像的峰值信噪比数值均较高上述结果说明本文系统缩放后的人脸视频图像质量较好，也从侧面说明其人脸识别能力强 画中画功能测试以一组遮挡人脸视频图像为实验对象，测试本文系统画中画功能，结果如图所示图画中画测试结果分析图可知，本文系统可有效抓拍行走人员图像并可实现其局部图像放大呈现出画中画功能，且画中画的显示框内可清晰观察到抓拍到的行走人员面部信息，用户也可通过画中画显示框保存行走人员图像信息 综上所述，本文系统具备较好的画中 年 菏泽学院学报 第期画功能，可有效为用户提供抓拍人员局部图像信息 遮挡人脸视频图像识别测试以图（）为实验对象，测试该人员在面部存在口罩、眼镜、帽子等不同类型遮挡时，本文系统、文献 系统和文献 系统的人脸识别能力，结果如图（）（）所示图不同类型遮挡时人脸识别效果将图所示的人脸识别效果进行量化，结果如图 所示图 不同类型遮挡时人脸识别量化结果分析图和图 可知，通过识别该人员不同脸部遮挡类型，得出其脸部存在不同程度遮挡时均为同一个人，而当该人员同时存在眼镜和口罩遮挡时，识别该人员的相似度高达 综上所述，本文系统可有效识别人员面部存在不同程度遮挡时的图像，且识别精度较高结论本文设计了基于循环生成对抗网络的遮挡人脸识别系统在该系统内应用到了循环生成对抗网络算法，该算法可通过对比不同模态下图像是否为同一张图像 通过循环生成对抗网络的生成网络对不同模态的图像进行网格化处理并相互转换后，使用判别网络分析不同模态下的图像是否为真实图像，通过设置该网络的最佳目标函数约束条件和损失函数，并求解后即可得到遮挡人脸的识别结果 本文对系统进行了验证，其在应用过程中具备较好的稳定性、通信传输能力以及遮挡人脸识别能力参考文献：徐志京，王东基于双路循环生成对抗网络的多姿态人脸识别方法光学学报，（）：包仁达，庾涵，朱德发，等基于区域敏感生成对抗网络的自动上妆算法软件学报，（）：周雪婷，杨卫华，华骁，等基于循环生成对抗网络的低质量眼底图像增强效果评估 中华实验眼科杂志，（）：李梦潇，姚仕元基于 的人脸识别系统的设计与改进计算机科学，（）：朱毅，潘桐基于 人脸识别系统的设计与实现电子制作，（）：江烂达，储珺，缪君 平台下人脸识别智能监控系统计算机工程与设计，（）：陈放，刘晓瑞，杨明业基于活体检测和身份认证的人脸识别安 防 系 统 计 算 机 应 用，（）：叶继华，王仕民，郭帆，等基于 不确定度的嵌入式人脸 识 别 系 统计 算 机 应 用，（）：陈晋音，周嘉俊，沈诗婧，等 深度学习人脸识别系统的对抗攻 击 算 法 研 究 小 型 微 型 计 算 机 系 统，（）：何芳州，李鑫基于低秩稀疏与网络学习的遮挡人脸识别研究 计算机仿真，（）：李萌昕基于人脸识别的山东大学门禁系统建设与实现深圳大学学报（理工版），（）：冯小荣，惠康华，柳振东 基于卷积特征和贝叶斯分类器 年 尹金，等：基于循环生成对抗网络的遮挡人脸识别系统设计 第期的人脸识别 智能系统学报，（）：田曦初，苏寒松，刘高华，等 基于 的改进教室人脸识别算法及其应用激光与光电子学进展，（）：项晓丽，武圣，龙伟，等基于虚拟样本的加权稀疏表示人脸识别研究 控制工程，（）：周 丽 芳，杜 跃 伟，李 伟 生，等 一 种 基 于 分 治 策 略 的 多姿态人脸识别小型微型计算机系统，（）：，（，；，）：，：；（责任编辑：徐慧）年 菏泽学院学报 第期