基于改进PERCLOS的疲劳驾驶检测系统的设计.pdf

现代电子技术Modern Electronics TechniqueNov.2023Vol.46 No.222023年11月15日第46卷第22期0 引 言随着汽车保有量和路网密度的快速增加，交通事故频发，造成很多人员伤亡和财产损失1。疲劳驾驶已经成为影响交通事故不可忽视的隐式因素，因其造成的交通事故数量约占中体事故数量2的 10%20%。对驾驶员进行疲劳驾驶检测、提醒，能够有效地降低因疲劳驾驶引发的交通事故。随着边缘设备算力的提升以及硬件成本的下降，主流的疲劳驾驶检测系统大部分采用的是基于深度学习的检测算法，但是这些算法计算开销较大，导致出现功耗较高、检测速度低等缺点，同时单一的检测指标也容易出现漏检的现象。为 了 解 决 以 上 问 题，本 文 设 计 一 种 基 于 改 进PERCLOS的疲劳驾驶检测系统，对驾驶员眼部特征、握力特征和汽车横向加速度特征进行多信号的监测，从人体生理信号、动作特征以及汽车运动轨迹的融合信息中进行准确的疲劳驾驶判断。1 系统总体设计整个疲劳驾驶检测系统由车载终端、云服务器和远端监测主机三部分组成，系统结构如图1所示。车载终端的主控为 OpenMV3，CMOS 摄像头、握力检测电路和加速度计组成驾驶信息感知模块，语音识别电路和DOI：10.16652/j.issn.1004373x.2023.22.008引用格式：许龙铭.基于改进PERCLOS的疲劳驾驶检测系统的设计J.现代电子技术，2023，46（22）：4145.基于改进PERCLOS的疲劳驾驶检测系统的设计许龙铭（广州城市理工学院 通信工程学院，广东 广州 510800）摘 要：针对疲劳驾驶事件频发、检测难度较高的问题，设计一种基于改进 PERCLOS的疲劳驾驶检测系统。以搭载CMOS摄像头的 OpenMV作为主控，实时检测驾驶人的人脸图像，采用基于 Haar特征的 Cascade分类器来分割人眼区域，再从人眼区域内提取瞳孔的颜色深度特征，计算得出人眼开合度，从而判断驾驶员是否在眨眼。使用眨眼频率替代PERCLOS算法中的眼睛闭合时间的评价指标，结合方向盘握力特征和汽车横向加速度特征进行多传感器信息融合，综合判断驾驶员是否处于疲劳状态。实验结果表明，系统检测准确率达到90%以上，实时性较强，能够以一种低成本方案解决疲劳驾驶检测的需求。关键词：PERCLOS；疲劳驾驶；CMOS摄像头；OpenMV；Cascade分类器；颜色特征提取；多传感器信息融合中图分类号：TN911.2334；TP391.4 文献标识码：A 文章编号：1004373X（2023）22004105Design of fatigue driving detection system based on improved PERCLOSXU Longming(School of Communication Engineering,Guangzhou City University of Technology,Guangzhou 510800,China)Abstract：In allusion to the problems of frequent fatigue driving events and high detection difficulty,an improved PERCLOS based fatigue driving detection system is designed.With OpenMV equipped with CMOS camera as the main control,the drivers face image is detected in real time.The Cascade classifier based on the Haar feature is used to segment the eye area,and then the pupil color depth feature is extracted from the eye area to calculate the eye opening and closing degree,so as to determine whether the driver is blinking.The blink frequency is used to replace the evaluation index of eye closing time in PERCLOS algorithm,and the multisensor information fusion is conducted by combing the steering wheel grip characteristics and vehicle lateral acceleration characteristics,so as to comprehensively determine whether the driver is in a state of fatigue.The experimental results show that the detection accuracy of the system can reach more than 90%,and the realtime performance is strong,which can solve the demand of fatigue driving detection with a lowcost solution.Keywords：PERCLOS;fatigue driving;CMOS camera;OpenMV;Cascade classifier;color feature extraction;multi sensor information fusion收稿日期：20230320 修回日期：20230427基金项目：广东省普通高校重点领域专项（2022ZDZX1041）4141现代电子技术2023年第46卷TTS4模块组成交互模块，而 NBIoT5模块作为通信模块，通过蜂窝网与云服务器进行信息交互。云服务器作为车载终端和监测主机的数据中转，负责在服务器数据库上存储车载终端发送的驾驶数据，并为监测主机提供数据访问接口。监测主机从云服务器上获取驾驶信息后进行分析处理，当判断驾驶员存在疲劳驾驶行为之后及时触发预警机制。图1 系统结构图2 部分电路设计2.1 摄像头电路设计车载终端搭载的 CMOS 摄像头是 OminVision 公司生产的 OV7725，采集速率可达 150帧，具有强大的去噪点和抗干扰功能6，电路如图 2 所示。接口由 SCCB 通信、FIFO 输出数据（8 位）以及控制组成。SCCB（Serial Camera Control Bus）是串行相机控制，通过 I2C1_SCL、I2C1_SDA接口与主控相连，完成数字图像的传输。图2 OV7725电路图2.2 NBIoT电路设计NBIoT电路采用 USRNB75模组，由于内部封装了IC 核心外围电路，在进行模组电路设计时只需要考虑电源和通信两部分电路，如图3所示。图3 NBIoT电路图DC 516 V是直流电源输入，可直接将车载12 V电源输入；而 VCC_BAT 是支持 DC 3.14.2 V 范围的电池输入，可用于调试和产品化后的太阳能充电池输入。NB IoT 电 路 通 过 TTL 串 行 接 口（UART1_TXD 和UART1_RXD）与主控相连，主控通过发送 AT指令数据完成对模组的控制。2.3 语音识别电路设计语音识别 IC 采用的是非特定语音辨认芯片7LD3320，电路图如图4所示。由于IC内部集成了A/D电路，因此通过 MICN、MICP引脚接入麦克风组件便可完成语音信号的输入。LD3320 支持并行通信和串行通信，为了提高传输速度，主控选用了并行通信接口（P0P7）进行驱动。3 系统软件设计3.1 改进PERCLOS算法本文判断驾驶员是否疲劳的第一个指标是眼部特征，具体实现过程是：通过OpenMV获取眼部图像，利用专门的机器视觉算法来完成判断，而采用的核心算法是在 PERCLOS8的基础上，根据实际应用情况进行改进。PERCLOS算法是由 Walt Wierwille于 1994年发表的，算法的工作原理是：通过眼睛闭合时间反映眼部特征，具有几种眼睛不同闭合状态下的检测标准。42第22期其中 P80标准（单位时间内眼睛闭合程度超过 80%以上的时间占总时间的百分比）与驾驶员疲劳程度的相关性最好9。以 P80为例，算法原理如图 5所示，t1、t2、t3、t4表示人眼瞳孔面积在80%20%0%20%80%内变化，根据算法定义可知，P80 标准下的 PERCLOS 值为：PERCLOS=t3-t2t4-t1（1）图5 PERCLOS算法原理图PERCLOS算法由于需要计算眼睛不同开合状态的时间段，因此对处理器的性能要求较高，往往无法降低整个系统的成本。本文针对 PERCLOS算法进行改进，使用眨眼频率替代原算法中的闭合时间指标。改进后的算法通过设置眼睛开合的阈值，然后捕获驾驶员每次眨眼动作进行累计，较原算法的优点在于：无需测量每次眨眼过程中各个不同闭合度的准确时间点，实时性要求更低。改进后的算法原理如图 6所示，选择 t1、t4作为一次检测周期，持续检测人眼的瞳孔面积，当瞳孔面积从大变小并且处于 20%以下的面积时记作一次眨眼，即图 6中t2、t3所在位置。图6 本文算法原理图改进后算法眨眼频率的计算公式为：f=ct4-t1（2）式中：c 为一个周期内统计到的眨眼次数；t1、t4分别是一次检测周期起始、结束时间点。PERCLOS算法改进前后的对比如表1所示，虽然本文算法检测周期更长，但从算法原理出发对单次检测容错率更高，更加适合对成本和体积有要求的嵌入式车载终端产品。OpenMV封装了常用的机器视觉库，比如进行目标检测的 Haar10分类器。在算法执行前先通过大量的人眼图片进行模型训练，得到检测模型后转换为专门的图4 语音识别电路图许龙铭：基于改进PERCLOS的疲劳驾驶检测系统的设计43现代电子技术2023年第46卷Haar算子，输入到 HaarCascade（哈尔特征级联）11中，完成人眼检测。在人眼图像中通过提取深色区域的像素面积即可获取不同人眼闭合度下的瞳孔面积。表1 PERCLOS算法改进前后的性能对比算法PERCLOS本文算法原理状态点计时过线计次检测周期短长时效要求高中3.2 基于握力特征值的疲劳判断驾驶员的握力变化可在一定程度下反映其疲劳程度，因此本文选择的疲劳驾驶第二个判断指标是握力特征值。由于不同个体、不同场合的驾驶状态下驾驶员的握力变化不同，因此在每次驾驶前需要获取握力特征值的判断标准。驾驶过程的前段时间处于疲劳驾驶状态的概率较低，判断标准从该时间段内进行计算。在每次汽车行驶的前 5 min，以 2 s/次的频率采集握力样本值，则该时间段内的握力平均值为：x =1150i=1150 xi,i=1,2,150（3）式中：i为单次采集次数；xi为行驶前 5 min 内采集到的实时握力样本值，单位为N。汽车行驶 5 min 后，以 1 min 为周期，2 s/次的频率采集握力样本值，则每个周期内驾驶员的实时握力平均值为：y =130i=130yi,i=1,2,30（4）式中：i为单次采集次数；yi为行驶后每分钟内采集到的实时握力样本值，单位为N。经过大量实验观察计算可知，|y -x 的值随着驾驶员的疲劳程度增加而变大，驾驶员在不同路段非疲劳状态下驾驶汽车时，该特征值均小于0.5，因此选择握力过小的判断条件为：|y -x 0.5（5）3.3 基于加速度特征值的疲劳判断由于汽车在加减速时也会带来加速度的变化，因此本文选择急动度作为疲劳判断的第三个指标。急动度是一种特殊运动的力学术语，即加速度随时间的变化率12，计算公式为：j=dadt（6）式中：a为加速度，单位为m/s2；t为检测周期，单位为s。当车辆失控时，水平方向的加速度会在单位时间内突变，即急动度会增大。研究表明，横向急动度大于0.1 m/s3时，车辆很可能处于不可能扭转的状态。因此，急动度过大的判断条件为：j 0.1（7）4 实验结果及分析4.1 眨眼频率测量实验眨眼动作由OpenMV完成捕获并进行计数，首先需要检测系统是否能够准确地检测出瞳孔所在位置，因此需要通过 IDE 观察系统是否能够准确捕获到瞳孔并显示，捕获实验的 IDE运行结果如图 7所示。为了降低主控的计算开销，在检测到两个人眼后本文只选取其中一个用于瞳孔检测，由IDE上输出的实时视频流数据以及相关图像数据表明，系统能够准确地从实时画面中检测到瞳孔并进行标注，同时完成目标的颜色特征提取以及显示，能够满足后续的眨眼检测需求。图7 瞳孔捕获实验IDE运行截图在进行具体的眨眼频率检测实验时，通过主动改变不同的眨眼频率，将系统输出的检测结果保存到 TF卡中，然后与人为计数的结果进行对比，部分典型数据如表2所示。表2 眨眼频率典型数据对比实验眨眼频率/（次/min）152535601525355915253457实际眨眼频率/（次/min）152535601525356015253560系统是否判断疲劳否否是是否否是是否否是是实验时间12:0012:0012:0012:0018:0018:0018:0018:0021:0021:0021:0021:00实验结果表明，系统对于眨眼频率的检测主要受频44第22期率高低和环境光照度的影响。虽然眨眼频率过高时会影响数据准确性，但总体的准确率均在 95%以上，能够满足检测需求。4.2 握力特征值测量实验实验时在汽车方向盘上粘贴薄膜压力传感器，然后驾车在不同的路段行驶，驾驶过程中各测量100组数据进行分析处理，部分典型数据如表3所示。表3 握力特征值典型数据对比握力特征值范围/N00.0800.1800.3200.1000.1400.1400.1900.36样本数量100100100100100100100100测试路段高速直行路段高速直行变道路段高速环岛路段市政道路直行路段市政道路红绿灯停车路段市政道路通过红绿灯路段市政道路直行变道路段市政道路转弯路段实验结果表明，汽车在不同路段中的握力特征值变化范围不同，但由于实验时均处于非疲劳驾驶状态，因此都比本文设置的阈值（0.5 N）小。4.3 急动度测量实验实验时在不同的非直线行驶路段各测量 100 组数据并进行分析处理，部分典型数据如表4所示。表4 急动度典型数据对比急动度范围/（m/s3）00.0200.0500.0300.07样本数量100100100100测试路段高速直行变道路段高速环岛路段市政道路直行变道路段市政道路转弯路段实验结果表明，汽车在过急弯时急动度变化范围最大，各路段非疲劳驾驶时的急动度最大值小于本文设置的阈值（0.1 m/s3）。4.4 系统交互实验本文使用 Qt13开发专门的监测主机 PC 软件，用于对获取车载终端的实时驾驶数据进行监测，软件运行图如图 8所示。软件可绑定车辆相关信息，当车载终端检测到驾驶员处于疲劳驾驶状态时，除了本地报警外，PC 软件会主动向车主绑定的电话发送网络短信，通知车主或其亲友。图8 监测主机PC软件运行图5 结 语 本文以一种低成本的方案搭建一个疲劳驾驶检测系统，以搭载改进PERCLOS机器视觉算法为主，结合握力特征、加速度特征等数据，多传感器信息融合后进行综合判断。实验结果表明，系统对于模拟疲劳驾驶的判断准确率达到 90%以上，能够满足各种不同路段下驾驶场合的需求，为安全驾驶提供了一种新的解决方案。注：本文通讯作者为许龙铭。参考文献1 熊睿，邓院昌.疲劳驾驶交通事故的严重程度影响因素分析J.中国安全生产科学技术，2022，18（4）：2026.2 LI Y Y,TOSHIYUKI Y,ZHANG G N.The effect of fatigue driving on injury severity considering the endogeneity J.Journal of safety research,2018,64:1119.3 GUO Y,YIN J,WANG Y,et al.Research and implementation of an OpenMVbased target edge detection and tracking system J.Journal of physics:conference series,2022(1):012083.4 王延峰，申永鹏，唐耀华，等.双碳目标下 NBIoT 能源物联网安全构架及关键技术J.电力系统保护与控制，2022，50（8）：179187.5 毛印凯.语音合成（TTS）技术在初中英语听力教学中的应用研究D.南昌：南昌大学，2022.6 叶梦君，黄仰来，雷改惠.基于OV7725摄像头智能车系统的设计与实现J.湖北师范大学学报（自然科学版），2020，40（2）：8287.7 王英豪.基于 LD3320的环卫车智能语音控制系统J.专用汽车，2022（6）：2729.8 KUMAR S D,KUNMAR T P.Prevention of road accidents due to drowsiness detection using PERCLOS algorithm J.Journal of discrete mathematical sciences and cryptography,2021,24(5):21451.9 刘英.基于 PERCLOS 的驾驶疲劳检测系统J.现代制造技术与装备，2018（7）：174.10 李生明，杨红.基于 Haar小波的双直线电机自适应滑模控制J.组合机床与自动化加工技术，2023（1）：105108.11 倪汉杰，初秀民，张彬鹏，等.基于改进CascadeRCNN的内河航标检测算法J.中国航海，2022，45（3）：99105.12 杜蘅，程启富，孙秋野，等.基于虚拟角急动度并网控制策略J.控制与决策，2021，36（5）：12681272.13 程耀，谢华，许康恒，等.基于 VxWorks平台和 Qt技术的偏心P显的实现J.电子设计工程，2023，31（18）：159163.作者简介：许龙铭（1988），男，广东廉江人，硕士，实验师，研究方向为计算机视觉、嵌入式、物联网。许龙铭：基于改进PERCLOS的疲劳驾驶检测系统的设计45