视频分析技术在营运车辆智能监管中的应用.pdf

第 卷 第 期 年 月湖南交通科技 ，收稿日期：?作者简介：苏丹妮（），女，工程师，硕士，主要从事交通运输信息化工作。文章编号：?（）?视频分析技术在营运车辆智能监管中的应用苏丹妮，欧剑波，肖和平（湖南省交通运输厅科技信息中心，湖南 长沙 ）摘要：营运车辆易发生群死群伤的重特大交通事故，是交通运输安全监管的重点和难点，“人盯人”的传统安全监控措施已不能满足智能监控驾驶员行为的需求。为此，提出了将视频分析技术应用于营运车辆智能监管中的技术方法，从疲劳驾驶和分心驾驶两方面动态识别驾驶员姿态特征，考虑行为的连续性、相似性、叠加性对姿态类别进行数据标签处理，并通过级联卷积神经网络的训练与预测构建了驾驶员姿态识别模型，经测试模型对姿态的识别准确率达到 。最后，根据姿态识别结果结合车辆速度、位置等信息确定了 种不安全驾驶行为的预警规则，形成了实时分析、自动报警的营运车辆智能监管方案。关键词：交通工程；营运车辆安全监管；不安全驾驶行为；视频分析技术；卷积神经网络中图分类号：文献标志码：引言营运车辆具有行驶里程远、行驶时间长、运输载量大、运行范围广、营运环境复杂等特点，易发生群伤群死的重大交通事故，安全态势十分严峻。目前，的道路交通事故都与驾驶员的不规范驾驶有关 ，其中又以超速、疲劳驾驶、错误驾驶行为居多。传统的人工巡查监控画面监管方式，尽管投入大量人力，但难以预判造成车辆安全事故的关键致因，做不到精准识别和及时响应。因此，探索自动识别驾驶员不安全驾驶行为的技术手段极具价值，通过对车辆运行过程中不安全驾驶行为进行全方位、全时空、精细化的主动监测和预警，可全面提升营运车辆安全管理和服务水平。迄今为止，国内外在车辆驾驶行为智能监测的研究上已取得部分研究成果，主要集中在驾驶员姿态行为数据的获取方法上。目前，主流的方法包括：基于车辆行驶方向、速度、轨迹等行为的检测方法 、基于驾驶员脑电图、心率、呼吸频率等生理参数的侵入式检测方法 ，以及基于计算机视觉的非侵入式检测方法 。其中，基于视频或图像分析的方法，获取数据便捷、安全性好、检测精度高，已成为主流的姿态行为检测方式。而具体的姿态行为检测技术，目前主要包括肤色检测模型 、机器学习模型 及深度学习模型 。其中，深度学习技术快速发展，对于姿态行为的识别性能远超于传统的机器学习方法，在驾驶员监测方面应用十分广泛。然而，目前相关研究也存在诸多不足：首先，驾驶员姿态行为检测的研究对象多局限于小汽车，较少涉及营运车辆；其次，驾驶员姿态识别种类有限，多针对打电话、抽烟等单一常见姿态，未考虑吃东西、喝水、视线偏离等其他姿态以及组合姿态；最后，较少利用视频图像序列对连续性姿态行为进行动态识别，多为周期性拍摄图像。针对以上不足，本文提出了将视频分析技术应用于营运车辆智能监管的方法。首先，从疲劳驾驶和分心驾驶两方面出发，考虑行为的连续性、相似性、叠加性，通过将图像序列作为数据集、明确相似姿态边界、设计多姿态数据标签等创新方法，对视频图像呈现的姿态类别进行精细的标签化处理。再将分任务的多个卷积神经网络进行级联，以快速精准完成复杂姿态行为的识别。然后，根据姿态识别结果并结合车辆速度、位置等信息确定了 种不安全驾驶行为的预警规则，最终形成实时分析、自动报警的营运车辆智能监管方案。湖南交通科技 卷 针对营运车辆驾驶姿态的标签处理要实现驾驶员姿态的智能监控和识别，除了优化复杂的机器视觉识别算法，更重要的是深度挖掘驾驶员姿态的差异化特征，并进行精细的标签化处理。过往研究大多采用 种常见姿态构建标签对模型进行监督学习，未能针对营运车辆设计专用的姿态标签集合，导致模型难以在全面、多样的营运环境下实现驾驶监测。因此，本研究通过对营运车辆驾驶员的实际驾驶视频样本进行 以上时间的连续观察，对营运环境下的危险驾驶姿态进行了界定，考虑行为的叠加性并梳理了姿态的互容互斥关系，然后基于正交化设计了数据标签的处理规则。危险姿态界定就近 的重大交通事故来看，疲劳驾驶、超速驾驶、分心驾驶等不安全驾驶行为是造成交通事故的主要原因。其中，疲劳驾驶与分心驾驶具有隐蔽性和渐变性，使得它们不易被检测出，是现阶段智能监控的重点。生理疲劳导致驾驶员身体各个机能反应速度下降，最直接的表现就是视线变得模糊、反应迟钝、动作呆板等，在这种情况下如果继续强行驾驶，则很可能导致交通事故。通过观察营运车辆的视频监控，发现驾驶员处于疲劳状态时，具有明显的打呵欠、眼皮沉重、频繁眨眼等面部生理特征。因此，定义疲劳驾驶的危险姿态集合包括：打哈欠、皱眉、眼睛闭合、频繁眨眼。分心驾驶是指驾驶时注意力指向与正常驾驶不相关的活动，从而导致驾驶操作能力下降的行为，细分为 类：视觉干扰、听觉干扰、物理干扰、认知干扰。其中，视觉干扰和物理干扰风险值最高。分心驾驶场景较多，特征多集中于头部与手部。这里定义分心驾驶的危险姿态集合包括：单手驾驶、无手驾驶、不看前方、打电话、抽烟、操纵手机、吃喝东西、拿放东西。除了以上的危险驾驶姿态外，姿态集还需要加入一些必要的正常驾驶姿态，主要包括挂挡、双手驾驶、用仪表盘，以对相似的姿态行为进行合理的性质界定。例如，挂挡、使用仪表盘、拿放东西等与单手驾驶的姿态行为较为相似，但它们属于必要且正常的驾驶姿态行为。姿态类别叠加传统姿态数据集一般局限于单一姿态，但驾驶员身体各部分的行为在监控区域通常会形成不同的姿态，不同的姿态在不同组合情况下往往会形成差异化的风险。例如，挂挡本身是正常行为，但驾驶员如果同时不看前方，那这种组合的姿态就具备危险性。因此，驾驶员的各种姿态也会存在多种兼容或互斥关系，例如单手驾驶姿态可以兼容大部分其它姿态，而抽烟与吃喝东西就会存在互斥关系。厘清各姿态间的互容互斥关系，设计不同姿态的叠加规则，能便于驾驶姿态的类别处理，使姿态数据集更贴近真实的驾驶情形，有利于模型进行精细化识别，促进风险的分级化管理。表 为各姿态间的互容互斥情况。其中，疲劳驾驶状态下的眼睛闭合姿态以及分心驾驶下的无手驾驶姿态都属于极度危险的姿态，尽管可能与其它姿态产生叠加态，也没有进一步识别的意义。表 各姿态间的互容互斥情况姿态种类疲劳驾驶姿态分心驾驶姿态正常驾驶姿态打哈欠眼睛闭合频繁眨眼单手驾驶无手驾驶吃喝食物拿放东西操作手机打电话抽烟视线偏离挂挡双手驾驶用仪表盘打哈欠疲劳驾驶姿态眼睛闭合频繁眨眼单手驾驶分心驾驶姿态无手驾驶吃喝食物期苏丹妮，等：视频分析技术在营运车辆智能监管中的应用续表 各姿态间的互容互斥情况姿态种类疲劳驾驶姿态分心驾驶姿态正常驾驶姿态打哈欠眼睛闭合频繁眨眼单手驾驶无手驾驶吃喝食物拿放东西操作手机打电话抽烟视线偏离挂挡双手驾驶用仪表盘拿放东西操作手机分心驾驶姿态打电话抽烟视线偏离挂挡正常驾驶姿态双手驾驶用仪表盘表注：“”表示兼容，“”表示不能兼容，“”表示不考虑兼容。考虑驾驶员各姿态的叠加性后，驾驶员的姿态动作种类数量达到了 个，其中分心驾驶姿态 个，疲劳驾驶姿态 个，分心驾驶与疲劳驾驶并存姿态 个，正常驾驶姿态 个。数据标签处理传统的数据标签多采用独热编码，若有 种识别结果，将会采用 的 数组进行表示。由于考虑了姿态叠加性，姿态总类别达到了 个，若进行独热编码则会产生较大的信息冗余，且影响计算效率。正交化方法可以用来简化此类叠加态标签的处理。其思路是，将每个基础姿态作为一个 变量，而本研究共归纳了 个基础姿态，因此便可形成 的 数组。正交化后的标签允许存在多个变量 ，所以能够更加简单便捷地表示叠加性姿态。基于正交化思想的驾驶员姿态行为标签规则可以表示为：打哈欠、眼睛闭合、频繁眨眼、单手驾驶、无手驾驶、吃喝食物、拿放东西、操作手机、打电话、抽烟、视线偏离、挂挡、双手驾驶、用仪表盘，用“、”表示“是、否”，例如“双手驾驶，视线偏离，打电话”标签为“”，由此可得驾驶员姿态集，如表 所示。表 驾驶员姿态集类别表示姿态标签双手驾驶，抽烟 双手驾驶，视线偏离 双手驾驶，打电话 双手驾驶，抽烟，视线偏离 双手驾驶，抽烟，打电话 双手驾驶，视线偏离，打电话 单手驾驶 分心驾驶单手驾驶，吃喝东西 单手驾驶，拿放东西 单手驾驶，操作手机 单手驾驶，打电话 单手驾驶，抽烟 单手驾驶，视线偏离 单手驾驶，打电话，挂挡 无手驾驶 （其余 种分心姿态）湖南交通科技 卷续表 驾驶员姿态集类别表示姿态标签双手驾驶，眼睛闭合 单手驾驶，挂挡，眼睛闭合 单手驾驶，用仪表盘，眼睛闭合 双手驾驶，打哈欠 疲劳驾驶单手驾驶，挂挡，打哈欠 单手驾驶，用仪表盘，打哈欠 双手驾驶，频繁眨眼 单手驾驶，挂挡，频繁眨眼 单手驾驶，用仪表盘，频繁眨眼 双手驾驶，视线偏离，打哈欠 单手驾驶，打哈欠 单手驾驶，拿放东西，打哈欠 单手驾驶，操作手机，打哈欠 分心驾驶与疲劳驾驶并存单手驾驶，视线偏离，打哈欠 单手驾驶，视线偏离，挂挡，打哈欠 单手驾驶，视线偏离，操作手机，打哈欠 单手驾驶，视线偏离，用仪表盘，打哈欠 （其余 种分心与疲劳并存姿态）双手驾驶 正常驾驶单手驾驶，挂挡 单手驾驶，用仪表盘 基于级联卷积神经网络的姿态识别卷积神经网络是一种深度学习模型或类似于人工神经网络的多层感知器，常用来分析视觉图像。但在驾驶员姿态监控这种复杂场景下，常规的卷积在视频这种动态图像序列下难以提取有效的人脸特征，且难以考虑姿态的连续性和相似性，导致姿态识别正确率不高。因此，本研究主要从人脸特征挖掘优化和神经网络结构优化等两方面着手，建立能够高效且精准识别姿态的神经网络模型。人脸特征挖掘的优化针对驾驶期间场景环境复杂多变、光照条件变化剧烈、获取图像视角多样导致的人脸特征挖掘受限问题，创新研究以下关键技术予以解决：）利用伽马变换，还原复杂光照下的人脸特征。在强烈光照或者灯光昏暗的行车环境下，过亮以及过黑的图片会使得边界检测变得困难。因此，本研究采用伽马变换来校正此类曝光不正常的图像，通过非线性变换对灰度值进行映射以增强目标域数据分布，达到增强对比度的目的。其变换公式如式（）所示。，（）式中：代表输入灰度；代表输出灰度。当 时，低灰度区域的动态值变小，高灰度区域的动态值变大，图像整体变暗；当 时，低灰度区域的动态值变大，高灰度值区域动态值变小，图像整体变亮。）提取人脸关键点划分人脸细分区域以进行动态定位。通过计算图像的像素变化得到边缘特征、线性特征、中心特征及对角线特征，由 分类器进行多层分类筛选，逐步得到置信度较高的人脸区域，实现快速分类，从而细分脸部区域。同时，用样本均衡训练深度学习神经网络模型，提取人脸关键点，结合脸部细分区域，对每个区域单独监测是否持续出现遮挡，解决常见算法提取人脸及周边整体特征时人体姿态多样造成漏检及误检多的缺陷。）使用改进的稠密光流算法，检测前后帧的光流变化。光流是指在连续的 帧图像中，对物体期苏丹妮，等：视频分析技术在营运车辆智能监管中的应用或摄像头移动所导致的图像中目标像素移动，可以快速定位许多点在第 幅图像中移动后的位置。不同于稀疏光流只针对图像上若干个特征点，稠密光流会针对图像进行逐点匹配，稠密光流计算图像上所有点的偏移量，从而形成一个稠密的光流场。稠密光流法在特定情况下的补充跟踪可以减少人脸检测在图像识别对象差异较大时形成的漏报，例如可以判断嘴部动作的时序性差异，解决因个体嘴型特征差异大造成误检率和漏检率高的问题。多任务分类级联模型的构建由于驾驶员姿态具有多样性特点，若将每个姿态作为一个 变量，即可形成维度为（，）的 长数组标签。结合姿态的可叠加性特点，表明该长数组标签内可能出现多个 的情形。卷积神经网络模型中对应输出层的激活函数一般为 函数和 函数，而这 种激活函数都不能处理含多个 的标签数据，所以，为了确保识别精度，需要使用多个卷积神经网络子模型。根据分析，驾驶员姿态多分类问题可以将卷积神经网络分成疲劳驾驶模块、手部姿态模块、视线偏离模块、抽烟模块、打电话模块以及行为姿态模块，总共包括 个模块。若识别每一张图片都需要经过 个卷积神经网络的子模块，虽然能有效保证识别精度，但会导致效率低下，模型会由于过度消耗计算资源而达不到实时性的要求。级联卷积神经网络模型可以充分考虑子模块之间的姿态兼容、互斥性，既考虑到各任务之间的潜在联系，又减少数据流的流向冗余，能够做到效率和精度的平衡。例如，识别出驾驶员是眼睛闭合或无手驾驶姿态后，由于该类姿态危险程度属于最高级别，再识别出其他姿态的意义较小，所以数据流可以不通过其他子模型；识别出驾驶员是单手驾驶姿态后，由于该姿态与其他子模块的姿态均兼容，所以数据流需要通过所有卷积神经网络子模块。级联卷积神经网络子模块如图 所示。图 级联卷积神经网络结构 识别结果整个级联卷积神经网络的构建通过 的 与 框架完成，整个模型使用的数据皆来自真实营运环境下的驾驶员监控数据，共采集图像 多万张，其中危险姿态图像 多万张。由于样本类别处于不均衡状态，因此对危险姿态图像采取一定程度的采样处理。模型采用 折交叉验证进行评估，评估指标选用 值。值是准确率和召回率的调和平均，计算方法如下：（）（）（）式中：为做出正样本判定且判定是正确的个数；为做出正样本判定但判定是错误的个数；为做出负样本判定但判定是错误的个数；为准确率；为召回率。各子模型的 值和训练误差随着迭代次数的变化如图 所示。级联卷积神经网络模型大约在 时完全收敛，在训练集的 值表现可以达到 ，识别单张图片平均耗时 。经过折交叉验证，各子模型在测试集的表现为：疲劳驾驶子模型 湖南交通科技 卷值达到 ，手部姿态子模型 值达到 ，视线偏离子模型 值达到 ，抽烟子模型 值达到 ，打电话子模型 值达到 ，行为姿态子模型 值达到 ，整体的级联模型值可以达到 。可见本研究构建的级联卷积神经网络能够较好地识别驾驶员的姿态。图 各子模型训练表现 智能监管系统应用成效本研究将以上视频分析技术嵌入智能终端，实现了智能、长效、持续的视频监管和主动预警。在前端，营运车辆内安装智能主机和摄像机，实时捕捉驾驶员面部表情和动作细节信息，采用级联卷积神经网络配合北斗定位技术，实时计算分析驾驶员及车辆状态，智能识别驾驶员打哈欠、疲劳性眨眼、不目视前方、随意变更车道等不安全驾驶行为，结合车辆速度，准确生成生理疲劳、接打电话、玩手机、抽烟、前向车距过近等 种不安全驾驶行为的报警信息，并及时提醒驾驶员纠正错误。同时在后端，相关预警和风险信息会同步至端管理平台，提醒运输企业和管理部门及时干预，有期苏丹妮，等：视频分析技术在营运车辆智能监管中的应用效预防事故发生。该技术于 年应用于湖南省交通运输安全“两客”车辆智能监管平台项目，为湖南省 万余台“两客一危”车辆安装了主动安全防范系统，同时，建设了智能监管平台软件。该平台自 年 月 日运行以来，成效显著，累计监测车辆运行里程 亿 ，发现并解除中高危险等级风险预警 万起，驾驶员行车风险的关键指标“每千公里平均报警数”从运行初期的 次降至 次，降幅达 ，除去降低的虚警数目，智能监管方案的降幅贡献达到了 。方案实施以来，湖南省“两客”车辆驾驶员安全驾驶习惯正不断规范，行车风险在不断降低。年“两客”车辆事故数和死亡人数同比智能监管前的 年分别下降 和 ；年“危货”车辆事故数和死亡人数同比智能监管前的 年下降 ，未发生重特大事故。结语研究提出了将视频分析技术应用于营运车辆智能监管的技术路线，并从姿态分类、视频图像数据处理、深度学习等多个技术点出发进行了优化与改进，形成了能够实现实时分析、自动报警的营运车辆智能监管方案。本研究从疲劳驾驶和分心驾驶两方面出发，考虑实际营运环境对姿态类别进行了精细的标签化处理的同时，还充分考虑了姿态间的互容互斥关系；通过将分任务的多个卷积神经网络进行级联，模型准确率达到 以上，识别速度保持在毫秒级，做到了精度与效率的兼顾，将算法嵌入智能终端，有利于广泛的应用推广。参考文献：张露，张静，杨薛涛，等 基于模糊识别的驾驶员疲劳检测 西南科技大学学报，（）：，：屈肖蕾基于转向操作和车辆状态的疲劳驾驶检测方法研究 北京：清华大学，宋义伟，夏芹，朱学峰 驾驶员疲劳驾驶监测方法研究的进展 自动化与信息工程，（）：聂尔豪，苏维均，于重重，等 车载疲劳驾驶行为检测系统的研究与设计 计算机仿真，（）：，（）：，（）：张波，王文军，成波 基于人脸 模型的驾驶人头部姿态检测 汽车工程，（）：张万枝，王增才，李云霞 驾驶员疲劳检测中的眼睛定位与状态分析 重庆大学学报，（）：，（）：，（），（）（），：，：，：李兆旭，陈之坤，李永毅，等 基于 和级联 的驾驶员打电话行为检测算法 信息与电脑（理论版），（）：褚晶辉，张姗，吕卫 基于卷积神经网络的驾驶行为分析算法 激光与光电子学进展，（）：黄友文，万超伦 基于深度学习的人体行为识别算法 电子技术应用，（）：，（），：