基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别.pdf

经济管理学刊 基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别 韩苗，中国矿业大学数学学院，；许可（通信作者），对外经济贸易大学统计学院，；伍书缘，北京大学光华管理学院，；王汉生，北京大学光华管理学院，。作者感谢国家自然科学基金项目（，）、统计与数据科学高等理论与应用重点实验室开放研究基金（），以及对外经济贸易大学中央高校基本科研业务费专项资金（）对本文研究的支持。作者感谢匿名审稿人和编辑部的宝贵意见，当然文责自负。韩 苗 许 可 伍书缘 王汉生摘 要：煤炭开采行业是公认的高危行业，其中人的行为因素是造成绝大多数事故的直接原因。及时提醒、纠正矿工的不安全行为是避免煤矿事故最重要且最有效的方法。本文基于自适应背景差分模型，提出了一个三阶段优化算法，通过异常值发现、异常值区域像素点平面平滑以及连通域分析算法，实现了矿工子图数据集的有效提取。特别是在异常值发现中，本文采用中位数估计方法，通过分布式中位数计算，求得标准差更稳健的中位数估计量，替代传统矩估计量构造阈值，获得更加稳健的异常值区域，进而提取高质量的矿工子图数据集。实验结果表明，与传统估计方法相比，基于中位数估计得到的标准差所构造的阈值，提取的矿工子图准确率更高，提取的结果更稳健。同时，本文直接对矿工子图标注类别，避免进行边界框的标注，操作简单，快捷高效。最后，本文使用 模型进行迁移学习，结果进一步表明，中位数估计方法得到的矿工子图数据集的质量优于传统估计方法，子图分类准确度更理想，能够有效地识别矿工的不安全行为。关键词：不安全行为；背景差分；分布式中位数计算；迁移学习中图分类号：分类号：；一、引言目前，中国的能源生产消费结构仍以煤炭为主。近年来，中国煤炭占一次能源消费的比例持续降低。年，中国煤炭消费占一次能源消费的比重由 下降至左右（国民经济和社会发展统计公报，），但煤炭的主体地位没有改变。以煤炭为主的能源资源禀赋和经济社会发展所处阶段，决定了未来相当长一段时间内，中国经济社会发展仍将离不开煤炭。即使在“双碳”目标下，煤炭仍需要发挥基础能源作用，做好经济社会发展的能源兜底保障（谢和平等，经济管理学刊 第 卷）。煤炭为很多重要行业提供了强大的能源保障，例如电力供应、运输行业等。根据国家统计局国民经济和社会发展统计公报，年中国能源消费总量为 亿吨标准煤，比上年增长，其中煤炭消费量增长；全国煤炭产量为 亿吨，同比增长 ，创历史新高。中国煤炭分布范围较广，但原煤产量主要来自山西、内蒙古、陕西、新疆等地。煤矿生产地质条件先天复杂多变且较为恶劣，工作场所大多在地下受限空间且处在不断变化和移动中，生产系统复杂、环节多，加之生产技术管理和安全管理还存在漏洞，煤矿从业人员素质不高，难以满足工作环境对人员素质的要求等种种因素，其安全生产形势仍十分严峻（林柏泉等，）。煤炭行业是公认的高危行业，该行业有一个专门衡量安全生产效率的指标 煤矿百万吨死亡率，即每生产 万吨煤炭死亡的人数比例。根据国家统计局国民经济和社会发展统计公报，中国煤炭百万吨死亡率从 年的 一直下降到 年的 。根据国家矿山安全监察局公布的数据，本文统计了中国 年全国煤矿发生死亡事故数和死亡人数，见图。这些数字整体趋势都在下降，说明在国家的大力整治下，中国煤矿安全生产持续好转，但形势依然严峻。年，发生煤矿事故 起，死亡 人。这是 条鲜活的生命，背后是 个不幸的家庭，这说明进一步加强煤矿安全生产管理，进一步保护工人作业安全，仍然任重道远。值得一提的是，煤矿企业是一个复杂多变的人 机 环境系统，所有的机器、设备或工具基本上都需要由人进行操作。根据相关统计分析，对于 年发生的重大煤矿事故，在直接原因中，人为因素占了所有事故原因的 （，）。中国 年间煤矿重大事故统计数据显示，人因事故占到事故总数的以上（李琰等，）。因此，及时提醒、纠正矿工的不安全行为是避免煤矿事故最重要且最有效的方法（杨小彬等，）。图 中国煤矿 年发生死亡事故数和死亡人数注：数据来源于国家矿山安全监察局。第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别为了能够做到及时提醒、及时纠正，各个煤矿现已装备了大量煤矿安全监控系统。一个典型的监控系统主要由井上控制系统、井下传输系统和数据采集系统构成，见图。在生产作业过程中，通过监控系统可以对井上、井下安全生产全面了解，依靠及时准确的信息指挥生产和防止各种事故的发生。监控系统中心站执行 小时值班制度，发现异常信息时，中心站值班人员必须立即通知有关部门采取措施加以解决。以某煤矿运人斜井巷道为例，每天大量矿工需要乘坐猴车进出矿井，期间就会产生众多安全隐患。典型的不安全行为包括乘坐人员在上下车或乘车途中动作不规范，违反规定携带超长、超宽、超高、超重物件（见图），乘车时把脚拖在地上（见图），违规行走（见图）等。通过监控系统可以及时发现、及时干预矿工的不安全行为，有效预防事故的发生。煤矿安全监控系统的使用，确实极大地改善了中国煤矿安全生产状况。图 煤矿安全监控系统示意注：图片来源于作者收集整理，是煤矿安全监控系统示意图。a）携带超长物品b）脚拖在地上c）不乘车行走图 矿工乘坐猴车时的不安全行为注：图片来源于某煤矿运人斜井巷道监控视频，展示了矿工典型的不安全行为。但是，需要指出的是，这样的监控系统仍然存在可改进环节，这个环节就是监控系统中心站的安全监控人员。主要有以下几个典型问题：一是责任心。煤矿安全生产责任重大，绝大多数监控人员都有高度的责任感，能够认真履行自己的职责。经济管理学刊 第 卷但是，对于全国大规模长时间的矿山作业而言，工作麻痹大意的情形难免也会存在。如果不能及时发现异常情况，并及时纠正，那就可能导致严重的不安全后果。二是疲劳。由于视频监控系统极大地依赖于人力的持续观察与判断，需要监控人员长时间地专注于视频画面，因此非常容易产生疲劳，进而降低工作成效，并最终影响安全保障。三是工作效率。通常情况下，监控人员需要监控多个监测点、面对多个监控器显示屏，因此很难长时间保持很高的工作效率。综上，研究基于机器学习的自动化方法，利用人工智能技术取代人工监视，实现长时间安全高效的井下人员不安全行为的自动识别，对保障煤矿安全具有重要意义。具体而言，希望以监控摄像头所采集的高频率高分辨率图像数据为输入，开发相适应的统计学与深度学习模型方法，用于及时发现并纠正矿山生产作业中的不安全行为。以矿工乘坐猴车违规行为识别为例，其本质就是目标检测和目标识别问题。对于我们关注的问题，目标检测就是能从监控系统提供的高分辨率视频图像中识别包含矿工的像素点区域，目标识别就是要能够对矿工的行为是否安全做出分类判断。此类型问题是近几年图像目标检测方面的前沿与热点。由于目标检测不仅要对图像进行分类，还要对不同的物体进行定位，因此既要考虑分类的准确度，还要考虑物体定位的准确度。目前，主流算法可以分为两阶段法和一阶段法。两阶段法，如基于候选区域的 （，）和 系列（，）的算法，其核心思想是基于候选区域预先找出图中目标可能出现的位置，然后对候选区域使用 进行图像分类，将目标区域检测和分类分开进行，其主要优点是准确度高，缺点是计算速度相对较慢（，）；一阶段法，如现在备受关注的 （，；，）和 算法（，），其核心思想是基于回归方法，对于输入图像，直接在图像的多个位置上回归出这个位置的目标边框以及目标类别，用同一个网络同时进行目标区域检测和分类，其优点是速度快，缺点是损失了一定的检测准确率（，）。虽然这些方法在目标检测中发挥了重要作用，但是难以应用于本文关心的矿山安全管理问题，主要原因有二。第一，标注成本昂贵。具体而言，如果我们面对的安全生产场景只有巷道猴车一个场景，那么标注成本不是问题，但煤矿巷道种类很多，工作面作业繁杂，例如综采工作面运动人员行为、矿车违规载人行为、危险区域人员闯入行为和矿工睡岗离岗行为等。即使都是运输巷道也不尽相同，如果每一个场景都做大量标注，那么总成本将非常巨大。因此，用尽可能少的标注达到预期精度意义重大。第二，需要很大的样本量。以 模型训练为例，作者采用的 数据集，就有 张图片、个标注（，）。回到本文关注的巷道安全管理问题，虽然从监控视频中可以抽取大量图片，但是有矿工存在的图片较少，主要集中在上下班高峰时间，而且这些图片相似度极高，不能为模型训练提供太大的变异性。同时，由于安全管理的大力执行，绝大多数矿工没有不安全行为，因此相关图片就构成了大量的负例，而正例（有不安全行为的图片）比例很低。因此，迫切需要一套新的方法论，以适用于较小的样本量。第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别为此，我们将主要面对两个挑战：第一，如何在没有标注框支持的情况下，快速识别包含矿工的重点像素区域；第二，基于发现的重点区域，如何在较小样本的支持下实现高精度深度学习模型的构建。关于第一个挑战，我们借鉴背景差分算法（，；，），将图片序列中的当前帧与背景图像进行差分运算来得到目标区域。该算法的特点是计算速度快，但缺点是计算结果不稳定。为解决稳定性问题，本文提出一个三阶段解决方案。第一阶段在异常值发现中，用中位数方法估计标准差替代传统矩估计，从而获得更加稳健的异常值区域。第二阶段对异常值区域在像素点平面上做平滑，以此获得更稳定的结果。第三阶段，对平滑后的异常值区域，以一定的阈值为界，自适应抽取重要像素点，再用经典的连通域算法（，；，）做整合，获得完整的局部区域，并因此获得高度紧凑的子图。关于第二个挑战，我们需要面对两个问题，一是正负例不均衡，二是正例个数很少。不均衡问题相对容易处理，可以通过对负例降采样解决（，；，），但是正例太少是一个较大的挑战，无法通过降采样技术处理。小样本的目标检测方法主要有迁移学习方法（，；，），即将从已知类中学习到的知识迁移到未知类的检测任务中。本文采用迁移学习的方法，可以充分借力在经典大数据集合上已经预训练的结果来尽可能地降低对我们样本量的要求。具体而言，首先我们对已经获得的子图数据集进行标注。考虑以下两个类别：矿工行为安全合规；矿工行为不合规，如带有超长、超宽、超高、超重物品乘车，乘车过程中脚拖在地上，在禁止步行的位置违规步行等。值得一提的是，我们这里的标注是对已经提取的包含有矿工的子图做图片级别标注，而不是在高分辨率的原图上添加标注框。因此，标注成本很低。如图 所示，第一行图片是直接在原图上添加标注框和类别，比较麻烦且费时费力；第二行图片是三图 带有标注框和类别标签的原图与带有类别标签的子图注：第一行图片是直接在原图上添加标注框和类别，第二行图片是先提取子图再标注类别。经济管理学刊 第 卷阶段算法直接提取的子图，直接标注类别，简单快捷高效。由于矿工乘车时间不固定且比较稀疏、矿工不安全行为种类较多但不安全行为发生的概率较低、视频帧图片提取的高度相似性等原因，我们能提供的正例样本量很少，因此无法对整个 模型做充分训练，因此本文采用迁移学习的方法。具体而言，我们选择了 开源的 模型（，）作为迁移学习的框架，这是一个经典的深度卷积神经网络模型，该框架在 数据集上进行训练。文中模型包含 层，共 个参数，除了最后一层 个参数需要训练外，其他所有参数都继承来自 数据集合的预训练结果，这样对我们样本量的要求就降低了很多。综上所述，本文为矿山监控视频的自动化识别提供了一个完整的方案，该方案有几个优点：第一，简单，不需要进行边界框的标注，算法原理清晰且易于实现；第二，因为简单所以计算效率高，可实现实时的目标检测要求；第三，有效，三阶段优化算法抽取矿工子图准确率高，提取结果稳健，基于迁移学习的子图分类精度较理想，能够有效识别不安全行为；第四，由于迁移学习的帮助，该方法对样本量的要求较低。为了展示整个方案的运行过程，图 给出了一个检测流程图。图 矿工不安全行为检测流程图注：由作者梳理绘制，展示矿山巷道不安全行为自动识别整个方案的运行过程。第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别 余文结构安排如下：第二部分介绍问题研究背景及数据描述，提出一个三阶段优化算法，提取矿工子图，并介绍深度学习模型；第三部分将三阶段优化算法应用于矿工子图提取，借助深度学习的迁移模型进行应用分析，自动化识别矿工是否存在不安全行为；第四部分进行总结和讨论。二、研究方法（一）数据介绍与问题的提出本文所采用的数据来自某煤矿运人斜井中的一段监控视频，总长约 个小时，可以解析获得 张高分辨率帧图片。令 表示来自 时刻（）的图片，这是一个 的张量。其中，决定了这张图片的分辨率，而最后一个维度 决定了这是一张彩色图片（由于印刷原因，文中为黑白显示，下同）。用（）表示来自 时刻的图片，第 通道（）、第 行（）、第 列（）的像素取值，且（）。该监控视频是固定背景（运人斜井巷道）、固定摄像头、固定角度拍摄获得，因此图片的每个像素点（）都能精确地对应到运人斜井巷道中的一个具体物理位置。又由于图片来源于一段连续时间的视频，所以使得不同时刻、同一像素点的取值可以进行比较，其像素点取值的变化可以反映目标物体的移动。从数据集中随机选取一张图片（见图），挑选几个特殊像素点进行讨论。图 选取像素点标识图注：根据猴车运行情况，选取 个特殊像素点，分析各像素点取值的变化情况。图 中，具体选取像素点（）、像素点（）和像素点（）。首先考查 点，该点位于图 左上角，所对应的物理位置是猴车固定设施位置，位于驱动轮和钢丝绳前面，因此，无论猴车是否通过、矿工是否存在都对它几乎没有任何影响。从该点的某通道（例如 ）像素值（，）：，时间序列图（见图）可以看到，像素取值围绕均值上下波动，分经济管理学刊 第 卷布比较平稳，该点反映煤矿运人斜井巷道区域存在光线变化等环境噪声的影响，但没有明显异常变化。然后考查 点，坐标为 和 ，该点位于图 左上角比较高的位置，猴车吊杆可以扫到，因此猴车是否通过对其会产生影响，但是矿工达不到该高度，因此矿工是否存在对其几乎没有影响。该点的像素值时间序列图见图，在绝大多数情况下，像素值的变化很小，为随机波动。事实上，由于不同猴车等距离排列，因此，在匀速运动的情况下，它们等时间间隔扫过该像素点，从而产生规律性变化。最后考查 点，其坐标为 和 ，该点像素值的变化情况更加复杂，猴车是否通过、矿工是否存在、矿工行为的不同都会对其产生影响。从该点的像素值时间序列图（见图）来看，该点像素值变化比 点更加复杂，除了随机噪声影响、猴车通过的规律性干扰，还有反映矿工人员是否存在的信息。图 不同像素点取值的时间序列图注：这里的时间序列是指监控视频逐帧截取的 张图像的时间序列，提取的是 个不同像素点取值的时间序列图。第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别通过对几个特殊像素点取值的分析讨论，我们对该样本数据集图片的像素取值分布特征有了初步了解，同时也给予我们很大的启发。基于以上分析我们发现，矿工在某一特定区域是否存在与该区域像素点的取值是否异常高度相关。这说明，对异常像素点的准确识别，可能有助于提取包含矿工的重点像素区域。（二）模型假设异常值发现是统计学研究中的经典问题（，；，），但是将异常值发现思想应用于矿山安全管理似乎非常鲜见。这里面临的最大挑战是计算速度，为了能够及时保障矿工安全作业，要求算法必须足够简便、稳定，并能在图形处理器（）的帮助下进行高速实时计算。为此，本文借鉴了基于均值的背景构建思想（，），并结合该问题的实际背景，发展了一套背景差分算法，详情如下。我们将来自第 时刻、第 通道、坐标（）的像素点取值（）构建模型为：（）（）（）（）（）其中，（）表示像素点（）所对应的固定背景在第 个通道上的长期均值，因为本文所采数据集来自同一摄像头，固定位置、固定角度、固定背景，因此（）与时间 无关；（）表示第（）个像素点，在 时刻受移动物体（如猴车或矿工）影响后，在第 个通道上的像素表达，在大多数时候应取值为，因为没有移动的物体通过；（）是相应的纯粹的测量误差，在不同时刻、不同通道、不同像素点位的取值都相互独立。我们假设（）（），且存在有限阶矩。为了能够更好地理解模型（），我们尝试对各个重要组成做一个简要展示。首先，考虑对背景（）做估计。因为我们假设（）（），且存在有限阶矩，因此可以考虑：（）（）然后，重新构造一张新的彩色图片 （：），并在图 中展示，从中可见凡是可移动的物体（如工人、猴车）都消失不见了。随机挑选一张有矿工乘坐猴车的图片（见图），并用（）表示。可以构造一张新的残差图（）（）（）（）（）（）（）。如果暂时忽略测量误差项（），那么残差图（）应该可以更好地突出移动物体。实际情况也确实如此，图 给出了残差绝对值图片，从中可以凸显移动物体。经济管理学刊 第 卷图 背景差分模型展示注：以一张图片为例，通过背景差分，凸显移动物体，进而提取矿工子图。（三）异常值发现在绝大多数情况下，对于一个给定的像素点位（）是没有移动物体存在的，即（），此时模型（）简化为（）（）（）。此时分离的残差为（）（）（）（）（）。假设（）服从一个均值为、方差为（）的正态分布，此时，只要能对（）做出相合估计，那么就可以获得异常值评价的能力。在传统统计学实践中，人们常用矩估计来估计（），即：（）（）（）但是，该估计量对异常值非常敏感。而对本文的研究而言，由于目标物体移动产生的异常值大量存在，因此该矩估计量难以达到稳健的目的。为此，我们考虑用一个全新的中位数估计量，作为一个更加稳健的估计。具体而言，注意到（）服从一个均值为、方差为（）的正态分布，其绝对值的中位数为 （），其中 是标准正态分布的下 分位点。如果定义（，）的中位数为，那么一个关于（）的估计量就是（）。有了（）的帮助，就可以获得更稳健的异常值区域。具体而言，基于背景差分原理，我们对差分结果进行阈值分割，通过设定适当的阈值，得到阈值分割图像。这里阈值的选取，我们充分运用图片数据集像素点取值的标准差信息。当被分割图像的像素值大于阈值时，则将该点像素看作异常值，从而获得异常值区域。定义异常值区域为：（，（），（）（）：（）（）（）（）其中，表示预设定的阈值参数。阈值的改变会直接影响异常值区域的获得，阈值越大，将导致过多的异常值被归为背景，因此选取合适的阈值也是解决问题的关键。异常值区域的准确发现是进一步提取矿工子图的基础。第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别（四）分布式中位数计算前面提到的异常值计算方法非常简单有效，但是有一个不小的计算挑战，那就是要对每一个像素点（）（）计算中位数。对于图片第 通道，一个给定的像素点（），（）：的中位数可以通过对（）的排序来实现。但是，当我们同时面对百万级的像素点位的中位数计算时，该传统方法就不再适用，因为该方法不仅计算量大，而且无法并行计算，因此 张量的计算能力无法得以充分利用。为此需要一个全新的近似算法，能够对百万级的像素点同时做张量运算，充分利用 的并行计算能力，快速获得每个像素点的中位数，具体方法如下：记（）的中位数为（）。根据经典理论（，；，）可知，（）也是（，）（）（）（）的最优解，即（）（，）（），同时，（，）（）的优化可以通过经典的加权迭代最小二乘估计来实现（，）。具体而言，令（）（）为第 步获得的估计量，那么下一步估计量可以通过极小化下面的加权最小二乘目标函数来获得：（）（，）（）（，）（）（）（，）其中，（）（）（）（）（）。从而可以推出：（）（，）（）（，）（）（）（）（）（）（）由此可见，（）计算是完全基于张量 与（）的，不涉及排序，因此可以在 上做快速运算，直到算法收敛。整个分布式中位数计算方法如下：分布式中位数计算方法 数据分布。张图片残差绝对值的像素矩阵 存储于 台局部机器，每台局部机器分配样本量（）则 。给定初值。设定中位数初值（）。设置迭代器 重复以下步骤直至收敛：（）分布式计算。每台局部机器 计算权重（）（），从而可以得到（）（）（）（）。（）结果整合。每台局部机器将计算结果（）和（）发送给中心机器，进行结果整合，从而可以得到（）（）（）。（）中心机器将计算得到的（）返回给每台局部机器，更新计算。经济管理学刊 第 卷由于研究样本是 张高分辨率帧图片，且每张图片是一个 的张量，因此计算量很大。为了提高计算效率，进行降维处理，将图片的尺寸缩小到原始图片尺寸的，即每张图片缩小为 的张量。为了说明分布式中位数计算方法的计算效率和准确率，我们选取前 张图片，进行实验验证。具体而言，对于传统的基于排序的中位数计算方法，我们采用 中的 函数来实现。实验重复 次，结果显示平均消耗时间为 秒。而对于本文提出的分布式中位数计算方法，可以通过 调用 进行并行计算，从而提高计算效率。实验中调用了 块，重复实验 次，平均消耗时间缩短为 秒，是传统计算方法调用函数耗时的 。当然，通过增加 的数量还可以进一步缩短消耗时间，这充分体现了分布式中位数计算方法效率高的优势。为了说明分布式中位数计算方法的准确率，本文将传统方法调用函数 计算的结果和分布式中位数计算方法的结果进行比较。我们分别采用图像像素值的均方误差（）、均方根误差（）和峰值信噪比（）来刻画准确率，通过计算可得 ，。峰值信噪比是衡量图像质量的客观标准，通过均方误差（）进行定义，其计算公式为 （），其中为图像的最大像素值，这里最大像素值为。通过计算可得 ，单位为。一般来说 高于，就说明两个图像非常接近。由此可以看出，分布式中位数计算方法的准确率很高。图 分别给出了基于传统矩估计方法和中位数估计方法得到的标准差图片。从图 可以看出，基于中位数估计方法得到的标准差图片，猴车的轮廓边缘更清晰、更稳定。图 不同估计方法得到的标准差图片注：基于传统矩估计方法和中位数估计方法得到的标准差图片。以图 中的原始图片为例，根据式（），图 分别给出了两种估计方法得到的标准差情况下，不同阈值对异常值区域的影响。为了突出异常值区域，这里将异常值区域的像素值设定为 并进行高亮处理。图 阈值的选取基于矩估计得到的标准差，这里记作，分别给出了、和情况下的阈值化结第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别果。图 阈值的选取基于中位数估计得到的标准差，这里记作，同样分别给出了、和 情况下的阈值化结果。从图 可以看出，阈值越小导致越多的背景被归类为异常值，阈值越大则导致越多的异常值被归类为背景。因此，阈值的合理选择对于正确识别异常值、提取有效矿工子图非常重要。同时，从两种不同方法估计的标准差来看，基于中位数估计得到的标准差所构造的阈值对异常值区域的影响比较稳健。）图 基于传统矩估计和中位数估计得到的标准差情况下，不同阈值对异常值区域的影响 注：第一行图片是基于传统矩估计方法得到的标准差所构造的不同阈值下，异常值区域情况；第二行图片是基于中位数估计方法得到的标准差所构造的不同阈值下，异常值区域情况。（五）矿工子图提取异常值区域 是下面进一步提取矿工目标的研究区域，为了克服噪声的干扰，提高结果的稳定性，对异常值区域在像素点平面上做平滑，这里采用中值滤波将图像的每个像素值用邻域（以当前像素为中心的正方形区域）像素值的中值代替。将平滑后的图像记为，则（）（）（）：（），表示以像素点（）为中心形成的滤波模板，通常为 ，区域等，窗口尺寸大小必须是大于 的奇数。对平滑后的异常值区域，采用经典的连通域分析算法做整合，以获得完整的局部区域，并因此获得高度紧凑的子图。连通域分析是一种在图像分析处理众多应用领域中较为常用和基本的方法。通常连通区域分析处理的对象是一张二值化后的图像，通过膨胀操作将与目标物体接触的所有背景点合并到该物体中，可以填补物体中的空洞，形成被标识的单独的连通区域，并获取这些区域的轮廓、外接矩形、质心等几何参数，通过自适应调整参数，从而实现目标图像的提取。图 给出了从一张包含矿工的原始图片提取矿工子图的过程。对于提取的矿工子图样本进行分类处理，将矿工的行为样本划分为安全行为和不安全行为，其中不安全行为包括携带超长、超宽、超高、超重物品乘车，乘车过程中脚拖在地上，以及在禁止步行的位置违规步行等。这经济管理学刊 第 卷为后面应用深度学习的迁移模型进行自动化识别矿工是否存在不安全行为，提供了子图像数据集。图 矿工子图的提取过程注：以一张图片为例，展示了三阶段优化算法从原始图片提取矿工子图的过程。（六）迁移学习模型由于矿工乘车时间不固定且比较稀疏、视频帧图片提取的高度相似性等原因，能提供的样本量偏少，无法对整个卷积神经网络（）模型做充分训练，因此采用迁移学习的方法。迁移学习就是继承前人在大规模数据集上训练好的模型结构和参数训练结果，将其应用在自己的任务中并进行参数微调，这样可以使模型在学习了大量图像数据后再针对样本较少的矿工行为数据进行学习，以此来提高模型对矿工不安全行为样本数据的识别准确率，获得快速且相对准确的预测结果。由于迁移学习要用到别人训练出的模型结构和参数估计，因此需要一个文件，不仅要包含模型结构，还要包含这个模型当时训练出来的所有参数，这些参数往往来自一个巨大的数据集，如。幸运的是，这些文件就在用 编写的深度学习模型开发框架 上，目前 支持的很多经典模型，如、等，都是基于 数据集进行训练。本文选择 开源的 模型作为迁移学习框架，对矿工行为进行分类。是一个经典的深度卷积神经网络模型，很难在低配置的计算机上直接训练，而且花费时间较长。为此，我们采用了迁移学习的方法。具体而言，即保留前面层的参数，重新训练 的最后一层。最后一层的输出节点数等于数据集中的类别数。例如，数据集有 个类，因此在原始的 模型中，最后一层有 个输出节点。本文在迁移学习之前运用了数据增强技巧。数据增强是通过对数据施加各种变换来达到增加样本量的目的。简单地说，就是要基于一张图像数据，对它进行各种合理的变换，如图像的拉伸、变换或旋转，将变换后的图像作为新的样本，与旧的样本充分混合在一起，形成一个理论上更大的训练数据集，让模型能够训练得更加准确。本文在数据集的数据生成器上使用数据增强技术，考虑矿工行为是否安全二分类问题，因此输出节点数为。该方法的原理，见图。第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别图 迁移学习的原理示意图注：该图展示的是，完成子图提取后，运用深度学习模型，对矿工行为是否安全进行自动识别的过程。三、矿工不安全行为识别（一）矿工行为子图提取本文所采用的数据来自某煤矿运人斜井中的一段监控视频，总长约 个小时，每秒 帧图片，解析获得 张高分辨率帧图片。考虑到视频帧图片提取的高度相似性，本文提取部分样本进行分析，并从 张图片中每隔 张图片选取一张，可获得 张样本图片，并从中提取矿工子图。由于每张图片是一个 的张量，因此计算量很大。为了提高计算效率，进行降维处理，这里是通过 图像处理库 中的 函数改变图像的大小，将图片的尺寸缩小到原始图片尺寸的，即每张图片缩小为一个 的张量。在缩小后的图片上，基于自适应背景差分模型，利用三阶段优化算法获取异常值区域，对于平滑后的异常值区域，采用经典的连通域分析算法做整合，获取完整的局部区域以及该连通区域的轮廓、外接矩形、质心等几何参数。样本图像处理过程见图，对提取的轮廓信息进行取外接矩形操作，通过筛选过滤保留矿工目标主体区域图像。若一个图像中包含多个连通域，则对全部外接矩形区域内图像进行筛选，将满足特定大小和比例的部分提取出来，形成多个样本图像。为了比较基于中位数估计和传统矩估计得到的标准差所构造的阈值对于矿工子图提取的影响，本文在其他参数不变的情况下，分别选取了 标准差、标准差、标准差和 标准差四种阈值进行讨论；在平滑操作中，采用中值滤波，滤波核的大小为。本文分别在四种情况下，提取了矿工行为子图；对于提取的子图，直接标注类别，避免了在高分辨的原图上做标注框，因此简单快捷高效。本文将提取的子图中无矿工子图和矿工子图截取不全且无法识别行为是否违规的子图标记为，视为无效子图；矿工子图可明确判断为合规行为的标记为，矿工子图可明确判断为不合规行为的标记为，这两种子图视为有效子图。在四种阈值下，不同估计方法提取的矿工行为子图具体分布情况见表。从表 可以看出，在矿工子图提取的数量上，基于中位数估计得到的标准差所构造的阈值更经济管理学刊 第 卷具有优势。其阈值越大，提取子图的数量差别越大，中位数估计越稳定，优势就越显著，这可以由图 得到解释。具体数量结果的差异可见图。图 给出了在四种阈值情况下，两种方法提取有效矿工子图的数量对比图。完成子图提取后，我们将在下面运用深度学习模型，对矿工行为是否安全进行自动识别。表 中位数估计方法和传统矩估计方法在不同阈值下提取子图的分布情况阈值中位数估计方法传统矩估计方法子图总数子图总数 标准差 标准差 标准差 标准差 注：无矿工和矿工截取不全且无法识别行为是否违规的子图标记为。可明确判断为合规行为的矿工子图标记为。可明确判断为不合规行为的矿工子图标记为。图 中位数估计方法和传统矩估计方法在不同阈值下有效子图的数量比较注：数据来源于不同方法不同阈值下，提取的矿工子图数据集的类别标注结果。（二）基于迁移学习的矿工不安全行为识别针对上面不同估计方法、不同阈值下获得的每一组有效矿工子图，通过人工标注，将其划分为矿工安全行为和不安全行为两类。随机将它们分成两部分，的矿工子图作为训练样本，剩余 作为测试样本。采用 模型进行迁移学习，对训练样本进行二分类回归训练，在测试样本上评估其预测精度。为了克服训练结果的随机性，将训练进程随机重复 次，可获得 个外样本预测精度，并绘制箱线图。为了说明数据增强的实验效果，以 标准差阈值下获得的矿工子图为例，分别对无数据增强和有数据增强进行实验。这里的数据增强仅考虑图像放大第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别或者缩小的比例，具体而言以 为标准，如果放大，那么放大比例不超过 ；如果缩小，那么缩小比例不超过 。实验结果见图，从中可以看出数据增强可以提升外样本预测精度。有数据增强得到外样本预测精度的中位数为 ，相比无数据增强得到的外样本预测精度的中位数 ，提高了 。图 有数据增强与无数据增强条件下外样本预测精度比较 注：选取 标准差阈值下获得的矿工子图数据集，分别考虑有数据增强和无数据增强两种情况，其他条件不变，做两组实验，每组实验随机重复 次，获得外样本预测精度的箱线图。图 给出了不同阈值下，中位数估计方法和传统矩估计方法得到的有效矿工子图的外样本预测精度。从中可以看出，不同阈值下，中位数估计方法得到的有效矿工子图外样本预测精度均优于传统矩估计方法，且阈值越大优势越明显。图 中位数估计方法和传统矩估计方法在不同阈值下外样本预测精度比较 注：考虑四种阈值情况，且每种阈值下比较这两种方法，共做了 组实验，每组实验随机重复 次，获得外样本预测精度的箱线图。经济管理学刊 第 卷 例如，在 标准差阈值下，中位数估计方法得到的外样本预测精度中位数为，相比传统矩估计方法得到的外样本预测精度中位数 ，提高了 ；在 标准差阈值下，中位数估计方法得到的外样本预测精度中位数为 ，相比传统矩估计方法得到的外样本预测精度中位数，提高了；在 标准差阈值下，中位数估计方法得到的外样本预测精度中位数为 ，相比传统矩估计方法得到的外样本预测精度中位数，提高了；在 标准差阈值下，中位数估计方法得到的外样本预测精度中位数为，相比传统矩估计方法得到的外样本预测精度中位数，提高了 。由以上实验结果可知，无论选取哪个阈值，中位数估计方法最终得到的外样本预测精度均优于传统矩估计方法。图 给出了在不同阈值下，中位数估计方法和传统矩估计方法得到的有效矿工子图的外样本 值。在 标准差阈值下，中位数估计方法得到的外样本 中位数为 ，相比传统矩估计方法得到的外样本 中位数 ，提高了；在 标准差阈值下，中位数估计方法得到的外样本 中位数为，相比传统矩估计方法得到的外样本 中位数 ，降低了 ；在 标准差阈值下，中位数估计方法得到的外样本 中位数为 ，相比传统矩估计方法得到的外样本 中位数 ，提高了 ；在 标准差阈值下，中位数估计方法得到的外样本 中位数为 ，相比传统矩估计方法得到的外样本 中位数 ，提高了 。除了 标准差阈值，在其他阈值下，中位数估计方法得到的有效矿工子图外样本 值均优于传统矩估计方法。从预测精度和 综合评价来看，中位数估计方法提取的有效矿工子图整体上要优于传统矩估计方法，子图分类准确度理想，能够有效识别矿工不安全行为。图 中位数估计方法和传统矩估计方法在不同阈值下外样本 比较 注：考虑四种阈值情况，且每种阈值下比较这两种方法，共做了 组实验，每组实验随机重复 次，获得外样本 的箱线图。第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别四、结论本文基于自适应背景差分和深度学习模型，研究了矿山巷道不安全行为的自动识别。本文提出了一个三阶段优化算法，可快速、有效地提取矿工子图数据集，该算法与传统算法相比最大的优点是提取子图准确率高、结果稳健，这主要归功于在异常值发现中用中位数方法估计标准差替代了传统估计构造阈值获得异常值区域，以及对异常值区域在像素点平面的平滑操作。针对获得的矿工子图，直接进行类别标注，避免较复杂的边界框标注，节约了昂贵的人工标注成本。基于 模型进行迁移学习，在样本有限且具有高度相似性的情况下，获得了较高的预测精度，实现了对矿工行为是否安全进行自动化识别。最后，我们对未来工作提出一些可行的研究方向。第一，由于研究的是视频帧图片，因此在相邻一段时间的图像具有高度相似性，本文出于方便考虑，采用了等间隔提取图片的方式，没有充分利用时间上的相似性，未来可进一步研究利用时间上的相似性来提升子图提取效率。第二，本文从图像角度对矿工的不安全行为进行建模，由于数据样本的局限性，对不安全行为具体类型的识别准确率还有进一步提升的空间，后续研究可采集更多的数据样本以及进一步优化算法，提高不安全行为具体类型的预测准确率。第三，本文仅仅从矿山巷道的一角研究了矿工不安全行为的自动识别，未来可进一步深入研究矿山巷道中环境监测、设备运行等一系列安全行为识别问题，提升矿山安全监控智能分析技术与水平。参考文献 国家统计局，中华人民共和国国民经济和社会发展统计公报 李琰，赵梓焱，田水承，于瑾慧，矿工不安全行为研究综述 中国安全生产科学技术，（）：林柏泉，常建华，翟成，我国煤矿安全现状及应当采取的对策分析 中国安全科学学报 （）：谢和平，任世华，谢亚辰，焦小淼，碳中和目标下煤炭行业发展机遇煤炭学报，（）：杨小彬，周世禄，李娜，王逍遥，深度学习及其在煤矿安全领域的应用煤矿安全，（）：（）（）经济管理学刊 第 卷 （），（）（）（）（）（）（）（）（）（）第 期韩苗，等：基于自适应背景差分与深度学习的矿山巷道不安全行为的自动识别 （）（）（）经济管理学刊 第 卷 （）