基于机器学习的安全大数据技术课程实验教学设计_杜锋.pdf

实 验 技 术 与 管 理 第 40 卷 第 4 期 2023 年 4 月 Experimental Technology and Management Vol.40 No.4 Apr.2023 收稿日期:2022-10-11 修回日期:2022-11-17 基金项目:国家自然科学基金项目（52130409，52004291）；全国煤炭行业高等教育教学改革研究课题（2021MXJG028）；中国矿业大学（北京）课程建设与教学改革项目（J221203）作者简介:杜锋（1992），男，山西垣曲，博士，讲师，硕士生导师，从事安全工程的科研和教学工作，。通信作者:王凯（1972），男，河南遂平，博士，教授，博士生导师，从事安全工程的科研和教学工作，。引文格式:杜锋，汪博威，汪奥杰，等.基于机器学习的安全大数据技术课程实验教学设计J.实验技术与管理,2023,40(4):181-186.Cite this article:DU F,WANG B W,WANG A J,et al.Experimental teaching design of safety big data technology course based on machine learningJ.Experimental Technology and Management,2023,40(4):181-186.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.04.027 基于机器学习的安全大数据技术课程实验教学设计 杜 锋1，汪博威1，汪奥杰2，王 凯1，王 玮1（1.中国矿业大学（北京）应急管理与安全工程学院，北京 100083；2.东南大学 网络空间安全学院，江苏 南京 211102）摘 要：该教学实验设计以 Python 的机器学习整合包为内核，以煤岩瓦斯复合动力灾害预测为背景，使用Python 语言编写，方便了学生在有限的教学与实验课程中实现机器学习挖掘数据的编程任务。实验内容包括数据集构建、Apis 调用、数据集读取、数据归一化处理、模型训练与导出、样本集预测、模型准确度检验等环节。该教学实验涉及学科交叉，实用性强，能够为提升学生使用恰当的现代化分析技术与工具的能力。关键词：实验教学改革；安全大数据；机器学习；数据挖掘；灾害预测 中图分类号：TD7；G642.0 文献标识码：A 文章编号：1002-4956(2023)04-0181-06 Experimental teaching design of safety big data technology course based on machine learning DU Feng1,WANG Bowei1,WANG Aojie2,WANG Kai1,WANG Wei1(1.School of Emergency Management and Safety Engineering,China University of Mining&Technology(Beijing),Beijing 100083,China;2.School of Cyber Science and Engineering,Southeast University,Nanjing 211102,China)Abstract:The teaching experiment design takes Pythons machine learning integration package as the core,takes coal,rock and gas composite dynamic disaster prediction as the background,and is written in Python language,which facilitates students to realize the programming task of machine learning and mining data in limited teaching and experiment courses.The experiment contents include data set construction,Apis call,data set reading,data normalization processing,model training and export,sample set prediction,model accuracy test and other links.This teaching experiment involves interdisciplinary subjects and has strong practicability,which can improve students ability to use appropriate modern analysis technology and tools.Key words:experimental teaching reform;security big data;machine learning;data mining;disaster prediction 随着现代科技的发展，基于计算机技术的机器学习方法已成为推动众多领域科技进步的重要手段。为培养高素质高水平的专业人才，必须专门在高等教育阶段培养学生对机器学习等智能方法的使用和分析能力。2022 年 8 月，在 Appen 发布的2022 年人工智能和机器学习现状报告中展现了各行业不同规模公司提高人工智能成熟度的战略，体现了机器学习对行业发展的推动作用1。中国矿业大学（北京）安全科学与工程专业是国家“双一流”建设学科，是大安全、矿山安全、应急技术等多方向交叉的复合工科专业，其中安全大数据技术课程是一门非常重要的专业必修课2。鉴于学生有限的计算机编程水平，以本课程为代表的安全科学与工程专业计算机技术课程，具有概念抽象、难以理182 实 验 技 术 与 管 理 解等特点。现有的安全大数据技术课程教学，主要采用教师先以多媒体方式进行线下或线上讲授，学生再完成课后习题的模式。教师的讲授往往以理论叙述、代码及代码实现成果展示为主，学生难以获得对计算机方法实现的实践认知以及解决实际问题的经验，即理论教学与实践产生脱节。机器学习方法是课程教学的重要内容，在安全大数据技术课程中占有很大比重3-4。如何在有限的教学与实验课时中，使学生既能学习到理论知识，又能掌握机器学习方法在安全工程领域的应用，是目前安全大数据技术课程教学的现实问题。为了提高我校安全工程专业类学生的计算机水平，使学生具备对数据进行挖掘的能力，并能在此基础上对问题开展深入研究，本文采用基于 Python 的机器学习方法，针对矿山专业属性设计独特的教学实验案例，旨在调动学生深入理解矿山灾害事故预测问题的积极性，锻炼他们采用先进的分析预测工具解决复杂安全工程问题的能力。1 机器学习方法原理 机器学习方法从广义上来说是一种能够对机器赋予学习能力，从而使其完成直接编程无法完成的功能的方法5-6。从实际工程应用来说，机器学习是利用数据训练出模型，再利用模型进行预测的方法。目前广泛应用的机器学习方法大致可以分为两类：有监督学习（supervised learning）与无监督学习（unsupervised learning）。有监督学习是从标签化训练数据集中推断出函数的机器学习方法，训练数据由一组训练实例组成。在有监督学习中，每一个例子都是一对数据，由一个输入对象（通常是一个向量）和一个期望的输出值（也被称为监督信号）组成，即用已知某种或某些特性的样本作为训练集建立一个数学模型，再用所建立的模型来预测未知样本7。有监督学习是最常见的机器学习方法，如图 1 所示。无监督学习被用于缺乏足够的先验知识，数据难以人工标注类别或进行人工类别标注成本太高等情况，具体来说就是借助计算机根据类别未知的训练样本解决模式识别中的各种问题8。在安全大数据技术课程中，机器学习方法通常基于 Python 编程平台，通过导入先前发生的大量事故历史数据训练出模型，再利用模型预测某一类事件或事故是否发生，属于机器学习方法中的有监督学习。最为广泛使用的有监督学习算法包括：支持向量机（SVM）、图 1 有监督学习拟合图 神经网络算法、线性回归、逻辑回归、朴素贝叶斯、K-近邻、决策树等9-10。这些算法可以通过调用 Pycharm编译器中的 sklearn 包进行快捷使用，难度适中，是适合学生进行数据挖掘的途径。在此之前，需要对训练数据进行预处理。常见的用于分析特征列的数据预处理方法包括 MinMaxScaler、StandardScaler 等11。在实际问题中，数据通常是不完整的（如缺少某些感兴趣的属性值）、不一致的（如代码与名称存在差异），这就使得数据集极易受到噪声（错误异常值）的侵扰，这就需要将原始数据集转化为可以理解的格式或符合挖掘要求的格式。2 实验案例背景及数据集构建 在安全大数据课程中，机器学习方法通常用于预测某类事故发生的概率。煤岩瓦斯复合动力灾害是影响我国深部煤炭安全高效开采的重大灾害之一12-13，其影响因素众多且孕育演化机制尚不明朗，无法充分挖掘指标特征与灾害发生的内在联系，传统复合动力灾害预测手段存在预测指标单一、预测准确率不理想等缺点14-16。本教学实验案例收集了来自山西、陕西、河南、安徽四个产煤大省 20102020 年来发生的 105组煤岩瓦斯复合动力灾害数据，包括埋深、断层数量、软分层变化、煤体破坏类、煤厚、软分层厚度、煤层倾角、揉皱系数、瓦斯放散初速度、坚固性系数、瓦斯压力、瓦斯含量、顶板抗压强度、最大主应力、煤厚变异系数、煤层倾角变异系数等 16 项特征标签，数据集样本量适中，标签量较多，涉及时空范围广，将使研究结果具有范围普适性。我们从这些数据中随机抽取了 80 组数据用于模型训练，如表 1 所示，剩余的 25 组用于后期模型预测，如表 2 所示。在表 1 中“是否发生复合灾害”一栏中，0 代表不发生灾害，1 代表发生煤与瓦斯突出灾害17，2 代表发生煤岩瓦斯复合动力灾害。杜 锋，等：基于机器学习的安全大数据技术课程实验教学设计 183 表 1 用于训练的数据集表 组序号 埋深/m 断层数量 软分层变化 顶板抗压强度/MPa最大主应力/MPa 煤厚变异系数 煤层倾角变异系数 是否发生灾害1 830 0 0.5 58.03 34.15 0 0 1 2 479 1 0.5 48.18 28.1 0 0.51 2 3 457 0 0.5 53.06 28.1 0 0.14 1 4 563 1 0.5 47.65 29.06 0 0 2 5 510 0 0.5 44.39 28.1 0 0 2 6 590 0 0.5 37.64 29.06 0.11 0 2 7 577 0 0.5 43.44 29.06 0 0 2 8 564 1 1 76.09 29.06 0 0 0 9 575 0 0.5 48.89 29.06 0 0 2 10 584 1 0.5 55.12 29.06 0.2 0 1 78 424 0 0.5 76.76 28.1 0 0.47 0 79 607 1 0.5 57.68 29.06 0.19 0 0 80 562 1 1 79.09 29.06 0 0 0 表 2 待预测的数据集表 组序号 埋深/m 断层数量 软分层变化 顶板抗压强度/MPa最大主应力/MPa煤厚变异系数 煤层倾角变异系数1 560 2 1 67.56 29.06 0 0 2 558 0 0.5 67.02 29.06 0.23 0 3 540 0 0.5 45.74 28.1 0 0.13 4 565 0 1 65.77 29.06 0 0 5 565 1 0.5 49.08 29.06 0 0 6 431 0 0.5 68.89 28.1 0 0.47 7 535 0 0.5 47.04 28.1 0 0 8 566 1 0.5 38.95 29.06 0 0 9 533 0 0.5 37.87 28.1 0 0 10 558 1 0.5 38.91 29.06 0 0 23 629 1 0.5 72.42 29.06 0.19 0 24 557 2 0.5 35.67 29.06 0 0 25 502 1 1 71.3 29.06 0 0.31 3 使用 Pycharm 平台进行 Apis 调用及数据集读取 3.1 硬件基本需求 本教学实验案例的硬件需求为：Windows 7 系统及以上，电脑配置内存 4 G 及以上，硬盘存储 500 G及以上，处理器 i5 及以上。3.2 Apis 调用 本教学实验案例的内核为 Apis，它将机器学习功能进行封装，并将其与 sklearn 连接，sklearn 进一步封装 Apis 成为 Python 的模块，以方便使用。可以直接通过 Pycharm 编译器调用其中的某些功能，使操作更加方便直观。本实验案例使用的预处理方法为 StandardScaler，使用的分类方法为支持向量机（SVM），所以需要调用 sklearn 包中这两项的 Api。首先要在 Pycharm 界面下方找到 Python Packages，在 PyPI 仓库里搜索 scikit-learn 并安装。184 实 验 技 术 与 管 理 随后在代码行键入调用 Apis 的代码（含注释）如下：3.3 数据集读取 由于数据集样本量较大，将数据一组一组输入太过繁琐，本实验案例要求学生将上文所述的用于训练的数据集与待预测的测试样本集以.csv 的格式保存于桌面，并进行重编码，同时在 Pycharm 编译器上进行读取，并确定条件属性集及决策属性集，键入代码如下（以保存路径为“C:/Users/dell/Desktop/data.csv”为例，含注释）：4 数据集归一化处理及模型训练 4.1 数据归一化处理 在进行模型训练之前，为了提高模型训练精度，排除噪音数据对结果的影响，需要对数据集进行归一化处理。在本实验案例中，根据数据集特性，需要使用分析特征列的数据预处理方法 StandardScaler 对数据进行归一化处理。其具体原理为用数据值减去均值，再除以方差，即()/Xx=-，在 Pycharm 中键入以下代码（含注释）：此处使用了 fit()函数与 transform()函数。fit()函数的含义为：求得训练集的均值、方差、最大值、最小值等训练集固有的属性。transform()函数的含义为：在 fit()的基础上，进行标准化、降维、归一化等操作。然后导出预处理后的数据，观察数据预处理后的形式与效果，如表 3 所示（为方便展示仅取两位小数）。表 3 预处理后的训练数据集表 组序号 埋深/m 断层数量 软分层变化 顶板抗压强度/MPa最大主应力/MPa 煤厚变异系数 煤层倾角变异系数 是否发生灾害1 3.34 0.86 0.36 0.37 5.50 0.45 0.66 1 2 1.08 0.23 0.36 0.34 0.78 0.45 1.99 2 3 1.35 0.86 0.36 0.02 0.78 0.45 0.07 1 4 0.02 0.23 0.36 0.37 0.22 0.45 0.66 2 5 0.69 0.86 0.36 0.61 0.78 0.45 0.66 2 6 0.32 0.86 0.36 1.09 0.22 1.24 0.66 2 7 0.15 0.86 0.36 0.68 0.22 0.45 0.66 2 8 0.01 0.23 2.44 1.67 0.22 0.45 0.66 0 9 0.13 0.86 0.36 0.28 0.22 0.45 0.66 2 10 0.24 0.23 0.36 0.16 0.22 2.62 0.66 1 78 0.17 0.86 2.44 0.91 0.22 0.45 0.43 0 79 1.77 0.86 0.36 1.72 0.78 0.45 1.78 0 80 0.53 0.23 0.36 0.35 0.22 2.46 0.66 0 4.2 模型训练与导出 完成上述步骤后，需要对预处理后的数据集进行拟合训练进而得到模型。训练函数选用支持向量机（SVM），默认为径向基核函数进行拟合，通过调用sklearn 中的 SVM 包即可方便快速实现。需要键入以下代码（含注释）：杜 锋，等：基于机器学习的安全大数据技术课程实验教学设计 185 在运行以上程序后，可以导出.model 格式的文件，并保存到电脑桌面，命名为煤岩瓦斯复合动力灾害预测.model。5 模型准确度测试 5.1 样本集预测 在导出模型文件后，要对模型进行检验，即预测在数据集准备阶段预留的 25 组灾害数据。不仅要得出预测结果，还要得出某项预测结果的概率，这对实际工程应用问题意义重大。首先，打开模型并进行加载，需要键入以下代码（含注释）：然后，导入测试数据集进行预测，同时获得预测结果的概率。此步骤需要学生掌握 predict_probability函数并加以应用，将预测结果以.csv 格式写入文件，命名为 predict.csv 并保存。要求学生掌握并输入以下代码（含注释）：最后，打开存储的 predict.csv 文件查看预测结果，并与实际数据进行比对，表 4 为某次实验的预测结果。5.2 模型准确度检验 由于预测结果为取得某项结果的概率，所以可通过预测概率最高的结果与实际发生结果相吻合的数量与总数据样本量的比值来计算模型的准确度，如图 2所示。本次教学实验模型的准确率为 88%。表 4 训练预测结果（概率）组序号不发生 灾害概率 发生煤与瓦斯 突出灾害概率 发生煤岩瓦斯 复合动力灾害概率1 0.425 322 0.532 144 0.042 534 2 0.022 991 0.969 282 0.007 726 3 0.131 013 0.015 872 0.853 115 4 0.042 078 0.945 389 0.012 533 5 0.051 621 0.033 735 0.914 644 6 0.947 343 0.021 165 0.031 493 7 0.158 648 0.008 083 0.833 269 8 0.016 168 0.014 916 0.968 917 9 0.023 024 0.022 614 0.954 362 10 0.018 035 0.029 766 0.952 199 11 0.141 385 0.009 149 0.849 466 12 0.591 497 0.017 915 0.390 588 13 0.040 946 0.820 456 0.138 598 14 0.131 868 0.579 096 0.289 036 15 0.064 076 0.005 855 0.930 069 16 0.054 866 0.885 131 0.060 003 17 0.026 512 0.119 697 0.853 791 18 0.047 13 0.047 31 0.905 56 19 0.046 47 0.196 729 0.756 8 20 0.049 023 0.037 728 0.913 25 21 0.032 118 0.952 33 0.015 552 22 0.417 437 0.549 018 0.033 544 23 0.038 629 0.004 203 0.957 168 24 0.123 599 0.865 011 0.011 39 25 0.381 093 0.066 041 0.552 865 注：0-不发生灾害，1（1）-发生煤与瓦斯突出灾害，2（2）-发生煤岩复合动力灾害。图 2 实际与预测结果对比图 6 结语 本文基于 Python 的机器学习整合包，设计了以煤岩瓦斯复合动力灾害预测为应用背景的安全大数据技术课程教学实验案例，实验过程包括数据集采集、数据读取、数据预处理、模型训练拟合、模型准确度检验等步骤。满足了安全大数据技术课程的教学需求，增强了课程内容的可理解性与可操作性，提高了学生186 实 验 技 术 与 管 理 对计算机方法实现的实践认知，开阔了解决实际问题的思路，提升了运用交叉学科知识解决问题的能力，激发了对安全大数据课程的学习兴趣，提高了创新实践能力与工程应用能力，契合了大安全、矿山安全等专业方向的培养目标。参考文献(References)1 澳鹏 Appen.2022 年人工智能和机器学习现状报告R.Sydney:Appen,2022.2 范维澄，苗鸿雁，袁亮，等.我国安全科学与工程学科“十四五”发展战略研究J.中国科学基金，2021,35(6):864870.3 何清，李宁，罗文娟，等.大数据下的机器学习算法综述J.模式识别与人工智能，2014,27(4):327336.4 陈良臣，傅德印.面向小样本数据的机器学习方法研究综述 J.计算机工程，48(11):113.5 GURUVAYUR S R,SUCHITHRA R.A detailed study on machine learning techniques for data miningC/2017 International Conference on Trends in Electronics and Informatics(ICEI).Tirunelveli,India,2017:11871192.6 LI Y X.Practice of machine learning algorithm in data mining field C/2020 International Conference on Advance in Ambient Computing and Intelligence(ICAACI).2020:5659.7 RAJU V N G,LAKSHMI P,JAIN V M,et al.Study the influence of normalization/transformation process on the accuracy of supervised classification:2020 Third International Conference on Smart Systems and Inventive Technology(ICSSIT)C.Tirunelveli,IN,2020:729735.8 ALAM S,KANG M,PYUN J Y.et al.Performance of classification based on PCA,linear SVM,and multi-kernel SVM:2016 Eighth International Conference on Ubiquitous and Future Networks(ICUFN)C.Austria:2016:987989.9 YAN Z G.A SVM model for data mining and knowledge discoverying of mine water disastersC/2010 8th World Congress on Intelligent Control and Automation.Jinan CN,2010:27302734.10 MENG Q,MA X P,ZHOU Y.Application of the PSO-SVM model for coal mine safety assessmentC/2012 8th International Conference on Natural Computation,Chongqing,CN,2012.11 郭立媛，张磊，李威，等.基于先验知识 MinMaxk-Means 聚类算法的道路裂缝研究J.中国测试，2018,44(4):113117.12 潘一山.煤与瓦斯突出、冲击地压复合动力灾害一体化研究J.煤炭学报，2016,41(1):105112.13 WANG K,DU F.Coal-gas compound dynamic disasters in China:A reviewJ.Process Safety and Environmental Protection,2020,133(C):117.14 高保彬，李回贵，李化敏，等.声发射/微震监测煤岩瓦斯复合动力灾害的研究现状J.地球物理学进展，2014,29(2):689697.15 杜锋.受载含瓦斯煤岩组合体耦合失稳诱发复合动力灾害机制D.北京：中国矿业大学（北京），2019.16 王恩元，张国锐，张超林，等.我国煤与瓦斯突出防治理论技术研究进展与展望J.煤炭学报，2022,47(1):297322.17 YUAN L.Control of coal and gas outbursts in Huainan mines in China:A reviewJ.Journal of Rock Mechanics and Geotechnical Engineering,2016,8(4):559567.（编辑：张文杰）（上接第 180 页）8 东 鹏，周 英 杰，侯 敏 杰，等.钠 离 子 电 池 正 极 材 料Na3V2(PO4)3 研究进展J.无机盐工业，2022,54(5):110.9 SHEN W,LI H,WANG C,et al.Improved electrochemical performance of the Na3V2(PO4)3 cathode by B-doping of the carbon coating layer for sodium-ion batteriesJ.Journal of Materials Chemistry A,2015,3(29):1519015201.10 VAN N N,JAFIAN S,HUNG I M.Synthesis and electrochemical performance of the Na3V2(PO4)3 cathode for sodium-ion batteriesJ.Journal of Electronic Materials,2016,45(5):25822590.11 WU L,SHI X N,ZHANG X P,et al.Room-temperature pre-reduction of spinning solution for the synthesis of Na3V2(PO4)3/C nanofibers as high-performance cathode materials for Na-ion batteriesJ.Electrochimica Acta,2018,274(9):233241.12 郑文斌，周欣雨，吴艳，等.基于迁移学习的锂电池 SOH 估算实验设计J.实验技术与管理，2022,39(8):5559.13 杨广武，程元壮，田忠诚，等.钙钛矿太阳能电池材料制备、器件组装及性能测试综合实验设计J.实验技术与管理，2022,39(3):3036.14 朱学帅，张晨瑜，杨小娟，等.退役动力锂离子电池正、负极材料浮选回收实验设计J.实验技术与管理，2022,39(3):6669,79.（编辑：张文杰）