大数据技术在煤质管理中的应用研究.pdf

第 卷第 期煤 质 技 术 年 月 移动阅读韩建英，朱晶，赵丽娇 大数据技术在煤质管理中的应用研究 煤质技术，（）：，（）：大数据技术在煤质管理中的应用研究韩建英，朱 晶，赵丽娇（山西焦煤集团有限责任公司 西铭矿选煤厂，山西 太原）摘 要：快速高效采集、计算、分析、管理数据并准确提供煤质趋势分析的大数据技术，其在煤炭质量管理中的应用可提高生产效能及施行精益化管理。西铭矿选煤厂自主开发基于 的煤炭质量数据研究分析报告综合管理系统，系统运用大数据技术，将大量煤炭质量数据纳入数据库管理，以期为矿井和选煤厂指导煤炭生产提供数据支撑。简介煤炭质量数据研究分析报告综合管理系统的主要功能特点及系统内主要功能的实现，阐述大数据技术在数据采集、预处理、存储等方面的实现与应用，并结合大数据挖掘与数据分析对系统数据库的稳定性与安全性、系统的延伸性和扩展性进行剖析。企业在保证煤炭产品质量的前提下应兼顾生产最优，力争从煤炭的开采、洗选、储运、销售等方面给各级管理者提供高质量数据；调度指挥系统根据数据结果及时调整煤炭配采、运输储存、洗选配装工艺，提高精煤产品的质量稳定性和合格率并正确指导一线生产，从而使煤质管理从传统模式向现代化管理方式发展且开创基层煤质管理工作的新局面。关键词：大数据技术；煤质管理；综合管理系统；数据库；高质量数据；系统延伸性中图分类号：文献标志码：文章编号：（）收稿日期：责任编辑：何毅聪 ：作者简介：韩建英（），女，山西太原人，高级工程师、硕士，主要从事选煤厂煤质管理、大数据分析等方向研究工作。：，（，）：，（），煤 质 技 术 年第 卷，：；引 言近年来随着科学技术的突飞猛进，全球范围内金融、电商、零售业、制造业、仓储物流等各行各业均在大数据技术的加持下进入全新的行业赛道，并随之应运而生出各自相应的大数据处理系统。现如今，掌握大数据即可掌握行业发展的先机，但研发较为完善稳定的大数据处理系统的时间成本、经济成本非常庞大，因此部分行业依无法享受科技浪潮带来的技术红利。长远看来，新技术无法落地、企业的人工投入产出比较小等已成为制约煤炭企业发展的重要因素之一。目前国内部分矿龄较老、产能相对较小的煤企则存在着上述制约企业发展的现象，使其在行业中逐渐失去竞争力。年国家发展改革委、国家能源局等部门联合研究制定 关于加快煤矿智能化发展的指导意见，为加快推进煤炭行业供给侧结构性改革、推动智能化技术与煤炭产业融合发展、提升煤矿智能化水平等提出总体要求。至此，各个煤炭企业加快信息化、数据化、智能化的建设，将大数据技术与企业的生产实际有机结合，努力提高生产效能。同时，开发与应用适合企业生产工艺流程的煤质数据库，一企一策，因地制宜地进行煤炭质量数据处理，使煤质管理从传统模式向现代化管理方式发展，已成为矿井和选煤厂数据化、智能化的 项重要内容，成为目前煤质行业的新形势。煤炭质量数据包含矿井生产、储运、洗选、销售全过程质量数据，特别是产品信息，其具有数据种类多、数据量大、计算复杂、关联性强，管理难度大、时效性强的特点。现如今许多企业的煤炭质量数据采用 办公软件进行登记、计算、出表，数据录入方法原始、时间长且差错率高。不同种类和不同格式的报表重复填写，数据计算完毕后，同样的数据需填入不同的表格，人工操作量大且费时费力。数据审核依赖于人工，无报警或错误提示。数据查询统计、分析方法原始，跨月跨年查询不方便，查询后再进行计算时的工作量大、时间滞后。质量数据仅以表格的形式保存，各种数据、报表、文档都互相独立，各类数据之间未进行 有 效 组 织 管 理，没 有 真 正 意 义 上 的 数 据库。基于以上分析可知，大数据技术在煤质管理中的应用研究十分必要。山西焦煤集团西铭矿选煤厂组织团队，集合大数据、煤质管理、自动化等多名专业人才，独立开发 煤炭质量数据研究分析报告综合管理系统 （以下简称煤质数据综管系统），并于 年 月获得中国国家版权局颁发计算机软件著作权登记证书（软著登字第 号）。该系统率先在厂内实施应用，使西铭矿选煤厂有效实现质量数据采集、存储、计算和数据分析等管理流程的系统化、自动化，使质量控制、数据信息资源管理使用等全过程实现大数据管理，煤炭质量管理技术得到有效改善，且可实现多终端数据互通互联。煤质数据综管系统同时也可适合应用于矿井、选煤厂、电厂、化验室、质监中心、配煤中心等煤炭生产、贸易、检测行业，即煤质大数据的开发应用能对煤炭产品质量数据进行计算分析汇总，趋势分析、对比分析后配以图形显示，可快速分析煤炭质量并反馈生产现场。以下简述煤质数据综管系统建立以及大数据技术的实现与应用，以期达到实现煤质数据管理自动化、便于精益化管理、提高经济效益、提高顾客满意度、减少煤质纠纷及树立煤炭产品质量名牌之目的。煤质数据综管系统建立 系统主要功能特点煤炭质量数据研究分析报告综合管理系统基于 语言编程，建立各类数据库，引入大数据技术。由 个分模块，余行程序代码支撑。实现了编码、计算、审核、报警、入库、出表、大数据分析等全自动功能，一次输入原始数据，一键生成质量鉴定单、日台帐、分用户、分市场台帐、销售日报、月报等各类报表。实现数据录第 期韩建英等：大数据技术在煤质管理中的应用研究入与维护、自动计算、一键成表、数据检索等各项功能，全流程自动化管理，计算精准，报表规范，快速便捷，大数据分析煤质趋势，为生产和销售及时提供产品质量信息。系统主要功能实现 数据输入、审核与校对该系统以“分段输入，整体录入”为核心理念，分为输入和录入 个阶段，并运用唯一的输入页面进行汇总。在数据的输入阶段，系统创新地将每日的记录按照类型分为“基础信息”和“煤质信息”大类。操作员只需输入基础信息和质量数据，系统主菜单界面、数据输入与校正界面如图 所示，点击“一键出表”按钮，相关台账和文件库将自动形成。减少了人工的审核、计算、反复填单等重复工作，提高了报表准确率和及时性，实现了流程化自动化。图 系统主菜单界面、数据输入与校正界面 ，对于基础信息，操作员可分阶段通过已有的批次信息和客户名称来一键导入批次号，客户目的地和隶属公司等。系统具有自动给号、自动更新日期功能，自动生成 位的化验编号，免去了人工输入编号的错误和工作量，基础信息的松散结构被汇总。而在后台对基础信息确认无误后，系统才会打开煤质信息的输入界面，确保车次同化验批次相匹配。由于发热量和灰分水分硫分等数值密切相关，所以煤质信息要求“同时输入，缺一不可”。而在煤质信息的输入过程中，系统会关注数值的有效位数，并自动给出低位发热量和弹筒发热量等需计算数据来供用户进行确认。待所有的基础信息和煤质信息都由操作员和系统双重检验审核后，系统将同时将所有输入进行统一录入，以上操作可免去人工输入中由于数据输入时间过长而产生的人为错误。原始数据计算和最终数据输出煤质指标的特殊性，使得煤炭质量检验的数据分为原始数据和二次加工数据。系统收到原始数据，需按照煤炭工业分析国家标准规定的方法计算出最终质量数据。存在 个将原始数据计算转化为二次加工数据的过程。原始数据是数据库过程的输入、二次加工的数据是数据库过程的产出。原始数据输入完成后，系统会进行自动审核和计算，经过二次加工的诸多质量数据作为最终数据，将导出至不同的数据库，比如发铁路客户数据库、公路客户数据库等。以煤炭发热量为例，系统录入弹筒发热量，要将其折算为几个不同的基准和不同单位的发热量数据，分别是分析基高位发热量，（）、干基高位发热量，（）和收到基低位发热量，（）。计算过程中还要涉及到煤炭中其他质量指标，比如氢含量指标，全硫分指标，煤中全水分指标，分析水分指标，以及硝酸校正系数，其中系数 还会随着弹筒发热量，的高低而变 化 不 同 的 数值（、）。在煤炭质量数据库中，包括煤中的全水分、分析水分、全硫分、发热量、灰分等各项指标，除全水分外，都存在二次计算的过程，数据种类多，计算量大，保存类型多。数据计算完成后，系统能准确高效的生成各类报表，并进行报表输出。根据类型，进入各自的文件库，实现数据库到文件库的数据传递。报表生成与自动命名存贮功能系统依次生成车间日报、选煤厂日报、质量鉴定单、化验台帐、分用户台帐、分市场台帐、公路日报、铁路日台帐等各类不同指标不同格式的报表。数据文件保存界面如图 所示，每日的台账都加以自动命名和保存，且可在同一天集中处理 段时间的数据，一次生成每日的日台账文件。在报表输出过程中，系统通过字体颜色此一简单方式来核验数据库记录与各数据输出表的数据统一。在输入过程的末尾，系统会自动将信息的前五行的字体改为红色，代表新增数据或已修改数据。系统检索到后，将通过 调用 命令符来实现对文件的操控。系统会根据统一的文件命名方式找到对应的子文件夹后新建 文件并自动煤 质 技 术 年第 卷将信息按照每种表格的要求规整后输入并保存。如果生成的是修改之后的新数据，系统还会将旧文件放到总文件回收站中。在报表生成后，数据颜色会自动变回黑色。在整个过程中，系统自动完成数据库的调用、报表的生成与存放、旧报表的更替与回收。图 数据文件保存界面 系统使用效果分析基于大数据技术的煤炭质量数据系统，操作方便、功能强大，实现数据处理高速化，数据储存资源化，降低了统计数据在人工处理、传输、贮存等环节上的技术性误差和逻辑性差错。快速准确完成各类报表和质量分析，从机制上形成强有力的数据管理体系。各类煤质数据做到无延迟报告，从本质上提高了数据统计的质量，满足了企业对煤质数据快、准、精的迫切要求。实现重复性劳动到技术性劳动的转变，劳动力得到解放，将人员精力从重复性工作转移到大数据分析等技术性工作中去，提高劳动有效性，达到了劳动生产率的较大提高。大数据技术的实现与应用 数据采集工作简单易操作数据采集，即对各种来源的结构化和非结构化数据所进行的采集，系统采用结构化模块，对数据进行结构化处理，使其易于分析，对煤质数据批次自动唯一编号，录入日期自动导入、对煤种、销售客户等关键数据统一名称，避免人工输入时容易出现的编码重复、日期错误，销售客户因同音字、简称等造成的数据不统一情况，数据录入后，点击基础确认由计算机根据库内数据对新数据是否合格进行审核，对不符合入库标准的数据提出明确的提示，要求录入员修改。大数据预处理煤质数据录入后，系统对录入数据进行审核，看是否有缺项漏项，审核通过后点击计算，由预先设定的运算程序对采集到的原始数据进行运算，计算出煤质其余数据，对其中关键数据根据与其相关指标的数据（例如发热量和灰分）的线性回归分析由系统推导出经验值（或预测值），与原始数据计算出的实际值进行自动比较，看二者差值是否在误差范围内，如误差符合要求，该批次数据可以入库，如超出国标允许误差，则说明原始数据中的某几项数据值之间存在冲突，存在化验结果错误可能，该批次数据不能入库。大数据存储原始数据经数据采集、数据预处理后，以数据库形式，存储采集到和运算出的数据。经系统预处理审核通过的煤质数据，自动入库，存储至煤质大数据库中，对已入库但未上报数据标红显示，提醒用户上报，数据库数据统计保存如图 所示。图 数据库数据统计保存 第 期韩建英等：大数据技术在煤质管理中的应用研究 大数据挖掘与数据分析 大数据挖掘数据入库后，用户点击一键成表，由系统按要求从大数据库中按各报表不同需求选取指定数据一次性将车间日报、分市场公司、公路日台账、化验台账、铁路日台账、选煤厂日报、月台账、质量鉴定单等报表按日期一键生成，对已抓取数据生成报表的数据不再标红，防止数据重复抓取。数据挖掘分为标准模式与自定义 种模式。标准模式挖掘如图 所示，是按要求挖掘固定的数据信息并按规定模式计算输出，生成标准模式报表。而在规定的报表之外，操作员还能通过“自定义模式”来汇总待统计数据的某几个值，用户可根据自身需要对煤质数据有选择性查询分析，可对十余种煤质数据进行各种不同组合的查询，对各类煤质数据进行不同类型的大数据挖掘，深入分析各类数据之间相互关系及影响，“利用数理统计的知识，通过对样本的研究来推断总体的分布特征，称为“统计推断”，挖掘出的数据结果可导出保存，根据实际需要来生成新的表单。此种统计模式能抛弃无关的信息，让操作员获得所关注数据的变化趋势，在季度和年度总结以及未来预测中能起到决定性作用。图 大数据标准模式挖掘 现以大数据挖掘示例，挖掘条件详列如下：，发往山西西山煤电股份有限公司用户，同时满足全水分（）在 ，灰 分（）在 ，硫分（，）在 ，发热量（，）在 之间，数据挖掘结果如图、所示。图 自定义模式大数据挖掘 图 自定义模式大数据挖掘结果 煤 质 技 术 年第 卷 大数据分析基于本系统生成的大数据库的深度挖掘技术，对煤质数据可进行深度挖掘，探寻煤质规律，反馈生产和销售，提高经济效益。以 年 月份商品煤干基全硫（，）为分析条件，可得出基于系统提供的大数据的月度硫分变化趋势。大数据煤质硫分分析如图 所示。图 大数据煤质硫分分析 由图 可看出，商品煤干基全硫（，）结果的频率出现最多峰值为 ，年 到 月共出现 次，第 峰值 出现 次，最低值 出现 次，最高值 出现 次。大数据挖掘可以实现任意硫分值或硫分范围的出现频率查询，不同范围内硫分出现频次见表，即通过表 可以对产品不同范围的硫分进行分析。在保证产品质量、避免煤质纠纷的前提下，可实现高低硫原煤配比入洗及合理利用煤炭资源，从而保证生产最优与实现经济效益最大化。表 不同范围硫分出现频次分析 ，出现频次占比，出现频次占比 合计 同样可以分析不同灰分出现频次，为生产提供快速决断的大数据技术支撑。数据分析不同灰分出现的频次如图 所示。图 大数据分析不同灰分出现的频次 煤质数据综管系统维护 数据库的稳定性与安全性系统通过系统检验和权限管理 种方式来保证数据库和文件库的稳定。系统检验共包涵 种方式：在整个系统操作阶段的各关键要点，系统均通过特定的算法对数据进行跟踪和监控。输入过程中数据的有效性会被关注。文本类型不符、数字过大与过小或有效位数不足等数据错误均会被系统加以提醒并要求重新输入。而在数据库加载阶段，系统也会自动检查行列数以防数据库出现错行现象。系统在报表管理中抛弃在原表单进行修改的传统理念，而是通过“建新收旧”方法以保证文件库的正确性，从而确保信息从数据库到文件库的统一。在权限管理部分，数据库通过登录界面将操作员和技术主管进行一定的区分。操作员可分别拥有数据输入、表单生成和部分数据修改的权限，而影响数据库排版的修改行间距或删除行等操作均被系统自动锁死。以上可保证在整个操作流程中数据库不会因失误而发生结构性变化。此外，即使出现意想不到的问题，系统也会自动提醒技术主管登录后打开所有权限来进行手动调整。若最终实在无法处理则可通过回拷之前的备份快速重建整个数据库和文件库，保证意外发生之前所有数据都不会遗失。数据库识别错误数据界面如图 所示。图 数据库识别错误数据界面 第 期韩建英等：大数据技术在煤质管理中的应用研究 系统延伸性与扩展性该系统以 和 为基础进行编写，适用于 之后所有的 版本，同时也兼容国产 软件。仅需将程序压缩包拷贝至新的电脑内并解压，系统便能即刻运行。此外，所有的数据和表单都依附于“数据库 ”文件，日常对其进行电脑和 盘多重备份便可保证数据不丢失，且程序的后台内预留多个数据接口，若将来某参数、某公式或信息编码方式发生改变，系统也能轻松地转换到新的情况。主菜单上的众多按钮还可覆盖日常生产过程中全部的数据文件管理操作，操作员可在一周内快速熟悉所有的操作要求和运行原理。在系统内，系统在重要时刻会有弹窗来提醒操作员完成任务。在文件夹系统内程序也附带了空白数据库和操作讲解来解释各个环节的要领。上述方法能保证系统在未来具有较强的更新能力和生命周期。结 语利用大数据技术分析，将企业各环节、各产品的大量数据纳入统一的数据库管理，从数据分析出发，对现有生产工艺、产品种类、产品质量的各流程提出合理化建议，在设备改造、质量管控过程中均可实现边改边控，快速、精细提供各类产品参数，达到有的放矢、节约成本、优质高效的生产目的，满足企业对优化生产工艺、稳定产品质量等的数据支撑，为企业的节能创效、改进工艺等提供技术数据支持，从而提高企业精益化管理水平。大数据技术在煤质管理中的成功应用，使企业在保证产品质量的前提下实现生产最优，从而保证企业的经济效益和社会效益。参考文献（）：路迈西 选煤厂技术管理 徐州：中国矿业大学出版社，：贾博，卢远梅，景雪晖，等 在煤质检测数据处理中的应用 计算机与应用化学，（）：，（）：李久明 信息化系统在能源企业生产运营中的作用分析煤炭加工与综合利用，（）：，（）：姜水军 智能化标准化煤质管理模式建设研究 洁净煤技术，（）：，（）：刘贵霞，刘铁林，赵 帅，等 基于大数据的煤质预先管理体系在枣矿集团的构建与实施 煤炭加工与综合利用，（）：饶华，杨勇，吴抒轶 人工智能技术在煤质无人化验系统 中 的 应 用 煤 炭 加 工 与 综 合 利 用，（）：，（）：李莎“互联网”时代煤矿大数据应用分析 中国战略新兴产业，（）：竺清筑，石彩祥 选煤厂煤质分析与技术检查 徐州：中国矿业大学出版社，：杨金和，陈文敏，段云龙 煤炭化验手册 北京：煤炭工业出版社，：李英华 煤质分析应用技术指南（第 版）北京：煤炭标准出版社，：全国煤炭标准化技术委员会，煤炭产品品种和等级划分：北京：中国标准出版社，：迈克尔亚历山大 中文版 高级 编程宝典 北京：清华大学出版社，：倪琳，白晓波，倪浩然，等 煤炭检测数据采集系统的开发及应用 煤质技术，（）：，（）：丹尼斯陈，数据分析 北京：人民邮电出版社，章靖，王绩浅析单一煤种及混煤中灰分与发热量的相关关系煤质技术，（）：，（）：方开泰，彭小令 现代基础统计学 北京：高等教育出版社，：