基于Hadoop的自动化设备监管系统设计.pdf

信息记录材料 年 月 第 卷第 期基于 的自动化设备监管系统设计石文昭（山西职业技术学院 山西 太原）【摘摘要要】自动化设备在工业应用中已经得到了大规模的普及，随之而来的设备安全问题也越来越多，为了能够及时发现和排查设备故障，本文设计了一个基于 的自动化设备监管系统，采用分布式文件存储系统（，）构建了大规模设备监测数据存储平台，通过分布式计算系统实现了规模数据的并行处理，有效提高了自动化设备监测系统的数据处理效率和系统可靠性。【关关键键词词】；自自动动化化设设备备；分分布布式式文文件件存存储储系系统统【中中图图分分类类号号】【文文献献标标识识码码】【文文章章编编号号】（）引言随着自动化设备在工业制造领域的规模化应用，关于设备的安全管理问题也越来越多，一旦设备出现故障未被及时发现，就可能造成难以挽回的损失，因此构建一个实时高效的设备监测系统，及时排查潜在的设备故障是十分必要的，同时考虑到工业级别自动化设备监测所存在的数据类型复杂、处理量级大、时延要求高等问题，系统的数据处理部分引入了 框架，采用分布式数据存储模式有效提高了系统的数据吞吐性能和运行可靠性。平台概述 平台是一个集合了分布式文件存储、数据并行处理等核心技术的高性能数据管理平台，具有高效、可靠、易扩展等技术优势。分布式文件存储系统分布式文件存储系统（，）是 平台的核心技术之一，通过构建分布式服务器集群实现高效的文件存储和管理，在保障数据处理性能的基础上有效降低了硬件存储设备的构建成本。系 统 将 服 务 器 节 点 划 分 为 一 个 主 节 点 和若干从节点、。当用户访问 系统时，会先向主节点 提交文件请求，主节点通过文件检索定位到数据存储地从节点，再由从节点 响应文件读写操作，如果同一文件备份在多个集群当中，则选择距离客户端最近的集群进行响应。如图 所示。图 系统逻辑架构作者简介：石文昭（），女，山西忻州，硕士，讲师，研究方向：控制科学与工程。也称为数据节点，与服务器集群的物理存储设备相映射，主要用于数据存储，可由大量成本低廉的服务器组建。系统存储数据是以文件为单位，将批量数据分割为文件块序列后分布存储在不同的 当中，需要具备的基础功能包括数据块的存储映射、客户端文件读写指令的响应、周期性向 上报信息等，向 上报的信息主要有 的心跳信息、本地文件块信息、文件缓存信息等。称为名字节点，用于管理和协调全局的，将分布存储在不同 的文件块序列通过名字空间进行地址的映射关联，最终以文件的形式面向用户提供信息检索和数据调度服务。除此之外，还需要具备如下功能：（）元数据的存储和维护，元数据是对文件属性的描信息记录材料 年 月 第 卷第 期述数据，用于辅助 对存储文件的属性管理。（）心跳信息的监听与预警，监听 的心跳信息，以判断其所管理的 是否在线和状态是否正常，并进行日志记录。（）副本参数配置，为了加强 系统的容错性和健壮性，可以通过副本参数配置，实现多个 上的文件副本备份，一旦某一 故障，即可从其他备份处获取数据。，又称为辅助名称节点，用于创建 元数据和日志检查点，并定时对其进行合并，合并后再将 的历史数据进行清空和更新，一旦 发 生 故 障，可 用 恢 复 上的数据记录。分布式计算系统（）是专用于 平台的分布式并行计算模型，通过软件编程实现作业任务的分片和并行计算，再将结果保存至 系统，实现软件架构与底层数据存储的解耦，大大简化了软件开发人员的编程难度。同样采用了主从式逻辑架构，主节点 负责作业分片和从节点的任务分配与调度；从节点 负责任务分片的具体运算和指令执行。的执行过程分为两个阶段：（）映射阶段（），对作业进行分片之后，以键值对的形式构建映射列表，再由不同的 对列表中元素进行相同操作的并行处理，并生成新的列表来记录作业分片的运算结果。（）归约阶段（），是将所有参与任务执行的 上的列表进行合并，也就是对各个从节点的结果进行简化归一，这一操作会由指定 来集中完成，相较于上一阶段并行程度较低。基于 的自动化设备监管系统设计基于 的自动化设备监管系统采用分层式架构设计，将系统划分为应用层、逻辑层、数据处理层和数据存储层，如图 所示。图 自动化设备监管系统架构应用层是系统面向前端用户提供综合服务的交互平台，该层通过标准接口接入了设备管理系统、传感器管理系统、其他数据管理系统 类功能服务模块。设备管理系统主要用于提供设备监测数据的读写服务；传感器管理系统是针对传感器设备的监测数据管理，由于自动化设备的监测数据采集主要是通过传感器，因此设备监管场景中需要部署大量的传感器，这些传感器一旦出现故障，也会对设备监测造成严重影响；其他数据管理系统主要用于提供系统辅助数据的服务功能，例如系统日志、用户信息等，这些数据信息只能由具有特定权限的用户访问，例如系统管理员。逻辑层是针对应用层部署服务的逻辑代码实现层，逻辑层与应用层之间采用 格式进行数据传输，具体的业务模型构建对于应用层是完全透明的。当应用层接收到用户请求后，下发至逻辑层，逻辑层对请求类型进行识别，并分发至对应的业务逻辑处理模块，在各个业务逻辑模块中再进一步判断事件类型，事件类型主要包括两种：流程控制、数据处理。如果事件类型为流程控制，仅局限于该层处理即可；如果事件类型为数据处理，再对数据处理类型做进一步判断，区分是否为实时数据处理事件，如果是实时数据处理事 件，则需要与数 据存储层中 的 数据库进行交互；如果是其他数据处理事件，则会通过数据处理层的 平台进行数据处理。数据处理层用于部署 框架，以实现大规模、非实时监测数据的分布式存储和并行处理，具体实现过程如图 所示。图 平台的数据处理过程 平台数据处理过程可以概括为 个部分：第一部分，将数据集上传至 分布式文件系统，主节点 对数据集进行同等大小的文件块分割，生成文件序列标识并封装至文件块，同时创建相应的元数据信息，建立目录列表和初始化数据副本数量，将数据块分发自从节点 进行存储和副本备份。由于自动化设备监测的方式有很多，因此上传的数据集多为非结构化数据，例如视频、音频、图像等。第二部分，创建 任务，从 处获取元数据信息，以确定待处理文件块的存储位置，同时为计算程序生成所需的配置文件，文件格式为。第三部分，通过、操作实现批量数据的并信息记录材料 年 月 第 卷第 期行处理。首先通过调用 创建一个任务调度主线程，对作业任务进行分片和分发，这个过程即为；其次接收到指令的 启动计算程序进行任务处理，同时周期性向 汇报心跳，在此阶段始终处于监听状态，通过 的心跳反馈判断 的工作状态以及任务完成情况；最后由特定的 对任务计算结果进行，将原始的映射列表与计算后的新列表进行聚合化简，并将最后的运算结果以 格式进行输出。数据存储层提供两种数据库接口，是应用最为广泛的一种关系型数据库，具有执行效率高、读写速度快等特点，为了满足系统实时性数据的访问需求，通常会将实时性数据先保存在 数据库，当数据规模超过阈值设定之后，再迁移至 平台进行存储；分布式存储系统（，）是基于 实现的数据库管理工具，根据列簇存储数据，可以有效提高数据的查询效率，减少数据读取量，用于实现非实时数据和 迁移数据的存储和管理。基于 的自动化设备监管系统的主要功能实现 文件数据的读取 文件数据的读取功能实现需要 个步骤：步骤一：由客户端实例化一个 对象，调用 方法启动文件操作。是 封装的类，封装了文件读取的方法以及通信的协议标准。步 骤 二：由 实 例 化 对 象 向 请求文件块读取的地址，会返回起始文件块的多个备份，并按照节点与客户端的通信距离进行排序。步骤三：返回一个输入流对象至 客 户 端，客 户 端 通 过 调 用 对 象 的 方 法 进 行 文 件 读 取，将从距离客户端最近的文件块备份节点开始读取数据，同时获取下一个文件块的节点地址，重复调用 方法就可以完成所有文件块节点的读取。步骤四：文件读取完成后，调用 对象的 方法关闭连接。该文件读取模式，由客户端实例化对象直接读取数据节点上的数据，可以有效减少 的工作负载，避免单点瓶颈问题。文件数据的写入 文件数据的写入功能实现步骤如下：步骤一：由客户端通过实例化 对象，调用 方法创建一个文件，并将文件名请求加入 的文件目录当中。步骤二：对新文件验证通过后，会创建一个新的 文 件 记 录，并 向 客 户 端 返 回 一 个 输 出 流 对 象，对象首先将写入分割成文件块加入传输队列，再由 方法向 请求 分配，并按照 参数设置创建文件副本，以此向 写入文件块。步骤三：被分配的 会按照存储文件块的序列形成管线，并封闭在同一管道当中，当所有 写入成功后，都会通过管道返回确认信息，则负责监听这些信息。步骤 四：完 成 文 件 写 入 后，仍 由 客 户 端 调 用 对象的 方法关闭连接。结语综上所述，为了满足自动化设备在工业应用中的安全管理需求，本研究设计了一个自动化设备监管系统，基于 框架，通过、等核心技术实现了大规模设备监测数据的分布式存储和并行处理，大大提高了系统的数据吞吐量和处理效率。【参考文献】秦黄，刘晓娟，李满，等 基于 容 器 的 多节 点 集群快速部署方案 现代信息科技，（）：张中杰，李飞，曲晓黎，等 基于 的河北行业气象服务大数 据 云 平 台 设 计 与 应 用 软 件，（）：郭东新，张伟，荆忠航 基于 的海量车辆小图片的存储与检索系统设计 现代计算机，（）：胡必波，彭平，李散散 与 的 过程原理 信息技术与信息化，（）：王林，姜萌 基于 并行处理的机电特种设备故障诊断系统设计 计算机测量与控制，（）：