电力电网中台架构的数据统一模型构建.pdf

信息技术 年第 期电力电网中台架构的数据统一模型构建刘思尧 吴宗后 赵中英 周 怡 彭嘉润(国网宁夏电力有限公司信息通信公司 银川)摘 要:针对传统电网数据分析平台计算效率低、数据误差大等问题提出了一种基于()平台的集成数据统一模型()该模型结合了故障数据预测的优化线性回归模型、皮尔逊相关系数提取的新数据融合以及基于二叉树优化的支持向量机的故障类型分类等技术提高了对电网故障数据的预测精度和分类精度 实验结果表明 框架处理电力电网数据具有较低的均方误差当测试样本数为 个时 平台的响应时间小于 秒体现出极佳的性能优势关键词:数据统一模型 电网故障数据 线性回归 平台 支持向量机中图分类号:文献标识码:文章编号:():./.作者简介:刘思尧()女硕士高级工程师研究方向为大数据应用方向 ():()().().()().:引 言随着电力技术及信息技术的飞速发展电力大数据时代已经到来传统的规划数据与图形分开管理的模式存在一定的局限性 为了满足电力企业安全、可靠、优质、高效运行的要求需要采用现代技术和管理工具对规划数据和图形进行管理加强对电网规划项目的精益化、精细化管理 随着电网规模的扩大如何高效处理海量数据、提高电网规划的效率是亟待解决的问题针对上述问题文献公开了基于 模型和 数据仓库储存技术的数据分析系统对电网设备故障数据进行了过程挖掘分析但 数据仓库储存技术的复杂读写过程会转换成 的计算过程降低了计算效率文献提出了一种基于云平台的 图形管理系统集成电网各种信息使图形能够满足不同的数据分析和规划要求然而该系统的数据挖掘模型对集成信息非常敏感在保证计算效率的同时很难满足数据分析精度的要求电力电网中台架构的数据统一模型构建 刘思尧 等 平台架构设计为了提高电力电网中台架构的电网数据处理性能本研究提出了一种基于()平台的集成数据统一模型以实现电网中台数据的快速接收、存储、分析和使用 平台架构如图 所示图 电网故障数据图谱分析平台通过设置若干个智能监测器实时处理多种类型的电网数据 首先通过温度、电流、电压等传感器采集电网数据信息这些传感器分布在不同区域提取各地台区中的电压、电流、负荷以及功率数据 之后通过有线通讯/无线通讯方式将数据传递到 平台中 平台结合 系统与 数据库并利用信息读写技术和数据统一模型对数据进行高效率的处理 处理后的数据通过远程数据传输端口传递到数据监控系统中心进而实现对底层数据的远程监控 最后得出的诊断结果通过数据可视化技术由决策人员来挖掘出隐藏信息 电网数据统一模型的构建在众多电力电网中台数据类型中存在大量的电网设备故障数据为了高效处理这些数据需要在 平台上搭建优质的算法模型 为此本研究构建了电网数据统一模型()处理电网故障数据的流程如图 所示如图 所示 框架包括故障数据预测和故障数据分类两大部分最后通过并行计算方式图 电网数据统一模型框架流程图实时处理电网故障数据 电网故障数据预测模型故障数据预测主要有两步首先从电子数据采集设备中提取包含故障数据的特征其次训练一个基本线性回归模型()并对训练后的模型进行优化 在特征提取的过程中采样监测设备的测量样本表示离散时间序列在固定时间间隔进行观测并形成离散值集 为了提高故障数据预测的效果通过归一化对时间序列进行预处理将非标准数据值替换为符合标准的值将不同尺度上测得的值调整为概念上通用的尺度 故障数据预测的时间序列模型如下:()()式中 是非线性函数表示加性噪声 时间序列模型的目标函数 根据历史故障数据的内容得出 、和 是一种建模标量因变量和一个或多个解释变量之间关系的方法在本研究中给定一组电网故障数据的训练数据()()从中估计预测值给定一个新的故障数据输入向量 ()是第 个实体的特征向量 关于线性电力电网中台架构的数据统一模型构建 刘思尧 等回归模型的形式如下:()式中 为时间序列参数在矩阵表示法中给定时的预测值为:()()式中()称为 的伪逆 假设 有预测值则电网故障数据预测平方误差 为:()本研究的优化目标是在基本线性回归模型的基础上进一步减小误差 首先给定一个正阈值如果第 个样本的预测误差小于则在初始值 上加一个正惩罚因子 相反如果预测误差大于 则初始值变为新的 否则保持 不变然后构造一个新的数据集 ()根据最小均方更新规则 参数 由以下公式计算得出:()()式中 为学习率参数()为电网故障数据预测函数 假设处理的是预测误差小于 的情况那么这个更新规则表示为:()()最终得出电网故障数据预测函数()为:()()()基于新的电网故障数据集 可以得到一个新的线性回归模型和新的参数 分析新模型与原模型第 个输入的预测差异函数()得出:()()()()考虑到建模前提是原始电网故障数据预测误差小于 学习率 和惩罚因子 均为正可以合理推断如果适当地选择阈值 和惩罚因子 获得的预测误差的绝对值可以远小于原始预测误差 同样对于预测误差大于 的情况也可以基于该策略减小预测误差 关于线性回归模型训练和优化的程序代码如算法 所示算法:训练优化线性回归:训练数据集 初始 模型 抽样比例最大迭代次数 :最优线性回归模型()()在归一化后的训练数据集 中利用传统的 分别训练现有数据集的各个特征得到初步的 模型其次利用 模型得到临时预测结果然后通过比较真实原始数据和人工设定的预测数据之间的均方误差提取相关的电网故障数据样本通过将新数据集 与原始数据集合并来更新训练数据集最后根据新形成的数据集对初始 模 型 进 行 更 新 得 到 优 化 的 模型.电网故障数据分类模型 框架的第二部分为电网故障数据分类模型由数据融合、数据清洗和构建分类模型三部分组成数据融合考虑到不同来源的电网故障数据的特征之间可能存在隐藏的关系在训练分类模型之前找出不同特征之间最相关的关系皮尔逊相关系数()是两个数据集 和 之间线性相关性的度量广泛用于模式识别、统计分析和图像处理领域 计算 的公式为:()()()()()电力电网中台架构的数据统一模型构建 刘思尧 等式中 是电网故障类型样本总数与 分别是数据集 和 中的第 个样本 与 分别是数据集 和 的平均值数据清洗应用上一部分描述的程序后将有新的数据源纳入故障诊断的计算中 因此数据集的维数和噪声会增加对故障模式识别的准确性会产生影响 为此 本研究采用了基于主成分分析()的数据清洗过程 值得注意的是当前几个分量达到较高的信噪比时噪声的比例效应较小 因此 可以将大部分信号集中到前几个主成分中而后几个主成分可能受噪声控制因此可以在没有很大损失的情况下进行处理 构建分类模型基于 构建分类模型程序代码如算法 算法:构建分类模型:用于训练的数据集:电网故障的分类模型()()():()()算法 给出了训练 模型的过程首先构建训练数据集将数据集划分为两个类集 和其次基于两个类集对传统的二值分类支持向量机进行训练最后如果 或 仍然包含多个类则将数据集递归地输入到训练函数中值得注意的是模型 有 分类器其具有二叉树结构如图 所示为了提高电网故障数据分析效率本研究采图 的结构示意图用分布式弹性数据集()实现并行计算 利用延迟加载的方式合并操作可以减少许多冗余数据增加计算效率 在迭代结束后 就会输送至 平台的 中加以保存通过 分布对多个数据进行计算也可以先将运算的中间过程保存起来以备下次计算使用 计算流程如图 所示图 计算流程图 实验与分析为了验证 平台能够精准且迅速分析出电网系统中的故障数据以变压器作为参照物进行测试实验经过某家电力电网公司的许可调取电力电网中台的所有数据 首先在实验室构建 平台架构如图 所示在电网系统中变压器的状态是通过诊断气体的含量来判定的本研究选取中国国家电网 主变压器的气体样本作为原始实验数据集该数据集包括氢气()、甲烷()、乙烯电力电网中台架构的数据统一模型构建 刘思尧 等图 平台软件示意图()、一氧化碳()、和二氧化碳()五种气体并分别被指定为主要样本参数、通过检测故障设备的气体含量可以估测出电网设备状态和故障实验数据集测试样本分布如表 所示表 测试样本分布编码序号设备状态总样本数正常低温过热中温过热高温过热局部放电低能放电总计上述油浸式变压器故障数据为在线监测或离线试验获得的准确数据数据与状态编码一一对应将这些实验数据转化成特征信号并应用于电网故障设备数据分析系统的 模型进行信号处理最终由后台决策人员进行控制干预变压器故障数据分析过程如图 所示.平台性能测试本研究对文献中的 平台与本文 平台的内部框架计算性能进行评估 在五台工作机器的集群中进行并行计算实验工作节点是虚拟机每个节点都有来自 和 内存的两个核心 集群的操作系统是 平台的版本是 平台是 版本仿真软件 是 版本图 变压器设备故障诊断流程对比两种平台在 电网故障测试样本数下的响应时间得出统计结果如表、图 所示表 两个系统平台处理耗时对比()样本数目/个 平台 平台 图 不同平台的响应时间对比从表 与图 中的实验结果可以看出当电网故障测试样本数高达 个时 平台的响应时间大于 秒而 平台的响应时间小于 秒响应时间在合理的范围内验证了本研究所采用的 平台的可靠性.模型性能测试为了评估 的性能需要对特定参数阈电力电网中台架构的数据统一模型构建 刘思尧 等值 和权重 两个参数进行合理的取值 首先要保持权重 不变并尝试优化参数 同理当保持阈值 不变并尝试优化参数 最终计算得出合理的参数设置为 将本文模型与传统计算模型 神经网络()和 进行对比实验均方误差()是电网故障数据预测误差平方的平均值即实际值和估计值之间的差异 以 号设备状态情况为例 计算如下:()()式中是指 号设备状态样本是电网故障数据的预测结果是 号设备状态情况的样本总数 在最大迭代次数 及学习率 、和 的情况下三种计算模型处理电网故障数据的 对比结果如表、图 所示表 不同模型处理后的 对比计算模型 图 三种计算模型的性能对比从表 与图 中的实验结果可以看出本研究所采用的 模型总体上优于其他两种传统算法模型主要原因是采用 模型提高了预测精度通过 将提取的新数据特征融合到训练数据集中并且利用 减少了新特征带来的影响同时保留重要的分类信息 模型优于传统 是因为电网故障类型分类模型是基于二叉树优化的支持向量机得出的可进一步提高分类性能 结束语本研究设计了一种新型的电网中台数据分析平台结合 与 技术实现了对电网故障数据的预测和故障类型的诊断采用 平台中的分布式计算框架将 系统与 数据库结合起来使用提高了大数据的处理能力并利用 对数据进行高效率的处理 通过实验分析验证了所提出的 框架对故障数据预测和故障诊断的效果虽然研究的 框架在电力变压器故障诊断方面有很好的应用但仍有改进的空间例如如何收集更多变压器的相关运行数据未来有待于进一步研究参 考 文 献:周杰.基于民用电子电气设备的电磁兼容测试系统设计与实现.成都:电子科技大学.徐建枫.智能配电网大数据应用技术与前景分析.电子元器件与信息技术():.孙保华夏栋.配用电统一模型中心的设计与应用.浙江电力():.张帝朱吉然唐海国等.湖南电网配电自动化运行管理.湖南电力():.():.肖胜.基于云计算的智能电网调度系统设计.电源技术():.王磊陈青高洪雨等.基于大数据挖掘技术的智能输变电设备故障追踪架构.电力系统自动化():.何春李琦吴让好等.基于故障传播的模块化 神经网络电路故障诊断.计算机应用():.朱晓岭梁东宗瑾等.配电网运行状态健康评估体系研究.广东电力():.代杰杰宋辉杨祎等.基于油中气体分析的变压器故障诊断 方法.电网技术():.(下转第 页)电力营销系统数据流循环冗余校验技术研究 郭佳迪 等码 本文所研究技术在安全阈值小于等于 的情况下能够具有较低平均比特差错率为保证在较少迭代次数时实现校验设定安全阈值为 由此确保电力营销系统数据传输时具有较低平均比特差错率降低系统发生误码几率 而且本文技术由于应用 神经网络在系统数据分类方面性能优于同类对比校验技术参 考 文 献:方正云杨捷杨泓等.基于时间序列建模的电力营销客户交易行为分析.沈阳工业大学学报():.张稳盛万兴杜松怀等.基于海量数据的配电网运行分析系统架构与技术实现.电力系统自动化():.左飞飞杜英森刘剑霏.基于递推法的 校验码并行改进算法.探测与控制学报():.陈容陈岚 .基于公式递推法的可变计算位宽的循环冗余校验设计与实现.电子与信息学报():.倪妍红楼向雄包建荣.改进的分段 辅助的删余 译码.电信科学():.朱正鹏朱旭锋李宾等.一种位宽可变的 校验算法及硬件实现.航天控制():.夏伟蒋建金傅林泰等.基于冗余编码系统的循环 冗余校验方法.城市轨道交通研究():.张永刘浩科陈天祯.基于分层校验的多标签数据流概念漂移检测.模式识别与人工智能():.孙昌爱郭新玲张翔宇等.一种基于数据流分析的冗余变异体识别方法.计算机学报():.邓永锦肖振华欧阳斌等.基于 语言 神经网络瓦里安 直线加速器 系统故障预测模型研究.中华放射肿瘤学杂志():.石惠娴孟祥真游煜成等.植物工厂地源热泵系统热负荷 神经网络预测及验证.农业工程学报():.邵俊鹏王伟高炳微.电液位置伺服系统的 神经网络辨识.控制工程():.倪渊李子峰张健.基于 神经网络的网络平台交易环境下数据资源价值评估研究.情报理论与实践():.王宏刚田洪迅李浩松等.考虑小样本统计的 神经网络配电系统可靠性预测方法.电力科学与技术学报():.孔德钱张新燕童涛等.基于差分进化算法与 神经网络的变压器故障诊断.电测与仪表():.(责任编辑:丁晓清)(上接第 页)刘建黄费荣崔纪国.基于 数据的变压器过热故障诊断.水电与新能源():.张镱议焦健汪可等.基于帝国殖民竞争算法优化支持向量机的电力变压器故障诊断模型.电力自动化设备():.冷喜武李平霍雪松等.智能电网监控运行大数据分析系统统一建模方法研究.电力大数据():.(责任编辑:丁晓清)