结合RBM的MLP神经网络输变电工程量评估方法.pdf

为了解决输变电工程中工程量合理性的智能评估问题，该文提出一种结合RBM(玻尔兹曼机)的MLP(多层感知机)神经网络模型.该模型通过学习可信历史数据中影响因素和工程量的关系，具备了从影响因素预测工程量的能力；再通过对真实值与预测值之间差异的判断，自动评估目标工程量的合理性为了能够让模型更好地从复杂的历史数据中学习，从而有效地提高MLP神经网络模型预测的精准度，文中引入玻尔兹曼机对历史数据进行无监督学习，提取可以表征原数据的新的抽象特征。仿真表明，该文方法能够有效推动输变电工程量的智能评估，解决目前专家人工评估中主观因素带来的问题.关键词：输变电工程量；玻尔兹曼机；多层感知机中图分类号：TM769;TP181S1 引 言文献标识码：A电力工程建设技术性强，投资规模大，施工难度高，是我国基础建设的重点建设项目输变电工程作为电力工程的重要组成部分，如何保证其建设质量是首要考虑的问题.在开设工程时，保证工程量的合理性是提高输变电工程建设质量重要方法，同时还可以缩短工期，间接影响工程造价的投资管理1-2.国内目前对于输变电工程量的工作大多以造价及招投标用途为基点进行研究2-7 在这些模型评估中，使用的方法诸如层次分析法，综合评价法，聚类分析法，主成分分析法等对工程及收稿日期：2 0 2 2-1 2-0 55修回日期：2 0 2 2-1 2-2 6基金项目：国网浙江省电力有限公司科技项目(52 1 1 JY20001V)文章编号：1 0 0 0-442 4(2 0 2 3)0 2-0 1 8 1-0 9182高校应用数学学报第38 卷第2 期各工程量进行评估，建立评价指标体系3-4项目的导向多以控制成本，规范招投标秩序为目标，对工程量的分析也始终离不开价格评估.输变电工程全寿命各阶段均涉及工程量的计算.输变电项目的工程量构成复杂，其计算方式主要是从二维图纸中提取相关工程量并计算，既依靠绘图的精准，又需要统计人员拥有丰富的工程经验在传统的手工算量方法中依赖人手工输入，数据二次利用率低，人为误差较多.在引入部分自动化过程的软件表格算法与自动化程度较高的造价软件算量方法中，计算机取代了手工计算，人工成本有所降低，提高了效率.相关的数据获取需要历史工程积累，数据的准确性也依赖于统计人员的专业性，因此多年来鲜有针对历史数据对各工程量进行评估的工作.对于不同的工程量评估对象，部分工程量可以直接通过工程规模进行判断，另一些简单工程量可以通过倍数法进行评估但大部分工程量评估对象涉及的影响因素众多，且存在相互关联的情况，需要结合专家逐一分析，工作专业性高，难度较大.对于依赖专家经验的评估方法，存在人的主观因素，对于不同的专家可能存在不同的判断，未能有给定的标准对工程量进行精细的量的评估.对于获取的工程量历史数据尚未有引入深度学习算法进行工程量合理性探究的工作，工程量之间隐含的大量相关联信息未被利用另一方面，在建立工程量评估模型时，各工程量影响维度较多，存在多重共线性，传统的统计学方法难以直接应用于关联工程量进行评估.通过专家经验挑选的影响因子未能对目标工程量的预测起到良好的效果.因此，对于工程量合理性的验证引入深度学习，结合神经网络方法的优越性，实现稳定，有效的输变电工程量评估.本文提出使用结合受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)的MLP(Multi-layer perceptron)神经网络模型，利用历史数据进行特征学习，拟合输变电工程量的合理阈值.相比单纯的MLP方法，结合受限玻尔兹曼机进行特征预训练可以有效提高模型的精度.将模型方法引入输变电工程量的评估，改变以往依靠专家经验确定工程量的模式，使在项目建设初期，就能以科学有效的评估方法对输变电工程的工程量进行评估，对电网企业保障投资合理性，控制投资都具有相当积极的意义.s2结合RBM的MLP神经网络本节介绍结合RBM的MLP神经网络模型，及如何将模型应用于输变电工程量合理性评估.2.1受限玻尔兹曼机受限玻尔兹曼机是一种可以通过输入数据集学习概率分布的随机生成神经网络，可使用监督学习或无监督学习方法进行训练其在分类，特征学习，降维，协同过滤等方面皆得到了应用 8-1 5,张波等：结合RBM的MLP神经网络输变电工程量评估方法183隐藏层hjWij可见层玻尔兹曼机网络结构示意图图1标准的受限玻尔兹曼机的网络结构如图1 所示，其由可见层单元和隐层组成，隐层单元与可见层单元间全连接，层内均不存在连接，因此为二分图记可见层向量为ui，其偏置系数为i；隐藏单元为hj，其偏置系数为bj.则其能量函数定义如式(1)，其中W=（w i i)为权重矩阵，wi,为可见层单元u;到隐藏层单元h,间边的权重，参数Q=W,ai,bj.Ee(u,h)=-aivi-Zbjhj-Zhiwi,jvi,则状态(u,h)的联合概率分布为Pe(u,h)训练玻尔兹曼机的目标即最大化似然函数如式(3)，使其学习得到参数可拟合给定的训练集数据.Le,s=II Pe(u(t),=1*=arg max Lo,s.受限玻尔兹曼机的学习算法可以采用持续对比散度(Persistent Contrastive Divergence,PCD)算法1 6，同时在训练时的参数设置需要一定的经验，否则无法正确建模真正的数据分布1 0 (1)i1expE(u,h)Z(0)T(2)(3)2.2以受限玻尔兹曼机作为前置训练的MLP网络模型MLP神经网络结构，即多层感知机，其与受限玻尔兹曼机类似，由输入层，隐藏层和输出层组成其中隐藏层可以扩展为多层，每一层都有一个非线性激活函数，来保证网络可以拟合非线性函数若将MLP网络每一层的传播以函数表示，则对于一个有w层，输入为c的MLP网络，其完整的链路可以用函数f(a)=于()(2)(1)()来表达1 7.MLP具有强大的计算能力，通过调整隐藏层的层数，给定适当的权重系数，并赋予合适的隐藏单元数，MLP网络可以表示任意有限维空间的函数映射关系1 8-1 9。MLP网络结构如下图2.184高校应用数学学报第38 卷第2 期隐藏层输入层输出层MLP网络结构示意图图2MLP网络虽对函数拟合具有良好的效果，有着广泛的应用，但当整体的数据维度较高时，在实际应用中单纯使用MLP网络得到的模型精度并不高，因此在对模型学习时需要着重考虑对数据维度的处理一种思路是使用皮尔逊相关性分析等方法对原特征维度进行筛选从而降维，另一种思路是对整体特征进行处理，抽象出特征间的隐含表示用新特征代替原数据.本文采用第二种思路，对特征整体入手，进行特征提取，考虑到受限玻尔兹曼机与MLP网络结构的相似性，采用受限玻尔兹曼机对数据做特征提取.对于引入受限玻尔兹曼机的MLP网络模型，该问题可以简化为以下模型：受限玻尔兹曼机：W,将有k维特征的真实观测数据ER从样本空间2 映射到可测空间W的一个新特征vERt，t 为隐藏层单元个数.该新特征通过MLP网络F：WR得到预测的工程量对应合理阈值从而得到山：R实现从样本数据到目标工程量合理值的函数映射（通过最大化式(3)中的似然函数学习得到的网络参数0*，F则通过最小化损失函数训练得到模型参数，(a)df F(S(a).2.3输变电工程量分析及模型应用对于输变电工程量合理性的评估，部分简单工程量可依据比对其初设文本，概算书和GIM(Grid InformationMethod，电网信息模型)，当三者大致相同时，判定工程量数据正常.玻尔兹曼机-多层感知机模型主要用于关联工程量合理性的判定，这些工程量与其他工程量之间存在耦合关系，因此可利用深度学习方法，训练出可以拟合不同工程量数值下目标工程量应在的合理范围.记历史数据集为Dnxk，共n条数据项，每个数据项维度为k，其中一条数据项记为X；=(,，,),i=1,nh 维特征记为=s(1),s(2),s(n),数据a,对应第条数据项在()特征的值，s(G）=（,i，z)T 其中各目标工程量存在于k维特征中，此外特征中还包含各类技术类条件数据诸如风速，地形占比等当以工程量()为目标时，输入的特征为=(s(1),s(1),(+1),s().在拟合工程量s()的合理阈值时，先使用受限玻尔兹曼机对输入的各维特征数据进行学(4)张波等：结合RBM的MLP神经网络输变电工程量评估方法185习，拟合出可以表征原数据特征的模型。拟合生成新的数据特征为=（c(1),c(2),，(t)，即通过受限波尔兹曼机得到一个函数f：Rk Rt 可以将原本k维特征向量映射到t维特征空间，使=f()特征预训练阶段为无监督学习，采用持续对比散度算法进行迭代计算得到模型参数.将由新的特征空间向量组成的数据集输入MLP神经网络，调整网络层数和隐藏层单元数量使模型可以达到较好的拟合效果，网络的输出为拟合得到的工程量合理值。通过MLP网络，得到函数g:RtR，将t维特征输入映射为对应的工程量值，记(）=g()为预测结果.拟合通过使用历史数据学习得到模型，对于新的工程数据，以同样的方式进行数据处理后输入模型，得到输出预测的工程量值，将两者进行对比。给定误差e，当误差在一定范围内，即(）一()|时，可认定该工程量数据为合理图3展示了整体模型结构示意图.玻尔兹曼机MLP神经网络输出信原特征实验以输变电线路中的架空线路子工程中两个比较重要的关联工程量为例，即以土石方量(尖峰类)和基础混凝土为目标工程量进行实验验证.并将模型在不同参数下的结果和不使用受限波尔兹曼机做特征预训练的结果分别进行了对比实验数据为2 0 1 6-2 0 2 1 年的电网历史数据，实验假定数据中出现的工程量数据皆为合理的工程量数据.数据将划分为训练集与测试集，训练集数据用来训练模型参数，测试集数据来仿真对新数据的工程量进行评估.3.1数据预处理在将数据输入模型前首先要将数据进行预处理。预处理的内容包括数据清洗及归一化首先对数据中的缺失值进行处理对目标值缺失的数据项进行剔除.考虑到标准的受限玻尔兹曼机模型原本就是二值模型(即值为0 或者1)，结合实际数据中绝大多数的空缺项为实际工程中不存在或不需统计的项，这里统一将其他特征中的空缺值填0.接下来对数值型特征和非数值型特征分开进行归一化处理数据中绝大多数的特征为数值型特征归一化可以避免由于各维数据新特征特征提取结合玻尔兹曼机的MLP神经网络模型图33实验工程量合理阔值拟合186高校应用数学学报第38 卷第2 期数量级不同导致学习到的模型权重参数产生偏差，同时因为采用受限玻尔兹曼机拟合数据的特征分布，输入的数据应尽量是二值型，或在0,1 区间内分布.对数值型特征向量s(p）R，归一化公式如式(4).（p)s(p)E(p)Si其中s(P)为该特征第条数据项的值，(p)为该特征向量各项的平均值，g()则为各项的标准差.归一化后各值在0,1 区间内.对于非数值型特征，采用独热编码(one-hot vector)进行处理.例如对于有n条数据项的特征向量s(）ER，若其对应有3种状态，则每种状态分别用0 0 1，0 1 0，1 0 0 来表示，即每种状态用单独的一位来表示，且在任意状态下只有其中的一位有效若特征有r种状态，则独热编码后该特征会拓展r维，归一化后有n条数据项的特征s(aRnxr本例中，非数值型特征只有2 类，为架空线路型式(对应数据为常规型，紧凑型，大跨型等)与导线类型(对应数据为铝合金芯导线，钢芯铝绞线，特高强度钢芯铝合金绞线等)，数值维度诸如电压数，电缆长度，塔杆塔基数等共计7 2 类将处理好的数值型特征与非数值型合并，以8：2 的比例将原始数据划分成训练集和测试集.在本例中，原始数据共有7 9 5项数据项，目标工程量为土石方量(尖峰类)和基础混凝土的原始特征维度均为8 0.经数据预处理后，两类目标工程量对应的输入数据维度均为7 9 59 6，划分的训练集数据有6 2 6 项，测试集数据有1 57 项(5)0(p)n3.2评价指标与模型参数本文主要使用平均绝对误差(MeanAbsoluteError，M A E)来做判断记真实值为y，预测值为9，则MAE的计算公式为(6)n=1显然，平均绝对误差越小模型的精度越高在实际应用中该值反应了真实值与预测合理值的误差大小此外还可以使用均方误差(MeanSquaredError，M SE)来计算，MSE相比MAE可以进一步放大极端值的误差情况，(7)n1由于受限玻尔兹曼机所采用的学习算法与MLP网络的学习算法完全不同，所以两者的参数要分别考虑.分别对MLP网络的结构等各类参数进行了实验.这里选了4种网络结构进行对比：1.隐藏层2 层，隐藏单元数分别为51 2，1 2 8；2.隐藏层3层，隐藏单元个数依次为1 0 2 4，51 2，1 2 8；3.隐藏层3层，隐藏单元分别为1 0 2 4，1 0 2 4，51 2；4.隐藏层3层，隐藏单元分别为1 0 2 4，51 2，51 2.各网络层的激活函数均为Relu函数，学习率为0.0 0 0 1，采用Adam算法对权重进行优化.这里通过多次实验来确定学习率数量级的选择，亦可在实际应用时针对网络进行微调.对于受限玻尔兹曼机(RBM)，这里以土石方量(尖峰类)为例对隐藏层单元个数对结果的影响做了实验图4为采用网络结构4，RBM迭代1 0 次，学习率0.1 时调整隐藏层单元个数模型的训练精度结果.MAE:1MSE=ly-9l.n(y-9)2.张波等：结合RBM的MLP神经网络输变电工程量评估方法1870.450.400.300.250.200RBM隐藏层单元数与结果对比图4对于RBM学习率的选取笔者同样进行了实验，以基面土石方量的评估为例，选取隐藏层网络结构为(1 2 8,51 2)的MLP网络，RBM隐藏层单元为1 0 时，结果如表1 所示.表1 基面土石方量中RBM学习率选取对结果影响的对比序号RBM学习率10.120.0130.001笔者还对其他网络结构进行了类似的控制变量对比实验，在这些实验中，学习率大小与隐藏单元个数对实验结果的影响均无明显规律，参数的选择部分依赖于经验。对于迭代次数，通常来讲迭代次数越多网络精度越高但训练成本越大.为方便进行横向对比，使网络在可以达到较好的预测结果的同时更具泛化性，最终选定以下参数设置使之在交又验证下可以得到最好结果：隐藏层单元数为1 0，学习率为0.0 0 1，最大迭代次数为1 0 0 0(可提前停止迭代).由于受限玻尔兹曼机的输出直接对应于MLP网络的输入，因此对于MLP网络此时输入的特征数为1 03.3结果表2 和表3分别展示了以基础混凝土和基面土石方量为目标的模型在不同网络结构下对测试集数据预测的结果(均四舍五入至小数点后三位).在实验假设中使用的所有历史数据都判定为合理，即测试集数据工程量均为合理工程量，因此仿真结果只需直接对比两者的MAE值，该值越小说明模型预测越精准.MLP隐藏层结构RBM-MLP MAE(512,128)0.470(1024,512,128)0.492(1024,1024,512)0.520(1024,512,512)0.45025表2 基础混凝土中RBM-MLP与纯MLP结果对比MLPMAERBM-MLP MSE1.1621.3861.1891.3871.1701.3941.2031.3895075100125150175200RBM隐藏层单元数MAE0.3590.2440.445MSE0.4860.7841.290MLP MSE1.5491.4911.5721.511188高校应用数学学报第38 卷第2 期表3基面土石方量中RBM-MLP与纯MLP结果对比MLP隐藏层结构RBM-MLPMAEMLPMAERBM-MLPMSE(512,128)0.401(1024,512,128)0.506(1024,1024,512)0.481(1024,512,512)0.407结果显示，使用了受限玻尔兹曼机做模型特征预训练的模型精度明显优于单纯使用MLP网络模型进行训练，使误差减少了近一半.对于其他关联工程量进行评估，得到类似的结果.在实际的应用中，相对误差在2 0%可以被认定为合理工程量，对于基础混凝土和基面土石方量，其数量级依工程量规模大小普遍在百至万之间，因此换算成结果的绝对误差在2 0-2 0 0 0 之间，对于网络预测结果0.5的绝对误差已经是精度非常高的结果.同时，实验还表明对于使用不同结构的MLP网络对于结果的影响并不明显，只需根据具体的数据与网络微调参数即可.实际使用时可以针对目标工程量效果选择最优的网络，本文针对输变电工程中工程量的合理性判别提出了结合受限玻尔兹曼机的MLP神经网络模型，通过引入玻尔兹曼机对数据高维特征进行学习，有效地提高了MLP神经网络预测结果的精度.通过对MLP网络进行拟合得到各工程量合理值的预测与真实数据值进行比对，实现工程量智能精准评估未来的工作可考虑对模型的泛化性做进一步的研究.MLPMSE1.1290.4901.2720.4971.3190.4781.1860.5044结语1.3771.2871.4331.485参考文献：12345 678 910 张艳霞，基于受限玻尔兹曼机的深度学习模型及其应用D.成都：电子科技大学，2 0 1 6.11 何洁月，马贝利用社交关系的实值条件受限玻尔兹曼机协同过滤推荐算法.计算机学报，2016,39(1):183-195.12 Hinton G E,Osindero S,Teh Y W.A fast learning algorithm for deep belief netsJJ.NeuralComputation,2006,18(7):1527-1554.廖晓红，曾灿，输变电项目工程量管理初探J.湖北电力，2 0 1 0,34(S1)：7 9-8 0+8 8.蒙晗。输变电工程项目成本管理与控制研究D.天津：天津工业大学，2 0 2 0.魏学军.输变电工程招标中评标指标体系建立及应用研究D.北京：华北电力大学，2 0 1 4.张倩，陈光冲，郑磊。基于历史中标数据的投标价合理性识别模型研究.工程管理学报，2 0 1 8,32(1):87-92.卢艳超.国内外输变电工程造价管理模式对比研究J.工程经济，2 0 1 7,2 7(4)：5-7.么远.基于BIM的变电工程造价快速估算方法研究D.重庆：重庆大学，2 0 1 6.刘纲，郭莉，杨剑，等。基于BIM的智能化算量-以输变电土建工程为例J.土木工程与管理学报，2019,36(4):140-147+184.罗恒.基于协同过滤视角的受限玻尔兹曼机研究D上海：上海交通大学，2 0 1 1.张健，丁世飞，张楠，等受限玻尔兹曼机研究综述J.软件学报，2 0 1 9,30(7)：2 0 7 3-2 0 9 0.张波等：结合RBM的MLP神经网络输变电工程量评估方法189evaluation using MLP neuralnetwork with RBMChina;13 Goodfellow I J,Courville A,Bengio Y.Spike-and-Slab sparse coding for unsupervised featurediscoveryZ.https:/doi.org/10.48550/arXiv.1201.3382.14 Chen C L P,Zhang Chunyang,Chen Long,et al.Fuzzy restricted Boltzmann machine forthe enhancement of deep learningJ.Fuzzy Systems IEEE Transactions on Fuzzy Systems,2015,23(6):2163-2173.15Kuleshov V,Ermon S.Neural variational inference and learning in undirected graphicalmodelsA,In:Advances in Neural Information Processing SystemsC.2017.16 Tieleman Tijmen.Training Restricted Boltzmann Machines using Approximations to theLikelihood GradientA,International Conference on Machine Learning.ACMC.2008,1064-1071.17Goodfellow Ian，Be n g i o Y o s h u a.深度学习(Deep Learning)M.北京：人民邮电出版社，2 0 1 7.18 Hornik K,Stinchcombe M B,White H.Multilayer feedforward networks are universal ap-proximatorsJ.Neural Networks,1989,2:359-366.19Csaji B C.Approximation with Artificial Neural NetworksZ,2001.https:/ method for power transmission and transformation quantitiesZHANG Bo,HUANG Jiang-qian,JIANG Ni-chang”,WANG Zhi-yong?(1.Economic Research Institute of State Grid Zhejiang Electric Power Company,Hangzhou 310000,2.School of Software Technology,Zhejiang University,Hangzhou 310000,China;3.State Grid Zhejiang Electric Power Company,Hangzhou 310000,China)Abstract:In order to solve the problem of automatic assessment in evaluating quantities inpower transmission and transformation projects,this paper presents a model that combines RestrictedBoltzmann Machine with MLP(multi-layer perceptron)neural network.By learning the relationshipbetween infuencing factors and engineering quantities in credible historical data,the model has theability to predict engineering quantities from infuencing factors;and then automatically evaluatesthe rationality of target engineering quantities by judging the difference between the actual value andthe predicted value.Aiming to learn a better model from complex historical data,thereby effectivelyimproving the prediction accuracy of the MLP neural network model,this paper uses Boltzmannmachine to perform unsupervised learning on the historical data and extracts new abstract features fromoriginal data.Simulation results show that the method can effectively carry out power transmissionand transformation project evaluations,avoiding the subjective factors of expert manual evaluation.Keywords:quantities of power transmission and transformation projects;RBM(Restricted Boltz-mann Machine);MLP(multi-layer perceptron)MR Subject Classification:68U99