基于Transformer模型的电力隧道开挖工法预测研究.pdf

第41卷第8 期2023年8 月文章编号：10 0 9-7 7 6 7（2 0 2 3)0 8-0 2 53-0 7市放技术Journal of Municipal TechnologyVol.41,No.8Aug.2023D0I:10.19922/j.1009-7767.2023.08.253基于 Transformer工法预测研究模型的电力隧道开挖陈莉颖，朱颖杰*(北方工业大学土木工程学院，北京10 0 144)摘要：在电力资源供应不足与绿色城市建设的双重影响下，电力隧道已经成为城镇化建设的必要选择，而根据已有工程条件确定电力隧道开挖工法更是施工稳定与取得经济效益的关键。以我国多个省份提供的电力隧道开挖工法应用情况为基础构建了数据集，应用Transformer模型对数据集之间的因果序列关系进行了学习与预测研究。研究结果表明，与传统机器学习模型相比，Transformer模型做到了不定项预测，同时在电力隧道开挖工法的最优项预测方面也取得了较好的结果，其准确率、精确率、召回率和F1值分别为98.2 5%、98.53%、98.45%和98.47%。Transformer模型在北京市某些已有工程实例中也得到了进一步的验证，具有极大的发展潜力。相关结论可为类似研究提供参考。关键词：电力隧道；Transformer模型；机器学习模型；开挖工法预测TransformerModelChen Liying,Zhu Yingjie*中图分类号：TU74Prediction Research on Excavation Method for Power Tunnel by(School of Architecture and Construction,North China University of Technology,Beijing 100144,China)Abstract:Under the influence of insufficient supply of power resources and green city construction,a power tunnelhas become a necessary choice for urban construction.That determining the excavation method for a power tunnel bythe existing engineering conditions is the key to construction stability and economic benefits.Based on the applica-tion of power tunnel excavation methods of several provinces in China,a data set is constructed.The causality se-quence relationship between data sets are studied and predicted by the Transformer model.The research results showthat compared with the traditional machine learning model,the Transformer model can achieve uncertain term pre-diction.Better results in the optimal term prediction is obtained for power tunnel excavation construction method,with the accuracy,precision,recall rate,and F1 values of 98.25%,98.53%,98.45%,and 98.47%respectively.Being further verified in some existing projects in Beijing,the Transformer model has great development potential.The relevant conclusions can provide a reference for similar research.Key words:power tunnel;Transformer model;machine learning model;prediction of excavation method文献标志码：A随着我国新型城镇化进程高质量深化发展新篇章的开启，在充分带动人口经济高速增长的同时，收稿日期：2 0 2 3-0 3-2 7作者简介：陈莉颖，女，在读硕士研究生，主要研究方向为土木工程与智能建造。通讯作者：朱颖杰，女，讲师，博士，主要从事土木工程与智能建造方面的研究工作。引文格式：陈莉颖，朱颖杰.基于Transformer模型的电力隧道开挖工法预测研究J.市政技术，2 0 2 3，41（8）：2 53-2 59.（CHENLY，ZH U YJ.Prediction research on excavation method for power tunnel by transformer modelJ.Journal of municipal technology,2023,41(8):253-259.)也导致城市电力负荷增长速度过快与电力资源供应不足的矛盾更加突出。为解决该问题并满足绿254色城市建设发展的要求，电力隧道已经成为城镇化建设的必要选择，而合理的电力隧道施工工法不仅能够保证施工质量，还能极大地降低施工成本、缩短工期，因此建立一个能够精准预测电力隧道开挖工法的模型至关重要。国内学者对电力隧道开挖工法的确定进行了相关研究2-7。目前，我国仍没有关于电力隧道开挖工法选择的明确规定，由于需要考虑地质条件、水文条件、不良土质、隧道所在地层、造价、工期等较多因素，因此绝大多数设计人员采用层次分析法（AHP法)8)选择电力隧道开挖工法。但AHP法的客观性较高，受限于标度专家的工作和判断能力，必然会导致整个评价过程复杂性增加且周期变长，同时AHP法中特征值和特征向量的精确求法也增加了计算过程的复杂性。因此,传统预测方法存在一定的主观性和局限性。得益于人工智能的崛起与计算机硬件的更新换代,Transformer模型凭借较强的迁移学习能力从最初的自然语言处理9领域逐步向其他领域拓展，尤其是在时间序列10、计算机视觉1、音频处理12 等领域取得了令人瞩目的重要成果。与传统的机器学习模型相比，Transformer模型能够通过自注意力机制学习数据序列之间的因果关系且具备记忆能力。同时，Transformer模型比RNN等模型具有更强的并行计算能力。考虑到Transformer模型常用于处理序列到序列的问题，通过将电力隧道开挖工法选择与预测的问题转化为序列到序列的问题,再利用Transformer模型学习输入特征之间的因果序列关系对输出预测进行排序，以实现推荐最优电力隧道开挖工法的目的。鉴于此，以我国多个省份提供的电力隧道开挖工法应用情况为基础构建数据集，并建立训练模型，与其他传统的机器学习算法模型相比,Transformer模型能够实现不定项选择，且其首选方案推荐准确率高达98.2 5%，同时Transformer模型在北京市某些工程案例中已得到进一步的验证，可对电力隧道开挖工法的预测提供有效参考。1研究方法1.1Transformer模型架构Transformer模型9 具有较好的泛化能力和迁移学习能力,因此被广泛应用于神经语言程序学(NLP)、Journal of Municipal Technology第41卷计算机视觉和强化学习等领域,其核心在于以自注意力机制为依托，构建出Encoder和Decoder2个关键部分，可实现直接建模全局信息与并行计算的优势互补，大大提高了模型的学习能力、泛化能力和计算效率。同时,Transformer模型利用自注意力机制对序列输人中各位置之间的关系进行建模，避免了梯度爆炸和梯度消失的现象，从而有效地提升了其训练和推理的准确性。Transformer模型架构如图1所示。残差连接和层标准化Nx前馈神经网络Nx残差连接和层标准化多头注意力机制位置编码输人嵌人输人图1Transformer模型架构图Fig.1 Transformer model architecture diagram1.2Transformer模型输入Transformer模型通过词嵌人算法加上位置编码将输人数据的位置信息准确提供给模型，实现模型对全局信息的学习。词嵌人算法将输人文本中的每个词汇转化为相应的词向量，并将其映射到1组实数空间。同时，利用位置编码将输入中各词汇位置信息传人Transformer模型进行学习。位置编码(PE)的维度与词向量维度一致,可通过训练或计算公式(1)获得。PE(as,2)=sin(pos/10002id),(1)式中:pos为当前词汇在输人中的位置;d为输入序输出Softmax回归线性化残差连接和层标准化前馈神经网络残差连接和层标准化多头注意力机制残差连接和层标准化掩码多头注意力机制位置编码输出嵌入上一解码的输出（右移一位）第8 期列的词向量维度；i为某词向量维度。1.3自自注意力机制介绍1.3.1自注意力机制自注意力机制是对输入序列中的每个词向量创建Q(Query）、K(K e y）、V(Va l u e)3个向量,并以计算该词的Q向量与所有词的K向量的点积所得到的对应权重作为支撑，使Transformer模型能学习到每个词汇相对于输人序列中其他词汇的注意力分数。自注意力机制计算公式如下：Arerio(.,)=sofimax(OVdk式中：dk为K向量的维度。1.3.2多头注意力机制为完善自注意力机制层并防止在训练过程中出现过拟合现象，增加多头自注意力机制以拓展关注不同空间特征的能力，其关键在于通过h个不同的线性变换对Q、K、V 向量进行映射,之后拼接不同的自注意力机制层输出结果，最后利用一次线性变换使Transformer模型学习到更丰富的信息，并有效提升模型预测精度。多头注意力机制计算公式如下：MultiHead(Q,K,V)=Concat(headi,.-,headh)W;(3)head;=Attention(QW,KWk,VW)。(4)式中：h为注意力头的个数；W为附加权重矩阵；W%、WK、W Y分别为第i个Q、K、V的权重矩阵。1.3.3残差连接和层标准化残差连接即输人与输入的非线性变化的连接，其目的在于防止梯度消失。层标准化是对层内所有神经元进行标准化处理，使同层的所有隐藏单元共享均值与方差，不仅可以加快收敛，还可以使各隐藏层传递更为稳定。残差连接和层标准化计算公式如下：LayerNorm(X+MultiHeadAttention(X);(5)LayerNorm(X+FeedForward(X)。(6)式中：X为MultiHeadAtention或FeedForward的输人;MultiHeadAttention(X)和FeedForward(X)为输出。1.3.4前馈神经网络前馈神经网络主要由2 个全连接层组成,第1层的激活函数为ReLU,第2 层不使用激活函数,其目的是通过线性变换与激活函数的处理将当前词向量转换为另一种词向量，使Transformer模型可以提取到更深层次的信息。前馈神经网络计算公式如下：FFN(x)=max(0,xZ)+b)Zz+b2 0(7)陈莉颖等：基于Transformer模型的电力隧道开挖工法预测研究b2为线性变换的偏置向量。1.3.5掩码Transformer模型中的Encoder结构多头自注意力机制的掩码用于屏蔽无效填充字符P,而Decoder结构的掩码可屏蔽无效填充字符P和某些“未来”信息（即在当前时间步之后（包括当前时间步)的信息），通过Masked操作可以防止解码器在对一个元素进行输出时提前识别到后续的元素。1.3.6Encoder-DecoderV。(2)255式中：x为输人;Z,和Z,为线性变换的参数矩阵;b,和Transformer模型以Encoder-Decoder架构为支撑,Encoder结构和Decoder结构均由N个编码器协同工作组成1个大的编码器,Encoder结构可以将输人编码转化成机器容易学习的向量,Decoder结构可以将模型学习的向量转化为输出编码。1.4Transformer模型输出Transformer模型的输出部分包含线性化与Softmax回归两部分，线性化将Decoder结构输出的向量映射到1个更长的向量，该向量中的每个数都代表1个词汇的分数，Softmax回归则是将这些分数转化为对应词典中词汇的概率，最后选择概率最高的词汇作为当前的输出。2模型建立与分析2.1整体流程模型建立与分析流程如图2 所示。2.2模型输入与输出特征确定通过整理陕西、天津、安徽、河北等省市提供的电力隧道开挖工法选择情况，得到各影响因素占比如图3所示。以上述数据为基础构建数据集，同时对相关领域的专家进行调研以保障数据的准确性与可靠性。笔者共整理出8 55条数据，其中8 0%用于训练、2 0%用于测试，且每条数据都给出了明开、暗挖、顶管和盾构4种工法按照优先级排序的组合，以该组合作为模型的初步输出结果。通过Transformer模型对训练集数据之间的因果序列关系进行学习再对测试集进行测试，首先输出根据优先级排序的4种推荐工法序列，之后提取出最优选项即组合首选项作为最终输出结果。2.3数据预处理由于Transformer模型无法直接对输人的文本256Journal of Municipal Technology第41卷明开暗挖顶管盾构训练集原始样本集样本数据样本数据样本数据样本数据训练预测原始样本集地质条件周围有无重要明开、暗特征提取水文条件不良土质断面尺寸范围4种工法按照优先隧道所在地层级排序的曲线半径组合特征目标决策树随机森林KNNXCBoostBP神经网络Transformer算法模型特征1特征1构筑物挖、顶管、盾构固定的工法组合输出测试集预测目标预测目标预测目标按照优先级排序的提取最优项开挖工法序列输出预测最优项预测最优项特征7目标特征7目标数据预处理特征1特征1特征1特征1评价测试集最优项预测最优项评价训练特征7目标测试集特征7目标特征7目标特征7目标准确率精确率召回率F1值预测对比分析图2 模型建立与分析流程图Fig.2 Flow chart of establishing and analysis of the model39.24%地层条件图3电力隧道开挖工法选择影响因素占比示意图Fig.3 The proportion of influencing factors in selecting the powertunnel excavation method信息进行学习，因此需要将输人的文本信息转化为由若干个不同的专业术语构成的集合，以便模型可以更好地理解结构化信息13。笔者选取了2 7 个特征与4个目标值,其中编号0 4代表地质条件的选项，510 代表水文条件的选项，1118 代表不良土质的选项，192 1代表断面尺寸范围的选项,2 2、2 325.09%20.40%线路条件隧道周围环境用于描述周围有无重要构筑物,2 4、2 5用于描述曲线半径，隧道所在地层主要为复合地层、软土和填7.27%6.67%造工价期1.33%特殊项目土，其中软土和填土2 个词汇信息已在不良土质的选项中出现，并进行了相应的转化处理，因此仅将编号2 6 代表复合地层，最终以编号2 6、11、12 代表隧道所在地层的选项。模型选取的特征信息见表1。目标值为明开、暗挖、顶管与盾构4种工法按照优先级的排序组合。考虑到由于原始数据输出序列长度不一致而导致机器模型无法直接将其组成批处理(batch)的问题，利用字母P作为填充符号将所有的输出文本填充至序列列表中的最大长度。通过Transformer模型学习数据间的因果序列关系，最终实现对电力隧道开挖工法的不定向预测。第8 期Tab.1 Selected feature information of the model编号特征0冲洪积地区1基岩地区2软土地区3膨胀土地区124黄土地区5潜水6孔隙水7裂隙水8上层滞水陈莉颖等：基于Transformer模型的电力隧道开挖工法预测研究表1模型选取的特征信息编号特征9承压水10岩溶水11软土填土13黏性土14岩土15砂性土16湿陷性黄土2517混合土2572.4模型超参数与评价指标在训练该模型时使用交叉熵损失函数(Cross编号特征18膨胀土193m2034m214m22有23无24300m300m26复合地层Transformer模型Entropy Loss）,同时设置其在计算时忽略所有的填充符号P。模型超参数设置如图4所示。采用准确率（Accuary）、精确率（Precision）、召回率(Recall）、F1值作为模型的评价指标，同时引人混淆矩阵的相关概念,其中TP为真正例,TN为真反例，FP为假正例,FV为假反例，具体计算公式见表2。2.5村模型预测结果对比分析张小颖等14采用决策树、随机森林、XGBoost、Batch超参数_sizelearning_rated_modeld_fd_k/dvn_layern_headsdropoutepoch值150.00125651287320.155前向传超参数训练批说明次大小表2 模型评价指标Tab.2 Evaluation metrics for the model评价指标TP+TN准确率Accuary=7TP+TN+FP+FNTP精确率Precision=TP+FPTP召回率Recall=TP+FNF1值Fi=2xPrecisionx RecallPrecision+RecallKNN和BP神经网络5种机器学习模型对电力隧道开挖工法进行了预测。该研究则是通过Transformer模型对预处理之后的数据进行学习与测试，并利用上述评价指标对预测结果首选项与对应的真实首选项进行比较，给出当前模型预测能力的客观评价。传统机器学习模型与Transformer模型各项评价指标见表3，Transformer模型混淆矩阵如图5所示，其K、V向词向量学习率维度图4模型超参数设置示意图Fig.4 Hyperparameters of the model中混淆矩阵的最右列为对应各数据类别的精确率，最下行为对应各数据类别的召回率。由此可知，传统计算公式机器学习模型无法完成不定项预测的任务，只能对给定的类别进行学习,存在一定的局限性,而Trans-former模型以预处理后的数据为基础进行学习，在电力隧道开挖工法的首选项预测中取得了较好的结果。表3传统机器学习模型与Transformer模型评价指标Tab.3 Evaluation indexes of traditional machine learningmodel and Transformer model%模型准确率决策树97.66随机森林90.19XGBoost97.19KNN89.08BP神经网络95.79Transformer98.25编码器/播隐藏量的层维度维度多头解码器注意力层数头数精确率97.9096.0197.4490.0094.8698.53丢弃率召回率97.6691.1297.2088.3294.8598.45选代次数F1值97.7192.8597.2488.7194.9598.47258Journal of Municipal Technology第41卷-16064明开1016696.97%-1400暗挖460046100.00%-120-1000顶管28102996.55%-80600盾构003030100.00%4064100.00%4895.83%28100.00%3196.77%17198.25%200图5Transformer模型混淆矩阵Fig.5 Confusion matrix of Transformer model应用Trasnformer模型进行预测,并与实际结果进行3应用案例对比,验证Trasnformer模型的准确性和实用性。样笔者从北京市现有工程案例中抽取5个样本，地质条件水文条件不良土质隧道所在地层断面尺寸/m周围有无重要构筑物冲洪积地区潜水冲洪积地区承压水冲洪积地区潜水冲洪积地区上层滞水冲洪积地区潜水4结论1)Transformer模型不仅打破了传统机器学习模型无法做到不定项预测的壁垒，同时在电力隧道开挖工法的首选项预测方面也取得了较好的结果。2)利用测试集对Transformer模型进行测试,结果表明其准确率、精确率、召回率和F1值分别可达本预测数据见表4。表4样本预测数据Tab.4 Predicted data of samples填土填土填土填土填土复合地层填土复合地层黏性土复合地层曲线半径/m实际工法预测结果3无3有4有3无3有到98.2 5%、98.53%、98.45%和98.47%。3)以北京市现有工程案例为依托，应用Transformer模型进行预测后与实际结果做对比,验证了Transformer模型的准确性和实用性。4)还可对Transformer模型与目标检测、图像识别等算法相结合进行更深一步的研究，将具有极大的发展潜力和创新性。MET300300300300300明开暗挖盾构明开暗挖明开暗挖盾构明开暗挖第8 期【1刘健.城市复杂环境下电力隧道施工技术研究D.石家庄：石家庄铁道大学,2 0 19.（LIU J.Research on construction technologyof electric power tunnel under complex urban environmentD.Shijiazhuang:Shijiazhuang Railway University,2019.)【2 张征亮.广甘高速公路软岩隧道开挖方法对比研究D.成都：西南交通大学,2 0 12.（ZHANG Z L.Comparative study on softrock tunnel excavation methods of Guang-Gan expressway D.Chengdu:Southwest Jiaotong University,2012.)【3吴多云.高速铁路浅埋隧道施工方案优化及监测分析D.湘潭：湖南科技大学，2 0 11.（WUDY.Construction scheme opti-mization and monitoring analysis of shallow buried tunnel ofhigh-speed railway D.Xiangtan:Hunan University of Science andTechnology,2011.)【4】孙兆远，罗琼，耿伟，等.铁路客运专线大断面隧道开挖方法选择J.隧道建设,2 0 0 7,2 7(Sup1)：9-15.（SU NZY,LU O Q，GENG W,et al.Selection of large section tunnel excavation methodfor railway passenger dedicated lineJJ.Tunnel construction,2007,27(Sup1):9-15.)【5秦峰，吴存兴.小净距隧道开挖方法浅论J.现代隧道技术，2003,40(6):39-42,49.(QIN F,WU C X.On excavation methodof small clear distance tunnelJJ.Modern tunnelling technology,2003,40(6):39-42,49.)6申灵君.软弱地层大断面隧道施工方案优化与施工技术研究D.长沙：中南大学,2 0 12.（SHENLJ.Study on constructionscheme optimization and construction technology of large sectiontunnel in soft stratumD.Changsha:Central South University,2012.)【7 李宝平，高诗明，王睿，等.层次权重决策分析法在浅埋隧道开挖方法选择中的应用J.隧道建设，2 0 13,33(9):7 2 6-7 30.（LI（上接第30 页）17】孙一萌，陈盛贵，花开慧，等.模拟月壤原位增材制造技术研究进展J.材料研究与应用,2 0 2 1,15(2):17 8-18 5.（SUNYM,CHEN S G,HUA K H,et al.A progress of the research on in-situadditive manufacturing technology of lunar regolith simulantJ.Materials research and application,2021,15(2):178-185.)18 TOME S,HERMANN D,SHIKUKU V,et al.Synthesis,charac-terization and application of acid and alkaline activated volcanicash-based geopolymers for adsorptive remotion of cationic andanionic dyes from waterJJ.Ceramics international,2021,47(15):20965-20973.19 OGURA H,NERELLA V N,MECHTCHERINE V.Developingand testing of strain-hardening cement-based composites(SHCC)in the context of 3D-printingJJ.Materials,2018,11(8):1375.20 ZHOU S Q,ZHU X Y,LU C H,et al.Synthesis and characteri-zation of geopolymer from lunar regolith simulant based on naturalvolcanic scoriaJ.Chinese journal of aeronautics,2020,35(1):144-159.陈莉颖等：基于Transformer模型的电力隧道开挖工法预测研究参考文献tems,2021,34:23592-23608.11CARION N,MASSA F,SYNNAEVE G,et al.End-to-end objectdetection with transformers CJ/The 16th European Conferenceon Computer Vision.Heidelberg:Springer,2020:213-229.12GONG Y,CHUNG Y A,GLASS J.AST:audio spectrogramtransformerC/Proceedings of the IEEE Conference on INTER-SPEECH.Lyon:ISCA Press,2021:571-575.13 何科，丁海涛，赖宣淇，等，基于Transformer的轮式里程计误差预测模型J.吉林大学学报（工学版）,2 0 0 3（3)：6 53-6 6 2.(HE K,DING H T,LAI X Q,et al.Error prediction model ofwheel odometer based on transformerJJ.Journal of Jilin Univer-sity(engineering and technology edition),2003(3):653-662.)14 张小颖，李继波，黄业胜，等.基于机器学习的电力隧道施工工法预测J.建筑技术,2 0 2 3,54(6):6 57-6 6 0.(ZHANG XY,LIJ B,HUANG Y S,et al.Prediction of power tunnel constructionmethod based on machine learningJ.Architecture technology,2023,54(6):657-660.)21方宏远，马铎，王念念，等.基于融合卷积神经网络的多种类管道病害检测方法J.北京工业大学学报,2 0 2 2,48(6)：56 1-571.(FANG H Y,MA D,WANG N N,et al.Detection algorithmfor multiple underground pipeline diseases based on a fusionconvolutional neural networkJJ.Journal of Beijing University ofTechnology,2022,48(6):561-571.)22 陈宁，秦桂芝，安藤良辅.高速公路传感监测网络布设方法研究综述J.北京工业大学学报，2 0 2 2,48(6)：6 7 6-6 90.（CHENN,QIN G Z,ANDO R.Review of research on layout method offreeway sensor networkJ.Journal of Beijing University of Tech-nology,2022,48(6):676-690.)其他作者：苏毅杰，男，正高级工程师，学士，主要从事公路桥梁工程建设与管理工作。刘端阳，男，高级工程师，学士，主要从事路面养护技术和路面养护新材料方面的研究工作。牛琦，男，工程师，学士，主要从事路面养护技术和沥青路面结构与材料方面的研究工作。259B P,GAO S M,WANG R,et al.Application of hierarchical weightdecision analysis method in shallow buried tunnel excavationmethod selectionJJ.Tunnel construction,2013,33(9):726-730.)8姬永红，毕逸文.基于层次分析法的成都电力隧道开挖方案对比分析J.城市道桥与防洪，2 0 18（4：148-153,16 1.（JIYH，BI Y W.Comparative analysis of Chengdu power tunnel excava-tion schemes based on analytic hierarchy processJ.Urban roadsbridges&flood control,2018(4):148-153,161.)9 VASWANI A,SHAZEER N,PARMAR N,et al.Attention is allyou needCJ/Proceedings ofthe 31st International Conference onNeural Information Processing Systems.New York:ACM,2017:6000-6010.10TANG B,MATTESON D S.Probabilistic transformer for timeseries analysisJ.Advances in neural information processing sys-