基于特征工程的建设工程造价指数预测模型构建.pdf

第2 3卷 第1 6期2 0 2 3年 8月 科 技 和 产 业S c i e n c eT e c h n o l o g ya n dI n d u s t r y V o l.2 3,N o.1 6A u g.,2 0 2 3基于特征工程的建设工程造价指数预测模型构建刘 耘,陆 军(新疆大学 建筑工程学院,乌鲁木齐8 3 0 0 4 6)摘要:对建设工程造价指数的预测能够有效解决建设项目前期投资估算误差较大引起的成本问题。结合实际工程中对造价指数预测模型的需求,以U市发布的2 0 1 22 0 2 1年建设工程造价指数为例,通过对比不同特征工程方法构建的X G B o o s t和神经网络两者之间预测误差,选择最优预测模型进行建设工程造价指数模型预测。结果表明,基于树模型特征筛选和均值填充数据集的X G B o o s t模型,在测试集、训练集、交叉验证误差最低,能够作为建设工程造价指数预测的模型。关键词:特征工程;参数优化;X G B o o s t;造价指数中图分类号:TU 7 2 3.3 文献标志码:A 文章编号:1 6 7 1-1 8 0 7(2 0 2 3)1 6-0 2 1 4-0 6收稿日期:2 0 2 0-0 5-2 5作者简介:刘耘(1 9 7 8),男,新疆吐鲁番人,新疆大学建筑工程学院,副教授,博士,研究方向为工程管理理论与实践研究;通信作者陆军(1 9 9 5),男,浙江兰溪人,新疆大学建筑工程学院,硕士研究生,研究方向为基于机器学习的投资预测。工程造价指数是常见的投资估算指标,是一种反映特定时期下,人工费、材料费、机械材料租赁费用等要素对工程造价影响的一种指数。造价指数具有时限性,且只能反映特定时间内工程造价的变动趋势,由于建设周期较长,在建设项目投机估算阶段需要将未来几年工期内造价指数作为参考指标,因此需要对工程指数进行预测。造价指数预测主要方法包括定性专家预测法、主观概率法、交叉影响法、定量时间序列预测法、回归预测法、灰色预测法1。基于机器学习的回归预测作为一种回归预测方法,已经被广泛地应用到生产生活之中。相比于传统预测方法,机器学习预测学习能力强,预测误差小,能够更好地处理复杂的数据预测问题。1 相关研究基于机器学习的造价指数预测模型构建,国内学者主要研究方向在选定算法后的参数优化,来提升模型的预测精度。选择较多的有神经网络和集成模型。神经网络是根据模拟人脑神经信息传递、处理等机 制 的 算 法,基 础 神 经 网 络 模 型 有B P(b a c kp r o p a g a t i o n)神经网络模型、卷积神经网络网络模型等,其中B P神经网络模型是通过误差反向传播加快收 敛 速 度 的 模 型。罗 泽 民 和 布 优 月2选 用GM(1,1)和B P神经网络,通过参数优化对神经网络组合模型进行了研究。刘伟军和李念3结合了GM(1,1)模型、思维进化算法和神经网络算法,利用思维进化算法提升模型的预测精度。朱曦等4在公路运价指数预测中选用极限学习机神经网络快速高效地完成了模型构建并提升预测能力。刘传和陈 彦 晖5在 股 指 波 动 率 的 长 短 期 记 忆(l o n gs h o r t-t e r m m e m o r y,L S TM)神经网络模型构建前用经验模态分解和样本熵对数据进行了预处理,从而提高了模型的预测效果。集成学习是指将多个弱学习模型或多个模型进行结合构成一个具有更强学习能力的模型,基于弱学习器的有随机森林算法、极端梯度提升(e x t r e m eg r a-d i e n tb o o s t i n g,X G B o o s t)和神经网络梯度提升(n e u r a ln e t w o r kg r a d i e n tb o o s t i n g,N G B o o s t)等。张旺等6在变电 站 基 础 设 施 项 目 投 资 算 预 测 模 型 中 选 用X G B o o s t构建预测模型,结果表明X G B o o s t的预测精度高于线性回归模型和神经网络。罗凤娥等7在基于数据挖掘技术的航班预测综述中提出随机森林算法的优点在于高维数据处理上的优异性,但由于数据噪音易导致模型过拟合。黄颖和杨会杰8在金融时间预测模型中选用X G B o o s t对数据中的特征进行提取。多模型集成中M e s e r e t等9集成了线性回归、支持向量机(s u p p o r tv e c t o rm a c h i n e,S VM)和梯度增强算法来进行公路项目的成本预测。S h a r m a等1 0在数据优化的基础上,利用机器学习的工具,构建一个关于工程造价的环境、资源和时间构成的函数,结果表明梯度增强树在与随机森林、神经网络、高斯回归对比中,在各个方面都具有最佳的性能。指数预测的模型构建以模型为主,通过模型优412化对模型效果进行提升,并根据不同的数据特征进行模型合理选择,数据处理是模型构建和优化的重要思路,数据特征的处理反映了研究人员数据的理解程度和数据的重要特征,基于特征工程构建模型能深度挖掘数据中信息的同时也能对后续的相关研究数据的处理提供重要的参考价值。为构建一个能够应用于实际工程的造价指数预测模型,本文重点研究基于特征工程和参数优化的模型构建,在优化基础算法基础上,通过特征筛选和特征填充,为造价指数预测模型选择合适的特征工程处理方式和模型优化参数,从而构建一个预测能力较好的预测模型。2 数据与指标选取和预处理2.1 数据来源本文研究对象是U市造价指数预测,数据来源主要是U市工程信息信息网发布的U市2 0 1 2年1月至2 0 2 1年1 0月建设工程综合价格信息和建设工程造价信息网发布的2 0 2 12 0 1 2年省会城市住宅建安工程造价指标,单位为元/m2。主要数据特征包括时间、材料费、人工费和机器租赁费1 0年间变化趋势。2.2 数据特征工程模型构建前的数据挖掘包括数据收集与过滤、数据预处理、数据变换等1 2。其中的数据特征工程是专门对数据挖掘中特征处理方法,特征工程的特征处理包括特征清洗、特征预处理和特征衍生,其中特征预处理包括单特征的数据归一化、离散连续化和缺失值处理、多特征的降维和特征筛选等。2.2.1 数据基本描述数据样本量为1 1 8个,5 7 8个数据特征,数据结构为小样本、高纬度数据集。2.2.2 数据填充针对数据缺失问题,处理方法是对数据进行填充或对大量缺失特征信息进行删除,为保证信息完整性,进行缺失数据填充。通过单变量插补和多变量插补,生成了最初两组数据,分别是均值填充数据集和随机森林填充数据集。2.2.3 特征选择由于高纬度数据特征易导致模型学习成本增加,导致模型拟合能力差,通过特征工程需要对数据特征进行筛选,减少特征数量。采用过滤法的F检验是指通过计算特征相关性和阈值,选取阈值之内的特征,采用嵌入法中的树模型将特征选择嵌入模型的构建,通过模型选择重要性较高的特征,采用包裹法的递归特征消除法(r e c u r s i v ef e a t u r e e l i m i n a t i o n,R F E),通过每次选择不同的特征子集组合并评价,最终选择最优的特征子集。2.2.4 特征降维选用 主 成 分 分 析 法(p r i n c i p a lc o m p o n e n t sa n a l y s i s,P C A)通过数学变换将原本高纬度的数据映射在低纬度空间之上,从而便于计算和提高部分模型的整体性能。2.2.5 特征子集构建通过特征工程数据填充,特征选择和特征降维数据特征子集如表1所示。由表1特征数量可知,不同特征处理方式下,数据特征数量不同,为模型构建提供不同特征子集。表1 特征工程处理后的特征子集特征子集数据填充方式特征处理特征数量/个n a n未填充无5 7 8m e a n均值填充无5 7 8r f随机森林填充无5 7 8r f e_m e a n均值填充递归特征消除2 2 7r f e_r f随机森林填充递归特征消除2 2 7f_m e a n均值填充F检验4 4 7f_r f随机森林填充F检验4 5 8p c a_m e a n均值填充主成分分析法1 7p c a_r f随机森林填充主成分分析法1 7t r e e_m e a n均值填充基于树模型特征重要性2 6t r e e_r f随机森林填充基于树模型特征重要性1 82.3 模型构建和模型评估2.3.1 模型评价指标将造价数据分为训练集和测试集。取2 0 1 22 0 2 0年的数据作为模型的训练集,同时对模型进行交叉验证(c r o s sv a l i d a t i o n,C V),作为模型稳定性的评价指标,5折交叉验证是指将数据分成5份,依次使用其中的一份数据作为测试集数据,其余4份为训练集,平均测试集上预测结果作为模型的交叉验证值。测试集为2 0 2 1年1 0个月的数据,作为模型泛化能力参考。预测模型误差一般选用均方根误差(r o o tm e a ns q u a r ee r r o r,RM S E)表示,用以衡量机器学习中观测值和真实值之间误差的标准,表达式为RM S E=1mmi=1f(xi)-yi2(1)平均绝对百分比误差(m e a na b s o l u t ep e r c e n t-a g ee r r o r,MA P E)是一种描述预测精准度的指标,表达式为MA P E=1mmi=1f(xi)-yiyi(2)512 刘 耘等:基于特征工程的建设工程造价指数预测模型构建 式中:f(xi)为第i个样本的预测值;yi为第i个样本的真实值;m为样本量。2.3.2 X G B o o s t模型构建X G B o o s t是一种极端梯度提升树模型。不同于一般梯度提升树模型,X G B o o s t参数量多,性能提升空间大,需要对模型参数空间进行参数搜索,寻找参数之间的较优组合,对模型性能进行优化,采用贝 叶 斯 优 化 搜 索 的 参 数 有 最 大 深 度(m a x_d e p t h)、树模型生成数量(n u m_b o o s t_r o u n d)、学习率(e t a)、重采样(s u b s a m p l e)、节点样本二阶导和的最小值(m i n_c h i l d_w e i g h t)、L 1正则化系 数(a l-p h a)、L 2正则化系数(l a m b d a),模型默认参数为X G B o o s t库下默认设置,设置n u m_b o o s t_r o u n d为1 0 0,搜索空间为X G B o o s t库文档给出的参考空间。经过参数优化后(表2),各个特征子集最优参数模型和模型预测误差如表3所示。默认参数构建的训练集、测试集和交叉验证集误差分别记为d e f a u l t_x g b_t r a i n、d e f a u l t_x g b_t e s t、d e f a u l t_x g b_c v;参数优化后的训练集、测试集和交叉验证集误差分别记为o p t_x g b_t r a i n、o p t_x g b_t e s t、o p t_x g b_c v。2.3.3 神经网络模型搭建通过P y T o r c h构建一个4层神经网络,层级结构为全连接反向传播神经网络,分为输入层、隐藏层和输出层。输入层输入数据特征,隐藏层为4层,每层神经元数量通过超参数优化得出,输出层为1个神经元。默认神经网络模型的神经元个数为1 0 0个/层,不设置梯度提升算法和学习率,迭代次数为5 0 0次。采用贝叶斯优化对每个特征子集构建的模型进行参数搜索,参数空间为1,1 0 0,梯度提升算法的搜索空间为A d a m算法、A d a D e l t a算法和A d a-G r a d算法,学习率搜索空间为0.0 0 00 1,0.1。模型参数搜索完成后,参数如表4所示,对模型的预测误差进行对比,如图1所示默认参数构建的训练集、测试集和交叉验证集误差分别是d e f a u l t_ANN_t r a i n、d e f a u l t_ANN_t e s t、d e f a u l t_ANN_c v;参数优化后的训练集、测试集和交叉验证集误差分别是o p t_ANN_t r a i n、o p t_ANN_t e s t、o p t_ANN_c v,神经网络默认参数和优化后的模型误差如图2神经网络误差所示。2.3.4 模型选择和评估首先,根据数据缺失值处理和特征选择,完成模型构建前的数据准备工作;其次是模型参数优化;最后,对模型拟合能力、泛化能力和稳定性进行评价,遴选合适的特征工程方式并构建模型。表2 X G B o o s t各特征子集优化后参数参数a l p h a sl a m b d a se t am a x_d e p t hm i n_c h i l d_w e i g h tn u m_b o o s t_r o u n ds u b s a m p l em e a n0.0 5 10.0 5 20.0 5 12 422 8 30.0 9 5r f0.0 6 00.2 3 00.0 6 6522 8 60.7r f e_m e a n0.0 5 10.0 5 40.0 5 11 222 7 00.0 5 5r f e_r f0.0 5 10.0 5 10.0 5 11 922 6 80.0 5 5f_m e a n0.0 6 80.0 7 80.0 6 71 211 6 80.7f_r f0.0 5 20.2 4 00.0 6 7912 7 80.5p c a_m e a n0.0 6 90.1 1 00.0 5 51 881 0 20.5p c a_r f0.0 6 90.2 4 00.0 6 61 011 7 80.5t r e e_m e a n0.0 5 20.1 6 00.0 5 9752 5 40.7t r e e_r f0.0 5 20.1 1 00.0 6 71 632 5 30.9表3 X G B o o s t和神经网络误差对照参数X G B o o s t神经网络默认参数下模型误差/元优化后参数下模型误差/元默认参数下模型误差/元优化后参数误差下模型/元C V训练测试C V训练测试C V训练测试C V训练测试m e a n4 0 8.3 35 9.7 22 8 5.5 94 5.7 72 0.8 32 4 8.1 117 5 4.6 6 22 6 2.8 3 17 8 2.2 41 9 0.1 83 3 3.7 53 9 7.0 5r f4 0 6.2 45 9.1 02 8 2.5 14 4.9 80.2 21 9 4.3 117 3 9.6 14 0 8.3 3 17 8 5.0 91 9 5.1 64 0 7.6 74 2 9.3 4r f e_m e a n4 0 7.9 05 9.7 82 8 5.5 94 3.1 11 0 6.4 13 3 2.0 517 5 0.1 5 21 5 7.3 9 16 6 2.3 81 8 9.7 42 6 0.8 62 4 5.2 9r f e_r f4 0 7.9 05 9.7 82 8 5.5 94 3.2 20.0 31 7 0.3 717 7 0.8 7 21 5 7.3 9 16 6 2.3 82 1 5.4 42 6 0.8 62 6 7.9 5f_m e a n4 0 8.4 76 0.1 33 0 1.4 25 5.1 10.1 71 8 4.4 817 7 1.0 2 21 5 8.2 0 16 9 1.1 75 0 1.4 98 2 8.5 48 7 4.7 8f_r f4 0 6.4 15 9.1 92 8 2.5 14 7.5 30.3 81 8 8.2 417 7 1.0 0 21 5 8.1 6 16 9 1.1 84 3 8.2 64 5 4.0 85 2 2.2 6p c a_m e a n4 0 8.8 86 0.7 93 4 9.0 98 0.7 31 0.6 42 4 8.5 017 6 9.4 2 22 9 3.6 8 17 7 0.7 231 1 2.1 2 15 5 3.9 315 4 5.5 9p c a_r f4 0 8.6 36 0.5 52 9 3.0 56 2.4 51.9 32 1 2.5 518 2 7.6 9 22 5 3.6 1 17 9 7.8 31 8 1.2 93 6 4.3 86 0 5.6 0t r e e_m e a n4 0 8.4 05 9.8 12 8 1.9 04 6.7 33.7 11 6 8.8 617 6 1.7 6 21 5 4.1 3 16 8 5.2 31 2 9.3 62 4 3.5 81 9 9.6 3t r e e_r f4 0 6.8 46 0.7 12 8 0.6 64 8.8 01.0 01 6 4.8 117 7 6.9 3 21 5 5.0 0 16 8 8.4 41 2 9.4 5 16 8 8.4 41 9 9.6 3612 科技和产业 第2 3卷 第1 6期 1)数据缺失处理。在表3数据基础上,结合图1和图2可知,X G B o o s t在数据缺失处理方法选择随机森林和均值填充两种情况下,模型误差相差较小。表4 神经网络各特征子集优化后参数参数神经元个数/个第一层神经元第二层神经元第三层神经元第四层神经元优化算法学习率m e a n28 17 98 5A d a g r a d 0.0 0 8r f8 03 87 74 4A d a g r a d 0.0 1 3r f e_m e a n1 11 68 35 3A d a m0.0 3 1r f e_r f7 15 53 21 6A d a g r a d 0.0 2 2f_m e a n5 61 63 99 8A d a g r a d 0.0 0 7f_r f2 84 89 47 6A d a m0.0 1 0p c a_m e a n9 89 79 39 9A d a g r a d 0.0 7 2p c a_r f8 79 81 08 7A d a m0.0 9 9t r e e_m e a n7 04 49 47 2A d a m0.0 3 1t r e e_r f6 41 61 21 2A d a m0.0 9 8图1 随机森林填充后的各个模型误差图2 均值填充后的各个模型误差 神经网络默认参数下,随机森林填充训练误差小于均值填充误差。2)特征筛选。如图1和图2所示,特征筛选后的大部分模型预测误差有降低但整体降低不明显,在特定模型上的提升效果明显,如均值填充后,优化后的X G B o o s t模型在训练集上得到了较大的提升。但也有模型在特征筛选后预测误差增加,如默认参数下神经网络训练误差。因此,特征筛选需要根据具体模型效果进行使用。3)参数优化。由表3、图3和图4可知,参数优化后的X G B o o s t模型训练误差和交叉验证误差显著下降,测试集误差大部分有所下降。如表3、图5和图6所示,相比于默认参数模型,除了数据降维后的模型,参数优化后的神经网络模型在训练误差、测试误差和交叉验证误差都有了显著地降低。4)模型构建和评价。模型评价主要参考表3的3个误差值,其中训练和测试集误差反映模型对数图3 默认参数下各个X G B o o s t的误差图4 优化参数后各个X G B o o s t模型的误差712 刘 耘等:基于特征工程的建设工程造价指数预测模型构建 图5 默认参数下各个神经网络模型的误差图6 优化参数后各个神经网络模型的误差据学习程度和预测能力,验证误差反映不同数据上的预测误差,也叫泛化能力或者鲁棒性。由图1和图2可知,X G B o o s t的各项误差整体比神经网络低。从模型训练、测试误差和交叉验证值看,X G B o o s t模型能够准确地拟合数据,预测精度高,模型泛化能力好。对比了整体算法之间的差异,还需对比最优特征子集的模型效果构建模型。选取3个误差值相对较小的模型(图7),两个模型基于最优特征子集构建的模型分别是基于树模型特征选择和随机森林填充的X G B o o s t模型X G B_t r e e_r f和基于树模型特征选择和均值填充的神经网络模型ANN_t r e e_m e a n。X G B o o s t和神经网络的预测结果如表5所示,在小数据、高纬度和数据缺失数据集上,X G B o o s t模型在训练集和测试集上的误差均小于1 0%,构建图7 最优特征子集模型预测结果表5 算法的最优模型的模型性能对比最优数据集X G B o o s t_T r e e_r fANN_T r e e_m e a n测试集MA P E/%7.3 08.3 3训练集MA P E/%0.8 02.9 7交叉验证RM S E/元4 6.7 31 2 9.3 6的X G B o o s t模型交叉验证误差小,说明模型的预测能力和泛化能力都达到实际工程中造价指数预测模型的标准。3 结论通过数据填充和特征筛选得到多个数据集,以此为基础构建基于不同算法的预测模型,对比不同模型之间误差和模型稳定性,选择最优特征子集。基于参数优化后的树模型特征筛选和均值填充的X G B o o s t模型,测试集上的相对误差为7.3 0%,训练集相对误差为0.8 0%,交叉验证误差为4 6.7 3。因此,X G B o o s t作为预测造价指数的模型,数据拟合效果好,误差小,模型稳定,适合作为实际工程中造价指数预测模型。参考文献1 张振明.工程造价咨询 实务M.厦门:厦 门大学出 版社,2 0 1 8.2 罗泽民,布优月.基于灰色神经网络P GNN模型的建筑材料价 格 预 测 方 法 研 究 J.建 筑 经 济,2 0 2 0,4 1(1 0):1 1 5-1 2 0.3 刘伟军,李念.住宅工程造价指数预测研究J.长沙理工大学学报(自然科学版),2 0 2 1,1 8(4):4 4-5 1.4 朱曦,赖应良,段雨彤.基于百度指数的公路运价指数R O-E LM预测J.科技和产业,2 0 2 1,2 1(1):1 7 9-1 8 4.5 刘传,陈彦晖.基于EMD-S E-L S TM模型的股指日内已实现波动率预测 以中证5 0 0指数为例J.科技和产业,2 0 2 2,2 2(8):3 8 5-3 9 1.6 张旺,管维亚,张建峰,等.基于X G B o o s t算法的基础设施项目投资预测模型 以变电站工程为例J.土木工程与管理学报,2 0 2 1,3 8(5):7 8-8 4.7 罗凤娥,王波,李娜,等.基于数据挖掘技术的航班延误预812 科技和产业 第2 3卷 第1 6期 测综述J.科技和产业,2 0 2 0,2 0(1 1):7 5-8 0.8 黄颖,杨会杰.基于X G B o o s t和L S TM模型的金融时间序列预测J.科技和产业,2 0 2 1,2 1(8):1 5 8-1 6 2.9 MEHA R I E M G,ME N G E S HA WJ,GA R I YZA,e ta l.A p p l i c a t i o no fs t a c k i n ge n s e m b l em a c h i n el e a r n i n ga l g o-r i t h mi np r e d i c t i n gt h ec o s to fh i g h w a yc o n s t r u c t i o np r o-j e c t sJ.E n g i n e e r i n g C o n s t r u c t i o n a n d A r c h i t e c t u r a lM a n a g e m e n t,2 0 2 2,2 9(7):2 8 3 6-2 8 5 3.1 0 S HA RMAV,Z AK IM,J HA K N,e ta l.M a c h i n el e a r n-i n g-a i d e dc o s tp r e d i c t i o na n do p t i m i z a t i o n i nc o n s t r u c t i o no p e r a t i o n sJ.E n g i n e e r i n gC o n s t r u c t i o na n d A r c h i t e c-t u r a lM a n a g e m e n t,2 0 2 2,2 9(3):1 2 4 1-1 2 5 7.C o n s t r u c t i o nC o s t I n d e xP r e d i c t i o nM o d e lB a s e do nF e a t u r eE n g i n e e r i n gL I U Y u n,L UJ u n(S c h o o l o fA r c h i t e c t u r a lE n g i n e e r i n g,X i n J i a n gU n i v e r s i t y,U r u m q i 8 3 0 0 4 6,C h i n a)A b s t r a c t:T h ep r e d i c t i o no f c o n s t r u c t i o np r o j e c t c o s t i n d e xc a ne f f e c t i v e l ys o l v e t h ec o s tp r o b l e m s c a u s e db y l a r g ee r r o r s i nt h ep r e l i m i n a r y i n-v e s t m e n t e s t i m a t i o no f c o n s t r u c t i o np r o j e c t s.C o m b i n i n gt h ed e m a n df o r c o n s t r u c t i o nc o s t i n d e xp r e d i c t i o nm o d e l s i na c t u a lp r o j e c t s,t h ec o n-s t r u c t i o nc o s t i n d e xf o r2 0 1 2-2 0 2 1r e l e a s e db yUc i t yw a su s e da sa ne x a m p l e t os e l e c t t h eo p t i m a l p r e d i c t i o nm o d e l f o r c o n s t r u c t i o nc o s t i n d e xm o d e lp r e d i c t i o nb y c o m p a r i n g t h ep r e d i c t i o ne r r o r s b e t w e e nX G B o o s t a n dn e u r a l n e t w o r kc o n s t r u c t e db yd i f f e r e n t f e a t u r e e n g i n e e r i n gm e t h o d s.T h er e s u l t ss h o wt h a t t h eX G B o o s tm o d e l b a s e do nt r e em o d e l f e a t u r es c r e e n i n ga n dm e a n-p o p u l a t e dd a t as e th a st h e l o w e s te r r o r i nt h et e s ts e t,t r a i n i n gs e t a n dc r o s s-v a l i d a t i o n,a n dc a nb eu s e da sam o d e l f o rc o n s t r u c t i o nc o s t i n d e xp r e d i c t i o n.K e y w o r d s:f e a t u r ee n g i n e e r i n g;p a r a m e t e ro p t i m i z a t i o n;X G B o o s t;c o s t i n d e x912 刘 耘等:基于特征工程的建设工程造价指数预测模型构建