高强混凝土强度预测的高斯过程机器学习模型.pdf

2 0 1 1年 第 1 1期 【总 第 2 6 5 期 ) N u mb e r 1 1 i n 2 0 1 1 ( T o ml No 2 6 5 ) 混 凝 土 Co n c r e t e 理论研究 THEORETI CAL RES EARCH d o i ： 1 0 3 9 6 9 i s s n 1 0 0 2 - 3 5 5 0 2 0 1 1 1 1 0 0 6 高强混凝土强度预测的高斯过程机器学习模型 张研 ，苏 国韶 。燕柳斌 ( 广西 大学 土木建筑工程学院 ，广西 南 宁 5 3 0 0 0 4 ) 摘要： 高强混凝土强度与其影响因素之间存在着复杂的非线性关系， 针对现有方法的局限性 ， 建立了基于高斯过程机器学习的高强 混凝土强度预测模型。 该模型采用高斯过程机器学习方法对少量试验样本的测试结果进行学习， 就可以建立高强混凝土强度与其影响因 素之间的复杂非线性映射关系。 研究结果表明： 高强混凝土强度预测的高斯过程机器学习模型是可行的， 具有预测精度高、 适用性强、 参 数自适应化且易于实现的优点。 关键词 ： 高强混凝土 ；高斯过程 ；机器学习 ；强度预测 中图分类号： T U 5 2 8 0 1 文献标志码： A 文章编号： 1 0 0 2 3 5 5 0 ( 2 0 1 1 ) 1 1 0 0 1 8 - 0 3 St r eng t h p r edic t i on o f hi g h s t r eng t h c onc r e t e us i ng Ga us s i an pr oc e ss ma ch i n e l e ar ni ng ZI- NG Yo n， SU Gu o s h a o ， YAN Li u b i n ( S c h o o l o f Ci v i l a n dAr c h i t e c t u r eE n g i n e e r i n g ， Gu a n g x i Un i v e r s i t y ， Na r mi n g 5 3 0 0 0 4 ， C h i n a ) A b s t r a ct： A i mi n g t o t h e f a c t t h a t i t i s s t i l l d i ffic u l t t o r e a s o n a b l y d e t e r mi n e t h e s t r e n g t h o f h i g h s t r e n gth c o n c r e t e ， t h e mo d e l b a s e d O 1 Ga u s s i a n p r o c e s s( GP) ma c h i n e l e a r n i n g i s p r o p o s e d f o r f o r e c a s t i n g o f s tr e n g t h o f h i g h s tr e n gth c o n c r e t e A c c o r d i n g t o t h e l e a rni n g s a mp l e s ， t h e n o n l i n e a r ma p p i n g r e l a t i o n s h i p b e t we e n s t r e n gth a n d i t s i n fl u e n c i n g f a c t o r s i s e s t a b l i s h e d b y G P mo d e 1 T h e mo d e l i s a p p l i e d t o a r e a l e n g i n e e ri n g T h e r e s u i t s o f c a s e s t u d y s h o w t h a t G P mo d e l i s f e a s i b l e ， e ff e c t i v e a n d s i mp l e t o i mp l e me n t f o r f o r e c a s t i n g o f s t r e n gth o f h i g h s e n g t h c o n c r e t e I t h a s me ri t s o f s e l f - a d a p t i v e p a r am e t e r s d e t e r mi n a t i o n a n d e x c e l l e n t c a p a c i ty for s o l v i n g n o n - l i n e a r p r o b l e ms K e ywo r d s ： h i 曲 s t r e n gth c o n c r e t e ； g a u s s i a n p r o c e s s ； ma c h i n e l e a rni n g ； s t r e n gthf o r e c a s t 0 引言 高强混凝土是将凝胶材料、 水、 骨料和减水剂、 活性矿物材料 按一定比例配合、 拌制而成的混合材料， 其强度受众多因素影响 1 j 。 各种因素相互关联， 表现出复杂的非线性关系， 传统的线性函数如 鲍罗米公式已不再适用。 目前确定混凝土抗压强度的方法一般是 在基准混凝土配合比的基础上， 保持水胶比或砂率不变， 然后不断 调整胶料和骨料。 这种方法不仅耗费大量原材料， 而且也浪费大量 的人力和时间口 。 近年来， 一些学者将灰色理论3 1 、 模糊系统方法 等不确定陛方法及神经网络( AN N) 嘟 、 支持向量机( s v M) 同 等机器 学习方法应用于高强混凝土强度预测， 取得了不少有价值的研 究成果， 但这些方法本身仍存在着一些不完善之处， 如A NN网络 结构的选择多凭经验， S V M的核函数、核函数参数和损失函数难 以确定等。 为此， 探讨新的有效预测方法是很有必要的。 高斯过程( G a u s s i a n p r o c e s s ， G P ) 是基于统计学习理论发展 起来的一种新的通用机器学习技术 ， 它以具有坚实的统计学习 理论基础； 对处理高维数、 小样本、 非线性等复杂问题的良好适 应性； 灵活的非参数推断、 参数自适应获取等突出优点， 正在成 为继 S V M之后机器学习领域新的研究热点7 - 。 本文将高斯过程机器学习方法应用于高强混凝土强度预 测， 提出高强混凝土强度预测的高斯过程机器学习模型， 为高 强混凝土强度的合理预测提供一条新途径。 1 高斯过程的基本原理 在机器学习领域中， GP是指在高斯随机过程与贝叶斯学习 理论基础上发展起来的一种机器学习方法。 而在统计学理论中， G P是这样的一个随机过程 ： 其任意有限变量集合的分布都是 高斯分布， 即对任意整数 n 1 及任意的一族随机变量 ， 与其 对应的 t 时刻的过程状态 ) 的联合概率分布服从 n维高斯 分布。 G P的全部统计特征完全由它的均值 m( ) 和协方差函数 k ( t ， t ) 来确定， 其定义式表示如下： 厂 【 t ) G P m( t ) ， k ( t ， t ) 】 ( 1 ) 假设有 n个观察数据的训练集 D = ( ) 1i = 1 ， ， n ) ， 是 d维输入矢量， 观察 目标值 R。 如果 表示 d x n 维输入矩阵， ， ， 表示输出矢量， 那么训练集 D = ( ， y ) 。 对于新的输入 ， GP模型的任务是根据先验知识预测出 与 相对应的输出值Y 。 带高斯噪声的标准线性回归模型为： ) ( 2 ) 式中： x) 回归函数值； 符合高斯分布的独立随机变量。 均值为 0 ， 方差为 n 2 ， 即： e - N( 0 ， n 2 ) ( 3 ) 观察目标值 Y的先验分布为： 收稿日 期 ： 2 0 1 1 _ o 5 _ 0 4 基金项目：国家 自 然科学基金( 5 0 8 0 9 0 1 7 ， 5 1 0 6 9 0 0 1 ) ； 广西研究生教育创新计划项 目( 1 0 5 9 3 1 0 0 1 0 1 9 ) 1 8 学兔兔 w w w .x u e t u t u .c o m ， N L o， K + I ) 4 式中： K K ( ， ) 为 n X n阶对称正定的协方差矩阵， 矩阵中的任 一 项 k 度量了趣和辑的相关性。 个训练样本的观察目标值 Y和 1 个测试样本的回归函数 输出， 所形成的联合高斯先验分布为： - N ( 0 ， K ) 式中： K( ， X ) 测试点 与训练集的所有输入点 的n x l 阶协方差矩阵； ( ， ) 测试点 X 自身的协方差 ， 可分别简写为 K ( X ) 、 k ( x ) 。 G P模型可选择不同的协方差函数。 协方差函数需要满足 ： 对任一点集都能够保证产生一个非负正定协方差矩阵。 本研究 采用 Ma t e r n协方差函数： k y 焉 + 玉 )。 X p f一 ) ( 6 ) 协方差函数中超参数 l , t r 、 o r 的大小对学习与预测结果的 影响较大。 在 G P回归模型中， 最优超参数可通过极大似然法自 适应获得， 即建立训练样本的对数边缘似然函数 ， 对超参数求 偏导， 再采用共轭梯度优化方法搜索出超参数的最优解。 对数似 然函数的形式为： L = lo g p ( y lX ) = 一 广 ( K + ， ) Y ol- - lo g lK + cr 2 一 1 o g 2 盯 ( 7 ) G P完成学习过程后 ， 将根据贝叶斯原理在训练集的基础 上预测出与 对应的最可能的输出值。 采用贝叶斯原理的目 的是利用观察到的真实数据不断更新概率预测分布， 即给定新 的输入 、 训练集的输入值 和观察目标值 Y的条件下， 推断 If , f 的最大可能的预测分布P ( 厂 ， X， Y ) ： p ， X， y ) ， ) ( 8 ) 函数预测值的均值和方差为： 厂 - j ( ) ( ) 一 my ( 9 ) K ( ， ) 一 ( ) ( + 口 ) K( X ) ( 1 0 ) 2 高强混凝土强度预测的高斯过程模型 2 1 主要影响因素的确定 影响高强混凝土强度的因素很多， 各因素间互相关联， 相互影 响， 且与高强混凝土强度存在着复杂非线性关系。 根据对大量高强 粉煤灰混凝土 数据综合评定， 最终选定粉煤灰在胶凝材料中 所占的 比例、 胶凝材料用量( k g m ) 、 胶水比3 项指标作为主要影响因素。 2 2 模型建立步骤 ( 1 ) 根据若干高强粉煤灰混凝土数据建立学习样本( 雹， ) ， i = 1 ， 2 ， 3 ， 输入向量 瓤代表影响高强混凝土强度的主要因素； 输 出标量y i 代表高强混凝土强度。 ( 2 ) 当各主要因素的数量级相差较大或同一控制因素的离 散性过大时， 不利于 G P的学习， 需要对样本数据和预测样本数 据进行如下标准化处理： 表 1 学 习样本与预测样本 1 9 学兔兔 w w w .x u e t u t u .c o m a yx s b ,= y i- 式中： q， b 标准化后的值； ( 1 1 ) ( 1 2) 个 影 响 因 素 ， ： f 1_羔 ( )： 1；2 ， = 1 n 一1 i =1 ， n i = ： 窆 。 ( 3 ) 对学习样本进行学习， 通过学习样本的对数似然式( 7 ) 极大化获得最优的超参数。 ( 4 ) 根据式( 9 ) 获得测试样本 ( 新的影响高强混凝土强度 的主要因素) 对应的混凝土强度的预测均值 Y 。 根据上述步骤， 采用 MAT L A B语言编制程序。 3 实例研 究 为了检验 G P模型应用于高强混凝土强度预测中的可行 性， 以文献 1 1 】 提供的 5 5 个高强粉煤灰混凝土数据作为样本， 其中前 5 0个作为 G P模型的学习样本 ， 剩余 5 个作为预测样本 ( 见表 1 ) ， 表中以混凝土 2 8 d抗压强度( MP a ) 作为实测值。 采用Ma t e m协方差函数建立预测模型， 超参数的对数初始 值设为 l o g = l ， l o g o - = 2 ， l o g o n = - 2 ， 以训练样本的极大似然为目标， 采用共轭梯度优化算法搜索最优超参数。 收敛标准设为最大迭代 步数为 2 0 0 或迭代步之间的绝对目标值差值小于 l x l 0 + o 经计算， 协方差函数最优超参数值分别为： = 6 2 5 ， o -f = l 8 5 6 ， O n = 1 4 5 。 G P模型的预测结果( MP a ) 见表 2 ， 表中同时列出了 S V M、 B P神经网络及非线性回归的预测结果( MP a ) 和其相对误差 】 。 从中可看出， G P模型预测样本的预测值分别为 5 9 2 1 8 6 ， 6 4 0 6 4 1 ， 6 4 3 4 2 9 ， 6 5 1 2 9 1 ， 6 6 5 5 8 3最大相对误差为 1 1 6 3 ， 平 均相对 误差 O 5 0 8 ； S V M模型结果的最大相对误差为 1 2 1 8 ， 平均相 对误差为 0 6 1 5 ； B P神经网络结果的最大相对误差为 1 9 0 5 ， 平均相对误差为 0 7 9 3 ； 非线性回归结果的最大相对误差为 4 4 9 5 ， 平均相对误差为 1 8 9 0 。 表 2 GP预测结果及不 同方法比较 由此可见， 对于高强混凝土强度预测问题 GP 模型可给出准 确可靠的预测结果。 总体来说， 上述几种方法均可以对高强混凝土强度进行预 测， 预测结果可以满足工程要求。 但相比较而言， G P模型的预测 精度较高， 并且 G P利用最大似然原理获取最优超参数 ， 然后采 用贝叶斯规则推断随机变量的后验分布， 不仅巧妙地实现了超 参数的自适应确定， 解决了S V M模型参数难以确定的公开问题 ， 而且克服了 B P神经网络模型过度学习和小样本推广能力欠佳 的局限性 。 4结语 高强混凝土强度与其影响因素之间存在着复杂非线性关 系， 高斯过程机器学习方法能够很好的处理这种关系。 本文将高 斯过程机器学习引入高强混凝土强度预测的研究， 提出了高强 混凝土强度预测的高斯过程机器学习模型。 工程实例研究表 明， 该模型是可行的， 较支持向量机 、 B P神经网络等方法有较 高的预测精度 ， 无需建立复杂的力学计算模型， 根据少量的试 验样本的测试结果 ， 就能够很好地预测混凝土强度随各种因素 的变化。 在实际应用中， 应尽可能多地收集实测数据， 通过丰富 学习样本改善学习样本的质量， 可以进一步提高高斯过程模型 预测结果的可靠性。 参考文献： 【 l 1刘婷婷， 章克凌。 A - r 神经网络在混凝土强度预测中的应用 粉煤 灰综合利用， 2 0 0 5 ( 4 ) ： 9 - 1 1 【 2 】 俞桂良 高强混凝土强度预测人工智能方法及应用 混凝土， 2 0 1 0 ( 1 0 ) ： 4 1 4 3 20 3 】唐湖北灰色理论在预测高强混凝土长期强度中的应用I J 1 长沙铁道 学院学报， 2 0 0 2 ， 2 0 ( 4 ) ： 1 0 5 1 0 8 4 】 杨松森 ， 徐菁， 冯启民 基于模糊系统方法的混凝土强度预测模型 J l_ 水运工程， 2 0 0 9 ( 3 ) ： 1 8 2 3 5 】 胡明玉， 唐明述 神经网络在高强粉煤灰混凝土强度预测及优化设 计中的应用 混凝土， 2 0 0 1 ( 1 ) ： 1 3 1 7 【 6 马金鱼 G A L S S V M模型在粉煤灰混凝土强度预测中的应用【 J J l亍夏 工程技术， 2 0 0 9 ， 8 ( 4 ) ： 3 2 5 3 2 7 7 G I R O L A MI M， RO G E R S S Va ri a t i o n a l b a y e s i a n mu l t i n o m i a l p r o b i t r e g r e s s i o n w i t h g a u s s i a n p r o c e s s p ri o N e u r a l C o mp u t a t i o n ， 2 0 0 6 ， 1 8 ( 8 ) ： 1 7 9 0 1 8 l 7 8 苏国韶， 燕柳斌， 张小飞， 等 基坑位移时间序列预测的高斯过程方 法 J 1 广西大学学报： 自然科学版， 2 0 0 7 ， 3 2 ( 2 ) ： 2 2 3 2 2 6 9 9 张研， 苏国韶， 燕柳斌 水厍水温分布结构识别的高斯过程机器学习 方法 J 水利水电科技进展， 2 0 0 9 ， 2 9 ( 2 ) ： 1 3 1 5 ， 3 9 1 O 情 志化， 张继承沼B 惠鹤基于高斯过程的软测量建模 J J _ 系统仿真学 报， 2 0 0 5 ， 1 7 ( 4 ) ： 7 9 3 7 9 4 【 1 1 】 崔海霞 高强混凝土强度预测的支持向量机模型及应用【 J 1 _混凝土 ， 2 0 1 0 ( 5 ) ： 4 9 5 0 作者简 介 联 系地址 张研( 1 9 8 3 一 ) ， 男， 博士研究生， 从事结构工程、 水工结构工 程研究。 厂西南宁市大学东路 1 0 0 号 厂西大学土木建筑工程学院 ( 5 3 0 0 0 4 ) 联 系电话 ： 1 5 9 9 4 4 6 3 2 8 0 学兔兔 w w w .x u e t u t u .c o m