机器学习预测Cs在缓冲材料和岩石上的分配系数.pdf

Nuclear Science and Technology 核科学与技术核科学与技术,2023,11(3),210-217 Published Online July 2023 in Hans.https:/www.hanspub.org/journal/nst https:/doi.org/10.12677/nst.2023.113022 文章引用文章引用:何文科,陈涛.机器学习预测 Cs 在缓冲材料和岩石上的分配系数J.核科学与技术,2023,11(3):210-217.DOI:10.12677/nst.2023.113022 机器学习预测机器学习预测Cs在缓冲材料和岩石上的在缓冲材料和岩石上的 分配系数分配系数 何文科何文科1,2，陈，陈 涛涛1,2*1华北电力大学核科学与工程学院，北京 2华北电力大学非能动核能安全技术北京市重点实验室，北京 收稿日期：2023年5月5日；录用日期：2023年7月3日；发布日期：2023年7月10日 摘摘 要要 缓冲材料和天然岩石是高放废物深层地质处置库多重屏障系统的重要组成部分。核素在缓冲材料和围岩缓冲材料和天然岩石是高放废物深层地质处置库多重屏障系统的重要组成部分。核素在缓冲材料和围岩中的分配系数中的分配系数(Kd)是处置库安全评价中的重要参数之一。本研究采用是处置库安全评价中的重要参数之一。本研究采用4种常见的基于树的机器学习集成算种常见的基于树的机器学习集成算法预测法预测Cs在缓冲材料和岩石上的在缓冲材料和岩石上的Kd。结果表明，。结果表明，RF模型的预测性能最好，其中对准确预测模型的预测性能最好，其中对准确预测Kd最敏感的因最敏感的因素是素是t。LSR、CEC和和T对对Kd的影响都很小。本工作证明了机器学习在促进高放废物处置库安全评价方面的的影响都很小。本工作证明了机器学习在促进高放废物处置库安全评价方面的应用前景。应用前景。关键词关键词 机器学习，吸附，机器学习，吸附，Cs，分配系数，安全评价，分配系数，安全评价 Prediction of Cs Distribution Coefficients on Buffer Materials and Rocks by Machine Learning Methods Wenke He1,2,Tao Chen1,2*1School of Nuclear Science and Engineering,North China Electric Power University,Beijing 2Beijing Key Laboratory of Passive Safety Technology for Nuclear Energy,North China Electric Power University,Beijing Received:May 5th,2023;accepted:Jul.3rd,2023;published:Jul.10th,2023 *通讯作者。何文科，陈涛 DOI:10.12677/nst.2023.113022 211 核科学与技术 Abstract Buffer materials and natural rocks are important components of the multiple barriers system of the deep geological repository for high-level radioactive waste(HLW).Distribution coefficient(Kd)of nuclides in buffer materials and surrounding rocks plays an important role in the performance and safety assessment of HLW repository.In this study,four common tree-based machine learning integration algorithms were used to predict the Kd of Cs on buffer materials and rocks.The results indicate that RF model has the best predictive performance,and t is the most sensitive factor to accurately predict Kd.The effects of LSR,CEC and T on Kd were small.This work demonstrates the great application prospect of machine learning in the performance and safety assessment of HLW repository.Keywords Machine Learning,Adsorption,Cs,Distribution Coefficient,Safety Assessment Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 高放废物(HLW)是一种极其危险的特殊废物。它具有强放射性、高释热、高毒性、半衰期长的特点，很难安全处理1。目前最普遍接受的处置方法是深埋地质处置。核素在缓冲材料和天然围岩中的吸附、扩散行为是放射性废物处置库安全评价中的关键过程，对阻滞放射性核素的迁移起着重要作用2。分配系数(Kd)是表征介质对污染物吸附、阻滞能力的一个常用参数，通常是通过实验测量得到的。测量的方法主要有：批次实验法、柱法、现场测量法等。实验得到的 Kd大多针对特定的条件，若用于大尺度、长时间的安全评价时，可能会造成重大误差。因此，根据不同的环境条件迅速地得到合适的 Kd值，对于高放废物处置库的安全评价是非常重要的3。为了达到这个目的，研究人员提出了很多吸附模型来预测 Kd值，如吸附等温线模型，表面配位模型，Smart Kd模型等4 5。这些模型虽然在一定程度上可以根据具体的环境条件对 Kd进行预测，但并不能完全满足高放废物处置库安全评价的需求。近年来，人工智能飞速发展，机器学习(ML)作为人工智能的一个重要分支，正被广泛地应用于医疗保健、制造业、金融服务、自动驾驶等行业，对社会产生了变革性的影响6。ML 可以从大量的数据中挖掘出多变量与因变量之间复杂的非线性关系。在核行业的众多领域，如核医学、核物理、核电站故障诊断等，ML 技术都展现了良好的应用前景7。在放射性废物处置方面，Shariatmadari 等人8首次提出了将人工神经网络(ANN)应用于 Kd预测的想法。Falamaki 9则利用 ANN 构建了预测镍 Kd的简化模型，该模型具有参数数目少的特点。Da 等人10建立了 ML 模型用于预测铀在生物炭上的吸附能力。同时，该作者用 ML 方法预测了膨润土的导热系数11。137Cs 是高放废物中常见的放射性核素，其半衰期较长，可通过食物和水进入人体并在体内蓄积，具有重大的安全威胁。在本文中，我们使用了四种基于树的 ML 集成算法来预测不同条件下，Cs 在缓冲材料和岩石上的 Kd值，并研究了输入条件对 Kd值的影响，这有助于我们更好地理解 Cs 在处置库中的行为Open AccessOpen Access何文科，陈涛 DOI:10.12677/nst.2023.113022 212 核科学与技术 特征，为开展相应的处置库安全评价提供技术支持。2.ML 模拟方法模拟方法 本研究所应用的 ML 算法都来自 Scikit-learn 机器学习库，并根据实际的需求进行了相应的修改。所有的 ML 建模过程都通过 Python 编程实现。使用的 ML 算法为：AdaBoost、XGBoost、梯度树提升(GBDT)和随机森林(RF)，它们都是集成算法的代表。2.1.模型算法介绍模型算法介绍 集合学习法是一种组装算法，它将多个基础学习器组合成一个综合模型，以减少预测的方差和偏差，从而提高模型的性能表现12。集合学习算法的操作大致可以分为两个步骤。首先，该算法生成一系列的基础学习器，这些基础学习器可以是平行的，也可以是顺序生成的。然后，这些基础学习器被组合使用。对于回归问题，最常见的组合方法是权重平均法。RF 是平行基础学习器的典型算法，而顺序基础学习器的典型算法是提升算法(Boosting)，如 AdaBoost、GBDT 和 XGBoost。RF 的基础学习器是决策树(DT)。RF 通过降低树之间的相似度来减少预测值的方差。我们通过调整超参数，如 DT 的数量、最大深度和最大特征，来优化 RF 模型的性能。在 AdaBoost 中，每个样本最初都被赋予相同的权重。每次迭代后，样本权重的分布将根据误差的大小进行调整。在 GBDT 中，每次迭代计算都是为了减少最后的剩余误差，然后按照剩余误差梯度的方向依次建立一系列新的基础学习器。XGBoost 和 GBDT 的区别在于，XGBoost 使用构建的目标函数而不是损失函数作为模型优化的目标。集合学习法的性能通常优于传统的 ML 算法。2.2.数据收集数据收集 本研究的数据来自于日本原子能机构(JAEA)开发的缓冲材料和岩石吸附参数数据库(JAEA-SDB)13。JAEA-SDB 汇编了不同实验条件下，膨润土缓冲层、岩石和水泥材料等对关键放射性核素的 Kd数据，实验条件包括固相特性、溶液组成和 pH 值、氧化还原状态、放射性核素初始浓度、固液比等。本文以 Cs 在固相上的 Kd值为输出参数。输入部分考虑 8 个影响因素，分为 3 个部分：1)固相特性，包括比表面积(BET,m2g1)和阳离子交换容量 CEC(meq100g1)。2)液相特性，包括 Na+浓度(ppm)和最终溶液的 pH(pH(end)。3)实验条件，包括液固比(LSR,mLg1)，温度(T,degC)，接触时间(t,d)和核素的初始浓度(C(init),molL1)。2.3.数据处理及模型评估数据处理及模型评估 在模型训练前需要对输入变量与输出值进行归一化，方程如(1)所示。利用 Pearson 相关系数(PCC,rxy)来计算任意两变量和特征间的共线性，方程如(2)所示。*minmaxminiixxxxx=(1)()()()()112211nniiiixynniiiixxyyrxxyy=(2)其中 xi*是 xi的归一化值，xmax和 xmin分别代表了 xi的最大与最小值，或 表示变量 x 或 y 均值，n 是对应数据集的大小。通过相关系数(R2)对模型性能进行评估，公式如(3)表示。R2是回归问题常用的评价指标。何文科，陈涛 DOI:10.12677/nst.2023.113022 213 核科学与技术 ()()2exp122expexp11NprediiiNiaveiYYRYY=(3)采用交叉验证与网格搜索法对 ML 模型进行参数优化。交叉验证是评估算法泛化能力的一种统计学方法。数据划分为 5 折，在模型训练时使用每一折作为测试集，其余作为训练集，最后取平均值来评估模型的性能。此外，输入参数的重要性分析则采用 SHAP 法和部分依赖性(PD)法。3.结果与讨论结果与讨论 3.1.数据分析数据分析 任何两个变量之间的 Pearson 相关系数如图 1(a)所示。如果两个输入变量之间的 PCC 较高，则会排除其中一个进行降维。PCC 结果表明，依赖单一变量并不能很好地预测 Kd值，需要更复杂的模型来捕获输入与输出间的潜在关系。输入特征之间不是线性相关的，并不需要降维处理。图 1(b)显示了 Kd的统计特性。本研究所用的数据集中，Cs 的 Kd值主要分布在 015 m3kg1之间，这表明从该数据集训练出来的 ML 模型对于较大 Kd的泛化能力有限。(a)(b)Figure 1.(a)Pearson correlation coefficient,(b)histogram of data distribution 图图 1.(a)Pearson 相关系数，(b)数据分布直方图 3.2.模型参数优化模型参数优化 图 2 展示了在不同数量决策树下(n_estimators)，4 种集成算法的五重交叉验证结果。结果表明，当n_estimators 大于 11 时，各算法模型趋于稳定；当 n_estimators 大于 40 时，模型性能会有一些波动。为了防止模型过拟合，我们取 n_estimators 为 21。模型其它参数的最优解则由网格搜索法确定，优化后的主要参数如表 1 所示。3.3.ML 模型性能评估模型性能评估 各 ML 模型预测 Kd的性能如图 3 所示。从 R2值来看，四种算法都有一个较好的预测效果，R2值都能够达到 0.94 以上。这些集成学习算法在随机数据的训练子集上训练大量的决策树，然后再对这些决策树的预测进行整合。这种随机化减少了变异，提高了预测的稳定性和准确性。RF 模型在这些 ML 模型中何文科，陈涛 DOI:10.12677/nst.2023.113022 214 核科学与技术 具有最好的表现。3.4.输入变量的显著性分析和单因素的影响输入变量的显著性分析和单因素的影响 输入因素对 Kd的相对重要性如图 4(a)所示。t 对于 Kd具有最重要的影响，LSR、CEC、T 和 C(int)对 Kd的影响都很小。SHAP 特征重要性分析结果如图 4(b)所示，图中一个点代表一个预测样本，红色表示 Shapley 特征值较大，蓝色表示该特征值较小。可以看出，基于树的特征重要性分析和 SHAP 的结果之间存在一定的差异。这种差异可能来自于两种算法上的差异。RF 中通过添加随机噪声的方式度量输入 Figure 2.Parameter optimization results 图图 2.参数优化结果 Table 1.Optimal parameters 表表 1.最优参数 模型 RF GBDT AdaBoost XGBoost 参数 n_estimators max_depth n_estimators Learning_rate n_estimators Learning_rate n_estimators eta 值 21 8 21 0.25 21 1.1 21 0.2 (a)(b)何文科，陈涛 DOI:10.12677/nst.2023.113022 215 核科学与技术 (c)(d)Figure 3.Performance of ML model in predicting Kd 图图 3.ML 模型在预测 Kd方面的表现 参数的重要性，而 SHAP 是在合作博弈论的启发下所构建一个的解释模型，所有的特征都视为“贡献者”。Shapley 特征值就是该样本中每个特征所分配到的数值。但它们的计算结果也有共同点：t 的影响是最大的，LSR、CEC 和 T 对分配系数的影响都很小。许多研究结果表明，黏土矿物对 Cs 的吸附属于物理吸附，达到吸附平衡需要一定时间。此外 BET 也是一个重要影响因素，这对于黏土矿物作为吸附剂而言，这是不言而喻的。与基于树的特征重要性排序不同，SHAP 值不仅给出了特征的重要性排序，还给出了影响的正负性。从图 4(b)可以看出，t 对 Cs 的吸附有显著的正相关效应。(a)(b)Figure 4.Importance analysis:(a)RF,(b)SHAP value 图图 4.重要性分析：(a)RF，(b)SHAP 值 我们进一步用 RF 模型计算了几个重要的单一因素(BET、pH、t、Na+)对 Kd的影响，结果见图 5。可以看到，t 和 BET 对 Kd的影响有相同的趋势(图 5(a)，图 5(b)，在一定范围内的增加可以促进矿物材料对 Cs 的吸附。较大比表面积有助于提供更多吸附位点，但这种影响也不是绝对的，也会受到其它因素的制约。随着反应时间的增加，Cs 逐渐在矿物表面达到饱和状态，大概在 50 天左右达到平衡，这是因为天然矿物大多带负电性，通过静电相互作用实现对阳离子的吸附固定，这个物理吸附的过程是比较长的何文科，陈涛 DOI:10.12677/nst.2023.113022 216 核科学与技术 14。在溶液中，Na+会与 Cs 的吸附构成竞争关系(图 5(c)，因此会阻碍矿物对 Cs 的吸附。已有研究结果表明，在碱性条件下，天然矿物对 Cs 的吸附较强15。(a)(b)(c)(d)Figure 5.Influence of single factor variables 图图 5.单因素变量影响 4.结论结论 本研究利用 4 种集合算法模型成功预测了 Cs 在各种天然矿物材料上的分配系数(Kd)，其中 RF 模型预测的效果最好。根据 RF 模型，时间因素(t)是影响矿物材料对 Cs 吸附效果的最重要因素。LSR、CEC和 T 对 Kd的影响都很小。在溶液中 Na+会与 Cs 的吸附构成竞争关系，在碱性条件下，矿物对 Cs 的吸附较强。这些结果为我们强化高放废物处置库的安全提供了依据，也为处置库安全评价快速地获取 Kd值提供了新的思路，体现了 ML 在高放废物处置库安全评价中良好的应用前景。基金项目基金项目 国家自然科学基金(U1967212)，中央高校基础研究基金(2022MS040)，大型先进压水堆核电站国家重何文科，陈涛 DOI:10.12677/nst.2023.113022 217 核科学与技术 大科技专项(20119ZX06004009)。参考文献参考文献 1 彭峥,韩阳,刘竞戈.高放射性废物地下实验室施工风险管理模式J.四川建筑,2016,36(4):258-260.2 秦爱芳,贾旭.初始孔隙率对高放射性废物处置库缓冲材料性状的影响J.上海大学学报(自然科学版),2019,25(4):516-525.3 王安,艾英钵,曹炜炜,范志浩.Pb2+在高岭土土柱中迁移时吸附特性的研究J.粉煤灰综合利用,2022,36(1):32-38.4 Stockmann,M.,Schikora,J.,Becker,A.,et al.(2017)Smart Kd-Values,Their Uncertainties and SensitivitiesApplying a New Approach for Realistic Distribution Coefficients in Geochemical Modeling of Complex Systems.Chemosphere,187,277-285.https:/doi.org/10.1016/j.chemosphere.2017.08.115 5 Britz,S.,Noseck,U.,Durner,W.,et al.(2016)Eu(III)Reactive Transport Modeling:The“Smart Kd”Approach.Goldschmidt Conference,Yokohama,27 June 2016,307.6 Chen,M.,Hao,Y.,Hwang,K.,Wang,L.and Wang,L.(2017)Disease Prediction by Machine Learning over Big Data from Healthcare Communities.IEEE Access,5,8869-8879.https:/doi.org/10.1109/ACCESS.2017.2694446 7 Marturana,F.and Fabio,S.(2013)A Machine Learning-Based Triage Methodology for Automated Categorization of Digital Media.Digital Investigation,10,193-204.https:/doi.org/10.1016/j.diin.2013.01.001 8 Shariatmadari,N.,Farrokhi,M.and Falamaki,A.(2004)Prediction of Partition Coefficients for Cadmium by Neural Networks.57th Canadian Geotechnical Conference,Quebec City,1 July 2004,36-41.9 Falamaki,A.(2013)Artificial Neural Network Application for Predicting Soil Distribution Coefficient of Nickel.Journal of Environmental Radioactivity,115,6-12.https:/doi.org/10.1016/j.jenvrad.2012.06.008 10 Da,T.,Ren,H.,He,W.,Gong,S.and Chen,T.(2022)Prediction of Uranium Adsorption Capacity on Biochar by Ma-chine Learning Methods.Journal of Environmental Chemical Engineering,10,Article ID:108449.https:/doi.org/10.1016/j.jece.2022.108449 11 Da,T.,Chen,T.,He,W.,et al.(2022)Applying Machine Learning Methods to Estimate the Thermal Conductivity of Bentonite for a High-Level Radioactive Waste Repository.Nuclear Engineering and Design,392,Article ID:111765.https:/doi.org/10.1016/j.nucengdes.2022.111765 12 Elith,J.,Leathwick,J.R.and Hastie,T.(2008)A Working Guide to Boosted Regression Trees.Journal of Animal Ecology,77,802-813.https:/doi.org/10.1111/j.1365-2656.2008.01390.x 13 Sugiura,Y.,Suyama,T.,Tachi,Y.(2020)Development of JAEA Sorption Database(JAEA-SDB):Update of Sorp-tion/QA Data in FY2019.Japan Atomic Energy Agency,Ibaraki.14 陈廷方,易发成,冯启明,李虎杰.北川埃洛石黏土对 Sr、Co、Cs 的吸附性能研究J.中国矿业,2011,20(3):74-77.15 Wang,R.,Chu,Y.and Chen,M.(2017)Adsorption Kinetics of 137Cs+/90Sr2+on Ca-Bentonite.Water Environment Re-search,89,791-797.https:/doi.org/10.2175/106143017X14902968254593