基于迁移学习的钙钛矿材料带隙预测.pdf

基于迁移学习的钙钛矿材料带隙预测*孙涛1)袁健美1)2)1)(湘潭大学数学与计算科学学院,湘潭411105)2)(湘潭大学,智能计算与信息处理教育部重点实验室,湘潭411105)(2023年 6月 22 日收到;2023年 7月 31 日收到修改稿)针对快速获取钙钛矿材料带隙值的问题,建立特征融合神经网络模型(CGCrabNet),利用迁移学习策略对钙钛矿材料的带隙进行预测.CGCrabNet 从材料的化学方程式和晶体结构两方面提取特征,并拟合特征和带隙之间的映射,是一个端到端的神经网络模型.在开放量子材料数据库中数据(OQMD 数据集)预训练的基础上,通过仅 175 条钙钛矿材料数据对 CGCrabNet 参数进行微调,以提高模型的稳健性.数值实验结果表明,CGCrabNet 在 OQMD 数据集上对带隙的预测误差比基于注意力的成分限制网络(CrabNet)降低 0.014eV;本文建立的模型对钙钛矿材料预测的平均绝对误差为 0.374eV,分别比随机森林回归、支持向量机回归和梯度提升回归的预测误差降低了 0.304eV、0.441eV 和 0.194eV;另外,模型预测的 SrHfO3和 RbPaO3等钙钛矿材料的带隙与第一性原理计算的带隙相差小于 0.05eV,这说明 CGCrabNet 可以快速准确地预测钙钛矿材料的性质,加速新材料的研发过程.关键词：特征融合神经网络,回归模型,带隙预测,迁移学习PACS：89.90.+nDOI:10.7498/aps.72.202310271引言近年来,随着密度泛函理论的不断完善和计算机计算能力的逐渐提升,第一性原理高通量计算在预测新材料和优化材料性质等方面取得较大的发展1.然而,基于第一性原理计算在快速计算时的准确性是有限的,在需要获取高精度的计算结果的时候,利用该方法所需要的计算量是很大的,巨大的计算量成为了高通量计算的瓶颈.对此,寻找一种更快、消耗计算量更少的方式来预测新材料的属性,则可加快新材料的研发过程.近年来,随着机器学习技术的发展,可以有效地对数据和目标标签之间复杂的非线性关系进行建模,已经被广泛应用到材料信息学中2.2018 年,Xie 和 Grossman3提出了一种晶体图卷积神经网络(crystalgraphconvolutionalneu-ralnetworks,CGCNN),预测了带隙等多种晶体材料的性质,并且预测的平均绝对误差要低于或接近基于密度泛函理论(Densityfunctionaltheory,DFT)的方法.2019 年,Chen 等4提出了一种通用的材料图网络(MatErialsgraphnetwork,MEGNet)来预测分子和晶体的性质.在 QM9 分子数据集上对 13 个分子属性进行测试,提高了对大部分分子属性的预测精度.2020 年,Karamad 等5提出一种轨道图卷积神经网络(orbitalgraphconvolu-tionalneuralnetwork,OGCNN),在 CGCNN 模型的基础上加入了原子轨道相互作用特征,在多个晶体材料数据库上验证模型的性能,证明了模型具有高精度的晶体性质预测能力.对于缺乏材料结构信息的数据集,研究人员尝试不利用材料的结构信息,通过其他的材料信息如*湖南省自然科学基金(批准号:2023JJ30567,2021JJ30650)资助的课题.通信作者.E-mail:2023中国物理学会ChinesePhysicalSocietyhttp:/物理学报ActaPhys.Sin.Vol.72,No.21(2023)218901218901-1元素组成等对材料性质进行预测.2018 年,Jha 等6提出一种仅通过元素组成来预测材料化学性质的深度学习模型 ElemNet.在 OQMD 数据库构成的数据集上对每个材料化合物的最低形成焓进行预测,能够以较快的速度和较高的精度预测材料性质.2020 年,Goodall 和 Lee7提出一种从化学计量比中深度表征学习方法 Roost,它将化学计量式视为元素之间的密集加权图,利用消息传递操作在组成材料的各元素之间传递信息,从而更新元素的组成.通过在 OQMD 数据库和 MP 数据库构成的数据集上进行实验测试,发现 Roost 可以有效地对缺少晶体材料结构的数据进行性质预测任务.2021 年,Wang 等8提出一种基于注意力的成分限制网络(compositionallyrestrictedattention-basednetwork,CrabNet),在 28 个基准数据集上进行测试,大多数的预测精度都与其他方法接近或更高.钙钛矿材料的化学通式为 ABX3,是一类结构相似的化合物的总称.钙钛矿材料具有合适的且可调的带隙宽度等优良的性质,是太阳能电池、光催化材料和热电器件等领域的候选材料9.带隙是一个重要的物理性质,它一开始就划定了该材料的应用范围.Guo和 Lin10利用机器学习模型,预测了无铅双钙钛矿卤化物的带隙性质.Gao 等11利用梯度提升回归算法从 5796 种无机双钙钛矿材料中筛选带隙合适的材料,得到 K2NaInI6和 Na2MgMnI6两种候选材料,并且 DFT 计算证实了热稳定性和良好的光学性能.对钙钛矿材料的带隙快速预测可以减小候选材料的搜索空间,加快新材料的研发过程.本文构建了一个深度学习模型 CGCrabNet用于研究钙钛矿材料的带隙性质.该模型通过输入化学式和结构信息,使材料的带隙值作为模型输出,通过反向传播算法更新模型参数.首先在 OQMD数据集中预训练了 CGCrabNet 模型,并且与其他深度学习带隙预测模型进行比较.其次将预训练的CGCrabNet 模型在钙钛矿材料数据集上进行微调.最后,将本文建立的深度学习模型用于对钙钛矿材料的带隙进行预测,并与随机森林回归、支持向量回归和梯度提升回归的预测结果进行对比分析.2特征融合神经网络模型2.1 模型架构介绍本文建立了一种基于化学式和晶体结构作为原始输入的特征融合神经网络模型,简称为 CGCrabNet 模型.模型的数学表达式为z=f(x1,x2,y1,y2,),(1)x1 RNfx2 RNfNfy1 RpIy2其中 z 为带隙值,f 表示神经网络模型,表示元素信息矩阵,表示原子占比矩阵,表示化学式中元素种类数,表示节点特征,每个节点的特征由 One-Hot 编码表示,表示相邻节点信息,p 表示晶体图中节点总数,I 表示节点特征维度,表示模型参数.x1x28 14T0.67 0.33TCGCrabNet 模型对化学式信息的特征提取模块参考 CrabNet 模型8构建.模型输入的化学式用于构造元素信息矩阵 和原子占比矩阵 ,其中元素信息矩阵是由组成化学式的所有元素的原子序数构成的,原子占比矩阵是由化学式中每个元素对应原子数占晶体总原子数的比例分数构成的.例如 SiO2的元素信息矩阵为 ,原子占比矩阵为 .dmpulz1S对于元素信息矩阵,使用元素嵌入将原子序数表示成固定维度的向量,向量维度取决于通过测试确定的元素嵌入方法.对于原子占比矩阵,通过分数编码将其表示为一个 维的向量.分数编码灵感来源于 Vaswani 等12提出的位置编码器,是将一个 0 到 1 之间的分数表示成一个固定维度向量的过程.元素特征构造中的全连接层的作用是进行维度变换,使其可以和分数编码后的向量相加,得到化学式中每个元素的元素特征向量.然后将元素特征向量经过 N 个多头注意力机制,多头注意力机制的头数用 n 表示,这样可以使化学式的每个元素特征向量都包含化学式中其他元素信息.最后在多头注意力机制后连接一个全连接残差网络,用来得到化学式中所有元素的元素原贡献向量 、元素不确定性向量 和元素对数向量 ,通过(2)式和(3)式来计算 和偶然不确定性 :z1=mean(p (l),(2)S=mean(u),(3)(l)=11+elmean()其中 ,表示求向量各分量均值.y1y2ivi对于输入的晶体结构,将其转化成晶体图数据,包括节点特征 和相邻节点信息 .首先由节点嵌入层将每个节点 的 One-Hot 特征变成一个连续、密集的分布式特征向量 .然后考虑相邻节物理学报ActaPhys.Sin.Vol.72,No.21(2023)218901218901-2y2vi点信息 ,利用图卷积层通过非线性图卷积函数迭代更新原子特征向量 ,更新公式为v(t+1)i=v(t)i+j,k(z(t)(i,j)kW(t)f+b(t)f)(z(t)(i,j)kW(t)s+b(t)s),(4)z(t)(i,j)k=v(t)i v(t)jz(t)(i,j)kW(t)fW(t)sb(t)fb(t)sv(T)i其中 ,由节点 i 和节点 j 的特征向量拼接得到.对 分别通过两个全连接神经网络,表示 sigmoid 函数,表示两个张量对应元素进行乘积,分别为第 t层图卷积层中的两个全连接神经网络的权重矩阵和偏置向量.晶体图数据经过 T 层图卷积后,网络可以通过迭代,自动学习每个原子包含其周围的环境的特征向量 .vc接下来,图池化层用于生成晶体的整体特征向量 ,如下所示:vc=(mean(vT0,vT1,vTM),(5)(x)=ln(1+ex)z2其中 ,M 表示晶体图中节点个数.最后将其输入到由全连接层组成的全连接网络中,就可以得到 .z1z2CGCrabNet 模型架构如下图 1 所示.CGCrabNet 模型将基于成分网络得到的 和基于结构网络得到的 加权求和,如(6)式所示,即为目标晶体性质:z=w1z1+w2z2,(6)w1+w2=1其中 .2.2 训练方式在 CGCrabNet 模型训练过程中,需要一个合适的损失函数来衡量模型输出值和真实值之间的差异.在建立损失函数的过程中,这里主要考虑偶然不确定性,并且假设偶然不确定性是异方差的,即不确定性取决于模型的输入,不同的输入对应的噪声输出是不同的13.假设材料数据不确定性的概率分布为拉普拉斯分布,拉普拉斯分布如下:P(b zi|Xi,)=12(Xi)exp(|b zi z(Xi)|(Xi),(7)Xi(Xi)Xiz(Xi)其中 为模型第 i 个输入材料数据,为 CGCrabNet 模型参数,为 的偶然不确定性,为材料带隙性质的计算值,从数据库中直接获得.对(7)式取对数如下:lnP(b zi|Xi,)=ln(2(Xi)1(Xi)|b zi z(Xi)|.(8)因为希望似然估计越大越好,也就是负对数似然值越小越好,所以用等式(8)右边构造一个损失函数:L1=i1(Xi)|b zi z(Xi)|+ln(2(Xi),(9)Xi(Xi)Xib zi(Xi)式中,的偶然不确定性 可以看成关于 的一个未知函数,也可以通过模型学习得到,所以模型同时预测材料的性质 和方差 .可以看到,在模型学习偶然不确定性时,是不需要真实样本值的.因为如果一个样本 i 很难预测,为了最小元素信息矩阵原子占比矩阵元素特征构造分数编码元素嵌入全连接层晶体图节点嵌入图卷积层图池化层多头注意力机制全连接残差网络:损失函数中的方差项:损失函数中性质项p:各元素原贡献向量s:各元素不确定性向量l:各元素对数向量21ps l全连接网络达到停止条件否是训练停止损失函数图1CGCrabNet 模型算法Fig.1.CGCrabNetmodelalgorithm.物理学报ActaPhys.Sin.Vol.72,No.21(2023)218901218901-3(Xi)ln(2(Xi)化损失函数,会适当变大,而损失函数中的 防止了网络预测样本数据不确定性为无穷大的情况.Si=ln(2(xi)在实际训练中,我们训练网络来预测对数方差,从而损失函数为L=i2exp(Si)|b zi z(Xi)|+Si.(10)Si(Xi)这样做是因为在数值上对数方差比方差更稳定,而且可以避免学习到方差为 0 从而导致无法计算损失函数的情况.另外,通过学习对数方差 ,使得方差 被解析到正值,给出有效的方差值.本文使用 Lamb 优化器14更新模型权重,在进行大批量数据训练时,可以保持梯度更新的精度.在训练过程中,学习率是一个很关键的超参数.学习率设置的过大,模型可能很难收敛,设置的过小,则参数更新过于缓慢.这里使用周期性学习率(CLR)15,学习率每 2 个 epoch 在 11041102之间循环,以实现一致的模型收敛.3数值实验分析3.1 实验训练细节Pm3m本文使用了 OQMD(theopenquantummateri-alsdatabase)16和 MaterialsProject17数据库中的材料结构和性质数据.针对 OQMD 数据库,参考 Yamamoto18的数据获取方法,得到包含材料化学式、晶体图结构和带隙的样本数据,这里获取的带隙是由 GGA+U 计算得到的19.由于获取的OQMD 数据库中大部分材料带隙值为 0,为了样本的数据均衡性,考虑将原数据集中带隙值为 0 的样本移除数据集,最终得到 30368 个样本构成本文使用的 OQMD 数据集.针对 MaterialsProject 数据库,按照钙钛矿结构的一些性质例如化学通式(ABX3)、空间群数(221)和空间群名称()等,使用 API 接口筛选数据,然后清除一些非钙钛矿结构数据,得到 175 条包含 CIF 文件、化学式和带隙值的钙钛矿数据,参考 CGCNN3,由 CIF 文件得到相应的晶体图信息,构成本文钙钛矿材料数据集.本文 CGCrabNet 模型先在 OQMD 数据集中和文献中提出的模型进行对比,验证其对带隙的预测能力.然后将 CGCrabNet 应用到钙钛矿材料带隙预测任务中,两个数据集的训练集、验证集和测试集的划分比例均为 622.为了防止过拟合,训练中加入提前停止策略,超参数取值如表 1 所列.3.2 实验结果首先,在 OQMD 数据集上对 One-Hot20,Magpie21和 Mat2vec22三种元素嵌入方法进行测试.Magpie 是一系列原子特征的集合,包括化学计量特征、元素属性特征、电子结构特征和离子化合物属性.Mat2vec 是将物理、化学、材料科学方向的一些词汇表示成200维词嵌入向量的方法,包含了对每个元素的向量表示.三种方法表示的元素向量均可以在开源项目 CrabNet8中获得,测试结果如表 2 所列.由测试结果,确定模型中元素嵌入方法使用 Mat2vec 方法.表2元素嵌入法测试结果(单位:eV)Table2.Elementalembeddingmethodtestresults(ineV).元素嵌入方法TrainMAEValMAETestMAEOne-Hot0.1850.4230.433Magpie0.4280.5460.566Mat2vec0.2030.4080.420为了验证 CGCrabNet 模型预测能力,在 OQMD数据集上,按照同样的训练集、验证集、测试集划分方式,复现了 CGCNN 模型3、Roost 模型7、CrabNet 模型8和 HotCrab 模型8(即 CrabNet 中元素嵌入方法改为 One-Hot 得到的模型)进行对照实验,实验结果如表 3 所列,可以看出 CGCrabNet表1超参数取值Table1.Hyperparametervalue.超参数名称含义值dm元素特征构造得到的向量维度512Nf化学式中最大元素种类7N注意力机制层数3n注意力机制头数4I参与训练的元素种类和89T图卷积层数3Vcg节点嵌入后元素向量维度16w1w2 权重比参数7:3Epochs最大迭代次数300batch_size批处理大小256物理学报ActaPhys.Sin.Vol.72,No.21(2023)218901https:/ CrabNet模型降低了 0.014eV.图 2 是 CGCrabNet 模型训练过程训练集和验证集损失值变换图,可以看到验证集损失值趋于稳定,并且没有出现过拟合的情况.y=x图 3 和图 4 分别是 CGCrabNet 模型在验证集和测试集上预测带隙值和计算带隙值的散点图,图中黑色虚线是由坐标轴上的点线性拟合得到的一次函数,该拟合函数越接近函数 ,说明预测效果越好,进一步验证该模型的预测能力.3.3 模型应用为了研究钙钛矿材料的带隙性质,将 CGCrab-Net 模型用于钙钛矿材料的带隙预测.由于本文使用的钙钛矿数据集较小,所以训练模型时加入迁移学习策略.首先对 OQMD 数据集进行检验,将其中包含的钙钛矿结构数据移除数据集,最终得到29827 条样本;接下来在调整后的 OQMD 数据集上预训练 CGCrabNet 模型,并保存模型参数;最后,将预训练的 CGCrabNet 模型在钙钛矿材料数据集上进行微调.模型微调时 batch_size 变为 16,其他训练细节和预训练时保持不变,训练 39 代时模型训练提前终止.可以看到,在预训练的基础上微调模型,加上设置的提前终止条件,可以在快速收敛的同时有效防止过拟合.此外,还用随机森林回归模型(RF)23、支持向量回归模型(SVR)24、梯度提升回归模型(GBR)对钙钛矿材料的带隙性质进行预测,在建立钙钛矿材料特征时,使用 Atom_DL 原子分布式特征25拼接得到.为得到稳定的预测模型,对 3 种回归模型的参数进行网格搜索,利用 5 折交叉验证对模型进行评估.5 折交叉验证将数据集平均划分成 5 份,依次用其中的一份作为测试集,其他数据作为训练集来得到误差.最后,计算 5 个误差的平均值作为模型最终的误差.所有的机器学习算法模型都是使用开源库 Scikit-learn26实现的,各回归模型的超参数如表 4 所列.为说明迁移学习的重要性,在仅用钙钛矿数据的情况下使用 CGCrabNet 模型对其带隙进行了预测,测试集的平均绝对误差为 0.536eV;加入迁移学习策略之后,测试集的平均绝对误差为表3深度学习模型测试结果(单位:eV)Table3.Deeplearningmodeltestresults(ineV).TrainMAEValMAETestMAECGCNN0.5020.6050.601Roost0.1780.4470.455CrabNet0.2260.4220.427HotCrab0.1770.4220.440CGCrabNet0.1870.4080.4130.80.7平均绝对误差/eV迭代次数0.60.50.40.30.2020406080100训练集损失值验证集损失值图2CGCrabNet 预训练损失值变化Fig.2.CGCrabNetpre-traininglossvaluechange.17.515.0计算带隙值/eV预测带隙值/eV12.510.07.55.02.5002.55.07.510.012.515.017.5=图3验证集预测带隙值Fig.3.Predictedbandgapvaluesonthevalidationset.17.515.0计算带隙值/eV预测带隙值/eV12.510.07.55.02.5002.55.07.510.012.515.017.5=图4测试集预测带隙值Fig.4.Predictedbandgapvaluesonthetestset.物理学报ActaPhys.Sin.Vol.72,No.21(2023)218901218901-50.374eV,预测精度有明显提高.同时,在钙钛矿数据集上复现了 MEGNet 和 CGCNN 模型,用于对比预测效果.各模型预测效果的平均绝对误差值如图 5 所示,可以看到,随机森林回归模型和梯度提升回归模型的平均绝对误差(MAE)要低于支持向量回归模型,这是因为 RF 和 GBR 都是集成学习模型,考虑了多个基本学习器;MEGNet 和 CGCNN模型在测试集上的 MAE 较高,这是由于钙钛矿数据集较小,在小数据集上训练 MEGNet 和 CGCNN模型容易出现过拟合现象.分别利用 CGCrabNet 模型、随机森林回归、支持向量回归和梯度提升回归预测带隙值与计算带隙值绘制成散点图如图 6 所示,两条黑色实线内表4回归模型参数Table4.Regressionmodelparameters.机器学习方法超参数名称取值RF子学习器数量90SVR核函数多项式核多项式核次数3正则化强度2伽马参数2零系数1.5GBR子学习器数量500学习率0.2最大深度4损失函数绝对误差函数0.80.90.7MAE/eV模型名称0.60.50.40.30.20.10SVRGBRCGCrabNetMEGNetCGCNNRF0.6780.8150.5680.3740.6590.763图5钙钛矿材料带隙预测的平均绝对误差对比Fig.5.MAEofbandgappredictionforperovskitematerials.7.53.03.54.04.55.06.05.56.57.0计算带隙值/eV预测带隙值/eV2.52.01.51.00.5007.06.05.04.03.02.01.0CGCrabNetRFSVRGBR图6预测带隙与计算带隙散点图Fig.6.Predictingandcalculatingbandgapscattermaps.表5钙钛矿材料预测值和计算值对比(单位:eV)Table5.Comparison of predicted and calculatedvaluesforperovskitematerials(ineV).化学式带隙计算值 CGCrabNetRFSVRGBRNbTlO30.1120.6581.4581.2961.614ZnAgF31.5851.7761.8362.1941.840AcAlO34.1023.2122.8813.1972.963BeSiO30.2691.1162.8132.9633.777TmCrO31.9291.6821.6121.9871.668SmCoO30.8040.6440.8211.0430.724CdGeO30.1020.5860.9111.6750.196CsCaCl35.3334.8914.9185.1165.157HfPbO32.4152.7241.7332.3461.967SiPbO31.1851.3271.4071.5431.079SrHfO33.7233.6832.8213.3703.253PrAlO32.8793.1392.6652.0912.984BSbO31.4051.1230.653-0.0250.579CsEuCl30.6370.3881.5004.4770.949LiPaO33.1953.1002.443-0.3062.553PmErO31.6961.3091.5501.6821.252TlNiF33.4352.8062.0633.0493.255MgGeO33.6771.2560.9791.6231.073NaVO30.2170.7850.9110.1800.989RbVO30.2500.6161.7360.2901.534KZnF33.6953.7852.8533.2033.295NdInO31.6471.5871.6530.8891.590RbCaF36.3976.9746.4826.3726.028RbPaO33.0012.9522.864-0.2342.937PmInO31.6181.4801.8961.2221.754KMnF32.6562.9912.6472.4282.730NbAgO31.3341.4191.3691.2271.265CsCdF33.2863.0782.9902.7242.879KCdF33.1013.1252.7892.3652.990CsYbF37.0606.6416.3256.5236.736NaTaO32.2601.7141.6802.0931.715CsCaF36.9006.8746.2916.4166.379RbSrCl34.6264.4704.9664.6474.795AcGaO32.8963.1992.7402.8692.981BaCeO32.2991.7893.9182.6963.655注:CGCrabNet,RF,SVR和GBR分别代表特征融合神经网络、随机森林回归、支持向量回归和梯度提升回归模型计算得到的带隙值.物理学报ActaPhys.Sin.Vol.72,No.21(2023)218901218901-6部的点表示预测值与计算值相差小于 1eV,数据点越靠近红色实线表示模型的预测效果越佳.可以看出微调之后的 CGCrabNet 模型在钙钛矿材料数据集上预测效果良好.表 5 列出了钙钛矿材料数据集测试集中的35 个样本的带隙计算值和带隙预测值,带隙预测值包括特征融合神经网络模型(CGCrabNet)、随机森林回归(RF)、支持向量回归(SVR)和梯度提升回归(GBR)预测的带隙值.从表 5 可以看出,CGCrabNet 模型对 SrHfO3和 RbPaO3等钙钛矿材料预测的带隙值与计算值的平均绝对误差小于0.05eV,并且对于大多数预测的钙钛矿材料,CGCrabNet 预测的带隙比其他 3 个回归模型预测的带隙更接近带隙计算值.4结论本文针对钙钛矿材料带隙预测任务,构建了一个深度学习带隙预测模型.比较了 Roost 模型、CrabNet 模型、HotCrab 模型、CGCNN 模型和 CGCrabNet 模型在 OQMD 数据集上对材料化合物的带隙预测效果.利用迁移学习将在 OQMD 数据集上预训练的 CGCrabNet 模型,用于对钙钛矿材料的带隙性质进行预测研究.同时,本文在钙钛矿材料数据集上建立了随机森林回归模型、支持向量回归模型和梯度提升回归模型,用于和本文建立的模型进行比较.实验结果表明,在 OQMD 数据集上,CGCrabNet 对带隙的预测精度比 CrabNet 等模型有一定提升;在钙钛矿材料数据集上,本文建立的模型利用迁移学习策略对钙钛矿材料预测的平均绝对误差为 0.374eV,分别比随机森林回归、支持向量机回归和梯度提升回归的预测误差降低了0.304eV,0.441eV 和 0.194eV;另外,模型预测的 SrHfO3和 RbPaO3等钙钛矿材料的带隙与第一性原理计算的带隙的误差小于 0.05eV,这说明CGCrabNet 模型可以快速准确地预测新材料的性质,加速新材料的研发过程.此外,本文的 CGCrabNet 模型考虑了材料的化学式和晶体图结构两种特征作为输入,未来可以探索更多的材料特征输入模型,通过多种特征精准学习出材料特征和性质的映射关系;另一方面,本文将特征融合神经网络模型应用到钙钛矿材料的带隙预测任务中,进一步可以将其应用到其他材料的物理化学性质的研究中.参考文献 FanXL2015Mater.China34689(inChinese)范晓丽2015中国材料进展346891WanXY,ZhangYH,LuSH,WuYL,ZhouQH,WangJL2022Acta Phys.Sin.71177101(inChinese)万新阳,章烨辉,陆帅华,吴艺蕾,周跫桦,王金兰2022物理学报711771012XieT,GrossmanJC2018Phys.Rev.Lett.1201453013ChenC,YeWK,ZuoYX,ZhengC,OngSP2019Chem.Mater.3135644KaramadM,MagarR,ShiYT,SiahrostamiS,GatesLD,FarimaniAB2020Phys.Rev.Materials40938015JhaD,WardL,PaulA,LiaoWK,ChoudharyA,WolvertonC,AgrawalA2018Sci.Rep.8175936GoodallREA,LeeAA2020Nat.Commun.1162807WangAYT,KauweSK,MurdockRJ,SparksTD2021NPJ Comput.Mater.7778HuY,ZhangSL,ZhouWH,LiuGY,XuLL,YinWJ,ZengHB2023J.Chin.Chem.Soc.51452(inChinese)胡扬,张胜利,周文瀚,刘高豫,徐丽丽,尹万健,曾海波2023硅酸盐学报514529GuoZ,LinB2021Sol.Energy22868910GaoZY,ZhangHW,MaoGY,RenJN,ChenZH,WuCC,GatesID,YangWJ,DingXL,YaoJX2021Appl.Surf.Sci.56815091611Vaswani A,Shazeer N,Parmar N,Uszkoreit J,Jones L,GomezAN,KaiserL,PolosukhinI2017arXiv:1706.03762v5cs.CL12Nix D A,Weigend A S 1994 Proceedings of 1994 IeeeInternational Conference on Neural Networks (ICNN94)Orlando,FL,USA,28June02July,1994p5513YouY,LiJ,ReddiS,etal.2020arXiv:1904.00962v5cs.LG14SmithLN2017arXiv:1506.01186v6cs.CV15SaalJE,KirklinS,AykolM,MeredigB,WolvertonC2013JOM65150116JainA,OngSP,HautierG,ChenW,RichardsWD,DacekS,CholiaS,GunterD,SkinnerD,CederG,PerssonKA2013APL Mater.101100217YamamotoT2019Crystal Graph Neural Networks for DataMining in Materials Science(Yokohama:ResearchInstituteforMathematicalandComputationalSciences,LLC)18Kirklin S,Saal J E,Meredig B,Thompson A,Doak J W,AykolM,RhlS,WolvertonC2015NPJ Comput.Mater.11519CalfaBA,KitchinJR2016AIChE J.62260520WardL,AgrawalA,ChoudharyA,WolvertonC2016NPJComput.Mater.21602821Tshitoyan V,Dagdelen J,Weston L,Dunn A,Rong Z Q,KononovaO,PerssonKA,CederG,JainA2019Nature5719522BreimanL2001Mach.Learn.45523WuYR,LiHP,GanXS2013Adv.Mater.Res.84812224Sun T,Yuan J M 2023 Acta Phys.Sin.72 028901(inChinese)孙涛,袁健美2023物理学报7202890125PedregosaF,VaroquauxG,GramfortA,MichelV,ThirionB,GriselO,BlondelM,PrettenhoferP,WeissR,DubourgV,VanderplasJ,PassosA,CournapeauD,BrucherM,PerrotM,Duchesnay2011J.Mach.Learn.Res.12282526物理学报ActaPhys.Sin.Vol.72,No.21(2023)218901218901-7Band gap prediction of perovskite materialsbased on transfer learning*SunTao1)YuanJian-Mei1)2)1)(School of Mathematics and Computational Science,Xiangtan University,Xiangtan 411105,China)2)(Key Laboratory of Intelligent Computing and Information Processing of Ministry of Education,Xiangtan University,Xiangtan 411105,China)(Received22June2023;revisedmanuscriptreceived31July2023)AbstractThebandgapisakeyphysicalquantityinmaterialdesign.First-principlescalculationsbasedondensityfunctional theory can approximately predict the band gap,which often requires significant computationalresourcesandtime.Deeplearningmodelshavetheadvantagesofgoodfittingcapabilityandautomaticfeatureextractionfromthedata,andaregraduallyusedtopredictthebandgap.Inthispaper,aimingattheproblemofquicklyobtainingthebandgapvalueofperovskitematerial,afeaturefusionneuralnetworkmodel,namedCGCrabNet,isestablished,andthetransferlearningstrategyisusedtopredictthebandgapofperovskitematerial.TheCGCrabNetextractsfeaturesfrombothchemicalequationandcrystalstructureofmaterials,andfitsthemappingbetweenfeatureandbandgap.Itisanend-to-endneuralnetworkmodel.Basedonthepre-training data obtained from the Open Quantum Materials Database(OQMD dataset),the CGCrabNetparameterscanbefine-tunedbyusingonly175perovskitematerialdatatoimprovetherobustnessofthemodel.ThenumericalandexperimentalresultsshowthatthepredictionerroroftheCGCrabNetmodelforbandgappredicitonbasedontheOQMDdatasetis0.014eV,whichislowerthanthatobtainedfromthepredictionbasedoncompositionallyrestrictedattention-basednetwork(CrabNet).Themeanabsoluteerrorofthemodeldevelopedinthispaperforpredictingperovskitematerialsis0.374eV,whichis0.304eV,0.441eVand0.194eVlower than that obtained from random forest regression,support vector machine regression and gradientboostingregression,respectively.Themeanabsoluteerrorofthetestseto