基于多特征提取的时间卷积知识追踪模型.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第7期总第335期文章编号：1006-2475（2023）07-0025-05收稿日期：2022-08-08；修回日期：2022-10-03基金项目：国家自然科学基金资助项目（61672389）；广州市大数据智能教育重点实验室项目（201905010009）作者简介：谢仕斌（1997），男，广东汕头人，硕士研究生，研究方向：教育大数据，知识追踪，E-mail:；刘梦赤（1962），男，教授，研究方向：大数据系统，智能信息系统，E-mail:；唐诗琪（1998），女，广东湛江人，硕士研究生，研究方向：自然语言处理，情感分类，E-mail:；周瑞平（1998），女，四川广安人，硕士研究生，研究方向：数据库技术。0引言近年来，随着互联网教育的快速发展，智能辅导系统（Intelligent Tutoring System，ITS）1和大规模在线开放课程（Massive Open Online Courses，MOOCs）等在线教育平台2也越来越普及，数百万的学生选择使用在线平台学习。与传统的线下课堂教育不同的是，在线教育系统能够保留学生详细的学习轨迹，提供调查不同轨迹下学生行为效能的条件3。然而教育信息化的普及也导致在线教育平台产生了海量且繁杂的教育数据，也造成了学生与教师人数悬殊，使得教师难以追踪每一个学生的知识掌握情况，从而无法提供有效的个性化学习指导。同时，对学生来说，面对日益增长的海量数据信息，学生也难以找到真正对自己有帮助的信息4。因此，利用科学的方法有针对性地对教育数据进行分析与挖掘是非常有必要的5。其中，知识追踪便是智慧教育领域中的关键技术之一，其任务可以简单表述为：根据学习者的历史学习交互记录，跟踪学习者的知识状况，从而预测未来的学习表现，实现个性化教育。经典的知识追踪模型主要包括基于隐马尔可夫模型（Hidden Markov Model，HMM）6的贝叶斯知识追踪（Bayesian Knowledge Tracing，BKT）7和基于循环神经网络（Recurrent Neural Network，RNN）8的深度知识追踪（Deep Knowledge Tracing，DKT）9。由于神经网络较强的学习能力，DKT模型的预测基于多特征提取的时间卷积知识追踪模型谢仕斌1，2，刘梦赤1，2，唐诗琪1，2，周瑞平1，2（1.华南师范大学计算机学院，广东 广州 510631；2.华南师范大学广州大数据智能教育重点实验室，广东 广州 510631）摘要：知识追踪（Knowledge Tracing，KT）是教育数据挖掘领域中的关键技术，其通过利用学生的历史学习记录来预测学生下一次的作答表现。针对基于时间卷积网络（TCN）的深度知识追踪模型存在的只使用学生答题序列和答题结果，而忽略学生其他行为特征的问题，本文提出一种基于多特征提取的时间卷积知识追踪模型TKT-PCA。使用时间卷积网络和主成分分析（Principal Component Analysis，PCA）方法自动提取多种学生作答行为中的隐藏特征并学习它们的表示，不仅降低了特征维度减少冗余信息，还充分评估了学生的知识掌握情况。实验结果表明，与其他知识追踪基线模型相比，TKT-PCA有更好的预测性能。关键词：深度学习；知识追踪；时间卷积网络；教育数据挖掘；智能教育中图分类号：TP391文献标志码：ADOI:10.3969/j.issn.1006-2475.2023.07.005A Temporal Convolutional Knowledge Tracking Model Based onMultiple Feature ExtractionXIE Shi-bin1，2，LIU Meng-chi1，2，TANG Shi-qi1，2，ZHOU Rui-ping1，2（1.School of Computer Science，South China Normal University，Guangzhou 510631，China；2.Guangzhou Key Laboratory ofBig Data and Intelligent Education，South China Normal University，Guangzhou 510631，China）Abstract:Knowledge tracing（KT）is a key technology in the field of educational data mining.It uses studentshistorical learning records to predict studentsnext answer performance.Aiming at the problem that the deep knowledge tracking model basedon time convolution network（TCN）only uses students answer sequences and answer results，and ignores other behavior characteristics of students，a deep knowledge tracking model based on multi feature extraction（TKT-PCA）is proposed.The modeluses principal component analysis（PCA）method to automatically extract hidden features in a variety of students answer behavior and learn their representation.It not only reduces the feature dimension and redundant information，but also fully evaluatesstudentsknowledge mastery.The experimental results show that the TKT-PCA has the better prediction performance comparedwith other knowledge tracking baseline models.Key words:deep learning；knowledge tracking；temporal convolution network；educational data mining；intelligent education计算机与现代化2023年第7期能力往往要远强于BKT模型。然而，RNN类网络模型通常需要等待上一个时间步的前向传递结束后才可进行下一个时间步的前向传递，因此训练时间较长。并且，在长序列任务上，RNN经常存在梯度消失和梯度爆炸的问题，从而无法利用很久以前的信息。最近的研究表明，RNN并不是时间序列任务的唯一选择。某些特定的卷积神经网络结构也可以达到很好的效果。Bai 等人10提出了时间卷积网络（Temporal Convolution Networks，TCN），并将其与多种 RNN 结构相对比，发现在多种时间序列任务上TCN都能达到甚至超过RNN模型的性能10，同时也避免了递归模型的常见缺陷，如梯度爆炸或梯度消失以及计算效率差等问题11。此外，与在RNN中对后续时间步的预测必须等待前一个时间步完成的情况不同，在TCN中所有时间步的输入信息的前向传递过程是同时进行的，因此训练速度也大幅提升。如今，TCN也被广泛用于对时间序列问题的建模。Deng等人12提出一种新的股票趋势预测模型KDTCN。该模型可以更快地对突变作出反应，并且在股票数据集上胜过其他先进的方法。He等人13提出了一种基于时间卷积神经网络的时间序列异常检测方法，这是首次将TCN应用于时间序列异常检测，实验验证了提出的方法的有效性。Chen等人14提出了一种基于卷积神经网络的多关联时间序列预测的概率预测框架，在多个数据集上该框架的精度和效率均优于其他先进的方法。近年来，研究者们也展开了使用时间卷积网络进行知识追踪的研究。然而，现有的基于TCN的知识追踪模型往往只考虑了知识点ID和作答结果作为模型的输入，却忽略了学生在答题时的其他行为特征，如作答时间、作答次数、上次作答结果等。但是，这些特征不仅能够表示学生的作答行为，更为知识追踪提供了额外的信息，充分利用这些额外信息能够更加准确地评估学生的知识掌握情况。针对上述问题，本文提出了一种基于多特征提取的时间卷积知识追踪模型TKT-PCA。本文主要工作如下：1）将在线教育平台生成的所有特征都纳入到知识追踪模型中，并采用特征提取方法主成分分析（Principal Component Analysis，PCA）来自动处理多个特征并学习它们的表示。2）利用时间卷积网络将学生的答题结果与行为特征相结合，来跟踪学生的知识状态。时间卷积网络使用空洞因果卷积结构，能够有效避免递归模型常见的梯度问题。3）在公开数据集上将本文提出的模型与5种较为流行的知识追踪模型进行对比实验，验证了本文模型具有更好的性能。此外，还通过设计消融实验，验证了多特征提取的有用性。1相关研究BKT 模型是目前最流行的知识追踪模型之一。BKT模型提出了一个关于学生知识状态的隐含变量，学生的知识状态由一个二元组表示。整个模型结构实际上是一个隐马尔可夫模型6，根据状态转移矩阵来预测下一个状态，根据当前的状态来预测学生的答题结果。虽然 BKT 模型在知识追踪领域取得了成功，但是其本身依然存在几个问题。首先，学生的知识状态用二元组表示，不允许模糊性的存在，而这并不是很符合现实中的学习情况。其次，BKT模型还需要专家对相关知识进行标注，这需要耗费大量的时间和精力，人工成本较高。循环神经网络是一种处理时间序列任务的模型，信息是基于早期的信息和当前输入的信息进行递归传播的。相对于HMM，RNN具有高维、连续的隐藏状态表示。RNN在很多时间序列任务上都取得了非常好的结果，因此许多研究者将其应用到知识追踪领域。Piech 等人9首次使用 RNN 来处理知识追踪任务，提出了DKT模型。DKT模型通过运用RNN的隐藏层来表示学生的知识空间状态，来判断学生学习情况，从而预测学生未来的表现。近年来，许多学者也尝试使用其他模型结构来对知识追踪进行研究。Zhang等人15提出了动态键值对 记 忆 网 络 知 识 追 踪 模 型（Dynamic Key-ValueMemory Network，DKVMN）。该模型借鉴了MANN16的思想，并结合了BKT和DKT的优点。与MANN不同的是，使用一个称为键的静态矩阵，用于存储知识点，而另一个称为值的动态矩阵，则用于存储和更新相应知识点的掌握程度，提升了模型的可解释性。随着基于注意力机制的模型的发展，也有一些研究者将自注意力模型应用于知识追踪领域中。Pandey 等人17提出了基于自注意力机制18的知识追踪模型SAKT。SAKT 模型使用 Google 提出的 Transformer 模型对学生做题序列进行建模。由于脱离了RNN的结构限制，SAKT也不存在长序列依赖问题。2模型描述2.1问题定义知识追踪研究旨在根据学生的历史做题记录来追踪学生知识状态的变化，从而根据学生的知识水平和对知识点的掌握程度来预测其在未来的学习表现。本文用S来表示一组学生，用E来表示一组习题。此外，用R0，1来表示学生作答结果，其中0表示答题错误，1表示答题正确。在t时刻，学生i的学习交互向量表示为s（i，t）=f1，f2，fn，其中fp表示学生i的第p个特征，n表示特征总数。因此，学生i从时刻1到t的学习交互序列Si可表示为Si=s（i，1），s（i，2），s（i，t）。定义1 学生学习表现预测。给定每一个学生从时刻1到t的学习交互序列Si=s（i，1），s（i，2），s（i，t），目标是预测t+1时刻的学习表现。2.2模型整体结构为了增强深度知识追踪预测学生表现的效果，本文提出了TKT-PCA模型。如图1所示，TKT-PCA模262023年第7期型由2个部分组成：1）嵌入模块，该模块结合了学生的答题结果和行为特征，并使用机器学习方法 PCA将学生的答题行为处理成特征向量；2）深度学习模块，该模块将嵌入模块生成的特征向量作为输入，使用时间卷积网络 TCN 提取学生每个时刻的知识状态，通过全卷积层和空洞因果卷积层计算得出下一题正确的概率。图1TKT-PCA模型结构2.3特征嵌入引入学生的答题行为特征无疑能够为本文的模型提供额外的信息，使得模型更加准确地评估学生的知识掌握情况。但与此同时，也会导致输入向量维度的增加，增加了模型的训练时间和参数。因此，在信息损失最小的情况下，有必要在充分考虑特征独立性和特征之间的关系的基础上，减少特征空间的维度。主成分分析19是一种常见的数据降维方法，其目的是在信息损失较小的前提下，将高维的数据转换到低维，从而减小计算量。因此，本文采用PCA方法来处理学生的多种特征。特征嵌入的细节描述如下：首先，对特征信息中出现的单位进行去除，比如次数、毫秒等，使其转换为无量纲的纯数值。然后，对学习交互向量s（i，t）=f1，f2，fn进行归一化。计算公式如下：fi=fi-fm，f=1ni=1nfi，m=1ni=1n(fi-f)2（1）其中，f表示为均值，m表示为标准差，fi则表示为归一化后的新特征。这就得到一个新的特征序列和特征矩阵：Si=s()i,1.s(i,t)T Rt n（2）接着，计算协方差矩阵D：D=1tSiSiT Rn n（3）通过协方差矩阵D计算特征向量及其对应的特征值，然后将特征值从大到小进行排序。选择前k个最大特征值所对应的特征向量组成一个新的矩阵QRnk。最后，计算出最终的矩阵 Xi=SiQ，XiRtk。这样，通过PCA方法减少了特征空间的维度并生成了新的特征矩阵Xi=x1，x2，xt来表示学生i从时刻1到t的学习记录，从而作为模型的输入。2.4时间卷积网络TCN2.4.1空洞因果卷积与传统的卷积神经网络不同，因果卷积是单向的结构，不能看到来自未来的数据。其结构如图 2 所示，对于上一层t时刻的值，只能依赖于下一层t时刻及t时刻之前的值。由此可见，因果卷积是一种严格的时间约束模型。图2因果卷积然而，单纯的因果卷积对历史信息的覆盖范围并不大。面对学生长期的历史学习记录，因果卷积需要不断增加网络深度。随着深度逐渐增大，网络中参数成倍增加，使得网络的训练难度也迅速变大。为了解决这个问题，TCN使用空洞卷积20来扩大因果卷积网络对历史信息的感受野。如图3所示，空洞卷积允许卷积时的输入存在间隔采样，采样率受图中的空洞因子d控制。底层的d为1，表示每个点作为输入进行采样；中间层的d为2，表示每2个点作为输入进行采样。通常，本文设定d=2i（i代表网络的第i层），即d的大小随网络深度呈指数型增长。因此，卷积网络使用的层数较少，便可以获得较大的感受野。对于一维输入序列x，滤波器f:0，1，2，k-1，空洞卷积函数F的数学表达式为：F(s)=(x df)(s)=i=0k-1f(i)xs-di（4）其中，s为输入的时间序列信息；d为空洞因子，即空洞间隔大小；s-di指代对历史某一信息的定位。图3空洞因果卷积2.4.2残差连接残差连接被证明是训练深层网络的有效方法，它使得网络可以跨层传递信息，避免了梯度消失和梯度爆炸等问题21。残差块的计算如下：=Activation（x+F（x）（5）TCN模型使用了残差块22来代替卷积层。如图4所示，一个残差块包含2层卷积和非线性映射，每层中还加入了WeightNorm来正则化网络。为了确保残差连接有效，当输入通道的数量与空洞因果卷积的输出通道数量不同时，还需使用额外的11卷积。Output Dilation=2tHidden LayerDilation=2t-1Hidden LayerDilation=21Hidden LayerDilation=20Inputx1x2xtStPCAxtOuputHidden LayerHidden LayerHidden LayerInputOuputHidden Layer d=21Hidden Layer d=20Input谢仕斌，等：基于多特征提取的时间卷积知识追踪模型27计算机与现代化2023年第7期图4TCN残差块3实验与结果分析为了评估本文TKT-PCA模型的性能指标，在公开的常用知识追踪数据集上进行实验，并与5种具有代表性的模型进行对比。实验结果表明：TKT-PCA模型的预测能力均优于其他模型。3.1数据集本 文 实 验 所 使 用 的 公 共 数 据 集 是 ASSISTments200923。AssisTments 平台是一个免费的在线教育平台。该数据集源自2009-2010学年期间学生在ASSISTments平台的答题记录。其中，本文选择的是”skill-builder”版本的数据集，该版本去除了旧版本中出现的重复数据。该版本数据集中包含了4151名学生，110个知识点标签以及325637条答题记录。同时，此版本数据集也记录了学生在答题时的23种行为特征，部分特征描述如表1所示。表1部分行为特征特征类型user_idproblem_idskill_idms_first_responsehint_countattempt_count描述学生序号问题序号知识点序号学生首次响应的时间请求提示次数学生尝试作答次数3.2模型实现本文实验将数据集中 80%的数据作为训练集，20%的数据作为测试集，并使用5折交叉验证方法对模型的超参数进行调整。TKT-PCA模型训练时，卷积层的卷积核设置为7，批处理大小为32，使用Adam优化器 24 对 TKT-PCA 模型进行训练，学习率设为0.001，同时，使用Dropout 25 防止模型出现过拟合现象。3.3对比模型本文选择以下5种具有代表性的知识追踪模型与TKT-PCA进行对比试验：1）BKT。BKT模型是 Corbett等人7提出的一种使用隐马尔可夫模型来进行知识追踪的模型，以二元组表示学生的知识状态。2）DKT。DKT模型是Piech等人9提出的一种使用循环神经网络来估计学生对知识概念的掌握程度的模型，也是第一个将深度学习技术应用于知识追踪领域的模型。3）DKT+26。DKT+模型在 DKT 模型的基础上，将正则化加入到损失函数中来平滑预测中的过渡。4）DKVMN。DKVMN 模型是 Zhang 等人15提出的一种使用动态键值记忆神经网络的知识追踪模型，其用记忆网络存储不同的知识状态，并学习知识点之间的隐含关系，从而预测学生的答题表现。5）SAKT。SAKT模型引入了自注意力机制来取代RNN，脱离了RNN的结构限制，不存在长序列依赖问题。3.4模型评价为了评估TKT-PCA模型的预测性能，本文选择知识追踪领域研究工作中常用的评价指标AUC27来度量。AUC被定义为ROC曲线与X坐标轴围成的面积，并且AUC的取值范围为 0.5，1.0。AUC越接近1.0，模型效果越好；等于0.5时，则效果最差，无应用价值。不同模型在数据集上的实验结果如表2所示。表2各类知识追踪模型在ASSISTments2009上的AUC模型BKTDKTDKT+DKVMNSAKTTKT-PCAAUC0.65310.76840.77590.76510.75970.7926通过对比各类知识追踪模型的AUC可以发现，基于深度学习的知识追踪模型的预测能力均优于使用隐马尔可夫模型的BKT模型，这说明了使用二元组简单表示学生的知识状态具有一定的局限性。DKT模型使用循环神经网络的隐藏层构建学生的知识水平，因此相比 BKT 模型，提升了预测精度。而DKT+模型则在 DKT模型的基础上对损失函数进行了改进，从而使得DKT+模型的预测能力优于DKT模型。此外，从实验结果可以看出DKT模型的预测能力略高于DKVMN模型，这在文献 17 中的实验部分也有所体现，而基于自注意力机制的SAKT模型的预测能力则要逊于DKT模型。同时可以看到，在本文实验的深度知识追踪模型当中，本文提出的 TKT-PCA模型的预测性能最佳，其在ASSISTments2009数据集上的 AUC 值为 0.7926，相较于其他深度知识追踪模型，分别高出了3.15%、2.15%、3.60%和4.33%。为了进一步验证 TKT-PCA 中多特征提取的影响，本文针对该模型设计了消融实验。其中，TKT模型使用时间卷积网络TCN对知识追踪任务建模但只考虑了学生的答题结果。而TKT-MF模型则在TKT的基础上结合了学生的答题行为特征，但不使用机器学习方法PCA进行特征提取。消融实验的实验结果如表3所示。Dilated Causal ConvDropoutReLUWeightNormDropoutReLUWeightNormDilated Causal ConvResidual block（k，d）11 Conv（optional）z（i）=（z（i）1，z（i）T）z（i-1）=（z（i-1）1，z（i-1）T）282023年第7期表3在ASSISTments2009上消融实验的AUC模型TKTTKT-MFTKT-PCAAUC0.76980.77830.7926通过消融实验的结果，可以看到 TKT 模型和TKT-MF模型的预测能力均高于DKT模型，这表明时间卷积网络的深层空洞因果卷积能够有效考虑到学生更长时间的学习记录从而提升预测性能。其中，TKT-MF模型的预测能力略高于TKT模型，其AUC与之相比提高了1.10%，这说明了结合学生的答题行为特征能够更加准确地评估学生的知识掌握情况，但由于大量高维且冗余的输入信息，使得模型的预测性能的提升受到一定的限制。而TKT-PCA则使用机器学习方法PCA对特征空间进行降维，提取了特征中更加重要的潜在信息，从而进一步提升了模型的性能，其AUC值与TKT-MF相比，进一步提升了1.84%。在RNN中对后续时间步的预测必须等待前一个时间步完成，无法并行计算，而TCN中所有时间步的输入信息的前向传递过程是同时进行的，具有可并行的特点。因此，为了验证TKT-PCA的运算效率，本文与 DKT 模型进行了对比实验，记录了 TKT-PCA 与DKT 模型在数据集上的训练时间。如表 4 所示，TKT-PCA的训练速度要远远快于DKT。表4TKT-PCA与DKT模型训练时间对比模型DKTTKT-PCA时间/min2894结束语近年来，随着时间卷积网络的发展，研究者们展开了使用时间卷积网络进行知识追踪的研究。然而以往基于TCN1的知识追踪方法忽略了学生答题时的行为特征。针对上述问题，本文提出了一种新型有效的TCN知识追踪模型TKT-PCA。该模型使用时间卷积网络TCN对知识追踪任务建模，并结合了学生在答题时产生的所有行为特征，同时使用机器学习方法PCA进行特征提取并学习其表现形式，为知识追踪提供了额外的信息，从而更加准确地评估学生的知识掌握情况。实验结果表明，TKT-PCA模型的预测效果均优于其他基线模型。参考文献：1 WOOLF B P.Building Intelligent Interactive Tutors:Student-centered Strategies for Revolutionizing E-learningM.Morgan Kaufmann Publishers Inc，2010.2 刘恒宇，张天成，武培文，等.知识追踪综述 J.华东师范大学学报（自然科学版），2019（5）:1-15.3 李菲茗，叶艳伟，李晓菲，等.知识追踪模型在教育领域的应用:20082017年相关研究的综述 J.中国远程教育，2019（7）:86-91.4 张坤颖，张家年.人工智能教育应用与研究中的新区、误区、盲区与禁区 J.远程教育杂志，2017，35（5）:54-63.5BAKHSHINATEGH B，ZAIANE O R，ELATIA S，et al.Educational data mining applications and tasks:A surveyof the last 10 yearsJ.Education and Information Technologies，2018，23（1）:537-553.6 RABINER L，JUANG B.An introduction to hidden MarkovmodelsJ.IEEE ASSP Magazine，1986，3（1）:4-16.7 CORBETT A T，ANDERSON J R.Knowledge tracing:Modeling the acquisition of procedural knowledge J.UserModeling and User-Adapted Interaction，1994，4（4）:253-278.8ZAREMBA W，SUTSKEVER I，VINYALS O.Recurrentneural network regularizationJ.arXiv preprint arXiv:1409.2329，2014.9 PIECH C，SPENCER J，HUANG J，et al.Deep knowledgetracing C /Proceedings of the 28th International Conferenceon Neural Information Processing Systems.2015:505-513.10 BAI S，KOLTER J Z，KOLTUN V.An empirical evaluation of generic convolutional and recurrent networks for sequencemodeling J .arXivpreprintarXiv:1803.01271，2018.11 MARTENS J，SUTSKEVER I.Learning recurrent neuralnetworks with hessian-free optimizationC/Proceedingsof the 28th International Conference on International Conference on Machine Learning.2011:1033-1040.12 DENG S M，ZHANG N Y，ZHANG W，et al.Knowledge-driven stock trend prediction and explanation via temporalconvolutional network C/Proceedings of the 2019 WorldWide Web Conference.2019:678-685.13 HE Y D，ZHAO J B.Temporal convolutional networks foranomaly detection in time seriesJ.Journal of Physics:Conference Series.，2019，1213（4）:042050.DOI:10.1088/1742-6596/1213/4/042050.14 CHEN Y T，KANG Y F，CHEN Y X，et al.Probabilisticforecasting with temporal convolutional neural network J.Neurocomputing，2020，399:491-501.15 ZHANG J N，SHI X J，KING I，et al.Dynamic key-valuememory networks for knowledge tracingC/Proceedingsof the 26th international conference on World Wide Web.2017:765-774.16 SANTORO A，BARTUNOV S，BOTVINICK M，et al.Meta-learning with memory-augmented neural networksC/Proceedings of the 33rd International Conference onInternational Conference on Machine Learning.2016:1842-1850.17PANDEY S，KARYPIS G.A self-attentive model for knowledge tracing J.arXiv preprint arXiv:1907.06837，2019.18 VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need J.arXiv preprint arXiv:1706.03762，2017.19 WOLD S，ESBENSEN K，GELADI P.Principal component analysis J.Chemometrics and Intelligent LaboratorySystems，1987，2（1-3）:37-52.20 OORD A，DIELEMAN S，ZEN H，et al.Wavenet:A generative model for raw audioJ.arXiv preprint arXiv:1609.03499，2016.21 LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentationC/Proceedings of 2015 IEEE Conference on Computer Vision and Pat（下转第42页）谢仕斌，等：基于多特征提取的时间卷积知识追踪模型29计算机与现代化2023年第7期monitoring of a cable-stayed bridgeJ.Structural HealthMonitoring，2018，18（1）:35-48.6 佚名.桥梁结构健康监测与智能检测专栏导语 J.中国公路学报，2021，34（12）:2.7 中国公路学报 编辑部.中国桥梁工程学术研究综述 2021 J.中国公路学报，2021，34（2）:1-97.8 魏涛涛，朱利明，卓静超.基于NAR动态神经网络的桥梁SHM应变预测 J .工程建设与设计，2020（13）:143-145.9 王亚飞，韩静，郭凰，等.基于Bi-LSTM的结构变形预测J.计算机系统应用，2021，30（11）:304-309.10 COLOMINAS M A，SCHLOTTHAUER G，TORRES M E.Improved complete ensemble EMD:A suitable tool for biomedical signal processingJ.Biomedical Signal Processing and Control，2014，14:19-29.11 HUANG N E，SHEN Z，LONG S R，et al.The empiricalmode decomposition and the Hilbert spectrum for nonlinearand non-stationary time series analysisJ.ProceedingsMathematical Physical and Engineering Sciences，1998，454（1971）:903-995.12 WU Z H，HUANG N E.Ensemble empirical mode decomposition:A noise-assisted data analysis methodJ.Advances in Adaptive Data Analysis，2005，1（1）:1-41.13 YEH J R，SHIEN J S，HUANG N E.Complementary ensemble empirical mode decomposition:A novel noise enhanced data analysis methodJ.Advances in AdaptiveData Analysis，2010，2（2）:135-156.14 TORRES M E，COLOMINAS M A，SCHLOTTHAUER G，et al.A complete ensemble empirical mode decompositionwith adaptive nois C/IEEE International Conference onAcoustics，Speech and Signal Processing.2011:4144-4147.15DELILLO D.White Noise M.Penguin Classics，1999.16AZIZ W，ARIF M.Multiscale permutation entropy of physiological times series C/IEEE INMIC International Multi-topic Conference.2007:1-6.17BANDT C，POMPE B.Permutation entropy:A natural complexity measure for time series J.Pysical Review Letters，2002，88（17）:1-4.18JORDAN M I.Serial order:A parallel distributed processingapproach J.Advances in Psychology，1997，121:471-495.19 BENGIO Y，SIMARD P，FRASCONI P.Learning long-termdependencies with gradient descent is difficult J .IEEETransactions on Neural Networks，1994，5（2）:157-166.20 HOCHREITER S，SCHMIDHUBER J.Long short-termmemory J.Neural Computation，1997，9（8）:1735-1780.21 HUANG Z H，XU W，YU K.Bidirectional LSTM-CRFmodels for sequence taggingJ.arXiv preprint arXiv:1508.01991，2015.22 BOX G E P，JENKINS G M，REINSEL G C.Time seriesanalysis:Forecasting and control M.Hoboken，NJ:JohnWiley&Sons，2013:131-137.23 孙轶轩，邵春福，计寻，等.基于 ARIMA 与信息粒SVR组合模型的交通事故时序预测 J.清华大学学报（自然科学版），2014，54（3）:348-353.24陈昭.时序非平稳性ADF检验法的理论与应用 J.广州大学学报（自然科学版），2008（5）:5-10.25BELAIFA M，MORIMUNE K.Forecasting volatility for options valuation J.Opec Review，2010，30（3）:151-169.26HU S H.Akaike Info