多学习行为协同的知识追踪模型_张凯.pdf

2023-05-10计算机应用,Journal of Computer Applications2023,43(5):1422-1429ISSN 1001-9081CODEN JYIIDUhttp：/多学习行为协同的知识追踪模型张凯*，覃正楚，刘月，秦心怡（长江大学 计算机科学学院，湖北 荆州 434023）（通信作者电子邮箱）摘要：知识追踪模型主要使用学习过程、学习结束和学习间隔等三类学习行为数据，但现有研究没有融合上述类型的学习行为，无法准确描述多种类型学习行为的相互作用。针对上述问题，提出多学习行为协同的知识追踪（MLB-KT）模型。首先采用多头注意力机制描述每类学习行为的同类约束性，然后采用通道注意力机制建模三类学习行为的多类协同性。将MLB-KT模型与深度知识追踪（DKT）、融合注意力机制的时间卷积知识追踪（ATCKT）模型在3个数据集上进行对比，实验结果表明，MLB-KT模型的曲线下面积（AUC）有明显增加，且在ASSISTments2017数据集上的表现最佳，与DKT、ATCKT模型相比分别提升了12.26%、2.77%；表示质量对比实验的结果也表明MLB-KT模型具有更好的表现。可见建模同类约束性和多类协同性能更好地判断学生的知识状态、预测学生未来的答题情况。关键词：知识追踪；学习行为；多头注意力机制；通道注意力机制；序列建模中图分类号：TP183 文献标志码：AMulti-learning behavior collaborated knowledge tracing modelZHANG Kai*，QIN Zhengchu，LIU Yue，QIN Xinyi（School of Computer Science，Yangtze University，Jingzhou Hubei 434023，China）Abstract:Knowledge tracing models mainly use three types of learning behaviors data，including learning process，learning end and learning interval，but the existing studies do not fuse the above types of learning behaviors and cannot accurately describe the interactions of multiple types of learning behaviors.To address these issues，a Multi-Learning Behavior collaborated Knowledge Tracing（MLB-KT）model was proposed.First，the multi-head attention mechanism was used to describe the homo-type constraint for each type of learning behavior，then the channel attention mechanism was used to model the multi-type collaboration in three types of learning behaviors.Comparison experiments of MLB-KT，Deep Knowledge Tracing（DKT）and Temporal Convolutional Knowledge Tracing with Attention mechanism（ATCKT）models were conducted on three datasets.Experimental results show that the MLB-KT model has a significant increase in Area Under the Curve（AUC）and performs best on ASSISTments2017 dataset，the AUC is improved by 12.26%and 2.77%compared to DKT and ATCKT respectively；the results of the representation quality comparison experiments also verify that the MLB-KT model has better performance.In summary，modeling the homo-type constraint and multi-type collaboration can better determine students knowledge status and predict their future answers.Key words:knowledge tracing;learning behavior;multi-head attention mechanism;channel attention mechanism;sequence modeling0 引言 智能导学系统（Intelligent Tutoring System，ITS）和大规模在线开放课程（Massive Open Online Course，MOOC）等智慧教育平台逐渐被大众接受，然而智慧教育的初始内禀属性并未包括判断学生的知识状态、预测学生未来的学习表现等功能。基于上述原因，知识追踪（Knowledge Tracing，KT）成了智慧教育领域的重要研究内容，它通过分析平台收集的学习行为数据判断学生的知识状态，并根据知识状态预测学生未来作答的表现。知识追踪目前被广泛应用于各类在线教育平台，如国家高等教育智慧教育平台、学堂在线、爱学习以及国外的 Khan Academy、edX、Coursera 等。当前知识追踪的主要意义和作用在于通过把握学生的知识状态和未来的答题表现，为智慧教育平台提供细粒度的教育策略，为每个学生提供个性化的教育服务。学习序列由学生的学习记录组成，主要包括学生的学习行为数据。学习行为数据一般可分为学习过程、学习结束和学习间隔数据三类1。学习过程数据主要包括学生尝试作答次数和请求提示次数等；学习结束数据主要包括学生作答的习题及作答的结果等；学习间隔数据主要包括学生相邻两次学习的时间间隔和学习某概念的次数等。图 1展示了学文章编号：1001-9081（2023）05-1422-08DOI：10.11772/j.issn.1001-9081.2022091313收稿日期：2022-09-02；修回日期：2022-11-23；录用日期：2022-11-25。基金项目：国家自然科学基金资助项目（62077018）；科技部高端外国专家引进计划项目（G2022027006L）。作者简介：张凯（1980），男，湖北武汉人，教授，博士，CCF高级会员，主要研究方向：图神经网络、贝叶斯深度学习、知识追踪、知识图谱；覃正楚（1998），男，湖北宜昌人，硕士研究生，CCF会员，主要研究方向：深度学习、知识追踪；刘月（1998），女，湖北十堰人，硕士研究生，主要研究方向：深度学习、知识追踪；秦心怡（1998），女，湖北荆门人，硕士研究生，主要研究方向：深度学习、知识追踪。第 5 期张凯等：多学习行为协同的知识追踪模型习过程行为、学习结束行为和学习间隔行为及其先后关系。经典的知识追踪模型2-4仅使用学习结束数据。这类模型一般通过分析学生的学习结束行为判断学生的基本知识状态，但学习结束数据只包含了学生答对或答错某道习题的信息，无法更加准确地追踪学生的知识状态。例如，学生A、B的学习结束数据相同，但学习过程数据不同，在经典知识追踪模型中无法表示学生A、B不同的知识状态。学生的学习记录中还包括学习过程行为和学习间隔行为，这些行为也是学生知识状态发生变化的映射。有研究者利用学习过程和学习结束数据追踪学生的知识状态5，用学习间隔数据建模学生的遗忘行为6-7，但都没有考虑学习行为的多类协同性，即学习序列中多种类型学习行为的相互作用。为了更加准确地追踪学生的知识状态，本文的主要工作有：1）描述学习行为的同类约束性。首先，选取三类学习行为数据的集合作为输入；然后用多头注意力机制获取输入数据的注意力权重，表示单一类型学习行为在时间序列上的约束关系，用来描述学习行为的同类约束性。2）描述学习行为的多类协同性。首先，拼接三类学习行为数据的集合作为输入；接着用通道注意力机制获取三类学习行为的全局信息；最后将全局信息映射为学习行为之间的注意力权重，表示多种类型学习行为的相互作用，用来描述学习行为的多类协同性。3）提出多学习行为协同的知识追踪（Multi-Learning Behavior collaborated Knowledge Tracing，MLB-KT）模型。首先，使用编码器融合学习行为的同类约束性和学习行为的多类协同性；然后使用解码器通过输入不同的查询向量来获取学生的学习向量和遗忘向量；最终达到更准确地追踪学生知识状态的目的。1 相关工作 1.1知识追踪1.1.1基于学习结束行为的知识追踪模型贝叶斯知识追踪（Bayesian Knowledge Tracing，BKT）2首先提出知识追踪的概念，并用概率计算解决知识追踪的任务。BKT以学习结束数据为输入，定义初始学会某概念的概率P(L0)、未学会状态到学会状态的转移概率P(T)、未掌握概念但猜对的概率P(G)、掌握概念但答错的概率P(S)等，并使用隐马尔可夫模型（Hidden Markov Model，HMM）8建模上述四个概率的关系，从而预测学生的未来学习表现。深度知识追踪（Deep Knowledge Tracing，DKT）3首次使用深度序列模型来解决知识追踪的任务。类似于BKT，DKT仍使用学习结束数据作为输入，以循环神经网络（Recurrent Neural Network，RNN）9或 长 短 期 记 忆（Long Short-Term Memory，LSTM）网络10的隐藏状态来表示学生的知识状态，最终以全连接层预测学生的未来学习表现。动 态 键 值 记 忆 网 络（Dynamic Key-Value Memory Network，DKVMN）4受标准记忆增强网络的启发11，提出用记忆矩阵的方法解决知识追踪的任务。DKVMN仍使用学习结束数据作为输入，用一个键（key）矩阵存储概念，一个值（value）矩阵存储学生对概念的掌握状态；模型通过两个矩阵判断学生每次学习时对各个概念的掌握状态，最终以全连接层输出学生未来学习表现的概率。在后续的研究中，研究者仍仅用学习结束数据作为模型的输入建模学生的知识状态：Kser等12在BKT的基础上提出了动态贝叶斯知识追踪模型，建模不同概念之间的依赖关系；Su等13在DKT的基础上为模型的输入添加了习题信息；Abdelrahman 等14在 DKVMN 的基础上使用了 Hop-LSTM 网络结构，使模型能够捕获学生学习记录中的长期约束性。这类模型的变种还有：TLS-BKT（Three Learning States Bayesian Knowledge Tracing）15-16、PDKT-C（Prerequisite-driven Deep Knowledge Tracing with Constraint modeling）17、HMN（Hierarchical Memory Network for knowledge tracing）18等。BKT、DKT和DKVMN是经典的知识追踪模型，这些模型为后续的研究奠定了坚实的基础；但它们在追踪学生的知识状态时仅用学习结束数据建模学习行为的同类约束性，没有使用学习过程数据和学习间隔数据建模学习行为的多类协同性，所以无法为表示学生的知识状态提供更加充分的支撑。1.1.2基于学习间隔行为的知识追踪模型部分研究用到了学习间隔数据：Nagatani等6受艾宾浩斯遗忘曲线19的启发，在 DKT 模型的基础上增加了学习间隔数据作为输入，他们认为学习间隔数据是影响遗忘行为的因素，通过向模型增加学习间隔数据作为输入能够建模遗忘行为，提出了DKT-F（DKT+Forgetting）模型；李晓光等7受艾宾浩斯遗忘曲线和记忆痕迹衰退说19-20的启发，提出了学习与遗忘融合的深度知识追踪模型，该模型不仅考虑了上述学习间隔数据，还考虑了学生概念掌握状态对遗忘的影响。虽然上述两个模型在使用学习结束数据的基础上增加了学习间隔数据并取得了较好的效果，但仍仅建模学习行为的同类约束性，忽略了建模学习行为的多类协同性。1.1.3基于学习过程行为的知识追踪模型部分研究用到了学习过程数据：Cheung等5用学习过程数据输入分类和回归树模型预测学生能否正确作答习题，然后将预测结果与真实结果组合，最后将组合的数据与学习结束数据输入 DKT 模型预测未来答题情况，提出了 DKT-DT（Deep Knowledge Tracing with Decision Trees）模型。该方法将学习过程数据作为学习结束数据的一种补充，改进建模学习行为同类约束性的方法，但尚未建模学习行为的多类协同性。总的来说，大部分研究在追踪学生的知识状态时仅用学习结束数据作为输入，或引入两种类型的学习行为数据作为输入，也有引入全部三种类型学习行为数据作为输入21，但均未建模学习行为的多类协同性。针对上述问题，本文提出了多学习行为协同的知识追踪模型，在建模学习行为同类约束性的同时，对学习行为的多类协同性也进行建模，为表示学生的知识状态提供更充分的支撑。1.2注意力机制从生物学的角度看待注意力机制，它的原理是人类基于非自主性提示（Nonvolitional cue）和自主性提示（Volitional cue）有选择地引导注意力的焦点22。非自主性提示指的是图1学习行为及其先后关系Fig.1Learning behaviors and their sequential relationship1423第 43 卷计算机应用人没有认知和意识的驱动来获取信息；自主性提示指的是人有认知和意识的驱动来获取信息，其中，查询是自主性提示，键和值是非自主性提示。添加自主性提示的好处是使注意力机制的输出偏向于某些输入数据，而不是对输入数据全盘接收。例如在判断学生的知识状态时，学生S在某次学习中答对了有关概念C的习题。如果没有认知和意识的驱动，仅以学习结束数据为标准，教师的注意力由非自主性提示引导并判断学生S对概念C的掌握状态；但如果有了认知和意识的驱动，在学习结束数据的基础上，教师还会注意到学生的学习过程数据和学习间隔数据，注意力由自主性提示引导并判断学生S对概念C的掌握状态。Ghosh 等23提 出 了 AKT（context-aware Attentive Knowledge Tracing）模型，用注意力机制构建习题qt和结果rt的上下文感知表示，总结学生过去的表现来解决知识追踪任务。邵小萌等24提出融合注意力机制的时间卷积知识追踪（Temporal Convolutional Knowledge Tracing with Attention mechanism，ATCKT）模型，用注意力机制建模学生学习的习题对各时刻知识状态不同程度的影响。注意力机制的输入是查询（query）、键（key）以及值（value），输出是值的加权和，注意力权重通过计算查询和键的相似度获得。自注意力机制是注意力机制的变体，它的输入来自同一数据，由于没有外部数据的输入，所以更擅长捕捉数据内部的相似性，减少了 对 外 部 数 据 的 依 赖。Pandey 等25提 出 了 SAKT（Self-Attentive model for Knowledge Tracing）模 型，首 次 将Transformer模型26应用到知识追踪领域，通过描述输入在时序上的约束关系来完成知识追踪任务。Transformer 模型的主要结构是多头注意力机制，由多个注意力机制或自注意力机制并行组成，其中的全连接层将输入数据映射到不同的子空间，能够基于相同的机制学习到不同的权重，用来描述学习行为的同类约束性。多头注意力机制使用学习过程、学习结束以及学习间隔数据作为自主性提示，它的缺点在于不同的学习行为在追踪知识状态时被视作具有相同的权重。通道注意力机制能解决这一问题27-30，将三类学习行为数据作为通道注意力机制的输入，“挤压”操作收集三类学习行为数据的全局信息，“激励”操作将全局信息转化为注意力权重，表示多种类型学习行为的相互作用，用来描述学习行为的多类协同性。2 多学习行为协同的知识追踪模型 2.1模型提出的思想学习序列包括不同类型的学习行为，如学习过程、学习结束、学习间隔等行为。本文使用学习过程数据bI、学习结束数据bII、学习间隔数据bIII分别描述上述三类学习行为，其中：bI主要包括学生的尝试作答次数和请求提示次数等数据；bII主要包括学生作答的习题及作答的结果等数据；bIII主要包括学生相邻两次学习的时间间隔和学习某概念的次数等数据。我们发现，学习行为具备同类约束性和多类协同性的特征。具体说明如下：根据文献 31，学生知识状态的变化受其已有知识状态的约束，表现为学习行为的同类约束性，即知识状态的变化在某一学习行为上的反应是平缓的。具体地，学习过程数据bI的同类约束性可能表现在，针对某一习题学生的尝试作答次数在相邻时间步的变化是平缓的；学习结束数据bII的同类约束性可能表现在，针对某一习题学生的作答结果的变化也是平缓的；学习间隔数据bIII的同类约束性可能表现在，若干次相邻的学习时间间隔的变化同样是平缓的。从模型角度上来说，对三类学习行为数据的表征应考虑其各自的同类约束性，以此来反映学生知识状态的客观变化，这是当前研究所忽略的。根据文献 32，学习序列中多种类型学习行为存在相互作用，表现为学习行为的多类协同性。具体地，学习过程数据bI和学习结束数据bII的多类协同性可能表现在，针对某一习题学生尝试作答次数较多时作答结果正确的概率较低，尝试作答次数较少时作答结果正确的概率较高；学习间隔数据bIII和学习结束数据bII的多类协同性可能表现在，针对某一习题学生学习时间间隔较长时作答结果正确的概率较低，学习时间间隔较短时作答结果正确的概率较高。从模型角度上来说，对三类学习行为数据的表征应考虑其多类协同性，以此来反映学生知识状态的客观变化，这是当前研究所忽略的。BKT使用学习结束数据bII追踪学生的知识状态。但bII只包含了学生答对或答错某道习题的信息，且没有表示出学习结束行为在时间序列上的约束关系，即学习结束行为的约束性。虽然后续的研究12-15仍旧仅使用学习结束数据bII，但多使用深度模型，所以在建模学习结束行为的约束性方面有一定的进展。随后，部分研究者向模型的输入增加学习过程数据bI5和学习间隔数据bIII6-7，提高了模型的性能。虽然这些研究验证了学习过程和学习间隔行为的有效性，但是没有建模出学习序列中多种类型学习行为的相互作用，即学习行为的多类协同性。综上所述，在追踪学生的知识状态时，综合考虑多类学习行为数据是有利的，这能使知识追踪模型更准确地预测学生的未来表现。然而在建模学习行为时，应综合考虑学习行为的同类约束性和多类协同性。本文使用多头注意力机制自适应地分配每类学习行为数据自身的权重，以此建模学习行为的同类约束性；使用通道注意力机制自适应地分配不同类型学习行为数据之间的权重，以此建模学习行为的多类协同性。2.2学习行为数据定义本文定义三类学习行为数据如下：学习过程数据bIi=(AN，RN，FA)描述学生第i条学习记录的学习过程行为，其中：AN N表示学生尝试作答的次数；RN N表示学生请求提示的次数；FA=0，1表示学生作答习题时的第一动作，1表示学生首先尝试作答，0 表示学生首先请求提示。BI=(bI1，bI2，bIn)是学习过程数据bI的集合，即由学习过程数据bIn(n 1)组成。学习结束数据bIIi=(qi，ri)描述学生第i条学习记录的学习结束行为，其中：qi N表示学生作答的习题；ri=0，1表示学生作答的结果，其中1表示学生答对习题，0表示学生答错习题。BII=(bII1，bII2，bIIn)是学习结束数据bII的集合，即由学习结束数据bIIn(n 1)组成。学习间隔数据bIIIi=(RT，ST，LT)描述学生第i条学习记录的学习间隔行为，其中：ST N表示学生第i-1次学习和第i次学习之间的时间间隔；RT N表示学生学习当前概念的时间间隔；LT N表示重复学习当前概念的次数。BIII=(bIII1，bIII2，bIIIn)是学习结束数据bIII的集合，即由学习间隔数1424第 5 期张凯等：多学习行为协同的知识追踪模型据bIIIn(n 1)组成。图2展示了学习序列中学习行为数据所描述的学习行为。2.3多学习行为协同的知识追踪模型架构本文提出了多学习行为协同的知识追踪（MLB-KT）模型，整体流程如图 3 所示。MLB-KT 模型由输入模块、编码器、解码器以及预测模块组成：输入模块嵌入表示若干连续的学习行为数据；编码器建模学习行为的同类约束性和多类协同性；解码器生成学生的学习和遗忘向量，并更新状态矩阵Mvt-1。图 3中的虚线表示预测模块根据前一时刻的状态矩阵Mvt-1、概念矩阵Mkt-1以及当前时刻作答的习题qt预测学生的答题情况；Mk表示概念，Mv表示学生的概念掌握状态，这两个矩阵随着学习序列而动态更新。2.3.1输入模块将学习过程数据bIi=(AN，RN，FA)(i 1)表示为一个行向 量：bIi R1 3，与 嵌 入 矩 阵CI R3 dv相 乘 得 到 向 量eIi R1 dv；将学习结束数据bIIi=(qi，ri)(i 1)转化为 one-hot编码：bIIi R1 2N，为了解决bIIi稀疏的问题，与嵌入矩阵CII R2N dv相乘得到向量eIIi R1 dv。将学习间隔数据bIIIi=(RT，ST，LT)(i 1)表示为一个行向量：bIIIi R1 3，与嵌入矩阵CIII R3 dv相乘得到向量eIIIi R1 dv。取连续n条嵌入表示的学习行为数据，再根据学习行为类型分别组合得到 3个大小为n dv的矩阵BI、BII、BIII作为多头注意力机制的输入；将这 3 个矩阵拼接成一个大小为3 n dv的三维数组Xt作为通道注意力机制的输入，其中3表示数组Xt包含三类学习行为；n表示数组Xt包含连续n条学习行为；dv是学习行为数据向量表示的维度。图4展示了输入模块的设计细节。2.3.2编码器数组Xt由矩阵BI、BII、BIII拼接组成，这三个矩阵各自均包括了n条连续的学习行为数据，这些学习行为数据分别表示三类不同的学习行为：学习过程、学习结束和学习间隔等行为。1）建模同类约束性。每一类学习行为在学习序列上均存在对后续同类行为的约束性，即学习序列中相同类型学习行为在时间序列上的约束关系。因为多头注意力机制能够定位学习序列上的相似信息，并转化为序列中学习记录的相对权重，所以使用多头注意力机制来建模上述同类约束性，具体流程如图5所示，其中h表示多头注意力机制的层数。首先使用参数v R1 n作为位置编码，表示连续n条学习行为数据在时序上的相对位置，加入到输入矩阵BI、BII、BIII中，形成含有时序上相对位置信息的学习行为矩阵：Bj*(i)=Bj(i)+v(i)；j ，i 1，2，n 其次将学习行为矩阵BI*、BII*和BIII*分别输入多头注意力机制，通过计算各学习行为间的相似性获得注意力权重，用于建模学习行为的同类约束性，注意力权重的大小表示学习行为约束关系的强弱。输出矩阵XIB、XIIB和XIIIB，分别表示学习过程行为、学习结束行为以及学习间隔行为的同类约束性：XjB=MultiHead(Bj*，Bj*，Bj*)；j ，最 后 将 这 三 个 输 出 矩 阵 拼 接 为 一 个 三 维 数 组XB R3 n dv，表示学习行为的同类约束性。XB=Concat(XIB，XIIB，XIIIB)（1）2）建模多类协同性。多类学习行为之间存在相互的协同性，即学习序列中多种类型学习行为的相互作用。因为通道注意力机制能够捕获多种类型学习行为的全局信息，并转化为各个学习行为的相对权重，所以使用通道注意力机制建模学习行为的多类协同性，具体流程如图6所示。将数组Xt作为通道注意力机制的输入，通过收集三类学习行为的全局信息进而获得注意力权重，用于建模学习行为的多类协同性，注意力权重的大小表示学习行为协同的程度。挤压（squeeze）操作收集学习行为的全局信息，激励（excitation）操作通过全连接层将上述全局信息转化为不同学习行为间的注意力权重s：s=Sigmoid(WRC(Cov(Xt)图2学习行为及其数据的对应关系Fig.2Correspondence between learning behaviors and their data图3MLB-KT模型的整体流程Fig.3Overall flowchart of MLB-KT model图4输入模块Fig.4Input module图5建模同类约束性Fig.5Modeling homo-type constraint图6建模多类协同性Fig.6Modeling multi-type collaboration1425第 43 卷计算机应用其中：Sigmoid(xi)=1/(1+e-xi)；全连接层的权重矩阵为W；RC()表示逐行卷积；Cov()表示计算协方差矩阵，协方差矩阵用来表征三类学习行为的相关程度。输出的注意力权重s表示学习行为的多类协同性，将其与数组Xt进行通道乘法，改变数组Xt特征值的表达，得到数组XC：XC=sXt（2）将表示学习行为同类约束性的数组XB和表示学习行为多类协同性的数组XC相加得到数组X，通过全局平均池化获得学习行为同类约束性和多类协同性的全局信息：g(i)=j=1n k=1dvX(i)j k；i 1，3将全局信息向量g R1 3用线性整流函数（Rectified Linear Unit，ReLU）激活，得到特征向量z R1 dv：z=ReLU(WTzg)其中：ReLU(x)=max(0，x)；Wz R3 dv。向量z用于生成同类约束性数组XB和多类协同性数组XC的融合权重：|B(i)=eR(i)zeR(i)z+eQ(i)zC(i)=eQ(i)zeR(i)z+eQ(i)z其中：B R1 3、C R1 3是同类约束性数组XB和多类协同性数组XC的融合权重；R R3 dv、Q R3 dv表示数组XB和数组XC的软注意力矩阵。加权融合同类约束性数组XB和多类协同性数组XC，并用3 1 dv的卷积核对融合数组进行逐行卷积，得到编码器的输出XE Rn dv，表示学习行为的同类约束性和多类协同性：XE=RC(BXB+CXC)（3）2.3.3解码器解码器由两个h层的多头注意力机制组成，通过矩阵XE分别生成学习向量和遗忘向量，结构如图 7所示。首先，以第t次学习结束数据eIIt作为查询输入，从h个空间维度表示学习向量lt；其次，以第t次学习间隔数据eIIIt作为查询输入，从h个空间维度表示遗忘向量ft；最后，根据向量lt和ft更新概念掌握状态矩阵Mv。将矩阵XE输入Tanh函数激活的全连接层获得解码向量ut R1 dv，是矩阵XE的降维表达：ut=Tanh(WTuXE+bu)其中：Tanh(xi)=(exi-e-xi)/(exi+e-xi)；Wu、bu分别是全连接层的权重矩阵和偏置项。解码向量ut含有学习行为的同类约束性和多类协同性，将其作为图6中多头注意力机制L、F中键和值的输入。在多头注意力机制 L中，以向量eIIt作为查询输入，获得学习向量lt：lt=Tanh(WTLSoftmax(eIItutT)ut+bL)其中：Softmax(xi)=xi n=1N(exn)；WL、bL分别是全连接层的权重矩阵和偏置项。向量eIIt是经过变换后的学习结束数据，该向量描述的是学生的答题情况信息，用它作解码过程的查询输入可以得到学生因第t次学习而引起知识状态的变化情况。在多头注意力机制F中，以向量eIIIt作为查询输入，获得遗忘向量ft：ft=Sigmoid(WTFSoftmax(utTeIIIt)ut+bF)其中：WF、bF分别是全连接层的权重矩阵和偏置项。向量eIIIt是经过处理后的学习间隔数据，该向量描述的是学生相邻两次学习的时间间隔和学习某概念的次数等学习行为，用它做解码过程的查询输入可以得到学生因遗忘而引起的概念掌握状态的变化情况。学习向量lt和遗忘向量ft以及关联权重wt用于更新当前时刻的概念状态矩阵Mvt：Mvt(i)=Mvt-1(i)(1-ft)+ltwt(i)（4）关联权重wt将在预测模块中描述。2.3.4预测模块预测模块用于预测学生未来的答题情况，结构如图 8所示。首 先，将 习 题qt转 换 为 one-hot 编 码，与 嵌 入 矩 阵A Rdk N相乘，得到维度为dk的习题嵌入向量kt，描述习题qt的相关信息。其次，将kt与存储概念的矩阵Mk Rdk N相乘，并通过Softmax 函数转化为关联权重wt，用来描述习题qt所包含的概念。wt=Softmax(kt Mkt-1)然后，将关联权重wt与矩阵Mvt-1相乘，得到向量nt，表示学生对习题qt所包含概念的掌握状态：nt=wtMvt-1考虑到习题间存在一定的差异，如难度系数不同，将向量nt与向量kt进行拼接，并输入至带 Tanh 激活函数的全连接层，得到向量it。向量it既包含了学生对概念的掌握状态图7解码器Fig.7Decoder图8预测模块Fig.8Prediction module1426第 5 期张凯等：多学习行为协同的知识追踪模型又包含了习题信息：it=Tanh(wTint，kt+bi)最后，利用一个带有Sigmoid激活函数的输出层，将it作为输入，用来预测学生对习题qt的表现情况：pt=Sigmoid(wTpit+bp)（5）2.4损失函数本文选择交叉熵损失函数来最小化预测值pt和真实标签rt之间的差异性。Loss=-t(rtlnpt+(1-rt)ln(1-pt)3 实验与结果分析 3.1数据集和实验环境本文相关实验在 3 个真实数据集 ASSISTments2012（简记 为 Assist12），ASSISTments2017（简 记 为 Assist17）和JunyiAcademy（简记为 Junyi）上进行，其中，每个数据集 70%的数据作为训练集，30%的数据作为测试集。上述数据集的基本信息如表1所示，包括学生数、学习记录数以及概念数。本文实验具体软硬件配置如表2所示。3.2模型性能对比使用曲线下面积（Area Under Curve，AUC）分析和评价MLB-KT 模 型 的 性 能。AUC 是 受 试 者 工 作 特 征 曲 线（Receiver Operating Characteristic curve，ROC曲线）与横坐标轴围成图形的面积，该面积的取值为 0.5，1，若 AUC 的值为0.5，说明模型是随机预测模型；AUC的值越大，说明模型预测性能越好。MLB-KT模型的核心是以三类学习行为作为输入，使用多头和通道注意力机制分别建模上述学习行为的同类约束性和多类协同性。基于上述情况，在选择对比模型时本文主要考虑如下三个条件：一是被广泛接受且性能表现属同类最好的模型；二是输入各类学习行为数据的模型；三是建模同类约束性或多类协同性的模型。根据上述三个条件，本文选用的对比模型为：仅使用学习结束数据作为输入的单学习行为模型DKT3、DKVMN4、ATCKT24、SAKT25以 及 CL4KT（Contrastive Learning framework for KT）33；在使用学习结束数据作为输入的基础上，引入其他学习行为数据的多学习行为模型 DKT-DT5、DKT-F6。主要原因在于，这些模型均以部分或全部学习行为数据为输入，并建模了同类约束性或多类协同性。具体地，DKT、DKVMN和CL4KT使用学习结束数据作为输入，使用序列模型建模同类约束性；SAKT和ATCKT同样使用学习结束数据作为输入，还使用注意力机制建模同类约束性；DKT-F和DKT-DT在使用学习结束数据的基础上，分别增加了学习间隔和学习过程数据作为输入，使用序列模型建模同类约束性，未建模多类协同性。性能对比实验的结果如表3所示。单学习行为模型中的 ATCKT 在三个真实数据集上的AUC值分别到达了0.762、0.793和0.847，属同类最高，整体表现良好，5个单学习行为模型虽均使用学习结束数据作为输入，但由于建模学习行为同类约束性的方法不同，模型性能存在差异。多学习行为模型中的 DKT-F、DKT-DT 引入其他学习行为数据作为输入，虽未改进建模学习行为同类约束性的方法，但改进了模型的输入，与单学习行为模型相比均有更好的表现。与 DKT和 ATCKT模型相比，MLB-KT在 Assist17数据集上的 AUC值分别提升了 12.26%、2.77%，且 MLB-KT的AUC 值在 3 个真实数据集上均优于其他模型，分别达到了0.768、0.815 和 0.864，说明了在建模学习行为同类约束性的基础上建模多类协同性的有效性。3.3学习行为对比模型性能对比结果表明引入其他学习行为数据作为输入能够带来模型性能的提升。为了进一步对比分析三类学习行为在模型中的重要程度，本文调整缺省MLB-KT模型的输入：MLB-e 表示模型仅以学习结束数据bII作为输入；MLB-pe表示模型以学习过程数据bI和学习结束数据bII作为输入；MLB-ei表示模型以学习结束数据bII和学习间隔数据bIII作为输入。表 4给出了上述模型以及它们在 3个数据集上的AUC值。由表 4 可以看出，在 3 个真实数据集上，MLB-e 模型的AUC最低，说明仅分析学习结束行为及其同类约束性能够基本判断学生的知识状态，但由于bII仅包含学生答对或答错的学习结束数据，包含的信息有限，无法更准确地建模同类约束性；MLB-pe和MLB-ei模型的AUC值高于MLB-e，说明在表1数据集的基本信息Tab.1Basic information of datasets数据集Assist12Assist17Junyi学生数46 6741 709238 120学习记录数5 818 868942 81626 666 117概念数266102684表2实验环境Tab.2Experimental environment实验配置操作系统CPUGPUPythonPytorch内存参数Windows 11Inter Core i9-9900K CPU3.60 GHzNVIDIA GeForce RTX 3080 Ti3.101.10.264 GB表3不同模型的AUC对比Tab.3AUC comparison of different models模型DKTDKVMNSAKTDKT-FDKT-DTCL4KTATCKTMLB-KTAssist120.7170.7320.6910.7220.7490.7510.7620.768Assist170.7260.7070.7340.7290.7210.7390.7930.815Junyi0.8140.8220.8530.8400.7410.8250.8470.864表4不同输入数据对模型AUC的影响Tab.4Influence of different input data on AUC of model模型MLB-eMLB-peMLB-eiMLB-KTAssist120.7240.7630.7610.768Assist170.7780.8050.7990.815Junyi0.8290.8560.8440.8641427第