基于LSTM的解题模型及其在认知诊断过程中的应用.pdf

第 15 期2023 年 8 月无线互联科技Wireless Internet TechnologyNo.15August,2023作者简介:史意意(1995),女,福建仙游人,工程师,学士;研究方向:网络安全。基于 LSTM 的解题模型及其在认知诊断过程中的应用史意意,程 嘉,倪晟峰(江苏金盾检测技术股份有限公司,江苏 南京 210042)摘要:评估学生对教学知识点的掌握情况是计算机辅导教学研究的重要组成部分。目前,关于这方面的研究主要集中在认知诊断领域中。由于学生做题过程中受到各种因素的干扰,因此依靠现有的初级概率模型或规则空间分析难以得到准确有效的分析结果。文章针对该问题提出使用 LSTM 深度学习网络来实现对典型项目反应模式的拟合,构建典型项目反应模式的解题模型,从而为进一步实现学生认知能力诊断奠定了有效的基础。文章所提认知诊断方案具有简化认知诊断设计,可重复操作性高的特点,对于认知诊断的推广及应用具有重要的意义。关键词:认知诊断;LSTM;项目反应理论中图分类号:G343;TP18 文献标志码:A0 引言 认知诊断研究是研究被观察者对某类事物或领域的了解掌握程度。该领域研究源属于心理学研究领域,因为学习过程本质上是一种心理活动过程。目前,认知诊断被广泛地研究和应用在学习测试中,主要是通过认知诊断判断学生对于知识点的掌握情况,形成教学上的反馈,这对于提高教学的质量具有重要意义。此类研究的基本流程是使用题目来测试学生,根据学生的做题结果来判断学生对知识点的掌握情况,即观察被测试者对测试题目的反应(观察反应模式,ORP)来推知该测试者不可观察的知识状态,即期望反应模式(ERP)。认知诊断研究的目标是尽可能地使 ORP 与 ERP 一致。当前,认知诊断研究可以分为两个方面:一方面是知识点结构的表达,以 Q 矩阵为主流;另一方面是认知诊断模型,这方面模型众多目前已超过百种,主流的模型有使用概率模型的线型逻辑斯蒂克特质模型(LLTM)及基于模式识别和分类技术的规则空间模型(RSM)。随着计算机技术在各领域应用中的发展,使用算法实现认知诊断成为这方面研究的重点。认知诊断已成为计算机研究领域与心理学研究领域的一个交叉学科。同时,计算机领域中一些方法也开始与认知诊断领域的模型与方法融合,产生了大量新的模型。特别是人工智能神经网络的兴起,在认知诊断领域的应用中取得了长足的发展。神经网络以及深度学习等模型虽然对于学习过程的仿真比传统认知诊断模型更能体现学生的学习过程,但由于神经网络及深度学习模型缺乏解释性,因此不能直接用于认知诊断结论的生成。为了能在认知诊断中引入神经网络及深度学习模型,生成最终的诊断结论,本文提出一种新的基于LSTM 的神经网络模型,通过多层网络架构和调整认知诊断的学习方法,形成可解释的分析结果。本文的主要结构安排如下:首先,介绍目前主流的 LLTM 和RSM 模型以及用于认知诊断的神经网络模型;其次,给出本文的神经网络模型以及认知诊断的训练算法和相应的训练数据与过程;最后,给出基于 LSTM 的解题过程模型及其在认知诊断中的应用方案。1 认知诊断与认知诊断模型1.1 认知诊断概述 认知诊断早期是一种认知科学与心理测量学相结合的研究领域1。从 20 世纪 80 年代起,认知识诊断已为众多学者所关注,并开展了大量的研究工作,特别是认知科学与心理测量学在教育领域的应用。认知诊断理论研究主要包括两个方面:表达知识点之间的层次与关联关系的 Q 矩阵理论2和认知诊断模型。目前,学者们提出了近百种认知诊断模型。1.2 典型的认知诊断模型认知诊断模型中影响力比较深远的模型有801第 15 期2023 年 8 月无线互联科技技术应用No.15August,2023LLTM3和规则空间模型(RSM)4,其中:LLTM 模型是基于公式(1)完成的。P(Xij|i)=exp(i-bj)/(1+exp(i-bj),bj=kk=1kqjk+d(1)其中,i是学生的能力参数,bj是题目的难度参数,qjk是知识点 k 在题目 j 上的复杂度计分,K 为认知诊断过程中的知识点个数,k是知识点 k 的复杂度权重,d 是标准化常数。显然,LLTM 模型是基于统计与概率的机器学习模型,而该模型面临的问题主要是相关参数的确定。RSM 模型则采用另一种方式来实现对学生认知能力的诊断。首先,RSM 模型基于知识点的关联关系建立缩略事件 Q 矩阵、可达矩阵以及典型项目反应模式。其中,典型项目反应模式是按照诊断的知识点典型属性矩阵建立的,即按照知识点层次组织和关联关系构建不同的知识点掌握分布,每种分布作为一个知识点典型属性矩阵。而每种分布针对不同的知识点构建典型项目(即包含不同知识点的测试题)进行测试,通过项目反应理论中双参数或三参数逻辑斯蒂模型来计算各典型项目的正确率。在获得典型项目正确率后,针对各个被测试学生做题表现采用公式(2)计算其与各典型反应模式的偏差程度。f(x)=(p()-x)(p()-T()(2)其中,p()是典型项目反应模式答题的正确率;T()是典型项目答对的平均率;x 是被测试学生的答对情况,1 是答对,0 是答错。通过公式(2)可以计算出被测试学生与各典型项目反应模式的偏差,从而实现诊断,即距离某个典型项目反应模式欧氏距离最近的典型项目为学生的认知掌握诊断结果。1.3 基于神经网络与深度学习的建模 除了上述 2 种模型外,还有各种基于概率统计学习的模型,但由于认知过程的复杂性,统计学习模型难以表达测试题中各知识点的复杂关联关系,很难通过统计学习模型来实现准确的认知诊断。因此近年来学者们开始尝试使用神经网络和深度学习来实现对认知诊断的建模。这 方 面 的 工 作 有NeuralCD、DIRT等。NeuralCD5是一种通用的神经认知诊断框架,主要使用神经网络来建模被测试对象与知识点之间的复杂关系,使用多层神经网络建模,并采用了单调性假设(知识点掌握越深入答对的可能性越高)实现因子的可解释性。DIRT6通过测试文本、文本与知识概念之间的关系,使用深度神经网络实现学生和测试参数的诊断过程。在 DIRT 中,先使用嵌入的方法来表示文本与知识的概念,再使用熟练度来表达学生对知识概念的掌握程度。上述的这些基于神经网络与深度学习框架都面临着诊断结果的解释问题,因为神经网络类似于黑盒子,能实现对复杂函数与处理过程的仿真与模拟,但实现的过程与原理缺乏解释性。虽然 NeuralCD 模型尝试了对因子的解释,但仍然难以达到认知诊断的预期效果。2 基于 LSTM 对测试过程的拟合2.1 LSTM 模型及其对测试过程的建模 LSTM 是基于 RNN 改造实现的时间序列神经网络,也属于深度学习框架的一种7。原始的 RNN 模型在序列太长时会造成梯度消失,即误差经后向反馈传递至序列前面神经元时,对连接权重的调整消失了。因此 RNN 只能捕捉到局部关系,无法进行长期关联。LSTM 网络具有一定的“记忆性”,主要是 LSTM网络结构设计使得不同时间序列之间存在连接,而不是序列只与其所在位置的前序和后序之间存在反馈。从结构上看,LSTM 增加了一系列的逻辑门,进一步增强了 LSTM 在时序参数传递与反馈过程中对信息的取舍。LSTM 主要有 3 种类型的门结构:遗忘门、输入门和输出门。其中:遗忘门的功能是决定丢弃或保留哪些信息;输入门用于更新状态,将上一时序的信息输入到当前时序中;输出门用来确定下一个时序的输入信息。由于 LSTM 对于时序的建模特性,本文使用LSTM 来实现对学生测试的解题过程建模。原因在于前述的众多模型中,虽然最终的诊断都依赖于被测试学生的测试结果,但在分析模型中没有表述出解题过程中知识点的应用过程。本文认为解题本质上也是一个应用知识点的时间和状态序列。前述的模型中,大多将测试题目归纳成不同的知识点典型属性组合,这种组合并没有表述出知识点应用对于解题最终结果的制约关系。被测试学生解题失败仅可能是其中某一个知识点的应用失败造成的,现有模型使用的统计概率公式是无法表达出这种情况。本文采用 LSTM所建立的解题过程模型,如图 1 所示。图 1 中方框内为 LSTM 的神经元,下方的 x(i)是采用 one-hot 编码的知识点;0n,其中 n 为本次诊断测试所覆盖的知识点个数。图 1 是一次解题过程,显然该次测试共需要 6 步来完成解题,分别 a(0)a(5)每901第 15 期2023 年 8 月无线互联科技技术应用No.15August,2023 图 1 基于 LSTM 的解题过程模型一步分别对应 x(i)编码的知识点。最终,本文模型在最后一个时序输出解题的结果,通过 Softmax 函数得出最终的预测结果,若为 0 则解题失败,若为 1 则解题成功。2.2 基于典型项目反应模式的 LSTM 认知诊断模型 针对上述的 LSTM 解题模型,本文提出通过该模型实现认知诊断的方案。该方案从总体上主要分成以下两个步骤:一个是训练步骤,另一个是应用诊断步骤。2.2.1 基于 LSTM 解题模型的训练步骤 (1)建立典型项目反应模式:该步骤与其他认知诊断模型类似,通过建立 Q 矩阵、缩减矩阵,再利用缩减矩阵反转即可得到典型项目的反应模式;(2)测试题的预处理:这一步中主要是将测试题所涉及的各测试知识点进行提取,提取后再按解题的步骤进行划分,形成如的知识点序列;(3)针对测试题的知识点序列进行测算,估算出每种典型项目反应模式相对于测试题的测试结果,主要是对或错二种情况;(4)将的知识点序列转换成知识点的 one-hot 向量,测试的结果作为样本的结果,输入到LSTM 解题模型中,实现各种典型项目反应模式进行训练,获得最终的训练结果。经过上述的训练步骤之后,即获得了各种典型项目反应模式的 LSTM 模型。2.2.2 基于 LSTM 训练模型的认知诊断步骤(1)针对一批新的测试题目,遍历题目,取出每道题;(2)将每道题的的知识点序列转换成 one-hot 编码向量,输入到各典型项目反应模式的 LSTM 模型,获得预测的各典型项目反应模式相对于测试的结果;(3)针对被测试学生的测试结果向量,按欧氏距离计算与上述型项目反应模式结果向量的距离;(4)将距离学生测试结果最近的典型项目反应模式作为诊断的结果。2.3 典型项目反应模式的测试结果估算 本文上述的认知测试方案中,比较重要的部分是训练 LSTM 模型过程中,样本生成时需要估计各典型项目反应模式对测试题的结果。现有的规则空间模型使用的是项目反应理论8如公式(3)所示。P(Xij=1|i;i,j)=eDj(i-j)1+eDj(i-j)(3)其中,比较难以量化的是区分度参数 i和难度参数 j。这两个参数只能通过认知诊断设计人员按经验去设置。显然,这个参数对于最终的诊断结果影响很大。为了减少参数设置对整理认知诊断结果的影响,本文采用的是如下的方式来对测试的结果进行估算。假设有缩减矩阵 A 如下所示:A=111010001显然,在缩减矩阵中,一共列出了 3 个知识点(k1,k2,k3)。按缩减矩阵的定义,这 3 个知识点彼此的关联关系,分别是(k1-k2),(k1-k3)。一般假设有待测试题,其知识点为(k2,k3)二个知识点,待测试的典型项目模式为(1,1,0),则针对这个待测试题与典型项目模式,其测试的结果应为计算在知识点k1 和 k2 已经掌握的情况下,推算出 k3 知识点的掌握情况。即:P(k3|k1,k2)=P(k3|k1),因为 k2 在典型项目模式下已经掌握。为此,本文中重用项目反应模式中的区分度概念,本文中区分度是指知识点之间理论的重合程度。如上述 k1、k3 知识点的区分度,即由 k3 知识点相对于 k1 知识点新增的概念、定义、定理等不同类型内容011第 15 期2023 年 8 月无线互联科技技术应用No.15August,2023使用 D=(nk=1kMk)来评定。其中,k 表示新增知识点的种类数,k表示不同种类知识点的权重,Mk是各种知识点的新增数量,n为总新增知识点数量。因而测算 k3 的掌握程度,可以求出 k2、k3 的知识点与 k1 知识点的区分度分别为D2,D3,则 k3 知识点的掌握程度可测算为:D3/(D2+D3),以此作为 k3 知识点测试的通过率。若其大于0.5,则认为测试通过,若否则判断为测试失败。3 结语 本文提出了一种新型的认知诊断模型。相对于现有基于统计学习的认知诊断模型以及基于深度学习的认知诊断模型,本文模型的贡献主要侧重于两方面:一是提出使用 LSTM 来对测试解题的过程进行训练;二是提出基于 LSTM 解题模型的认知诊断方案,该方案侧重于如何减少认知诊断过程中重复性的工作。基本本文的模型只需要进行一次性的典型项目模式训练,此后认知诊断的设计人员不需要重复性的构建缩减矩阵以及计算不同测试题的典型项目模式测试通过概率,只需要设计人员提炼出测试题的解题知识点序列,就可以实现新测试项目下的认知诊断。这使得本文模型对于认知诊断的简化与普适性推广具有重要的意义。参考文献1刘声涛,戴海崎,周骏.新一代测验理论 认知诊断理论的源起与特征J.心理学探新,2006(4):441-445.2丁树良,王文义,罗芬.认知诊断中 Q 矩阵和 Q 矩阵理论J.江西师范大学学报(自然科学版),2012(5):73-77.3涂冬波,戴海崎,漆书青,等.新一代测量理论下四大认知诊断模型述评C.南京:中国教育学会教育统计与测量分会,2006.4赵丽娟.基于知识属性的认知诊断方法的研究D.武汉:华中师范大学,2022.5LI G,HU Y,SHUAI J,et al.NeuralNCD:a neural network cognitive diagnosis model based on multi-dimensional features J.Applied Sciences,2022(19):5.6CHENG S,LIU Q,CHEN E,et al.DIRT:Deep learning enhanced item response theory for cognitive diagnosisC.BeiJing:The ACM International Conference on Information and Knowledge Management,2019.7杨丽,吴雨茜,王俊丽,等.循环神经网络研究综述J.计算机应用,2018(增刊 2):1-6,26.8HAMBLETON R K,SWAMINATHAN H,Rogers H J.Fundamentals of item response theory J.Contemporary Sociology,1991(2):21-29.(编辑 姚 鑫)LSTM based problem-solving model and its application in cognitive diagnosis processShi Yiyi Cheng Jia Ni Shengfeng Jiangsu Golden Shield Detection Technology Co.Ltd.Nanjing 210042 China Abstract Evaluating students mastery of teaching knowledge points is an important part of computer tutoring teaching research.At present the research on this aspect mainly focuses on the field of cognitive diagnosis.Due to the interference of various factors in the process of students doing the problem it is difficult to obtain accurate and effective analysis results by relying on the existing primary probability model or rule space analysis.Aiming at this problem this paper proposes to use LSTM deep learning network to fit the response mode of typical items and construct the problem solving model of typical item response mode thus laying an effective foundation for further realizing the diagnosis of students cognitive ability.The cognitive diagnosis scheme proposed in this paper is characterized by simplification of cognitive diagnosis design and high repeatability which is of great significance to the popularization and application of cognitive diagnosis.Key words cognitive diagnosis LSTM item response theory111