纵向非参数认知诊断评估.pdf

应用心理学2024 年第 30 卷第 2 期应用心理学2024 年第 30 卷第 2 期，172-183Chinese Journal ofApplied Psychology2024.Vol.30.No.2，172-183纵向非参数认知诊断评估*郑天鹏1郭磊2，3*边玉芳1，4，5（1.北京师范大学中国基础教育质量监测协同创新中心，北京 100088；2.西南大学心理学部，重庆 400715；3.中国基础教育质量监测协同创新中心西南大学分中心，重庆 400715；4.北京师范大学儿童家庭教育研究中心，北京 100088；5.北京师范大学心理健康与教育研究所，北京 100088）摘要通过建立相邻时间点间被试知识状态和理想作答模式的链接，提出了 4 种逻辑简洁的纵向非参数认知诊断方法：LNPC、LWNPC、LGNPC 和LWGNPC。模拟研究结果表明：建立的链接能提升纵向判准精度。与参数模型相比，4 种方法估计精度相当，受样本容量影响小。与 Long-HDD 相比，4种方法判准精度较高，题目质量较低时 LNPC 和 LWNPC 仍有较好表现；实证研究表明：4 种方法能够应用于实际纵向测验分析，与参数模型和 Long-HDD 判别一致性较高。推荐 LWNPC 方法。研究要点1.基于被试知识状态和理想作答模式的链接提出了 4 种新的纵向非参数方法。2.考虑了更加全面的情况，纵向链接方法具有可推广性。3.相比已有方法，新方法判准率较高，生态效度更好。关键词非参数方法；纵向认知诊断评估；海明距离；判准精度中图分类号：B841DOI：10.20058/ki.CJAP.023029*基金项目：北京师范大学中国基础教育质量监测协同创新中心研究生自主课题（BJZK-2021A1-20010）；中央高校基本科研业务费专项资金（SWU2109222）。*通信作者：郭磊，男，西南大学心理学部副教授，e-mail：。PDF pdfFactory Pro 1引言在教育与心理测验中，常使用认知诊断模型（cognitive diagnostic model，CDM）进行认知诊断评估（cognitive diagnostic as-sessment，CDA），以评估学生的知识状态（knowledge state，KS），CDA 已被验证可以用于教学内容的评估，如分数减法（de laTorre&Douglas，2004）等。为更好地检验教学效果和及时反馈，需要收集纵向数据用于学习过程的追踪，这不仅能进一步刻画学生的学习轨迹，更能有效发挥 CDA 的诊断功能，帮助教师等实施针对性补救教学，最终促进学生发展。关于学习轨迹的追踪需要使用纵向分析的方法以描绘属性获取过程（Wang etal.，2018），詹沛达等（2021）将已有的纵向CDM 依据建模逻辑分为两大类：基于潜在转换分析的纵向 CDM；基于高阶潜在结构模型的纵向 CDM。上述均属于参数类方法，存在运算量大、复杂且耗时长（罗照盛等，2015），诊断分析需借助专业软件，对于应用者要求较高（康春花等，2019）等局限。为解决这些问题，研究者提出了若干横断非参数诊断方法（Chiu et al.，2017；康春花等，2019），具有以下优势：无须进行复杂的参数估计，估计方便快捷（郭磊，周文杰，2021）；不受样本容量限制，可以在小至 1 的样本量上使用（Chiu&Douglas，2013）。目前仅有一项纵向非参数方法研究：纵向汉明距离（也称海明距离）判别法（longitudinal Hamming distance discrimina-tion，Long-HDD，刘耀辉等，2023），但该方法存在不足：未考虑加权的和广义判别方式，忽视题目间变异以及属性间复杂链接情况等。为进一步探索有效的纵向链接方法，处理一般化测验情境，满足教育评价对学生成长轨迹把握的需求以及避免参数模型的弊端，本研究拟通过建立相邻时间点间被试 KS 和理想作答模式的链接，构建新的纵向非参数认知诊断方法。下文首先介绍 4 种常见的横断非参数判别方法和 Long-HDD 方法。接着阐述本研究纵向非参数方法的建构过程，以及具体的 4 种纵向非参数判别方法。再通过模拟和实证研究验证其性能和实用性。最后对结果进行讨论并对未来研究发展方向做出展望。2相关方法介绍2.1横断非参数方法2.1.1非参数分类法（nonparametric classi-fication，NPC）0-1 计分时被试观察作答模式（ob-served response pattern，ORP）和理想作答模式（ideal response pattern，IRP）的差异可以用海明距离表征（Chiu&Douglas，2013）：dn（yn，浊n）=移Ii=1|yni-浊ni|.（1）yn（yn1，yn2，ynI）表示被试 n 的 ORP，浊n（浊n1，浊n2，浊nI）表示被试 n 的 IRP，浊ni=蒹Kk=1琢qiknk。K 是属性个数，qik=1 表示题目 i 考察了属性 k；琢nk=1 表示被试 n 掌握了属性k。判别逻辑是将被试判归到与其 ORP 距离最小的 IRP 所对应的 KS 中。2.1.2加权非参数分类法（weighted non-parametric classification，WNPC）Chiu 和 Douglas（2013）在 NPC 基础上考虑了题目作答变异性信息，提出了加权非参数分类方法：dwh（yn，浊n）=移Ii=11pi（1-pi）|yni-浊ni|.（2）pi为题目 i 的通过率，当pi等于 1 或 0时，将pi固定为 0.0001。纵向非参数认知诊断评估173PDF pdfFactory Pro 应用心理学2024 年第 30 卷第 2 期2.1.3广义非参数分类法（general non-parametric classification，GNPC）为更好地处理属性间存在的复杂链接情况，Chiu 等（2017）在 NPC 基础上提出了广义非参数分类法：浊(棕)li=棕li浊(c)li+（1-棕li）浊(d)li.（3）l 代表 KS 的类别，l=1，2，L，L=2K，浊(棕)li是 l 类别的被试在题目 i 上的广义化理想作答，浊(c)li和 浊(d)li分别为连接型机制和非连接型机制下 l 类别的被试在题目 i 上的理想作答。棕li是 浊(棕)li和 浊(c)li之间相似性的权重。棕li通过最小化残差距离计算，残差公式为：dli=移n沂Cl（yni-浊(棕)li）2.（4）权重公式为：赞 棕li=移i沂Cl（yni-浊(d)li）|Cl|（浊(c)li-浊(d)li）.（5）yni表示被试 n 在题目 i 上的实际作答，Cl表示 KS 为 l 类型的被试集合|Cl|为该集合中被试的数量。2.1.4加权广义非参数分类法（weightedgeneral nonparametricclassification，WGN-PC）在 GNPC 基础上考虑题目作答的变异性信息，便得到加权广义非参数分类方法，加权距离计算方式见公式（6），其余估计步骤同 GNPC。dw（yn，赞 浊(w)n）=移Ii=11pi（1-pi）（yni-赞 浊(w)n）.（6）2.2纵向 HDD（longitudinal HDD，Long-HDD）方法Long-HDD 方法假设同一被试相邻时间点的 KS 高度相关，因此该被试相邻时间点 KS 间的海明距离也应最小（刘耀辉等，2023）。Long-HDD 在初始时间点等同于NPC 方法。在后续时间点，Long-HDD 首先使用 NPC 法估计得到第一个 KS 集合，接着计算该 KS集合与该被试上一个时间点估计得到的 KS间的海明距离，见公式（7），选择距离最小的 KS作为该时间点的判别结果。dhm（KSnt，琢*nc(t+1)）=移Kk=1|琢nkt-琢*nck(t+1)|.（7）KSnt为被试 n 在时间点 t 时的 KS，琢*nc(t+1)是时间点 t+1 时使用 NPC 方法估计得到第一个 KS 集合中的第 c 个属性向量，琢*nck(t+1)是该第 c 个属性向量中的第 k 个属性，琢nkt为 KSnt中的第 k 个属性。3纵向非参数方法的提出3.1纵向逻辑假设纵向 CDM 在处理纵向数据时都体现了被试能力不断增长的理念。如 Zhan 等（2019）的 Long-DINA 模型设定能力均值的 增 长 为 0.5。高 阶 隐 马 尔 科 夫 模 型（higher-order hidden Markov model，HO-HMM，Wang et al.，2018）中假定被试能力不断增长，且学生不会遗忘已掌握的属性。教育心理学家布鲁姆认为“只要给予足够的时间和适当的教学，几乎所有的学生对几乎所有的学习内容都可以达到掌握的程度”（莫雷，2007）。基于上述观点，本研究假定被试能力不断增长，且不会遗忘已掌握的属性，并以此理念构建不同时间点间被试 KS 估计的关联性，将非参数方法应用在纵向诊断中。最小化过程通过循环迭代的方式实现：依据 NPC 方法计算出被试初始 KS，依据式（7）计算 棕li，依据式（5）计算理想得分 浊(棕)li，依据式（6）最小化残差计算所有被试新的 KS，循环步骤，直至相邻两次 KS 估计的误差不超过预先设定的阈值时结束。详细过程请参见 Chiu（2017）提出的广义非参数分类方法（general nonparametricclassification，GNPC）。详细过程请参见刘耀辉等（2023）提出的 Long-HDD 方法。174PDF pdfFactory Pro 纵向非参数认知诊断评估3.2测量部分为更加全面地验证本研究提出的纵向非参数判别方法逻辑的有效性，选取使用较为广泛的 4 种非参数判别方法（NPC、WNPC、GNPC 和 WGNPC）作为新纵向方法的测量部分，构建 4 种纵向非参数判别方法：纵向非参数分类法（longitudinal NPC，LNPC）、纵向加权非参数分类法（longitudi-nal WNPC，LWNPC）、纵向广义非参数分类法（longitudinal GNPC，LGNPC）和纵向加权广义非参数分类法（longitudinal WGNPC，LWGNPC）。3.3链接部分本研究通过构建当前时间点估计的KS 和下一时间点待估 KS 合理取值空间的链接实现对“纵向”的表征。链接逻辑是：基于被试不会遗忘已掌握的属性的假设，下一时间点 KS 的合理取值空间将受到当前时间点估计出的 KS 类型的影响，图 1 为本研究方法的逻辑示意图。以 LNPC 方法为例，假设三道题目的 q向量分别为 1,0、0,1、1,1，那么，对于t1时间点 KS 被判定为 1,0 的被试来说，基于已掌握属性不会遗忘的假设，在 t2时该被试 KS 的合理空间就会受到约束，t2时间点的 KS 只可能被判定为保持 1,0 的状态或者转变为 1,1 的状态，而不会被判定为0,0 和 0,1。因此，t2时间点该被试的 IRP只有 1,0,0 和 1,1,1 两种情况。因此只需计算该被试此时 ORP 和这两种 IRP 的距离，并依据计算结果进行 KS 判别。模型代码已上传：https：/doi.org/10.6084/m9.figshare.22297762.v3，供读者参考和使用。图 1纵向链接方法示意图彩图见网络版，下同。175PDF pdfFactory Pro 应用心理学2024 年第 30 卷第 2 期4模拟研究为保证后续研究使用参数模型生成数据时满足掌握属性不会遗忘的假设，选择具有良好测量学特性（Wang et al.，2018）且满足假设需求的 HO-HMM 进行后续的数据生成和比较。模拟研究 1 通过与横断非参数方法的重复应用效果比较，验证本研究所建立链接的有效性。模拟研究 2，通过与 HO-HMM模型和 Long-HDD 方法比较，验证 4 种新方法的准确性。4.1模拟研究 14.1.1实验设计6 个自变量：时间点数量（T=2，3）、题目数量（I=30，50）、属性数量（K=3，5）、被试量（N=30，50，100）、题目质量（高、中、低）和分析方法（LNPC、LWNPC、LGNPC、LWGN-PC、NPC、WNPC、GNPC、WGNPC）。参 考Chiu 等（2017）的设定生成模拟研究 Q 矩阵。4.1.2数据生成及分析依据 R 中 hmcdm 包，使用 HO-HMM模型实现数据生成。设定参照 Wang 等（2018）：学 习 参 数：姿0=-1.5，姿1=1，姿2=0.1，姿31=0.3；被试能力参数：兹耀N；从多元正态分布中生成被试 t1时间点的 KS，琢耀MVN（滋，撞），滋=0，撞=1埙0.5 1埙埙0.5 0.5 1杉删山山山山山山山山山山山山山山山山山山煽闪衫衫衫衫衫衫衫衫衫衫衫衫衫衫衫衫衫衫，后续时间点的 KS 使用 HO-HMM 模型生成；参照 Ma 等（2015）的设定：高、中、低质量条件下题目参数从 U（0.05，0.15）、U（0.15，0.25）和 U（0.25，0.35）中抽取。根据参数真值，使用HO-HMM 生成被试作答矩阵。所有实验循环 50 次以减少随机误差。4.1.3评价指标参考 Zhan 等（2019）计算模式判准率（pattern correct classification rate，PCCR）；纵向模式判准率（longitudinal pattern cor-rect classification rate，LPCCR）。4.1.4模拟研究 1 结果以 LNPC 和 NPC 的对比结果为例（见图 2 至 3），其余结果见附录 1。结果发现，后续时间点的所有条件下，LNPC 的判准率均高于 NPC 方法，这表明在纵向数据的分析中本研究提出的纵向链接方法是必要和有效的。具体参数含义与原理请参见 Wang 等（2018）提出的高阶隐马尔科夫模型（higher-order，hidden Markov model，HO-HMM）。176PDF pdfFactory Pro 图 2模拟研究 1 中 T=2 时，LNPC 和 NPC方法的 PCCR 和 LPCCR注：横坐标为实验条件（第一个数字表示题目数量，第二个数字表示被试人数，字母代表题目质量），纵坐标为判准率，下同。4.2模拟研究 24.2.1实验设计6 个自变量，除分析方法（LNPC、LWNPC、LGNPC、LWGNPC、HO-HMM、Long-HDD）外，其余自变量及 Q 矩阵生成方式同模拟研究 1。4.2.2数据生成及分析数据生成方式同模拟研究 1。HO-HMM 参数估计使用 R 中 hmcdm包实现。生成 5 条独立的马尔科夫链，每条链长 3000，burn-in 前 2000 次，所有量子缩减因子 1.1，达到收敛标准。纵向非参数认知诊断评估177PDF pdfFactory Pro 应用心理学2024 年第 30 卷第 2 期HO-HMM 先验分布为：姿0N（0,1），姿1LogN（0,0.5），姿2LogN（-0.5,0.6），姿3LogN（-0.5,0.6），兹N（0,1），sU（0,1），gU（0,1），仔Dirichlet（1,1）。4.2.3评价指标同模拟研究 1。4.2.4模拟研究 2 结果（1）不同方法的判准率结果图 4 至 5 呈现了各方法在不同实验条件下的判准率结果。总体来看，6 种方法的判准率差异较小，多数情况下 HO-HMM 的判准率稍优于其余方法，其次是 4 种新方法和 Long-HDD 方法。4 种新方法与HO-HMM 的纵向判准率差异范围在-0.0350.091 之间，差异很小；与 Long-HDD 的纵向判准率差异范围分别为：LNPC（-0.1130）、LWNPC（-0.119 0.015）、LGNPC（-0.0810.089）、LWGNPC（-0.0830.095），图 3模拟研究 1 中 T=3 时，LNPC 和 NPC 方法的 PCCR 和 LPCCR178PDF pdfFactory Pro 大部分条件下 4 种新方法的判准率更高；新方法中，LNPC 和 LWNPC 的表现稍优于LGNPC 和 LWGNPC。LNPC 和 LWNPC 方法的 LPCCR 范围分别为：0.3200.974 和0.3160.975，LGNPC 和 LWGNPC 方 法 的LPCCR 范围分别为：0.2850.945 和 0.285 0.938。（2）不同实验条件的影响首先，随着时间点数量和考察属性个数的增加，6 种方法的 LPCCR 均有所下降。同 Long-HDD 相 比，4 种 新 方 法 的LPCCR 更高。T=2 时，Long-HDD 的 LPCCR最低值为 0.273，4 种新方法 LPCCR 最低值为 0.301。其次，随着题目数量增多和题目质量提升，所有方法的 LPCCR 值均在提高。当题目质量较低时，LNPC 方法和 LWNPC 方法表现较好，且优于 Long-HDD；而当题目质量较高时，LGNPC 方法和 LWGNPC 方法表现较好，与 Long-HDD 结果基本一致。最后，样本量的变化对于非参数方法的影响较小。随着样本量的减少，所有非参数方法与参数模型之间 LPCCR 的差异不断缩小。由 100 人缩减至 30 人时，4 种新方法与 HO-HMM 的最大差距由 0.091 减少至 0.066。图 4模拟研究 2 中 T=2，不同方法的 PCCR 和 LPCCR 结果差异的计算方式为：HO-HMM 方法的 LPCCR 减去非参数方法的 LPCCR，为正则表明 HO-HMM 方法表现好，为负则表明非参数方法表现好。纵向非参数认知诊断评估179PDF pdfFactory Pro 应用心理学2024 年第 30 卷第 2 期5实证研究5.1数据说明数据来自河北省某小学五年级 3 个班学生的分数减法测验，测验间隔均为 5 天。共 100 名学生参加了完整的 3 次测验。测验蓝本为 Tatsuoka（1990）分数减法测验，考察 琢1（分子相减）、琢2（化简）、琢3（从带分数中分离出整数部分）、琢4（从被减数借位并与减数的分子相减）、琢5（化整数为分数）5个属性（de la Torre，2009），每套题本 20 题。测验题目示例和 Q 矩阵见附录 2 和 3。此外，为进一步验证模拟研究结果，根据题目图 5模拟研究 2 中 T=3，不同方法的 PCCR 和 LPCCR 结果180PDF pdfFactory Pro 质量（题目区分度=1-Si-gi）情况，将测验分成高质量（由每套题本中题目质量最高的6 道题组成，约前 27%，题目区分度均高于0.5）和低质量（由每套题本中题目质量最低的 6 道题组成，约后 27%，题目区分度均低于 0.4）两套测验，进一步验证 4 种新方法的性能和优劣。5.2评价指标参考 Chiu 等（2017）计算各方法的平均属性分类一致性（attribute-wise agree-ment rate，AAR）和模式分类一致性（pat-tern-wise agreement rate，PAR）。借鉴郭磊和周文杰（2021）计算纵向属性掌握程度和测验总分的相关。5.3研究结果6 种方法间分类一致性结果较高，AAR 均大于 0.93，PAR 均大于 0.71。随着时间的推移，所有方法的分类一致性程度趋近于 1，详细结果见附录 4。纵向属性掌握程度与总分相关结果为：rHO-HMM=0.843，rLong-HDD=0.839，rLNPC=0.812，rLWNPC=0.851，rLGNPC=0.829，rLWGNPC=0.849，LWNPC 相 关 最高。4 种新方法在班级水平的小样本群体中具有较好的诊断效果，其中 LWNPC 表现最好。在高质量测验组，纵向属性掌握程度与 总 分 相 关 结 果 为：rLNPC=0.745，rLWNPC=0.762，rLGNPC=0.778，rLWGNPC=0.806，LGNPC和 LWGNPC 表现更好；在低质量测验组，纵向属性掌握程度与总分相关结果为：rLNPC=0.682，rLWNPC=0.697，rLGNPC=0.674，rLWGNPC=0.691，LWNPC 和 LWGNPC 表现更好。6讨论、展望与结论6.1讨论与展望6.1.1新方法的适用性4 种新方法判准精度稍微低于参数类模型但相差不大，这与 Chiu 和 Douglas（2013）以及 Chiu 等（2017）的模拟研究结果类似。这是因为生成数据的模型为HO-HMM，以往类似研究中用于生成数据的模型的表现往往更好（汪文义等，2015；汪文义等，2021）。4 种新方法中，LNPC 和LWNPC 的判准精度更高，这与 Chiu 等（2017）的模拟研究结果相一致。这可能是在模拟研究的数据生成过程中，HO-HMM的测量模型是 DINA 模型，与 LNPC 和LWNPC 的判别逻辑一致。与 Long-HDD 相比，本研究链接方法可 在 加 权 或 广 义 的 判 别 方 法 中 推 广。Long-HDD 方法仅在其后续时间点的 IRP集合中包含多个 IRP 时才起作用，而当IRP 集合中只有一个 IRP 时，Long-HDD 等同于横断方法（刘耀辉等，2023）。在加权或者广义情况中，IRP 集合中仅有一个 IRP的情况更有可能出现。因此可以推测，当测量模型选择加权或广义的方法时，Long-HDD 方法的链接部分存在失效的可能。6.1.2实际应用效果LWNPC 诊断结果与总分的相关最高，其次是 LWGNPC 方法。简约方法表现优于广义方法，可能是由于简约方法逻辑同DINA 模型类似。DINA 属于非补偿模型，在解决数学问题时，每一步骤都需要成功地作答，这与非补偿模型的假设是一致的（Chen，2012；Ren et al.，2021）。加权计算方纵向属性掌握程度是将被试三个时间点的属性掌握模式（即 KS）进行求和，如三次的 KS 分别为 10000、11000、11100 的被试的纵向属性掌握程度为 1+2+3=6，原始总分通过对三次测验分数的求和表示。纵向非参数认知诊断评估181PDF pdfFactory Pro 应用心理学2024 年第 30 卷第 2 期式的结果好于非加权，与以往研究一致（Chiu&Douglas，2013；Chiu et al.，2017）。可能的原因是加权的计算方式考虑到了题目间变异，更加符合现实情况，对实际测验拟合更佳。6.1.3方法选择建议综合模拟与实证研究结果，发现题目质量以及测验知识点的特质是影响方法判准精度的重要影响因素。模拟研究结果表明这 2 种方法在题目质量较低时仍有较高的判准率，故当题目质量较低时，推荐LNPC 或 LWNPC 方法；同时实证测验的结果表明，若是针对数学知识一类的同非补偿模型假设相一致的测验，LNPC 或 LWN-PC 方法更加合适。反之，当测验的质量较高时或者所测知识点的情况同补偿模型假设 相 一 致，更 加 推 荐 使 用 LGNPC 和LWGNPC 这两种广义判别方法。此外，考虑到在真实测验中题目质量较难达到模拟研究中设定的理想情况，且考虑到实际作答情况的变异情况，因此加权的 LWNPC 方法更加适用于真实测验场景。6.1.4研究局限及展望本研究仍有一些不足，如未涉及多级计分测验。未来研究需要考虑纵向非参数诊断方法融入到多级计分数据中，如考虑使用曼哈顿距离（康春花等，2019）进行判别。非参数分类方法的诊断结果采用二值计分形式，包含信息量有限，很难提供一些更加细致的结果和评价指标（汪文义等，2021），能否将能够量化属性掌握概率方法的非参数认知诊断方法纳入纵向研究中值得进一步探究。6.2研究结论本研究提出了 4 种判准率高且计算简便、样本容量无依赖的纵向非参数方法。新方法能够应用在纵向认知诊断研究中，尤其是小样本的班级规模教学实践中，以促进学生的学习发展。实际应用中，推荐LWNPC 方法。参考文献郭磊，周文杰.（2021）.基于选项层面的认知诊断非参数方法.（9），1032-1043.康春花，杨亚坤，曾平飞.（2019）.一种混合计分的非参数认知诊断方法：曼哈顿距离判别法.（02），455-462.刘耀辉，陈琦鹏，徐慧颖，詹沛达.（2023）.纵向汉明距离判别法：对潜在属性的发展追踪.（03），742-751.罗照盛，李喻骏，喻晓锋，高椿雷，彭亚风.（2015）.一种基于 Q 矩阵理论朴素的认知诊断方法.（02），264-272.莫雷.（2007）.教育科学出版社.汪文义，丁树良，宋丽红.（2015）.认知诊断中基于条件期望的距离判别方法.（12），1499-1510.汪文义，宋丽红，丁树良，汪腾，熊建.（2021）.非参数认知诊断方法下诊断结果的概率化表征.（05），1249-1258.詹沛达，潘艳方，李菲茗.（2021）.面向“为学习而测评”的纵向认知诊断模型.（01），214-222.Chen，Y.H.（2012）.Cognitive diagnosis of mathe-matics performance between rural and urban stu-dents in Taiwan.Assessment in Education：Prin原ciples,Policy&Practice.19，193-209.Chiu，C.Y.，&Douglas，J.A.（2013）.A nonparamet-ric approach to cognitive diagnosis by proximity toideal response patterns.Journal of Classification，30，225-250.Chiu，C.Y.，Sun，Y.&Bian，Y.（2017）.Cognitivediagnosis for small educational programs：Thegeneral nonparametric classification method.Psy原chometrika，83，355-375.de la Torre，J.（2009）.DINA model and parameterestimation：A didactic.Journal of Educational andBehavioral Statistics，34（1），115-130.182PDF pdfFactory Pro de la Torre，J.，&Douglas，J.A.（2004）.Higher-or-der latent trait models for cognitive diagnosis.Psy原chometrika，69，333-353.Ma，W.，Iaconangelo，C.，&de la Torre，J.（2015）.Model similarity，model selection，and attributeclassification.Applied Psychological Measure 原ment，40（3），200-217.Ren，H.，Xu，N.，Lin，Y.，Zhang，S.，&Yang，T.（2021）.Remedial teaching and learning from acognitive diagnostic model perspective：Taking thedata distribution characteristics as an example.Frontiers in Psychology，12.Tatsuoka，K.K.（1990）.Toward an integration ofitem-response theory and cognitive error diagnosis.In N.Frederiksen，R.Glaser，A.Lesgold，&M.Shafto（Eds.），Diagnostic Monitoring of Skill andKnowledge Acquisition.Hillsdale：Erlbaum.Wang，S.，Yang，Y.，Culpepper，S.A.，&Douglas，J.A.（2018）.Tracking skill acquisition with cogni-tive diagnosis models：Ahigher-or der，hiddenmarkov model with covariates.Journal of Educa原tional and Behavioral Statistics，43，57-87.Zhan，P.D.，Jiao，H.，Liao D.D.，&Li，F.M.（2019）.A longitudinal higher-order diagnostic classifica-tion model.Journal of Educational and BehavioralStatistics，44（3），251-281.Nonparametric Methods for Longitudinal Cognitive DiagnosisZHENG Tian-peng1GUO Lei2，3BIAN Yu-fang1，4，5（1.CollaborativeInnovation CenterofAssessmenttoward BasicEducation Quality（CICA-BEQ）atBeijingNormalUniversity，Beijing 100088，China；2.Faculty of Psychology，Southwest University，Chongqing 400715，China；3.Southwest University Branch，Collaborative Innovation Center of Assessment toward Basic Education Quality，Chongqing 400715，China；4.Child and Family Education Research Center at Beijing Normal University，Beijing100088，China；5.InstituteofMentalHealth and EducationatBeijingNormalUniversity，Beijing100088，China）AbstractThis research proposed four concise longitudinalnonparametric diagnostic methods：longitudinal non-parametricclassification（LNPC），longitudinalweighted nonparametric classification（LWNPC），longitudinal generalized nonparametric classification（LGNPC），and longitudinal weighted generalizednonparametric classification（LWGNPC），by leverag-ing the connection of studentsknowledge state andthe ideal response pattern between adjacent timepoints.The performance of the four new methods wasevaluated by two simulation studies and an empiricalstudy.The results of simulation studies showed that：（1）the established link could improve the accuracyof longitudinal classification；（2）compared to theHO-HMM model，the new methods could achievesimilar precision while being less affected by thesample size；（3）the new methods outperformed theLong-HDD method in terms of accuracy，and theLNPC and LWNPC still performed well even withlow-quality items.The results of the empirical studyshowed that the four new methods were highly con-sistent with the HO-HMM model and Long-HDDclassification.We recommend using the LWNPCmethod to analyze the real data.Key words：nonparametric method，longitudi-nal cognitive diagnostic assessment，Hamming dis-tance，classification accuracy纵向非参数认知诊断评估183PDF pdfFactory Pro