基于群体决策算法的教学质量评价方法.pdf

92023年2023SHAANXITSCIENCE&RESEARCHNO.2第2 期陕西交通科教研究基于群体决策算法的教学质量评价方法蔺伟（陕西交通职业技术学院交通信息学院，陕西西安7 1 0 0 1 8）摘要：教学评价是进行教学研究的重要参考内容，针对高职院校的教学评价问题，采用群体决策算法，首先构建由教师素质、教学态度、教学内容、教学方法和教学效果五个维度构成的教学质量评价指标体系；然后采用Friedkin-Johnsen（FJ）动态模型公式，包括基于意见矩阵、外界信息敏感程度矩阵和影响力权重矩阵等；最后提出基于群体决策算法的教师教学质量评价计算方法，优化了教学评价过程，形成了可行的教学质量评价计算流程。实验表明，与传统计算方式相比，基于群体决策算法的教师教学质量评价计算方法，能够更加真实地反馈教学情况，提高教学评价的有效性。关键词：教学评价；群体决策算法；有效教学研究中图分类号：TP183文献标识码：A文章编号：（2 0 2 3）0 2-0 0 0 9-0 0 0 51引言职业教育作为我国高等教育的重要组成部分，是广大青年打开通往成功成才大门的重要途径。习近平总书记曾提出，职业教育职业院校要不断更新教学内容，调整课程结构，突出实践教学，着重培养学生分析和解决问题的能力1 。因此,职业教育要更加重视教学手段的提升和改进，重视教学评价，在高职院校的人才培养过程中，教学评价是有效教学研究的重要参考指标，没有评价的教学管理会导致教学过程中缺乏反馈机制，不能及时发现问题、解决问题。目前大部分高职院校所使用的教务系统，在进行教学评价时，通常会设置一些具体的指标，分析这些指标内容后，发现指标内容虽然较多，但是设置时缺乏科学规划，教师素质与教学内容方面的考察指标较少。为解决上述问题，本文参考李逢庆等人2 的研究工作，以及有效教学研究的相关理论，重新确立了教师评价指标体系，并根据调查问卷的结果，确定相应指标的权重；其次引入群体决策算法，改进得分的计算方式。2文献综述教学评价研究一直是有效教学研究的重点工作，当前的教学评价研究相关工作主要存在以下问题。（1)教学评价过程中，教学方法与课程设置不匹配，导致传统的教学模式难以适应该专业课程的培养目标5-7（2）功利化的教学评价，主要指教学评价的过程、结果与评价对象的利益诉求（如考核选拔、职称晋升、获奖、声誉、学术权力、升学、就业等）挂钩，追求利益是其评价标准8-9（3）侧重于对学生学习质量的评价，在教学质量评价方面几乎处于空白状态。综合以往的文献内容，现有研究重点主要针对师生课堂表现和学生学习成果的评价，忽略了教学准备、教学资源和教师收获等的评价，评价主体较单一，评价体系全面性不足。本文所参考的文献大体分为两个部分，首先在确定教师评价指标体系时，参考了姚利民关于有效教学研究的相关理论，其中教师的教学观念、知识、责任意识、效能感、能力和机智等是影响有效教学的因素，以及参考李逢庆、韩晓玲等人关于混合式收稿日期：2 0 2 3-5-2 8作者简介：蔺伟（1 993），男，陕西交通职业技术学院交通信息学院助教。1020232023年陕西交通科教研究NO.2第2 期教学质量评价体系的构建，结合教学质量评价的基本理论，包括教学质量概念与不同的质量观、教学质量评价涵义及各种功能、教学质量评价理论的发展等1 0-1 2 。最终确定本文以定量研究为主,结合定性研究方法，构建一个多样化的教师教学质量评价指标体系，指标项目按照高职院校通用的、基本的质量标准来确立，权重按照分层、分类的标准来确定，体现高职院校教师教学质量评价指标体系的统一性和差异性。其次是采用群体决策算法求解问题时，参考ProskurnikovAV13等人的研究工作,其中重点参考Friedkin一Johnsen（FJ）动态模型公式中关于个人意见迭代更新计算的部分内容,以及Friedkin N E14采用人际影响的加权平均机制减少了群体对适当分布的初始偏好的异质性的研究。综合以上内容，采用一组初始分布偏好的数组自动建立替代资源分布的几何决策空间进行进一步的研究工作。3实验方案整体实验方案按照步骤，一共分为以下6 个部分。3.1教师评价指标体系确定根据对陕西、山西等省份的高职院校教务系统中教学质量评价内容的调查，当前学生对授课内容的评教指标大多为8 1 0 个具体指标。经过分析，发现评价体系虽然内容较多，但对于概括教师授课的整体而言略显不足，参考李逢庆等人2 的研究工作，同时根据高职院校教学实际情况重新给出教学质量评价指标体系见表1。表1教学质量评价指标体系指标内容1.请对该老师的教学进度、教学深度和知识覆盖面安排是否合适进行评价教师素质2.请对老师的教学内容对你掌握本门课程知识的帮助情况进行评价3.请对老师布置作业及时、认真批阅情况进行评价教学态度4.教师有无迟到早退现象，授课过程中注重教书育人5.请对老师的课堂教学对你学习兴趣与热情的激教学内容发情况进行评价6.教师的教授内容同社会生产实际的关联性7.教师对教材重点、难点的把握和讲解教学方法8.教学中对教学辅助手段和工具的合理使用9.请你对该老师教学满意度进行评价教学效果10.学生分析、解决实际问题的意识和能力旧的指标体系是收集学生对老师8 个方面的评价，而后计算加权平均值，这在实际教学评价中并不合理。按照表1 中的指标体系，重新设计加权方式，以表1 中的教师素质为例，教师素质=指标1*权重1+指标2*权重2,其中权重1 和权重2 都在(0,1)之间,且二者之和为1。在对表1 这5个方面都使用类似方式予以计算后，可以得到一个5维向量，即=（入1，入2，入3，入4，入，）。最后，特别说明的是,每个指标的权重并非由系统指定，而是由学生群体集体判定。3.2初始解空间获取在建立教学质量评价指标体系后，由学生群体根据对应的指标打出分数，由3.1 中所给出的计算方式可以得出=（入1，入2，入3，入4，入）。在对比陕西交通职业技术学院的班级人数后，发现班级人数绝大多数在3 5 45之间，因此选择3 个簇使用基本K均值算法进行聚类，在质心不发生变化后，使用这三个质心作为初始解空间。3.3初始的意见矩阵获取初始意见矩阵表示初始状态，即未经过任何讨论以及迭代求解的过程。初始状态时，每个人对每组可行解的看法与判断，范围为（0，1），0 表示不可能成为最终解，1 表示一定为最终的方案。3.4外界信息敏感程度矩阵获取外界信息敏感程度矩阵表示某个人在讨论时，采纳别人意见的可能性，在以往的计算中，如Fried-kin-Johnsen（FJ）动态模型公式的计算中，这个矩阵并不是计算的重点，但是本文实验中采用了加权平均的方式对该矩阵进行了计算，即除了每个人自已对自己进行判断外，由同组的两个人进行判断，并求出平均值，这样的目的是尽量避免主观判断带来的误差。3.5影响力权重矩阵确定影响力权重矩阵由一个强连通图导出，如图1。112023年2023陕西交通科教研究NO.2第2 期1/31/31/2231/21/21/21/3图1强连通图其导出的影响力权重矩阵为：1/21/20W1/31/31/301/21/2这个矩阵的选取对于结果的影响不言而喻，所以通常情况下，需要多个影响力权重矩阵，根据所求解问题不同，挑选合适的矩阵。3.6选代求解对于群体决策过程，由相互交流而形成的意见权重代更新是必不可少的内容，但在本实验中，我们采用了Friedkin-Johnsen（FJ）动态模型公式（公式1），用意见权重动态更新模型取代了原本的讨论与交流,Friedkin NE14等人用实验的结果论证了采用FriedkinJo h n s e n（FJ）动态模型公式可以取得与普通状态下的讨论一致的结果，甚至结果的共识分布好于自然讨论的结果。11X(k+1)=atWiX,(k)+(1-am)x,(0)j-1i=1,2,nk=0,1,.(1)an=1-Wu,0W,1,Wi=1Vi,jj=1根据Friedkin-Johnsen（FJ)动态模型公式（1）中的内容进行计算得到最终的求解方案，其中（k）为第k次的意见矩阵，为外界信息敏感程度矩阵，w,为影响力权重矩阵。在参考文献3 中,已经证明若w;为由强连通图生成的矩阵，则最终结果矩阵必然收敛，故根据此模型可以选择出让群体达到满意的解决方案。4实验结果与分析整体实验步骤分为五个步骤，第一，修改现有的教师评价指标体系的权重，使之符合当前的高职院校教学情况；第二，确定决策群体，即参与决策的人员；第三，确认有限的解空间，即是对教学评价对象进行初评，得到5份打分不同的评价结果；第四，选择合适的迭代参数，由于迭代过程需要使用公式（1），因此其中为外界信息敏感程度矩阵，w为影响力权重矩阵需要进行确认；第五，送代求解。按实验步骤给出求解结果。4.1确定教师评价指标体系权重根据表1 的教学质量评价指标体系，对各项指标的权重进行确定。在陕西交通职业技术学院学生群体中发放调查问卷，指导学生对各项指标进行评价，共发出问卷1 8 5份，收回问卷1 6 3 份，除去无效问卷1 2 份，有效问卷合计1 51 份。对问卷结果进行加权平均，可以得到评价指标体系中二级指标相对于一级指标的权重，如表2 所示。表2教学质量评价指标体系权重一级指标二级指标权重10.575教师素质20.42530.535教学态度40.46550.58教学内容60.4270.59教学方法80.4190.56教学效果100.444.2确定决策群体群体的选择一直都是群体决策算法的重要部分，一个好的群体对于结果的影响十分重要。由于实验地点选择在陕西交通职业技术学院，因此选取了3 0 名学生，男女比例为2：1,首先对所需评教问题进行讲解，确保所有参与的人员都已经充分了解；然后进行编号分组，三个人一组，一共分为1 0组；最后对两个复杂程度不同的有限解空间进行决策求解。4.3确定有限解空间本环节选择陕西交通职业技术学院1 7 2 名学生参与，针对2 0 2 1-2 0 2 2 学年课程的授课情况予以评教，作为评教原始结果。共计获得1 7 2 份评教结果，其中无效6 4份，得到有效结果共计1 0 8 份。对该1 0 8 份结果采用基础K-means进行聚类，选择4个初始质心，可得到如图2 所示的结果。1220232023年陕西交通科教研究NO.2第2 期10090807060607075808085909095100100图2基础K-means聚类分析结果根据聚类结果可以确定4个初始解，即X=8 6.8 1 1 2 58 9.49 0 58 7.2 1 6 8 4.8 2 3 8 7.58 2 70.291666788.216666754.73333343.8270.893.528125 97.03479167 94.68166667 95.2075 96.653333337 8.6 7 8 1 2 58 0.9 6 6 2 57 5.8 1 6 2 579.14312580.87，同时使用X矩阵确定为初始有限解空间。4.4参数选择需要确定的主要参数有两个，首先是外界信息敏感程度矩阵，完成分组后，由组内的三名成员对被说服的可能性进行分析（取值范围0,1 ,0 表示无法被说服，1 表示一定被说服），每个人需要对包括自已在内的三名组内成员进行分析，并给出被说服的可能性数值再进行加权平均，目的是尽可能消除主观因素带来的误差。其次是影响力权重矩阵，该参数由一个强连通图导出，本次实验选择两个不同的影响力权重矩阵进行计算，分别为由图1 导出的W，以及2/31/30Wu.=2/52/51/502/31/3J4.5选代求解将4.4中确定的参数与每个小组的初始意见输入公式（1）中，进行迭代求解，可以得到共计1 0组的结果，其中部分结果表示如下：0.2655550.1594440.2594440.315555U,=0.2247160.1747650.27476550.3257530.1867310.1849620.2849620.3433420.29350.175805560.4130.11769444U2=0.2650.1080.470.1570.15416667 0.05205556 0.69166667 0.102111110.205629630.23350.449611110.11125926U,=0.217086420.14770370.501037040.134172840.277490740.185194440.28233333（0.25498148对结果进行分析,U2、U，经过迭代求解后，选择93.52812597.0347916794.6816666795.207596.653333331这一组解作为最终解。将所有结果绘制图像后，可得到如图3 所示的迭代结果。对所有解矩阵进行分析,可以进一步讨论，10个组中，有7 个组选择93.52 8 1 2 597.0 3 47 91 6 794.6816666795.207596.65333333作为最终解，有1个组选择7 8.6 7 8 1 2 58 0.96 6 2 57 5.8 1 6 2 57 9.1 43 1 2 580.87作为最终解，2 个组选择8 6.8 1 1 2 58 9.490 587.21684.82387.5821作为最终解。0.350.300.250.100.200.150.200.150.250.100.300.350.050.400.100.150.450.200.500.25图3选代结果4.6实验结果分析采用社群化网络演化的相关理论与方法对群体决策结果进行研究，得出以下结论：(1)在对个体决策判断问题进行分析后，发现部分个体求解过程中存在对于具体指标理解不透彻的地方，这是造成判断明显不一致的主要原因。对比于传统的求解方法过程，整个决策的过程基于群体的共识程度，因此采用基于信任关系的交互共识策略，可以为整个决策求解过程提供最大程度的依据。(2)将K-means与群体决策法相结合，应用于评教问题求解，既确保了有限解空间中的每个解都存在一定的可行性，又使得解空间的解数量得到控制，提高了决策效率。（3）针对教学评价问题进行了分析，对结果矩阵中的内容进行了探讨，给出了群体决策方法在求132023年2023SHAANXITRANSPORTSCIENCE&EDUCATIONRESEARCHNO.2第2 期陕西交通科教研究解该问题时的相关步骤。相比于以往的文献资料，群体决策中的社群演化网络模型，再加上意见动力学（opiniondynamic）的理论很少应用在教学评价问题的求解中，所以从群体选择和群体决策，到求解结果分析的过程应用在该领域时，可以提供一个比较新的求解思路。(4)在个别小组中，由于个人的差别,有部分人不擅长采纳别人的观点及意见，即比较坚持自己的观点，或是坚持认为自已的观点比别人的好，表现在结果矩阵时，会发现其中差异性不大，对于这些矩阵还可以进行一致性检验，进一步分析。(5)在个人及小组分析决策时，会有主观判断的影响，采用群体的方式，可以比较好地规避这种个人主观带来的误差。尽管采用群体的方式可以一定程度上避免误差，但是在某个具体的小组内，某个成员的判断存在偏差时，在整体的动态求解过程中，会影响到该小组的解质量，这是难以通过技术手段避免的。5结论针对高职院校目前所使用的教务评价系统中存在的问题，即评价指标与计算体系不合理，本文提出了采用群体决策算法，改进评教过程中的计算方式。群体决策算法由于使用群体研判的方式提供决策，其决策过程和教学评价过程契合度较高，尤其作为教学评价的对象教师，教学效果、教学改进等内容难以量化，选用群体决策算法可以有效解决教学评价过程中的问题。主要贡献为：（1）提出了新的符合高职院校教学实际情况的教学评价指标体系；（2）根据有效教学理论，结合群体决策算法的相关特点，给出了群体决策算法进行教学评价的基本流程；（3）采用了Friedkin-Johnsen（FJ）动态意见更新模型进行迭代计算，使用一组初始分布偏好的数组自动建立替代资源分布的几何决策空间进行进一步的研究工作。本文所做实验的参与人员，均为陕西交通职业技术学院的在校学生，验证了所提出方法的可行性和有效性。通过查阅陕西交通职业技术学院教学评价报告，发现此次实验采用的群体决策算法可以解决目前教务系统中存在的问题，使得评价结果更贴近实际教学情况，实现了教学评价的科学化和精细化管理。同时本文所提出的群体决策算法求解策略，对于有效教学研究和科学教学评价的优化有一定借鉴意义。参考文献1葛道凯.以习近平重要教育论述指导江苏职业教育创新发展J.江苏教育，2 0 1 7（52）：6-9.2】李逢庆，韩晓玲.混合式教学质量评价体系的构建与实践J.中国电化教育，2 0 1 7（1 1)：1 0 8-1 1 3.3】钟晨.普通高校公共体育羽毛球课程教学质量评价体系构建研究J.陕西教育（高教），2 0 2 2（1 0）：3 0 3 2.D0I:10.16773/ki.1002-2058.2022.10.017.4李丹阳，林芝兰.论我国教学评价改革的着力点J.教学研究,2 0 2 2,45(0 5)：1 6-2 2+92.5刘秉栋，冯蕾.英语专业课程思政体系建设：现实困境与突围路径J.外语电化教学,2 0 2 2（0 4）：2 3-2 8+1 1 2.6白淑珍，徐东亮.新时代高校思政课网络实践教学和评价体系探析J.山西大同大学学报（社会科学版），2022,36(04):131-134+143.7刘巍巍，陈宇晴，刘设，王迎春，黄笑悦.探究式教学评价指标体系的构建J.辽宁工业大学学报（社会科学版),2 0 2 2,2 4(0 3):1 1 6-1 2 0.D0I:10.15916/j.issn1674327x.2022.03.029.8陶希闻，江文奇，王嘉丽，朱力.基于BA-BSO交互机制的自适应群体共识模型J/OL.系统工程理论与实践：1-172022 10 04.9张晓鹏，关磊，吴苏寒.知识共享/转移背景下的动态群体决策绩效研究J.运筹与管理，2 0 2 2,3 1（0 5）：55-61.10骆仕杰，韩抒真.融合随机森林和神经网络的教学质量分析算法J/OL.小型微型计算机系统：1-92 0 2 2-10-04.11迅杰，邓富民，徐泽水.基于自信双层语言偏好关系的大规模群体共识决策方法及其应用研究J/OL.中国管理科学：1-1 2 2 0 2 2-1 0-0 4.D0I:10.16381/ki.issn1003-207x.2021.0927.12 G.Shi,A.Proutiere,M.Johansson,J.Baras,K.Jo-hansson,The evolution of beliefs over signed social net-works,Oper.Res.64(3)(2016)585-604.13 Proskurnikov A V,Tempo R.A Tutorial on Modeling andAnalysis of Dynamic Social Networks.Part IJ.AnnualReviews in Control,2017.14 Friedkin N E,Proskurnikov A V,Mei W,et al.Mathe-matical structures in group decision-making on resourceallocation distributions J.Scientific reports,2019,9(1):1-9.