基于DM-AHP-FCEM...评价指标体系构建与应用研究_潘丹.pdf

年第 期总第 期黑龙江高教研究 ，收稿日期：基金项目：武汉科技大学教学研究项目“问责视角下高校教师课堂教学质量评价机制研究”（编号：）。作者简介：潘 丹，武汉科技大学管理学院副教授，管理学博士，研究方向：财务风险管理、高等教育；邱玉莲，武汉科技大学管理学院教授，研究方向：会计理论与方法、高等教育；李瑞玮，武汉科技大学管理学院硕士研究生，研究方向：财务风险管理、高等教育；高嫚灵，武汉科技大学管理学院硕士研究生，研究方向：财务风险管理、高等教育。基于 的专业硕士课程的教学质量评价指标体系构建与应用研究潘丹，邱玉莲，李瑞玮，高嫚灵（武汉科技大学，湖北 武汉）摘要：在对已有文献和 所高校目前在用的专业硕士课程教学质量评价指标体系进行归纳和整理的基础上，初步梳理出专业硕士课程的教学质量评价指标体系。建立以本文作者为主的专业硕士课程教学质量评价指标体系构建的专家小组，运用德尔菲法对指标体系进行筛选，首次专家咨询的协调系数未通过显著性检验，在第二轮专家咨询中，专家平均权威程度为，专家意见协调系数 为 ，卡方检验统计量为 ，评价结果较好。根据第二轮专家咨询的意见，筛选后的指标体系包括课程设计、教学过程、教学方法、教学效果等 个二级维度以及课程总体设计、课程内容设计、课堂教学过程、课后教学过程、教学内容展示方法、教学手段、学生兴趣、知识收获、能力培养等 个三级维度的 个指标，并基于层次分析法确定了课程教学质量评价指标的权重，基于模糊综合评价法对武汉市某高校会计专业硕士的“财务会计理论与实务”课程的教学质量进行评价。关键词：专业硕士课程；教学质量；评价；中图分类号：文献标志码：文章编号：（）一、引言 年，教育部发布关于做好全日制硕士专业学位研究生培养工作的若干意见，决定扩大硕士专业学位的招生范围，专业硕士开始蓬勃发展；年，全国硕士专业学位的学生数量已达研究生总数 以上，在我国研究生教育体系中，专业硕士是一个重要的组成部分。与学术硕士主要关注学术人才不同，专业硕士的目标是培养兼具学术与职业的综合型人才。因此，有必要改变传统的教学理念，既要适应高品质精英的发展规律，又要深入讨论他们自身的特点和规律。在专业硕士教育培养体系中，课堂教学是关键环节之一，课堂教育质量的高低对专业硕士人才培养质量有重要的影响，而探索专业硕士课程的教学质量评价指标、标准和方法是保障课堂教学质量良性发展的基础。年 月 日，国务院教育督导委员会办公室印发实施了全国专业学位水平评估实施方案，全国专业学位水平评估主要从教学质量、学习质量和职业发展质量等 个方面并细化为师资队伍质量、学位论文质量、服务贡献与社会声誉等 个一级指标来开展评估。在此之后的学者主要围绕全国专业学位水平评估实施方案中的目标、要求和评估重点来研究全国专业学位及各个培养阶段的质量评价指标体系。例如，邓峰等人研究了全日制专业硕士和学术硕士研究教育质量评价的过程指标和结果指标；李祥和何月顺从校内实习准备、实习效果评估、实习企业环境、企业导师指导质量等 个方面构建了 个指标用于评价专业硕士职业实践技能。而在此之前，也有学者研究了专业硕士研究生教育质量，例如，胡恩华等人从职业性、学术性和社会性等 个方面构建了 个指标评价了全日制专业硕士整个教育生涯的评价指标体系。总体而言，我国专业学位类型、攻读渠道和培养模式也日趋多样化，关于专业学位整个教育生涯评估的研究相对较多，还有研究涉及了专业学位培养实践阶段的培养质量，但关于专业学位课程的教学质量评价的研究相对匮乏，且在评价指标体系中将课程思政作为评价因素之一的研究鲜见。为此，本文在对已有文献和高校目前在用的专业硕士课程的教学质量评价指标体系进行归纳和整理的基础上，采用德尔菲法（，）对指标体系进行筛选，并采用层次分析法（，以下简称“”）确定指标体系的权重，并以会计专业硕士的“财务会计理论与实务”课程为例，运用模糊综合评价法（DOI:10.19903/23-1074/g.2023.07.021，以下简称“”）对课程教学质量进行评价，以弥补目前专业硕士课程的教学质量评价研究的不足，提高专业硕士课程的教学质量。二、专业硕士课程的教学质量评价指标体系构建的方法 （一）指标体系初选的方法关于具体指标构建，课题组收集文献，并从中梳理出与专业硕士课程相关的教学质量评价的指标，并根据课题组的教学经验初步确定专业硕士课程的教学质量评价指标体系。（二）指标体系筛选的方法为了确保所构建的指标体系能体现专业硕士课程的教学质量的重要方面，采用 方法对指标体系进行筛选。具体过程如下：将初步构建的指标体系中每个指标的重要性咨询专家意见，研究小组进行整理、归纳、统计和分析，在意见出现较大的分歧时，将分析结果以不记名方式呈报专家，专家对分析结果进行重新处理，然后对专家的意见进行重新组织、总结和分析，再次反馈，直到专家达成普遍共识。研究小组计算每轮专家咨询的专家积极系数、专家权威程度、加权算数平均值、满分评率、变异系数、协调系数来判断专家意见是否一致，确定该轮专家咨询是否有效。在专家咨询过程中，指标的去除参考以下原则：一是指标重要性较差者，即指标评分加权算术平均值小于 或满分频率小于；二是对指标争议较多者，即变异系数大于。各个判断指标的计算方法如下：专家积极系数、专家积极系数即问卷的答卷率，可以用收回的问卷的比率 和提出建设性意见的专家的人数与总人数之比 来衡量，上述两个值越大，说明专家积极性越高，指标筛选结果越可靠。，（）式中：为问卷回收率，为提出建设性意见的专家人数比例，为参与评分的专家人数，为提出建设性意见的专家人数，为总专家人数。专家权威程度 专家权威程度 对评估结果的可靠性有很大影响，在评估时应充分考虑到这一点。专家的权威程度 越大，说明专家的评价结果越可靠，而权威程度取决于两个要素，即专家判断的依据、专家熟悉问题的程度，量化分值见表。表 专家评分标准指标重要性量化值判断依据判断依据对专家的影响程度熟悉程度量化值非常重要大中小很熟悉重要实践经验熟悉一般理论分析一般不太重要同行了解不太熟悉不重要直觉不熟悉 专家权威程度的计算公式为：（）式中：为专家作出判断依据的量化值，为专家对问题熟悉程度的量化值。加权算术平均值?专家对指标重要性进行判断（见表），计算指标的加权重要性平均值，值越大，指标重要性越高。计算公式为：?（）式中：?为指标 的加权平均值，为专家 对指标 的重要性评分（见表），为参与 指标评分的专家人数。满分频率 满分频率 是对指标 给出满分的专家人数与参与评价指标 的专家总数的比率，得到满分次数愈多，则表示该指标重要性愈高。计算公式为：（）式中：为对指标 给出满分的专家人数，为参与评价指标 的专家总数。变异系数 变异系数 表明专家在估计指标的相对重要性时产生的变异程度，即协调程度。越小，显示了专家意见的一致性水平越高。计算公式为：?，（?）（）式中：为指标 的变异系数，为标准差，?为指标 的加权平均值，为专家 对指标 的重要性评分，为参与评价指标 的专家人数。专家意见协调系数 协调系数 取值 之间。越大，表明专家对指标评价的协调程度越高；越小，表明专家对指标评价的协调程度越低。计算公式为：（）（）（）基于 的专业硕士课程的教学质量评价指标体系构建与应用研究协调系数显著性检验：（）（）自由度（）：（）如果 或 ，说明专家之间意见的协调性好，结果是可以被接受的；反之，若 ，则说明结果不可被接受。式中：为专家总数，为指标总数，为相同等级指标，为各指标等级和的离均差，表示 专家评价结果中有重复等级的个数，表示在 组中的相同等级数。（三）指标体系权重的确定方法运用 来确定各个评价指标的比重。确定权重的步骤如下：第一，运用 法对教学质量评价指标体系之间的关系进行分析，形成目标层、准则层、一级指标层、二级指标层；第二，由专家判断不同两个元素相对上一层元素的重要性比，按照 标度法确定、元素的相对重要性比值为（如表 所示），指标数量为，构建成判断矩阵 （）；第三，运用方根法确定 的权重向量和最大特征值（），然后再进行矩阵 的一致度的计算：，（），若 ，则 符合一致性条件，则表示该模型的权重是合理的，如果 不符合一致性条件，未通过检验，那么必须再次进行专家判定，当矩阵 能够符合一致性条件时，通过检验。表 的 标度为 之间的偶数重要性同样重要稍微重要很重要非常重要极端重要重要性介于相邻判断之间为、重要性不太重要不重要很不重要极不重要重要性介于相邻判断之间 假设准则层指标权重为，一级指标层权重为，二级指标层权重为，二级指标的综合权重 ，其中，为准则层指标个数，是与准则层相对应的第一指标层指标的数量，而 是相应于第一指标的第二指标的数量，准则层指标权重矩阵为 （，），一级指标权重矩阵为 （，），二级指标权重矩阵为 （，），二级指标综合权重矩阵为 （，）。三、专业硕士课程教学质量评价指标体系设计（一）指标体系的初步设计参考了湖北省武汉市 所高校专业硕士课程的教学质量评价指标体系，并研读了任吉和于佳琪、赵馨蕊等人、李亚奇等人、刘颖等人、刘玉静和杨洋、蓝江桥等人的 余篇文献，初步构建了如表 所示的 个指标。（二）指标体系的筛选专家认为指标量太大，不能反映出教学质量评价的重点，且有些指标不适合用于课程教学质量评价，因此采取 方法对指标体系进行筛选，选择对教学质量影响重大的指标，提高后续评价的可操作性和可靠性。采用 筛选风险指标包括以下步骤：一是建立以本文作者为主的专业硕士课程教学质量评价指标体系构建的专家小组，小组专家为 人，专家均符合以下两个条件，即熟悉专业硕士课程教学工作、具备教学质量评价的研究能力。二是编制专家咨询问卷。咨询问卷主要包括三个部分：第一部分主要是对参评专家的基本情况大致了解，第二部分主要是对专业硕士课程教学质量评价指标体系重要性进行判断，第三部分主要了解专家作出重要性判断的依据。三是开展首次专家咨询。先进行一次初步的专业咨询，分析和整理专家的打分表，对评价结果进行计算、统计和分析，并分析是否要再次进行专家咨询。四是进行第二次专家咨询。以第一次专家咨询的结果为基准，邀请专家对指标再进行一次评价，并对调查结果进行再次的计算、统计和分析，若计算结果符合要求，则根据本次的专家意见形成最终的指标体系，若计算结果不符合要求，则重复专家咨询过程，直至计算结果符合要求为止。收集专家评分结果并进行统计处理和分析，计算出各教学质量评价指标的加权算数平均值、满分频率和变异系数。专家咨询的结果表明，首次专家咨询的协调系数未通过显著性检验，需再次征求意见。在第二轮专家咨询中，专家平均权威程度为，专家意见协调系数 为 ，卡方检验统计量为，评价结果较好，采纳此轮专家咨询的结果。第二轮专家咨询中指标的加权平均值、满分频率和变异系数计算结果见表。对照标准进行筛选，筛选出 个教学质量评价指标。（三）指标体系权重的确定邀请专家确定专业硕士课程的教学质量评价指标体系的权重，共邀请 名专家，专家选取的依据为熟悉专业硕士课程教学工作、能为专业硕士课程教学质量评价指标体系权基于 的专业硕士课程的教学质量评价指标体系构建与应用研究表 专业硕士课程教学质量评价体系初选和筛选目标层准则层一级指标层二级指标层指标描述加权平均 满分频率 变异系数 是否保留教学质量 课程设计 课程总体设计 教学 目 标 设 定教学目标清晰、明确、多样，符合培养方案的要求保留课程 框 架 设 计课程框架设计合理，由浅入深，由易到难，逻辑结构合理，框架完整全面保留教 学 重 难 点教学重难点内容清晰、明确、合理保留课时设计 课程总时长合理，分别针对重要程度和难易程度不同的章节进行了合理的分配保留教材选用 教材选用适合课程教学目标，教材专业性强保留课程内容设计 课前预习内容课前预习内容难度适中，通过预习可以提高课堂学习效果删除课程 思 政 内 容设计 在课程的恰当位置合理融入了思政元素，包括思政教育的理论知识、价值理念和精神追求保留课程 理 论 知 识设计 课程理论知识结构合理、内容全面保留课程 案 例 设 计案例资料丰富，案例设计符合课程教学目标，能启发学生思考如何解决实际问题保留课后 作 业 设 计课后作业难度适中，题量适中，作业形式多样化，能起到巩固课堂知识的作用保留课程 考 核 内 容设计 考核内容难度适中，题量适中，题型多样化，题型结构合理保留教学过程 课堂教学过程 教学态度 精神饱满，有热情，准备充分保留知识讲解 知识导入有吸引力，思路清晰，逻辑分明，重难点突出，启发学生思考保留呈学行为 着装得体，教态大方，语速适中，吐字清晰，具有感染力保留课堂组织 课堂组织有序，师生互动适宜，学生有充分的讨论时间保留课堂氛围学习氛围浓厚，激发学生兴趣，学生参与度高删除进度把控 课程进度适宜，符合课程课时设计保留课后教学过程 作业批改 及时批改学生作业，并反馈作业情况，并对作业进行讲解保留课下指导 有明确的课下指导方式，对学生提出的疑问能及时解答保留教学方法 教学内容展示方法 教学内容展示形式多样性 通过、视频、图片等多种形式展示课程内容，图文并茂、资源丰富，直观感受性强保留教学内容清晰、简洁 教学内容展示清晰，表达简洁，通俗易懂，重难点突出保留教学手段 信息 化 教 学 方法 的 多 样 性采用雨课堂、问卷星、知到、智慧教室等软件或工具配合教学，激发学生兴趣，提高上课效率保留信息 化 教 学 工具的 熟 练 程 度熟练使用所采用的信息化教学工具，能解决学生使用过程中碰到的问题保留教学效果 学生兴趣 课堂 到 课 情 况每堂课都能到堂，不迟到，不早退保留课 堂 参 与 度积极主动参与教师的互动，课程参与度高保留课后 学 习 自 主性 课前主动预习课程内容，课后主动复习课程内容，并积极完成课后作业，针对不懂的主动请教教师保留课程满意度课程达到了预期，满意度高删除知识收获 平时成绩 平时成绩所处等级，），），），），）保留考试成绩 考试成绩所处等级，），），），），）保留基于 的专业硕士课程的教学质量评价指标体系构建与应用研究教学效果 能力培养 知识 体 系 搭 建帮助学生搭建了该课程的完整知识体系，脉络清晰保留理论 联 系 实 际能够根据课程学习内容解决实际中的问题保留思维提升 能够形成科学的思维体系，可以对有关问题形成自己的思考保留重的确定提供建议。首先，由专家对各个层级进行横向比较，进行相对重要性判断；其次，构建判断矩阵、确定权重向量和最大特征值，并进行一致性检验，计算出指标权重，将 名专家确定的权重平均值作为指标最终的权重值（见表）。表 专业硕士研究生课程教学质量评价指标权重目标层准则层一级指标层二级指标层综合权重（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）四、专业硕士课程的教学质量评价指标体系的应用研究 （一）指标体系应用研究的方法结合所构建的指标体系，采用 来综合评价专业硕士课程教学质量。评价过程如下：第一，将评价对象的评价因素组成模糊因素集 （，）。第二，确定评价等级集，将各指标均分成 个等级，不同等级的评判语言也不同，等级集的设定见表，评价等级的中位数矩阵 （）。第三，计算隶属向量和隶属值矩阵，假设参加评教的学生人数为，则指标 对应 级的隶属度为 ，其中，为对该指标可能性评价结果为 级的学生人数，因此即可得到 的隶属向量 （，表 专业硕士课程教学质量评价等级集等级评价内容等级取值范围等级中位数 级完全不符合，级基本不符合（，级一般（，级基本符合（，级完全符合（，），隶属值为：（）于是得到变量 的隶属值矩阵为：|（）于是得到 隶属值矩阵为：基于 的专业硕士课程的教学质量评价指标体系构建与应用研究|（）第四，进行课程教学质量综合评价，将各个指标的隶属值进行加权计算，即可得到综合评价值为：（）|（）（二）指标体系应用研究以武汉市某高校会计专业硕士（）“财务会计理论与实务”课程为例，邀请 级 个 学生对课程教学质量进行评价，根据式（）计算隶属值为 ，得到一级指标 的隶属向量组成的矩阵，根据式（）可得变量 的隶属值矩阵为：根据式（）和式（）对课程教学质量进行综合评价，综合评价值 （见表），说明该课程教学质量非常好。将综合评价值还原为准则层、一级指标、二级指标的得分，如表 所示。从 个准则层指标的得分来看，个准则层指标均高于，说明该课程在这 个方面教学质量均较好，从 个方面对比来看，课程设计做得最好，得分为 ，教学方法稍显薄弱，评价值为 。从 个一级指标的得分来看，能力培养指标评价值最低，评价值为 ，是唯一评价值低于 的指标，其他 个指标评价值均高于，其中，课后教学过程指标评价值最高，评价值为 。从 个二级指标的得分来看，思维提升、教学内容展示形式多样性、信息化教学方法的多样性等 个指标的评价值低于，个指标的评价值分别为、，其他 个指标的评价值均大于或等于，课堂到课情况指标评价值最高，评价值为。根据评价结果，对 学生进行进一步调研，主要了解评价值较低指标的具体情况。在思维提升方面，学生普遍认为课程讲述的为企业合并、公司间投资、金融工具等相对较难的知识点，掌握课程的理论知识都存在一定难度，要形成科学的思维体系，对这些知识点形成自己的思考则更难。在课程教学内容展示形式方面，该课程教学内容主要通过表 准则层、一级指标、二级指标的得分目标层准则层一级指标层二级指标层指标评价值指标评价值指标评价值指标评价值 展示，中有文字和图片，且大部分是文字内容，图片内容较少，学生表示长时间观看文字内容容易产生视觉疲劳，建议让课程教学内容展示的形式更加多样化，激发学生的兴趣。在课程教学方法方面，课程主要采用传统的教学方法，上课签到还是采用点到的方式，耽误较多的时间，同时做练习也是学生在本子上写好交给教师，教师批改后再返给学生，学生不能及时知道题目的答案，在一定程度上影响教学效果。因此，建议该课程的任课教师可从以下方面改善授课质量：一是任课教师可增加各个知识点的案例，将理论知识和案例结合起来讲解，同时在授课过程中多采用研讨式教学的方法，以激发学生的兴趣，促进学生对知识点的理论，并进一步形成该课程的思维体系；二是任课教师需对 进行优化，精简 的文字，同时插入与文字内容配套的图片，在讲授案例时可增加视频资料，丰富课程内容的展示形式，缓解学生的视觉疲劳，激发学生兴趣；三是任课教师可以改进教学方法，可以采用雨课堂、问卷星、知到、智慧教室等软件或工具配合教学，提高上课效率。五、讨论与反思首先，所构建的指标体系不仅为高校专业硕士课程的教学质量评价提供了科学的评判标准，也为高校教师提升教学基于 的专业硕士课程的教学质量评价指标体系构建与应用研究能力提供了新的认知视角，在采用 方法构建指标体系时所选取的专家都是在专业硕士课程教学实践、理论和管理领域有丰富经验的专家，他们对高校专业硕士课程课堂教学有着深刻的认识，所设计的指标体系包括课程设计、教学过程、教学方法、教学效果等 个二级维度以及课程总体设计、课程内容设计、课堂教学过程、课后教学过程、教学内容展示方法、教学手段、学生兴趣、知识收获、能力培养等 个三级维度，体现了专业硕士课程课堂教学质量的内容和结构，也可以作为诊断高校教师教学能力的工具。其次，所构建的指标体系具有一定的普适性，不仅能用于评价、等管理类专业硕士课程的教学质量，也可以用于评价金融、计算机技术、电子与信息等非管理类专业硕士课程的教学质量。所构建的指标体系具有一定的特殊性：所构建的指标包含课程案例设计，这与专业硕士注重职业化培养的目标相呼应；所构建的指标包含课程思政内容设计，这与新时代的教育教学理念相吻合；所构建的指标包含信息化教学方法的多样性、信息化教学工具的熟练程度，要求教师要注重信息素养和技术能力的培养，这与当今社会迅猛发展的信息技术相适应。参考文献：冯 琪，柳宝庆 年我国研究生招生规模 万人左右，专硕招生超 ：？，邓 峰，侯延昭，周文辉 研究生教育满意度评价中过程指标与结果指标的实证研究 以专业硕士和学术硕士实践能力培养模式差异为例 研究生教育研究，（）：李 祥，何月顺 基于校企结合的专业硕士职业实践技能评估体系与平台构建研究 职教论坛，（）：胡恩华，陈沛然，顾桂芳 全日制专业硕士教育评价指标体系的构建 研究生教育研究，（）：任 吉，于佳琪 熵权法在硕士研究生方法论课程质量评价体系构建中的应用 黑龙江高教研究，（）：赵馨蕊，等 基于层次分析法的大学物理 教学质量评价指标体系的建构 物理与工程，（）：李亚奇，李 峰，王涛 新工科视角下高校教师教学质量综合评价体系研究 高等工程教育研究，（）：刘 颖，等 学生视角下的 课程教学质量评价体系构建研究 以学术信息素养类 课程为例图书馆杂志，（）：刘玉静，杨洋 基于学习投入的高校课程教学质量评价 基于华东地区 所本科高校的实证研究 教育发展研究，（）：蓝江桥，等 中美两国大学课程教学质量评价的比较与思考 高等教育研究，（）：，（，）：，（），（，），（），（），“”：；基于 的专业硕士课程的教学质量评价指标体系构建与应用研究