基于BSC的教学评价指标体系研究.pdf

现代商贸工业2023 年第 19 期Modern Business Trade Industry No.19.2023基于 BSC 的教学评价指标体系研究周玉萌 王 昫 王东杰 钟思哲(空军预警学院,湖北 武汉 430019)摘 要:为提高军队院校教学评价的科学性与系统性,加强教学评价对院校战略的支持与推进,本文基于平衡记分卡(BSC)分析了军队院校战略,建立起了基于顾客维度、财务维度、内部业务流程维度、学习与成长维度的四维度教学评价指标体系,并运用德尔菲法和层次分析法(AHP)赋予了指标权重。这一评价指标体系改进了教学评价指标与院校战略结合不紧密、教学评价中满意度占比较大的问题,符合军队院校目前所处阶段的教学评价需求,具有充分的可行性。关键词:教学评价;平衡记分卡;层次分析法;战略地图中图分类号:F27 文献标识码:A doi:10.19311/ki.1672-3198.2023.19.0290 引言教学工作是学校的核心功能,教学评价工作则对于帮助教员明确自身教学优势与不足、提升科研创新素质,促进学校师资队伍建设、提高人才培养能力等方面具有重要的推动作用。近年来,学术界对教学评价的研究主要集中于课堂层面和学科层面,针对院校层面的相关文献较少,有些学者提出我国高校教学评价应进行适度价值转向,以产出为导向,拓宽评价主体,有些学者利用大数据技术将校园各类信息平台的教学评价数据提取转化为评价数据,也有学者尝试引入管理学方法进行教学评价设计,如 360 度评价、全面质量管理等。但是上述文献主要是针对普通地方高校的教学评价设计,虽然军队院校教育与普通高校存在一些共通之处,但仍存在一些差异。一是地方高校教学理念往往是“以学生为中心”,因此在进行教学评价指标设计时以学生为评价主体的指标占相当一部分比重,而军队院校最终为部队服务,它的评价主体应是部队、教员、学员的多元集合。二是地方高校教学评价可依托大数据技术进行信息分析,而军队院校由于保密要求,一方面许多数据及资料有严格的权限设置,不适合利用现代化信息技术手段进行量化,另一方面军队院校智慧平台建设稍落后,许多地方不支持大数据技术。因此,普通地方高校教学评价的设计思想及实施过程并不完全适用于军队院校,需要针对军队院校的特殊需求进行指标设计。目前军队院校教学评价面临“轻过程,重结果”、满意度评价所占比重较大、评价指标重复繁重、教学评价指标与学校总体战略结合不紧密等问题,学员的认知潜能和教员的教学能力未能得到充分释放。如何以新时代军队院校面临的使命与任务为依托建立科学合理的教学评价指标体系,综合全面考察教师教学情况,促进学校教育水平发展是一个亟待解决的问题。1 基于 BSC 的教学评价指标的确立与战略方向较丰富的地方高校不同,军队院校战略十分统一且明晰,习近平主席强调过“军队院校因打仗而生、为打仗而建,必须围绕实战搞教学、着眼打赢育人才”,所有军队院校目标都聚焦于“以战领教,为战育人”,因此建立一个围绕战略的军队院校教学评价框架是十分契合实际的。平衡记分卡(BSC)理论能有效解决军校教学评价指标与发展战略相关性不够强的问题,是良好的管理落地执行工具。平衡记分卡(BSC,The Balanced score card)最早为卡普兰和诺顿提出的一种绩效评价工具,后来随着战略地图:化无形资产为有形成果的出版,BSC 逐渐成为实现企业战略落地的主流工具之一,它将企业战略分解为财务、顾客、内部业务流程、学习与成长 4 个维度,再在各维度下设置具体指标,通过将组织战略落地为可操作的衡量指标来形成行动方案,有效解决了战略制定与战略实施脱节的问题,同时,弥补了过去企业过度专注于财务指标而忽视财务指标后内驱力因素的不足。对于不以营利为战略目标的军队学校来说,BSC 这种评价体系更为合理,能将教学评价与学校战略有效结合,发挥教学评价对人才培养的能动作用,更好地改善教育教学质量。鉴于此,本文绘制了军队院校的战略地图(如图1)。从目标、价值观出发,逐步分解为支撑院校战略的4 个维度,其中,学习与成长维度是组织发展的力量源泉,通常包括人力资本、组织资本等无形资产,内部流程维度以力求提升教学效率效果为目标,包含紧抓教学实施过程、改进教学资源和促进教学成果产出三方面,与财务维度共同有效支持顾客维度满意度,军校面临的顾客维度主要包括组织内部的学员、教员和组织外部的部队。78现代商贸工业2023 年第 19 期Modern Business Trade Industry No.19.2023图 1 军队院校战略地图根据军队院校战略地图,基于平衡计分卡设置具体的教学评价指标,具体如下。1.1 顾客维度军队院校教学的最终目的是通过学校培养向部队输送人才,部队、教员、学员都是学校的服务对象,满意度是客户维度中最常用的指标之一。(1)服务学员:一是学员对教学质量的满意度。一方面是对课程的满意度,包括对教学目标、课程体系设置、课程内容、课程类型、课程实用性等课程方面的评价;另一方面是对教员的满意度,应包括对教员的职业素养、课堂思政、教学态度、教学内容、教学方法、学习反馈等方面的评价。上述两类满意度可通过问卷调查的方式展开。二是学员政治思想水平。学员思想动态体现着学校政治理论教育水平,反映了党委管教抓教程度,培养德才兼备的军事人才,思想是重要抓手,该指标主要考察学员日常表现及对中国特色社会主义理论,特别是习近平强军思想等创新理论的掌握。(2)服务部队:一是毕业学员岗位任职能力。包括职业素养、岗位知识、岗位技能三方面,一般可通过问卷调查或部队年度考核的方式来测量。二是保障部队满意度。包括院校为部队提供技术支持、演练保障、理论创新、决策咨询等方面,数据来源于部队与院校相关资料,注意应确认双方数据具体内容、时间是否一致。(3)服务教员:教员满意度。包括对教学资源、教学保障、教学考核三方面的满意度,可通过问卷调查方式获得数据,也可通过分层抽样结合访谈法进行。1.2 财务维度与地方公司相比,军队院校的财政来源于国家统一拨款,不自负盈亏,因此财务维度不关注利润率等盈利性指标,而是重点关注经费投入的结构与力度的合理性、装备与器材耗损维修率等指标。不同学校由于所处发展周期和具体战略的不同,经费支出比例及结构有所不同侧重。科学合理的财务收支不仅能保障各类项目平稳运行,而且能明确激励方向,保证学校战略导向不偏离。(1)装备器材损耗费:装备器材维修、消耗、故障等引起的损耗,由于不同学校装备器材种类差异较大,因此应根据各学校实际将装备器材损耗率维持在合理水平。(2)实战化教学研究经费:包括用于实战化教学项目研究的科研经费投入情况、使用情况,为贴近实战化教学聘请的地方或部队专家的授课费等。(3)服务实战化教学的固定资产投资:可分为教学训练条件建设和信息化智慧化平台条件建设,其中智慧化平台建设主要考察智慧校园建设和智慧教学平台建设两方面。1.3 内部业务流程维度学校的内部业务流程维度实质是教学过程管理,加强对教学过程管理不仅可以明晰各部门职责、改善工作流程、提高服务质量从而促进客户维度的改善,而且能强化工作控制,及时反馈财务进程从而促进财务维度的支出与收入结构的优化。(1)教学实施:主要考察教学进程情况、考风情况、教学督导情况、党委及机关抓教情况四方面。其中,教学进程情况关注课程进展是否按人才培养方案执行、是否达成教学目标等;考风情况关注是否出现违规违纪情况、是否按课程计划进行考核、考核内容是否与教学内容一致、考试管理流程是否规范,通过检查考务工作档案、抽查监考录像等方式进行;教学督导确保各级听查课制度是否落实,自评、专项评价是否按计划开展;党委及机关抓教指标考察体系制度设置是否科学、领导责任是否落实等。(2)教学改革与建设:关注专业建设水平,教材建设水平、课程建设水平、教改项目实施情况、教学资源建设情况。上述五项指标数据均来自相应教学管理部门,可通过教学数据信息采集平台及教学档案等多方面综合比对及评价。(3)教学评价与质量检测体系建设:主要是对教学评价与质量检测相关制度的完备程度、科学程度、执行落实程度以及相应的监督、奖惩措施的配套程度的评价。1.4 学习与成长维度学校是典型的学习型组织 组织由多个创造性个体构成且拥有共同愿景,其成长与发展要求成员必须善于不断学习,将工作学习化、学习工作化。培训与科研创新是成员学习与成长的重要途径。88现代商贸工业2023 年第 19 期Modern Business Trade Industry No.19.2023(1)科研创新。主要考察教员与学员的学术论文发表情况、专利专著、科研项目立项及进展情况等。(2)学员参加演习演练情况:演习演练是学员贴近实战化的主要途径,学员参与演习演练次数越多,学员对部队情况越了解,不仅能提高自身未来岗位任职能力,还能加快知识与实际应用的融合。(3)教学队伍培养与建设。此指标重点关注是否组织人员定期按计划进行培训、调研或交流,学习计划制定是否与学习需求相吻合,学习考核是否按规定进行,其中政治理论培训不应少于 20%。综合上述分析,该教学评价指标体系如表 1 所示。表 1 军队院校教学评价指标目标层 A准则层 B方案层 C立德树人为战育人顾客维度 B1财务维度 B2内部业务流程维度 B3学习与成长维度 B4学员对教学质量满意度 C1学员政治思想水平 C2毕业学员岗位任职能力 C3保障部队满意度 C4教员对学校的认可度 C5装备器材损耗费 C6实战化教学科研经费 C7服务实战化教学的固定资产投资 C8教学实施 C9教学改革与建设 C10教学评价与质量监控体系建设 C11科研创新成果 C12学生参与演习演练次数 C13教学队伍培养与建设 C142 评价指标权重的确立及分析2.1 评价指标权重的确立为确定各层指标的相对重要性,本文运用德尔菲法加层次分析法(AHP)构建教学评价指标权重体系。所有参与评分的专家均为具有多年实践教学经验的教师,通过不断匿名回复和反馈,最终意见趋于统一,整个过程中采用九分制标度进行打分。利用 matlab2016a 求解过程如下:(1)构造判断矩阵:目标层与准则层之间的判断矩阵 A-B 如表 2 所示,准则层与方案层之间的判断矩阵 B-C 如表 3 表 6所示:(2)一致性检验及权重确定:CI=max-nn-1(1)CR=CIRI(2)计算各判断矩阵的最大特征值 max,再根据公式(1)(2)求出各判断矩阵的 CI(一致性指标)、CR(一致性比例),当 CR 0.1 时,通过一致性检验,否则需要对判断矩阵进行修改。其中 RI 是与 n(0 n 15)一一对应的平均随机一致性指标。所有判断矩阵的一致性检验通过后,利用特征值法求出权重,计算结果如表 2 表 6 所示。表 2 判断矩阵 A-BAB1B2B3B4B114220.4171B21/411/51/40.0694B31/25120.3086B41/241/210.2048 max=4.1279,CI=0.0426,CR=0.0479 0.1,一致性检验通过。表 3 判断矩阵 B1-CB1C1C2C3C4C51C1121/2310.2185C21/211/321/20.1221C3231410.3336C41/31/21/411/30.0743C5121310.2515 max=5.1944,CI=0.0131,CR=0.0117 0.1,一致性检验通过。表 4 判断矩阵 B2-CB2C6C7C82C611/31/40.1220C7311/20.3196C84210.5584 max=3.0183,CI=0.0091,CR=0.0176 0.1,一致性检验通过。表 5 判断矩阵 B3-CB3C9C10C113C91220.4934C101/211/20.1958C111/2210.3108 max=3.0536,CI=0.0268,CR=0.0516 0.1,一致性检验通过。表 6 判断矩阵 B4-CB4C12C13C144C121220.3108C131/211/20.1958C141/2210.4934 max=3.0536,CI=0.0268,CR=0.0516 0.1,一致性检验通过。2.2 基于 BSC 的评价指标体系的权重分析由上述表格可以发现顾客维度、财务维度、内部业务流程维度、学习与成长维度所占比例分别为 41.71%,6.94%,30.86%,20.48%,说明在准则层面顾客维度最为重要,这与军队院校教学之本是立德树人、为战育人98现代商贸工业2023 年第 19 期Modern Business Trade Industry No.19.2023相符合的,财务维度所占比重最小,也与军队院校无需自筹资金从而对财务支出相对不看重的实际相吻合。进一步计算准则层和方案层的混合权重并排序后发现,14 个指标对基于战略分解的军队院校教学评价影响从大到小依次为:教学实施(15.23%)、毕业学员岗位 任 职 能 力(13.91%)、教 员 对 学 校 的 认 可 度(10.49%)、教学队伍培养与建设(10.10%)、教学评价与质量监控体系建设(9.59%)、学员对教学质量满意度(9.11%)、科研创新成果(6.37%)、教学改革与建设(6.04%)、学员政治思想水平(5.09%)、学生参与演习演练次数(4.01%)、服务实战化教学的固定资产投资(3.88%)、部队保障满意度(3.10%)、实战化教学科研经费(2.22%)、装备器材损耗费(0.85%)。评价指标体系权重的确定为我们如何改进教学评价,提升教学教育质效提供了几点启示:一是要突出学员主体地位,在此基础上加强对教员队伍的培养,提高其教书育人能力水平。二是要基于“过程论”增强对教学实施环节的控制,教学实施过程的每一个环节都与其他指标息息相关,也是学校育人的核心环节。另外,尽管财务维度在评价指标体系中总体权重不高,但依然不可忽视,虽然它对提升教学评价结果的直接作用较小,但能通过促进顾客维度的改善起重要的间接支持作用。3 评价指标体系运用应注意的问题(1)因地制宜,灵活运用。各单位由于所处发展时期不同、战略目标不同,在指标体系实际应用过程中可根据自身的具体情况结合组织生命周期理论及 PDCA 循环等理论调整具体的指标、具体的权重,灵活使用此指标体系。比如,一些学校高职参与教学活动少,未能很好起到示范指导作用,则可在内部业务流程维度中增加高职授课率指标,再如某学校某一阶段新招录教员较多,学习与成长维度中的二级指标学习所占比重应相应提升以提高人员总体的教学能力和业务水平。(2)合理设计,避免冗余。在实际评价过程中首先应明确数据获取来源,进行科学合理的数据获取流程,对于同一来源的数据尽量同一时间进行采取,避免因多次采集造成的成本提升及人员配合度下降等问题。如客户维度的二级指标服务教员与内部业务流程维度的二级指标教学实施、教学改革、教学成果都涉及了对教员的信息采集,因此在数据收集时可以统一同时进行。(3)因果联系,牵一发而动全身。平衡记分卡不仅是评价工具,而且是绩效考核工具,它的四个维度并不是互相独立的,而是相互依存、相互联系,存在着一定的因果关系。当我们发现某一维度需要改进时,有时候从与它相关的维度入手更有效。4 结语本文所建立的基于 BSC 的军队院校教学评价指标体系不仅使战略落地为具体考核指标,保证了战略设置与战略实施相统一,而且运用了定性与定量相结合的方法,系统全面、科学简洁地提供了教学评价指标建立的理论依据。上述建立的指标在一定程度上满足了普通军队院校的教学评价需求,吻合了全面性与特色性相结合、科学性与动态性相结合、可行性与可靠性相结合的指标制定原则。因此,对于一般军队院校而言,具有一定的理论指导作用。参考文献1 闫寒冰,林梓柔,汤猛,等.关注差异的信息化教学课堂评价指标设计与应用J.电化教育研究,2022,43(08):92-100.2 尤铮.美国高等教育学科评估的体系及标准研究 基于对两所大学教育学院的调研J.世界教育信息,2018,31(19):40-47.3 Giraffa L,Faria E.Using podcasts to better qualify the teach-ing evaluation process in virtual classesJ.Iated,2012.4 刘卓.建立健全新发展阶段高校教学评价体系J.中国高等教育,2022,(08):54-55.5 Huang K,Wang J,Xian L,et al.Design and Implementa-tion of Teaching Evaluation System Based on B/SJ.Journalof Chongqing Jiaotong University(Natural Science),2012.6 向俊杰,陈威.论高校教师教学的 360 度绩效评价J.黑龙江高教研究,2020,38(01):59-64.7 李长青.构建平衡计分卡理论的高校教学质量评价指标体系J.高教探索,2014,(06):137-141.8 Wang S.The College Physical Education Teaching Evalua-tion based on the Fuzzy AHP-Entropy and the Computer Sim-ulationJ.International Journal of Multimedia&UbiquitousEngineering,2014,9(10):45-56.9 吴淑娟.地方高校教学评价制度的审视与优化J.高教论坛,2022,(06):79-82.10刘佳鑫,冯立艳,王知奥,等.基于产出导向的高等院校教学评价体系与应用改进J.华北理工大学学报(社会科学版),2022,22(06):79-84.09