基于CIPP的英语类专业写作课程评价体系研究.pdf

收稿日期：基金项目：山西省教育科学“十四五”规划 年度课题（一般规划课题）“教学评一体化背景下基于 模式的英语类专业写作课程评价体系构建研究”（）作者简介：李燕（），女，山西长治人，山西工商学院，讲师。孙金凤（），女，山西朔州人，山西工商学院，副教授。第 期（总第 期）年 月山西广播电视大学学报 基 基 基于 于 于 的 的 的英 英 英语 语 语类 类 类专 专 专业 业 业写 写 写作 作 作课 课 课程 程 程评 评 评价 价 价体 体 体系 系 系研 研 研究 究 究李李李燕燕燕孙孙孙金金金凤凤凤（山山山西西西工工工商商商学学学院院院，山山山西西西太太太原原原 ）摘要：随着国家推进课程“教学评一体化”政策的实施，应用 课程评价理论，通过权威评估文件、课程特点及专家问卷访谈构建英语类专业写作课程评价指标体系具有一定的可行性，并且通过采用 统计软件对问卷数据进行指标体系的一致性检验、信度和效度检验，可以验证评价指标的合理性。研究结果显示：专家关于指标体系的评判具有较高的一致性，表明该课程指标体系的构建具有一定的合理性，英语类专业写作课程评价指标体系的 个一级指标、个二级指标、个三级指标均达到信度和效度的要求，能为英语类专业写作课程实施课程评估提供参考和借鉴。关键词：；英语类专业写作课程；评价指标体系中图分类号：文献标识码：文章编号：（）党的二十大强调要加快建设高质量教育体系，深化教育领域综合改革，完善教育评价体系。年 月 日中共中央国务院印发了 深化新时代教育评价改革总体方案。其中，课程评价是教育评价中不可或缺的一环，其发挥以下作用：（）研判所评价课程开展的有效性如何；（）根据研判结果改善课程教学活动的实施；（）保障和监控整个课程教学质量；（）提高教学质量与人才培养质量。因此，在整个教学环节中，构建相应的行之有效的课程评价体系对于课程建设是十分必要的。评价模式是一种以决策为导向的评价模式，也可称之为改良导向评价模式，是美国评价学者斯塔弗尔比姆（）最早提出。评价的构成要素包含四个方面，分别为背景评价、输入评价、过程评价和结果评价 。评价模式核心在于改进而非证明。周梅指出 评价模式既有形成性评价的特点，又具有终结性评价的特征，因此其可在项目或者课程的评价中进行量化研究和质性研究 。英语类专业写作课程在英语类专业的课程体系中属于专业必修核心课程，该类课程是基于语言学习输入输出规律、提高书面表达能力的课程，其在整体的专业教学过程中非常重要。目前，关于英语类专业写作课程的评价主要是通过教务处组织的学生评教、教师评学的方式展开，并没有关于写作类课程针对性的评价。因此，无法以此真正达到监控学生的学习过程，检测教与学效果的目的，实现以评促学，以评促教。基于此，本研究借助 评价理论，选取英语类专业写作课程 商务英语函电与写作实践 开展研究，构建该课程评价体系并加以应用验证，从而衡量该课程的实施情况，为同类型课程提供了可借鉴的、创新的评价模式，大大提高了教学过程的科学性。一、英语类专业写作的研究现状目前国内关于英语类专业写作教学的研究主要是针对课程思政、教学改革、混合式教学等展开，此外关于英语类专业写作课程与反馈、评价相关的教学方法策略研究也取得了丰富的成果，如黄爱琼基于“以反馈促学”，通过英语写作教学实践，进行了“多重反馈的写作反馈模式”建构研究 ；张琳、秦婷通过展开英语写作教学，重点研究了“读后续写”对英语专业学生写作能力的影响 ；许悦婷通过回顾信度实证研究，提出课堂评估的信度概念亟待发展与重构，课堂评估的信度概念重构也需要教师的课堂评估实践 。因此，关于英语类专业写作课程的教学改革研究已有一定的研究基础，为本研究的实施提供参考借鉴，但是将英语类专业写作课程与 评价理论相结合的教学实践研究比例偏低。因此本课题将基于 课程评价模式，侧重英语类专业写作课程评价体系的构建研究。二、构建基于 的英语类专业写作课程评价指标体系研究主要探讨两个问题：一是基于 的评价模式，英语类专业写作课程由哪些二级、三级评价指标构成？二是英语类专业写作课程评价指标体系的一致性、信度和效度如何？研究以山西省某高校的商务英语专业学生为例，选择英语类专业写作课程“商务英语函电与写作实践”课程作为研究对象，参与教师均是从事多年商务英语教学工作的一线教师。基于 评价理论，参考 普通高等学校本科教学工作水平评估指标体系 国家级一流课程评审指标 等相关评估指导文件，结合专家访谈、任课教师访谈，将课程背景、课程设置、课程实施、课程结果四个一级指标细化为二级和三级的评价指标，并且根据初步建立的评价指标体系，面向该研究领域的数位专家教师，设计实施相对应的二级、三级指标体系合理性问卷调查，问卷主要采用李克特 级量表对二、三级指标的重要程度进行评判打分，并设置相应的主观题搜集专家关于二、三级指标的修改意见，最终构建了“商务英语函电与写作实践”课程评价指标体系。“商务英语函电与写作实践”课程评价指标体系的构建与实施具有以下特点：第一，评价指标体系的构建和实施坚持量化评价，将教育现象和课程现象指标化，以数量和等级为基本单位，通过对比与分析对此课程进行判定。量化评价主要以分数呈现评价结果，评定指标设置最高上限分值，参与评价的学生、老师可根据不同的指标勾选。第二，评价指标体系突出“学校办学定位”“人才培养目标”“社会需求”，同时强调“立德树人”。因此评价指标符合教育部推崇的教育思想。第三，评价指标体系围绕“课程建设”，坚持“金课”“两性一度”作为评价总体标准，同时设置课程相应的特色评价指标。第四，课程评价强调“以学生为中心”和关注“教师的发展”，突出学生的专注度、兴趣度和学习效果，同时重视教师课程教学、科研水平的提高。（一）指标体系一致性检验基于 评价理论，“商务英语函电与写作实践”课程评价指标体系的一级指标涵盖了课程实施的全过程，具有全面性的特点。在一级指标的指导下，制定出相应的具有区分度的二级指标，进一步通过融合英语类专业写作课程的共性和国际贸易邮件书面沟通的特性构建三级评价指标。采用德尔菲法一致性检验（见表 、表 、表 ）。表 一级指标与二级指标检验统计数字 的 卡方 自由度 渐进显著性 协调系数表 结果显示：问卷中一级指标和二级指标的肯德尔协调系数为 ，卡方为 ，自由度为 ，渐进显著性（）为 （），符合一致性检验。表 二级指标与三级指标检验统计数字 的 卡方 自由度 渐进显著性 协调系数表 结果显示：问卷中二级指标和三级指标的肯德尔协调系数为 ，卡方为 ，自由度为 ，渐进显著性（）为 （），说明专家关于本课程各级指标的评判意见，显示出较高的一致性，进一步表明本课程所构建的指标准确且合理。年 月李燕孙金凤：基于 的英语类专业写作课程评价体系研究表 二级指标描述性统计结果二级指标平均值标准偏差 最小值 最大值（）变异系数课程理念 课程需求 课程目标 学习场所 教师资源 课程资源 教学进度 教学模式 学生专注度 学生兴趣度 教师教学方法 课程考核 学习效果 教学效果 通过对问卷的统计整理，二级指标统计结果显示（如表）：（）课程理念的均值为 ，变异系数为 。（）课程需求的均值为 ，变异系数为 。（）课程目标的均值为 ，变异系数为 。（）学习场所的均值为 ，变异系数为 。（）教师资源的均值为 ，变异系数为 。（）课程资源的均值为 ，变异系数为 。（）教学进度的均值为 ，变异系数为 。（）教学模式的均值为 ，变异系数为 。（）学生专注度的均值为 ，变异系数为 。（）学生兴趣度的均值为 ，变异系数为 。（）教师教学方法的均值为 ，变异系数为 。（）课程考核的均值为 ，变异系数为 。（）学习效果的均值为 ，变异系 数 为 。（）教 学 效 果 的 均 值 为 ，变异系数为 。从上述数据可以发现，各二级指标的均值较大（在 之间），变异系数较小，表明各专家关于二级指标的重要性打分差异较小，进一步反映专家对二级指标在一级指标重要程度打分的一致性。通过对问卷的统计整理，三级指标统计结果显示：三级指标即“课程目标体现商务英语学科的特色，坚持商务函电写作能力、商务知识素质有机融合”的均值最大，为 ，变异系数为 ；“教师教学科研水平迭代优化”这一指标的均值最小，为 ，变异系数为 。从数据分析结果来看，各三级指标的变异系数都特别小，表明各专家关于三级指标的重要性打分差异较小，进一步反映专家对三级指标在二级指标重要程度打分的一致性。综合二级指标、三级指标的德尔菲法一致性检验结果和调查问卷统计结果分析可知，专家对各级指标的评判及意见显示出较高的一致性，从而表明该课程所构建的指标体系具有准确性和合理性。（二）指标体系信度检验通过对该课程指标体系的信度分析，结果显示：一级和二级指标的克朗巴哈系数为 ，二级和三级指标的克朗巴哈系数为 ，两个克朗巴哈系数均显著大于阈值 ，说明该课程指标体系整体信度较高，达到信度要求。（三）指标体系效度检验关于效度检验，本研究主要是从内容效度和结构效度两个方面展开数据分析。内容效度的分析使用内容效度指数（）法进行检验，结构效度的分析采用因子分析法进行检验。内容效度是指一个调查量表实际测量到的内容与所要测量的内容之间的吻合程度，内容效度指数（）法即选定 名专家对每个条目与测试目的的相关性进行评价。其中，名专家认为某个条目很好地反映测定内容的人数。计算公式为：。此项研究中约定，为所有评分为 分和 分（分别对应满意、非常满意）的专家数，为进行评分的总专家数。结果表明：二级指标内容效度为 、三级指标效度内容为 ，均大于 ，说明二、三级指标内容效度均较优。关于结构效度检验，因子分析结果显示，“商务英语函电与写作实践”课程评价体系的四个一级指标的 值均达标（见表 ），且均通过巴特利特检验球形检验（显著性 ），各指标具有较强的相关性，总体结构效度较好（）。统计分析显示，课程设置与课程实施两个一级指标的 值均超过 （、），一级指标课程背景的 值超过 （），虽然第四个一级指标课程结果 值为 ，但综合其显著山西广播电视大学学报 年第 期性结果来看可以认为通过效度检验。这些结果表明所有因子的结构效度良好，该课程指标体系结构效度合格 。表 “商务英语函电与写作实践”课程评价体系结构效度检验一级指标结构效度课程背景课程设置课程实施课程结果总效度 值 球形检验卡方 自由度 显著性 三、结语本研究基于 评价模型，选取英语类专业写作课程 商务英语函电与写作实践 作为研究对象，构建较为完整的课程评价指标体系并采用 统计软件进行指标体系一致性、信度和效度等的检验，得到如下结论：第一，基于 该课程评价指标体系包含 个一级指标、个二级指标和 个三级指标；第二，通过对二级指标、三级指标的问卷调查及统计分析，发现专家对指标体系中各项指标的评判具有较高的一致性，从而说明该课程评价指标体系的构建具有一定的合理性；第三，英语类写作课程评价各级指标体系整体信度较高，达到了信度要求；第四，构建的各级指标体系的内容效度较优，结构效度合格。本研究综合使用定性和定量相结合的研究方法，以 评价理论为基础框架进行英语类专业写作课程评价体系构建研究，丰富了目前基于 评价理论进行英语类专业写作课程教学实践研究，拓宽了 评价理论的应用范围。本研究为英语类专业写作课程提供新的评价标准，从而推动课程教、学、评一体化进程。今后，在英语类专业写作课程评价指标体系的构建研究中，可以进一步提高指标体系的综合性和增强各级指标间的区分度。参考文献：，：，：，：周梅 研究生学术英语写作项目的评价体系建构：基于 评价模型的研究 研究生教育研究，（）：黄爱琼 以反馈促学：构建基于写作任务的多重反馈模式 外语教学，（）：张琳，秦婷 读后续写对英语专业学生写作焦虑和写作能力的影响研究 外语教学，（）：许悦婷 课堂评估信度研究述评 外语测试与教学，（）：邵珊珊，王立非 商务英语本科专业教育质量评估指标体系构建与验证研究 外语界，（）：，（，）：，：，：；本文责编：韩凌雯 年 月李燕孙金凤：基于 的英语类专业写作课程评价体系研究