高职院校外教口语课程教学质量评价的实践研究——以改进型SEEQ量表为工具.pdf

第2 2 卷第3 期2023年6 月常州信息职业技术学院学报Journal of Changzhou College of Information TechnologyVol.22 No.3Jun.2023高职院校外教口语课程教学质量评价的实践研究以改进型SEEQ量表为工具曹彬1王小刚?（1.苏州旅游与财经高等职业技术学校国际交流处上江苏苏州215104;2.常州信息职业技术学院软件与大数据学院完江苏常州2 1 3 1 6 4）摘要：引进外籍教师参与英语口语教学，是高职院校推进国际化办学、提升办学实力的重要推手。但在教学实践中，对外籍教师参与的课程进行教学质量评价,却缺少规范性、普适性的成果。使用改进型的SEEQ量表为工具，以苏州旅游与财经高等职技术学校3 7 1 名学生为样本，对外教口语课程的教学质量进行了评价，并验证了改进型SEEQ量表的信度和效度。实践证明，改进型SEEQ量表可以作为一种有效工具，对高职院校外籍教师参与的英语口语教学进行有效评价。关键词：高职院校；外教；教学质量；评价中图分类号：G712.0文献标志码：B文章编号：1 6 7 2-2 43 4(2 0 2 3)0 3-0 0 7 9-0 6The Practice and Research of Teaching QualityEvaluation of Foreign Teachers Oral EnglishCourse in Higher Vocational Colleges:Using theImproved SEEQ Scale as a ToolCAO BinWANG Xiaogang?(1.International Affairs Office,Suzhou Tourism and Finance Institute,Suzhou 215104,China;2.Software and Big Data School,Changzhou College of Information Technology,Changzhou 213164,China)Abstract:Introducing foreign teachers to participate in oral English speaking teaching is an important driving force for promoting the in-ternationalization of the school and enhancing the school-running strength for higher vocational colleges.However,in teach-ing practice,there is a lack of standardized and universal indicator for evaluating teaching quality of courses in which foreignteachers are involved.Using the modofied SEEQ scale as a tool,taking 371 students from Suzhou Tourism and Finance Insti-tute as a case,the teaching quality of the oral English course of foreign teachers is evaluated,and the reliability and validityof the modified SEEQ scale are verified.It is proved that the modified SEEQ scale can be used as an effective tool to evaluatethe oral English teaching with the participation of foreign teachers in higher vocational colleges.Key words:higher vocational colleges;foreign teachers;teaching quality;evaluation收稿日期：2 0 2 3-0 2-2 2基金项目：第五期江苏省职业教育教学改革研究课题“中外教师合作教学对高职新商科专业学生英语口语能力提升的实践研究”（WY Y B4）；2 0 2 2 年江苏高校“共建高质量的外语教育新生态”专项研究课题“指向深度学习的高职英语”三闭环POA“教学模式的行动研究（2 0 2 2 WJYB012）作者简介：曹彬(1 9 8 0-），男，副教授，硕士，主要研究方向：英语教育800引言外籍教师的聘用，是教育开放及教育国际化的主要举措之一。QS世界大学排名指标中，“国际教师的比例”占有5%的权重；泰唔士高等教育世界大学排名指标中,国际化工作人员也占有一定权重；我国高等职业教育的“双高计划”中也明确提出了“提升国际化水平”这一建设要求。因此,基于提升自身国际化办学水平的需求，同时也为了更积极地响应教育部等八部门关于加快和扩大新时代教育对外开放的意见，引进外籍教师参与英语口语教学或其他专业课程教学，是高职院校专业建设中的普遍实践。但随之而来的问题是如何对外籍教师所承担的课程进行有效的教学评价,却并未形成系统性、规范性、普遍性的成果。以“外籍教师+教学质量”为关键词在中国知网进行检索,结果仅有3 8 篇学术期刊论文（其中核心期刊6 篇）和9 篇硕博学位论文（检索时间为2 0 2 2 年1 1 月2 8 日）。已有的研究成果中,更多聚焦于本科教育阶段外籍教师的教学特点以及与中方教师的差异，而对于外籍教师承担课程的具体教学评价工具及评价措施，却鲜有研究。一方面需要积极引进外籍教师参与“三教”改革，另一方面却缺乏对于此类课程的教学评价,这种割裂需要广大一线教育者进行更多的理论及实践研究进行弥合。1外教口语课程教学质量评价需求SEEQ 量表,即 Students Evaluations of Educa-tionalQuality量表，可直译为学生教育质量评价量表,用于搜集学生对于大学阶段教学的评价 ，最早由Herbert W Marsh教授提出，主要目的是从学生视角，对教师的教学质量进行评价。该量表有九个核心指标，包含：学习过程（Learning）、学习热情（En t h u s i a s m）、教学组织（Organisation）、群组互动（G r o u p In t e r a c t i o n）、个人关系（Individual Rapport）、课程拓展（Breadth）、课程考试（Examinations）、课程作业（Assignments）、整体评价（Overall Evaluation）。自量表被开发以后，广泛应用于美国、加拿大、澳大利亚、新西兰等高等教育发达国家，另外欧洲、亚洲等国家和地区的一些教学机构也对其进行过改进并实际运用,如HerbertWMarsh教授曾和香港中文大学Kit-Tai Hau、Ch o i-M a n Ch u n g 等合作，验证了量表在香港某大学适用的普遍性和有效性 2 。在SEEQ量表的使用方面，国内学者也进行过常州信息职业技术学院学报多种实践研究。邹天鸿、陈旭远曾对 SEEQ量表进行改编,生成了“学生评价教学有效性量表”，并以长春市部分城乡小学为研究对象，对小学课堂教学有效性进行城乡对比研究 3 。冯素珍以SEEQ 为工具，对校内教师与行业专家、不同课程、不同年级、不同专业进行了细化分析 4。刘子建、李冉等也经过讨论，决定在学生评教的数据处理中,将相关专业平时成绩排名后1 0%学生的评教分数作为干扰数据进行了剔除 5。2改进型SEEQ量表设计本次基于SEEQ量表的教学评价，选取的样本来自苏州旅游与财经高等职技术学校，该校有多年聘用外籍教师参与日常教学的经验，并于2 0 2 2 年10月间,依托国际交流处、教务处、教学系部，以改进型SEEQ量表为工具，对外教口语课程进行评价，抽取酒店管理与数字化运营、商务英语、物流管理、旅游管理等专业的学生共计3 7 1 人，依托在线问卷星平台，采用匿名方式完成,并对最终反馈结果运用SPSS 22.0进行数据分析。如前所述,SEEQ量表内的项目，可以依据不同教学层次、不同专业背景、不同教师资源等进行修订,在验证其信度、效度后使用。本次所使用的SEEQ量表，也是在HerbertWMarsh所设计的原始量表基础上，进行了修订。在保留原有9 个核心指标的基础上，对部分问题的条目进行了修改和删减。修订的主要原则是突出外语教学的跨文化交际属性,例如增加了第3 8 条目“这门课程帮助更加了解世界的相同与不同；第40 条目“通过这门课，我可以更深刻体会到文化的差异性”；根据本校口语教学大纲的内容,将原量表中的第3 3 条目“课堂教学以外花费的学习时间”删除。最后,改进后的量表总项目数为40,并在问卷结尾追加了主观调查问题一题：请写下外教口语课程中,对你有帮助，最具美好回忆的一点或一些内容。3样本的信度与效度分析经过改进的教学质量评价量表虽然是基于非常成熟的SEEQ量表而制订，但是在高职院校外教口语课程的教学环境下运用该量表，其信度与效度如何，仍需要进行分析验证。课题组采用克隆巴赫系数以及折半系数验证量表的信度；进一步使用KMO值及项目分析验证量表的效度，具体过程及结果如下所述。2023年6 月第2 2 卷第3 期3.1信度分析首先分析克隆巴赫系数，如果此值高于0.8，则说明信度高；如果此值介于0.7 0.8 之间，则说明信度较好；如果此值介于0.6 0.7,则说明信度可接受；如果此值小于0.6，说明信度不佳。该问卷的克隆巴赫系数值为0.9 9 0,具有很高的信度。3.2折半信度分析从表1 可知，将量表折半分成两部分时，两部分的分析项数量相等，因而应使用等长折半系数（Sp e a r m a n-Br o w n 系数）进行信度质量判断。Spearman-Brown折半信度系数值为0.9 6 2，大于0.9,说明研究数据信度质量很高，可用于进一步分析。表1 量表折半信度分析表前半部分项数20Cronbach 系数值0.978后半部分项数20总项数40前半部分和后半部分间的相关系数值0.928等长0.962折半系数(Spearman-Brown系数)不等长3.3效度分析效度分析首先通过KMO值判定，如果此值高于0.8,则说明研究数据非常适合提取信息（从侧面反映效度很好）;如果此值介于0.7 0.8 之间,则说明研究数据适合提取信息（从侧面反映效度较好）；如果此值介于0.6 0.7,则说明研究数据比较适合提取信息（从侧面反映效度一般），如果此值小于0.6,说明数据不适合提取信息（从侧面反映效度一般）。如表2,该问卷的KMO值为0.9 7 9,说明其效度很好，适合进一步提取信息。表2 量表KMO效度分析结果表KMO取样适切性量数近似卡方巴特利特球形度检验自由度显著性3.4I项目分析项目分析的目的在于确定问卷量表项目是否有曹彬等：高职院校外教口语课程教学质量评价的实践研究进行后续的研究和改进。4教学质量评价方法与结果在验证量表的信度和效度之后,课题组进一步值0.9820.9620.97918 735.3814650.00081效和合适。其原理是先对分析项求和,进而将其分成高分和低分组（以2 7%和7 3%分位数为界），然后使用T检验对比高分和低分组别的差异情况,如果有差异则说明量表项设计合适，反之则说明量表项无法区分信息，应该处理设计的不合理之处。课题组针对量表进行项目分析,并且对此40 项进行求和后,分成高低组别,使用T检验进行差异对比,从表3 可以看出：高低两组均具有良好的区分性，应保留。综上所述,此次所使用的改进型SEEQ量表，具有良好的信度、效度,可以被用于所在学校及同类高职院校评估外教口语课程的相关教学质量，并据此依据评估结果,开展后续研究。因为问卷中所设计的项目都是正向题目,因此每项均分可以代表学生对该项的满意程度，方差的大小则表明学生在评价教师的教学时意见是否一致。因此,计划使用 SPSS对每个项目的得分进行均分、方差统计,对统计结果进行分析；并对最后一部分的主观答题内容进行收集整理，尝试使用关键词抓取、词频分析等手段，构建学生对外教口语课程的相关主观体验。最终针对外教口语课程的教学评价可以得出如下结论。4.1孝教学整体效果良好在量表所列的40 个项目中,外教口语课程都获得了非常正面的评价。各项目均分及方差如表4所示。由表4数据可知,学生对于外教口语课程中的教学组织、授课质量、知识传授、教师本人素质等各个环节都较为满意。在调查最后的主观回答环节，对采集到的学生反馈进行关键词的词频分析，可以得到图1。由关键词词频可以看出，学生的主观反馈中,对于课堂教学内容、外教授课态度、整体授课效果、外教授课技巧等,都有较强的正面印象。这也与前面的反馈结论相一致，据此可以判定外教口语课程的整体教学特点为：教师友善、教学方法灵活、注重英语核心能力培养。4.2有有助于培养学生国际素养与跨文化能力如前所述，改进型的量表设置了有针对性的编821我发现这门课程在智力上富有挑战性和激励性2我已经学到了我认为有价值的东西3我透过这门课提高了英语学习的兴趣4我透过这门课学会与掌握该课程的内容5.老师上课时充满热情6.老师上课时充满活力且精神饱满7.老师上课风格幽默且风趣8老师讲课的方式很能吸引我9.老师的讲解清楚明白10老师会认真备课与仔细讲解课程内容11.授课内容与教学目标一致，使我能跟上这门课程的进度12老师上课的讲解有助于我整理笔记13.老师会鼓励我们参与课堂讨论15老师会鼓励我们提出问题并给予我们适当的解答16.老师会鼓励我们发表自身观点或向老师质疑17.老师对我们每一个人都很友善18无论是课内或是课后老师都欢迎我们寻求帮助或提问19.老师对我们每个人的提问都感兴趣20我们可以很容易找到老师，无论是办公时间或课后时间21.老师能对比各种相关理论的内涵22.老师能介绍课程中运用的背景知识与概念来源23老师会在适当时机提出各种观点引发我们思考24.老师能充分讨论与课程领域相关的最新发展与趋势25.适当的时候，教师提出一些来自其他专家或者学者的观点26.考试或成绩能检验该课程教学效果是有价值的27老师对我们每个人的考核方式是公正和适当的28.老师强调的重点与考试内容一致29.这门课必要的阅读或练习是有价值的30.这门课的阅读与作业等都有助于课程主题的理解与提升31.我认为这门课比其他课程更好32我认为这门课的老师比其他课程的老师更好33.这门课的难度相较其他课程34.这门课的作业量相对其他课程35.这门课的课程进度适中36.我对这门课的感兴趣程度37.我对这门课的整体评价38.这门课程帮助更加了解世界的相同与不同39.这门课程，让我更有勇气表达自己，说出不同意见40.通过这门课，我可以更深刻体会到文化的差异性*p0.01常州信息职业技术学院学报表3 量表项目分析表组别（平均值标准差）题目低分组(n=101)3.24 0.863.09 0.692.93 0.753.06 0.693.62 0.733.62 0.693.37 0.723.07 0.593.00 0.713.37 0.643.23 0.752.90 0.673.61 0.853.45 0.673.26 0.673.90 0.693.34 0.603.48 0.632.98 0.763.08 0.663.22 0.673.36 0.703.20 0.653.05 0.653.01 0.753.47 0.703.25 0.683.35 0.703.22 0.742.90 0.593.02 0.632.79 0.792.74 0.793.22 0.633.12 0.713.32 0.643.14 0.793.25 0.743.41 0.712023年6 月(决断值)P值高分组(n=107)4.99 0.105.00 0.004.98 0.144.98 0.145.00 0.005.00 0.005.00 0.004.99 0.104.99 0.105.00 0.005.00 0.004.99 0.105.00 0.005.00 0.004.98 0.145.00 0.005.00 0.005.00 0.005.00 0.005.00 0.005.00 0.005.00 0.005.00 0.004.98 0.145.00 0.005.00 0.005.00 0.005.00 0.005.00 0.004.99 0.104.95 0.214.99 0.104.99 0.104.97 0.255.00 0.005.00 0.004.99 0.105.00 0.005.00 0.0020.31927.66226.99927.48318.87420.02522.8932.45528.04625.50323.8523116.42423.30125.25616.10927.64924.47826.66329.31326.63823.55627.93129.10326.49322.00425.74223.7724.10535.05429.22626.77229.10729.12624.10524.10527.10124.10529.1010.00*0.00*0.00*0.00*0.000*0.00*0.000*0.00*0.00*0.00*0.000*0.000*0.000*0.000*0.00*0.000*0.000*0.000*0.000*0.000*0.000*0.000*0.000*0.00*0.00*0.00*0.000*0.00*0.00*0.000*0.000*0.00*0.00*0.00*0.00*0.000*0.000*0.00*0.000*第2 2 卷第3 期序号平均分题目14.24题目24.15题目34.11题目44.11题目54.45题目64.46题目74.36题目84.19题目94.15题目1 04.32题目1 14.24题目1 24.09题目1 34.46题目1 44.40发音内容4666对话耐心游戏（小游戏）英语上课外教好(很好,good)0图1学生主观反馈关键词频次图号为3 8、3 9、40 的三个问题。这三个问题指向学生国际素养以及跨文化能力，并都得到了较好的反馈结果。说明外籍教师的引人，对于高职院校学生全球化的国际视野、人类命运共同体意识的构建以及和而不同的跨文化交流能力，都有正面的促进和提升作用。4.3新商科各专业间区分度较为明显在被调查的样本中，学生的专业分为酒店管理与数字化运营、商务英语、物流管理、旅游管理。这四个专业也是数字化、信息化赋能的新商科专业。新兴技术在产业中的广泛应用，创新了商业模式，也推动了商科教育的改革，新商科人才培养理念应运而生。新商科背景下，需要培养的新商科人才应具备国际化视野、跨文化工作能力。将样本中的四个专业的学生问卷随机各抽取50份，进行分层研究，并进行4个专业间对应题目均分的比较,结果如表5所示。曹彬等：高职院校外教口语课程教学质量评价的实践研究表4量表各题目均分及标准差统计表标准差序号0.91题目1 50.89题目1 60.96题目1 70.91题目1 80.73题目1 90.72题目2 00.82题目2 10.88题目2 20.94题目2 30.79题目2 40.88题目2 50.96题目2 60.77题目2 70.77题目2 8808018141719102083平均分标准差4.320.844.530.644.340.804.390.764.151.004.210.914.250.854.320.824.260.864.140.924.130.984.370.784.240.854.330.81由表5数据可知,四个专业之间的各个题目的平均分呈现较为明显的差异。总体而言，酒店管理与数字化运营、商务英语专业的学生对外教口语课程的整体评价更高；而物流管理与旅游管理专业的学生对外教口语课程的评价稍低。造成这一差异的原因,在后续的研究中,通过与各个专业学生的深度13148513040序号题目2 9题目3 0题目3 1题目3 2题目3 3题目3 4题目3 5题目3 6题目3 7题目3 8题目3 9题目40访谈以及对学生深入的背景分析，得到了部分解答。5060平均分4.273.983.993.282.513.052.953.493.983.273.974.10首先是学生的初始英语能力。在学校招生过程中，商务英语因为专业特性，学生的英语人学分数最高；酒店管理与数字化运营专业因为其国际化办学特色，也在英语入学成绩上较有优势；物流管理、旅游管理的学生英语入学分数较低。详细情况如表6所示。根据对学生的深度访谈,英语基础较好的学生在外教口语课程中的参与度较高,更能体验到外教课堂教学的技巧、教学重点,更能获取跨文化环境下的教学收益。因此，整体对于外教口语课程的正向评价也更高。5总结与思考本次的评价实践再一次验证了SEEQ量表的有效性和广泛的适用性，也同时得到了一些启发。首先，未来的评价实践中，可以尝试进行更细化的样本分层,并进行研究。对样本进行不同性别、专业、学习能力背景细化分析；也可以考虑在不同外教之间、中国教师与外国教师之间使用SEEQ量表进行对比分析研究。标准差0.870.980.950.941.140.430.510.930.920.710.910.8484题目序号1234567891011121314151617181920表6 各专业近三年英语入学平均分统计表2019年英语2020年英语人学平均分/人学平均分/与全校均分差与全校均分差与全校均分差商务英语111.80/+11.54酒店管理101.97/+1.71旅游管理100.30/+0.04物流管理98.00/2.26其次，除改进型SEEQ量表评价外,应考虑辅助使用别的评价方法。如外籍教师与本校英语教师之间的同行评价，或引入第三方督导的校外专家评价等。这也需要在后续的实践过程中予以进一步研究探索。参考文献：1 Herbert W Marsh.SEEQ:A Reliable,Valid,and Useful常州信息职业技术学院学报表5分专业各题目得分表物流旅游3.964.143.963.963.7443.983.964.284.324.244.323.984.263.764.13.924.044.084.2844.13.683.884.244.284.184.223.964.14.44.44.024.084.084.223.723.963.723.98111.25/+12.75104.75/+6.25100.25/+1.7599.00/0.502023年6 月酒店商英4.784.544.764.524.844.544.74.444.924.764.944.764.944.744.864.644.824.584.864.664.84.684.84.644.924.764.924.744.844.764.944.764.94.744.924.724.864.664.864.582021年英语人学平均分/106.67/+12.6994.87/+0.8995.86/+0.8889.21/4.77题目序号2122232425262728293031323334353637383940Instrument for Collecting StudentsEvaluations of Univer-sity Teaching J.British Journal of Educational Psychol-0gy,1982(1):77-95.2Herbert W Marsh,Kit-Tai Hau,Choi-Man Chung,et al.Students Evaluations of University Teaching:ChineseVersion of the Students Evaluations of Educational Quali-ty Instrument J.Journal of Educational Psychology,1997(3):568-572.3邹天鸿，陈旭远.基于学生评价视角的课堂教学有效性城乡对比研究J.教育理论与实践,2 0 1 3（4)：57-60.4冯素珍.基于SEEQ问卷的教师教学效果调查 J.高教学刊,2 0 1 7(2 1):5-9.5刘子建，李冉,陈富强，等.基于SEEQ与层次分析法的认证型评教体系研究 J.河南师范大学学报（自然科学版),2 0 1 9(5)：3 2-3 8.【责任编辑：缪宁陵物流3.8643.883.683.664.143.94.063.963.543.563.122.123.023.283.663.183.63.923.96旅游4.14.144.043.924.164.044.124.043.823.883.142.462.983.423.743.263.943.964.04酒店4.864.884.864.764.824.94.844.844.844.744.663.442.923.163.924.783.724.644.64.84商英4.64.664.644.484.584.74.564.724.684.324.323.382.643.123.84.53.464.484.464.68