在线开放课程学习质量评价模型构建.pdf

在线开放课程学习质量评价模型构建第22卷第2期2023年6月Vol.22 No.2Jun.2023湖南邮电职业技术学院学报Journal of Hunan Post andTelecommunication College在线开放课程学习质量评价模型构建邓祖禄，李佳*（湖南电气职业技术学院，湖南湘潭 411101）【摘要】当前在线开放课程的学习成效与质量有待提高，科学、合理的评价能促进学习者积极参与课程学习、提高学习质量。从在线开放课程混合教学结构流程分析的视角，运用探索性因子分析法和验证性因子分析法构建了在线开放课程学习质量评价模型。评价模型由课前导学、课中研学、课后拓学3个一级评价指标和16个二级指标组成。教学者在教学过程中可以根据课程性质、学习目标以及学习者的具体学情对评价指标及指标权重做适当调整，以增强评价模型的普适性。【关键词】在线开放课程；学习质量评价；评价模型；指标权重【doi:10.3969/j.issn.2095-7661.2023.02.012】【中图分类号】G434【文献标识码】A【文章编号】2095-7661（2023）02-0045-05Construction of Learning QualityEvaluation Model for Online Open CoursesDENG Zulu,LI Jia(Hunan Electrical College of Technology,Xiangtan,Hunan,China 411101)Abstract:At present,the learning effectiveness and quality of current online open courses need to be improved.Scientific andreasonable evaluation can promote learners to actively participate in course learning and improve learning quality.From theperspective of analyzing the mixed teaching structure and process of online open courses,an evaluation model for the learning qualityof online open courses was constructed using exploratory factor analysis and confirmatory factor analysis.The evaluation modelconsists of three primary evaluation indicators:pre class guidance,in class research,and post class extension,as well as 16 secondaryindicators.During the teaching process,educators can adjust the evaluation indicators and their weights appropriately based on thenature of the course,learning objectives,and learners specific learning situations,so as to enhance the universality of the evaluationmodel.Keywords:online open courses;evaluation of learning quality;evaluation model;indicator weight1 研究背景在线开放课程因其支持线上和线下混合式学习、突破时空限制、教学方式灵活多样，备受教学者和学习者的青睐，已成为在校学习者和社会学习者进行专业技能提升与终身学习的主要通道。然而，在线开放课程的学习用户偏多，学习者的认知基础和学习需求等方面差异较大，教师难以做到精准分析学情与因材施教，导致部分学生学习体验不佳、完成率和学习成效偏低。如何提高在线开放课程的学习质量，是当前教育研究者关注的热点问题。2020年10月，中共中央、国务院发布的深化新时代教育评价改革总体方案 要求利用信息技术，深度挖掘和分析学习过程数据和学习结果数据，探索建立个性化、精准化的学习评价方式1，为在线开放课程的学习质量评价提供了政策依据。国内外已有研究者对在线开放课程的质量评价进行大量研究，但大多聚焦在课程教学质量评价，较少涉及从学习者的视角对学习质量评价收稿日期 2023-03-01作者简介 邓祖禄（1982），男，汉族，湖南郴州人，副教授，硕士，研究方向：思想政治教育。基金项目 2023年度湖南省自科基金项目“基于学习者画像的在线开放课程学习预警研究”（项目编号：2023JJ60184）；2022年度湖南省自科基金项目“基于数据驱动的在线开放课程学习质量评价研究”（项目编号：2022JJ60001）；2023年度湖南省社会科学成果评审委员会课题“智能技术赋能职业教育过程评价研究”（课题编号：XSP2023JYC081）。45湖南邮电职业技术学院学报第22卷进行深入研究。文章在剖析在线开放课程学习质量评价内涵、混合教学结构流程的基础上，基于学习者的视角，从课前导学、课中研学、课后拓学三个维度构建在线开放课程学习质量评价模型。评价模型将评价指标嵌入学习过程的不同阶段，对学习者的学习活动过程、学习结果进行测量、诊断分析与及时反馈，以此来评判学习者的学习目标达成度，实现以评促教、以评促学、提高学习质量的目的。2 在线开放课程学习质量评价内涵评价是对客观事物的价值判断的过程，而质量评价则是对客观事物满足主体需要程度的价值判断2。教育评价涉及对教育管理部门、学校、教学者和学习者等利益攸关方的评价。吴全全3等认为教育评价的终极目标是将评价结果的结论和效果反馈给利益攸关方，以便决策者或教学者制定有效的教育实施方案，学习者全面了解自身并调整学习策略以提高学习成效。北京师范大学郑勤华教授4等人认为学习质量评价是基于学习者的视角，根据学习目标对学习活动（过程）及其结果进行测量、分析、评定和指导的过程。李文静5、王茜雯2等人认为学习质量评价的内涵可以从学习目标、学习过程和学习结果三个维度进行界定。虽然研究者从不同的视角对学习质量评价做出了多种描述，但其核心要义基本上是相同的，即学习质量评价贯穿学习全过程、评价目的在于提升学习过程质量、评价的结果用于反馈调控学习过程6-7。综上，本研究认为在线开放课程学习质量评价是在明确学习目标的前提下，采用恰当的标准和有效的方法手段，对学习活动过程、学习结果进行测量、诊断分析与反馈的过程。学习质量评价本质是通过观察学习者的学习全过程表现水平，判断其学习目标达成度以及学习成效的满意度。3 在线开放课程混合教学结构流程分析近年来在线开放课程建设取得快速发展，在线开放课程混合式教学已经成为教学常态。与传统课堂教学相比，在线开放课程混合式教学在教学模式、交互方式、评价方法等方面发生了结构性变化，将课堂拓展成课前、课中、课后三个阶段8，评价与反馈方式也变得更及时、高效9，如图1所示。图1在线开放课程混合教学结构流程与数据体系图课前导学：教学者主要任务聚焦在学情分析、教学设计（导学任务设计、学习策略设计、学习资源设计等教学预设）、下一轮评估学情与教学设计等方面；学习者首先根据导学任务，进行学习资源自学、同伴互学，完成导学测验，并将学习难点或有疑问的地方记录下来及时反馈给教师，以便在课中研学时教师对其进行重点讲解。课中研学：教师首先对课前导学阶段遗留的难点问题进行讲解，然后导入本次课堂的学习情境，引导学生进行探究学习并进行适当点拨与提醒；学习者基于具体情境、具体问题进行独立思考，在此基础上与小组其他成员进行协作研讨并解决问题，最终形成小组学习成果并进行展示；在课内学习任务完成后，及时进行学习效果评测，教师对小组学习成果进行及时评价与反馈。课后拓学：教师针对课中研学阶段学习后的具体学情，设计不同难易程度的拓展学习任务、开发拓展学习资源并推送给相应的学习者，对个别学生、小组进行精准指导，最后组织学习者进行反思与自评、互评；学习者完成拓展任务，进行拓学测评，完成同伴互评与学习反思。4 在线开放课程学习质量评价模型构建4.1 在线开放课程学习质量评价维度和指标筛选学习是一个系统的复杂过程，随着学习活动的开展，学习者的认知水平、认知能力、情感状态等方面都会发生改变，具有动态变化性，学习质量46第2期在线开放课程学习质量评价模型构建也会受到学习过程的各种因素的影响。已有研究表明，认知能力、学习动机、投入度、学习策略、学习支持服务等因素都会影响学习质量10-11。本文选取12份现有权威在线开放课程质量评价和国家相关评价标准作为参考样本，确保本研究所遴选评价指标的科学性。本研究从课前导学、课中研学、课后拓学三个维度对所选指标进行分类筛选，经过多轮专家论证后，初步得到20个在线开放课程学习质量评价观测指标，如表1所示。表1在线开放课程学习质量评价指标初选指标表评价维度课前导学课中研学课后拓学序号A1A2A3A4A5A6A7A8A9A10A11A12A13A14A15A16A17A18A19A20观察指标学习投入度学习参与度学习动机学习认知能力导学任务完成度导学测评学习投入度学习参与度协作贡献度协作创新研学任务完成度学习认知能力实时测评拓学任务完成度知识迁移能力提升学习反思相互答疑自我效能感拓学测评指标来源（4）（5）（10）（11）（4）（5）（10）（11）（4）（10）（11）（2）（4）（12）（2）（11）（12）（1）（10）（12）（4）（5）（10）（11）（4）（5）（10）（11）（4）（5）（10）（11）（2）（3）（8）（10）（7）（10）（11）（4）（8）（12）（1）（10）（12）（7）（10）（11）（2）（3）（5）（6）（10）（2）（5）（10）（1）（2）（6）（10）（3）（7）（2）（7）（11）（1）（10）（12）参考样本（1）信息技术学习、教育和培训在线课程 国家标准12；（2）教育部关于加强高等学校在线开放课程建设应用与管理的意见13；（3）美国QM质量标准14；（4）欧洲开放教育质量标签15；（5）德国MOOC设计质量保障标准16；（6）国内在线课程质量认定研究述评（杨晓宏等）17；（7）MOOC质量评价体系的构建探究（童小素等）18；（8）基于扎根理论的在线开放课程质量评价指标体系构建研究（王璐等）19；（9）在线开放课程质量评价体系(张建飞等)20；（10）基于学习分析的在线学习测评建模与应用4（郑勤华等）；（11）混合式教学质量评价体系的构建与实践21（李逢庆等）；（12）在线开放课程学习质量评价指标体系构建与应用22（成亚玲等）4.2 在线开放课程学习质量评价模型构建本研究采用问卷调查的方式获取数据，为增强评价模型构建的可靠性，首先用探索性因子分析法EFA23提取观测变量的公共因子，其次利用验证性因子分析法CFA验证结构的正确性，然后确定各因素指标权重，最后构建在线开放课程质量评价模型。4.2.1 调查研究与数据收集本次调查选取A高职在超星慕课学习平台开设的职业素养、大学生就业指导、汽车商务礼仪等7 门课程的学习者为调查对象。调研问卷根据表1设计了20个调查题项，采用李克特7级量表收集数据，共回收有效问卷437份，对其中的221份数据（数据集1）进行探索性因子分析，对其他216份数据（数据集2）进行验证性因子分析。4.2.2 探索性因子分析采用主成分分析法对数据集1进行探索性因子分析，并结合 Bartlett球度检验值和 KMO值，对数据集是否进行因子分析进行判断。首先进行因子分析，其中A3、A8、A12、A18四个观测变量其因子载荷绝对值小于0.5，将其删除，保留其他16个变量。然后再次进行因子分析，16个变量 KMO检验为0.898、Bartlett球度检验的Sig值达到显著性水平，表明 16个观察变量可以继续做因子分析。最后，提取公共因子，变量共同度作为选取因子个数的重要依据，体现了因子全体对变量的信息解释贡献程度。在本数据集中，分析发现课前导学、课中研学、课后拓学3个公因子变量的平均共同度为0.768（大于0.7表示适合），表明因子提取的总体效果比较合理。4.2.3 验证性因子分析1）信效度检验。采用最大似然法（ML）构建在线开放课程质量评价模型，将课前导学、课中研学、课后拓学 3个公共因子设置为模型中的潜变47湖南邮电职业技术学院学报第22卷量，将学习投入度等16个评价指标作为模型中的观测变量，对样本数据集2采用Cronbach s法进行信效度检验。研究发现样本整体效度值为0.893，4个公共因子潜变量均大于0.7的建议参考值，表明其具有较好的信度。应用因子负荷量、组合信度（CR）和平均方差抽取（AVE）3个指标对数据集的效度进行分析。因子负荷量方面：学习者因素为0.5090.742、教学者因素0.5850.732、课程因素0.6090.747、学习支持服务因素0.6210.789，所有因子负荷量在0.50.8之间，达到可接受良好水平，说明测量模型具有较好的收敛效度。组合信度方面：学习者因素为0.816、教学者因素为0.807、课程因素为0.774、学习支持服务因素为0.779，CR值均大于0.7，达到良好水平。平均方差抽取方面：学习者因素为0.428、教学者因素为0.417、课程因素为0.420，所有因子AVE值大于0.36，达到可接受水平。以上结果表明数据具有良好的信效度。2）模型拟合度判断与适配度分析。本研究利用绝对拟合指数、相对拟合指数来判断模型拟合度。根据Mplus软件拟合指标评价标准及本研究检验结果数据发现：绝对拟合指数中的卡方自由度比为1.620（评价标准为小于3可接受）、近似误差均方根RMSEA为0.047（评价标准为小于0.08）、标准化残差均方根SRMR为0.048（评价标准为小于0.05）；相对拟合指数中的比较拟合指数 CFI 为0.927（评价标准为大于0.9）、非规范拟合指数TLI（NNFI）为 0.941（评价标准为大于 0.9）。各项指标均达适配标准，表明模型与样本数据具有良好的拟合程度。在模型的适配度分析中，本研究中的16个测量变量的因子负荷量（标准化参数估计值）在 0.54780.781，符合因子负荷量可接受参考范围0.50.95。以上研究结果表明：由课前导学等3个因子及16个变量组成的在线开放课程质量评价模型结构效度良好，模型与数据基本适配，模型整体适配度指标均达适配标准。4.2.4 指标权重的确定根据以上分析结果，将在线开放课程质量评价模型划分为目标层、一级指标层、二级指标层三级架构，利用因子分析法对一级指标、二级指标样本数据进行相关矩阵计算各因子之间的关系，可以科学、高效地计算并确定各层级评价指标权重，如表2所示。指标权重具体方法为：一级指标的各项权重通过3个公共因子的贡献度进行归一化处理来确定；二级指标的各项权重同样根据其在一级指标中的贡献度进行归一化来确定；二级指标在整个学习质量评价模型中的重要程度由一级指标权重与二级指标权重的乘积来确定。表2在线开放课程质量评价模型及各级指标权重表目标层在线开放课程学习质量（LQ）一级指标（权重）课前导学（0.261）课中研学（0.521）课后拓学（0.218）二级指标（权重及重要程度）二级指标学习投入度学习参与度学习认知能力导学任务完成度导学测评学习投入度协作贡献度协作创新研学任务完成度实时测评拓学任务完成度知识迁移能力提升学习反思拓学测评自我效能感权重0.2570.2310.2010.1580.1540.2490.2140.2070.1640.1660.1430.1780.1840.1530.1630.179重要程度0.06710.06030.05250.04120.04020.12970.11150.10780.08530.08650.03120.03870.04000.03340.03550.03904.2.5 在线开放课程学习质量评价模型本研究构建的在线开放课程学习质量评价模型由“课前导学”“课中研学”“课后拓学”3个维度组成。评价指标是影响学习质量的核心因素和提升学习质量的关键措施。本研究的在线开放课程学习质量评价模型由16个二级指标构成，每个二级指标的权重系数体现了其在整个评价模型中的重要程度。通过各维度指标及指标权重可以得到学习者的学习质量（LQ）=课前导学成绩*0.261+课中研学成绩*0.521+课后拓学成绩*0.218。在教学实践过程中二级指标如采用百分制，求出学习者的学习质量分值也为百分制，当然也可以采取10分制，教学者可根据具体情况做出合适选择。5 结语本研究在厘清学习质量评价内涵、在线开放课程混合教学结构流程的基础上，从“课前导学”“课中研学”“课后拓学”三个维度初步构建了在线开放课程学习质量评价模型。学习评价是一个动态变化的过程，构建学习质量评价模型也是一个较为复杂的研究课题。在下一步研究中，本研究团队将从评价维度、观察指标及指标权重等方面进行实证研究与优化，从而对学习者的学习质量作48第2期在线开放课程学习质量评价模型构建出公正、客观的评价，促进其学习效率和学习成效双提升。【参考文献】1新华社.中共中央、国务院印发 深化新时代教育评价改革 总 体 方 案EB/OL.2020-10-13.http:/ 学习、教育和培训 在线课程:GB/T 36642-2018S.北京:中国标准出版社,2018.13教育部.教育部关于加强高等学校在线开放课程建设应用与管理的意见J.中华人民共和国国务院公报,2015(18):48-50.14Quality Matters.Course Design Rubric Standards(SixthEdition)EB/OL.2023-02-28.https:/www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric.15JONATHAN R,DARCO J.The OpenupEd quality label:benchmarksforMOOCsJ.TheInternationalJournalforInnovation and Quality in Learning,2014（1）:88-100.16YOUSEF A,CHATTI M A,SCHROEDER U,et al.Whatdrives a successful MOOC?An empirical examination ofcriteriatoassuredesignqualityofMOOCsC/IEEEInternational Conference on Advanced Learning Technologies.Athens(GR):IEEE,2014.17杨晓宏,周海军,周效章,等.国内在线课程质量认定研究述评J.电化教育研究,2019（6）:50-57.18童小素,贾小军.MOOC质量评价体系的构建探究J.中国远程教育,2017（5）:63-71,80.19王璐,赵呈领,万力勇.基于扎根理论的在线开放课程质量评价指标体系构建研究:以国家精品资源共享课为例J.中国远程教育,2017（11）:70-76.20张建飞,胡央波,纪雪聪.在线开放课程质量评价体系探究:基于浙江省高等学校精品在线开放课程共享平台J.高等继续教育学报,2017（6）:19-24,37.21李逢庆,韩晓玲.混合式教学质量评价体系的构建与实践J.中国电化教育,2017（11）:108-113.22成亚玲,谭爱平.在线开放课程学习质量评价指标体系构建与应用J.当代职业教育，2020（1）:62-69.23赵呈领,黄琰,疏凤芳,等.学习体验视角下在线开放课程质量评价模型研究:以教师研修类课程为例J.现代远距离教育,2020（3）:32-41.双方可通过建立联合实验室等方式，培养行业高端人才、实现创新应用需求落地，助力企业完成技术、产品的迭代升级及其市场的可持续发展，实现共赢。3 结语公共安全行业大数据是行业信息化发展到一定阶段的产物。对于发展中遇到的关键问题，应坚持系统观念，客观分析原因，寻求有效解决方案，不断实践探索、改革创新，才能持续迭代优化顶层设计，不断提升行业信息化建设应用的整体水平，实现高质量发展。【参考文献】1徐婷.创新驱动,提升警务运行效能和核心战斗力EB/OL.2023-03-04.https:/