试论基于学习者体验的在线直播课程评价体系_叶根梅.pdf

试论基于学习者体验的在线直播课程评价体系叶根梅（马鞍山师范高等专科学校 软件工程系，安徽 马鞍山243041）摘要：践行“以学习者为中心”的理念，从学习者体验出发，综合运用文献研究、用户访谈和网络研究等方法，构建评价维度和指标，通过问卷调查对指标进一步筛选和优化，运用层次分析法计算指标权重，并结合相关性分析和信度、效度校验验证指标合理性，最后结合具体课程开展实践应用。从实际应用效果来看，指标评价结果与学习者的直接反馈基本一致，表明指标具有一定的合理性和可操作性。应用该指标体系评价直播课程，可以发现直播课程的不足，改善学习者的直播学习体验，提高教学效果。关键词：学习者体验；在线直播课程；评价指标；层次分析法中图分类号：G642文献标志码：A文章编号：1008-4657(2023)02-0082-07收稿日期：2022-11-12基金项目：安徽省高校优秀青年人才支持计划项目（gxyq2021264）；安徽省质量工程项目（2020kfkc541）作者简介：叶根梅(1982-)，女，安徽桐城人，马鞍山师范高等专科学校副教授，硕士，主要研究方向：软件技术及教学研究。0引言自2019新冠疫情出现，为响应教育部“停课不停学”的要求和部署，各高职院校纷纷建立和运用网络资源实施在线教学，而在线直播课程因其鲜明的现场感和互动特征，成为在线教学的主要形式。相对于传统课堂教学，在线直播课程教学不仅仅是教学场地的变化，同时也在教师的教学形式、学生的学习方式和师生互动等方面产生巨大变革。直播课程的教学效果如何，是否满足学生的需要，直播课程影响因素有哪些，如何评价在线直播课程教学质量等，都是教育教学工作者需要关注的问题。基于此，本文从学习者体验的角度出发，探索在线直播课程的评价标准，为提升在线直播课程的教学效果提供思路和参考。1研究现状自网络课程开展以来，不少机构、教育教学工作者以及技术工作者进行相关的研究，以期取得更好的教学效果。欧洲远程教育大学协会（Europe Association of Distance Teaching University，EADTU）制定的远程教育质量标准，设计了35个质量标准和若干观测指标，覆盖了课程的设计、课程的传送和学习者支持等六个维度1。美国“QM质量标准”作为颇具影响力的网络课程认证标准，从课程介绍、课程活动、学习者支持、评价与测量等八个维度对网络课程的设计和建设进行指导和评议2。我国早在2003年，教育部教育信息化技术标准委员会发布网络教育服务质量管理体系规范(CELTS-24)，提出网络教育服务质量评价参考模型和量表，用以对网络教育服务质量进行评估和规范。2018年中国国家标准化管理委员会和国家市场监督管理总局发布信息技术学习、教育和培训在线课程，提出在线课程的信息模型、评价模型和在线平台运营的基本要求，用于指导在线课程的设计、建设和评价。2015年教育部印发关于加强高等学校在线开放课程建设应用与管理的意见，从建设、认定、应用和推广等七个方面，明确第38卷第2期Vol.38 No.2荆楚理工学院学报Journal of Jingchu University of Technology2023年4月Apr.202382DOI:10.14151/ki.jclgxyxb.2023.02.009在线开放课程的建设任务和要求3。这些标准或规范为本文的研究提供了一定的理论借鉴和参考，但由于其主要围绕在线课程的设计、开发和实施，对直播课程缺乏针对性，且很少从学习者体验角度出发，不能反映学习者的直播学习体验。学习者是直播课程教学的直接参与者和主要体验者，学习者体验是衡量教学质量的一个重要方面4。唐环环5基于贝恩特 施密特的五大用户体验模型，从感官体验、行为体验、情感体验、内容体验和关联体验五个维度，建立MOOC课程评价指标体系。安哲锋等6基于学习者体验视角，从学习内容质量、学习支持质量、学习交互质量、学习期望质量和学习感知质量五个维度，提出MOOC学习质量模型。陈志华7认为网络课程作为一种教育产品，具有产品的特征，由此基于用户体验角度，从网络课程符合学习者的需求和对学习的支持等六个方面，构建网络课程有用性评价指标体系。Ding Gang等8基于模糊综合评价法，从平台设计合理性、平台操作可用性、用户学习满意度三方面，建立网络教学平台用户体验评价体系。这些研究从不同方面、运用不同方法关注学习者体验，但多是围绕录播课程或针对网络平台建立评价指标，对于线上直播课程，并不能完全适用。从学习者体验出发，紧密结合直播课程的特点，构建符合直播课程特征的评价体系，是本文重点研究的内容。2在线直播课程评价指标体系构建为构建科学有效的评价指标体系，综合运用文献研究法、用户访谈法和网络研究法等多种方法，从理论和实践两方面确定指标维度和指标要素。采用调查问卷和专家咨询的方式对指标进行筛选和优化，运用层次分析法对指标进行定量分析并计算指标权重。2.1构建直播课程评价维度学习体验是指学习者对学习过程和结果的感知和体验，包含学习认知和学习情感双重内涵，关注学习者的实际感受。也有研究者认为，教学交互、学习环境和学习支持是学习体验的重要组成部分9。运用文献研究法，以“在线课程”“直播课程”“评价”“用户体验”和“学习者体验”等关键词作为限定条件展开高级检索，并对所搜集大量文献中相关的指标要素进行梳理、筛选、分析、比较和汇总。对直播授课的一线教师和直播学习的学生进行有准备的问题访谈，并对教师的授课体验和学生的学习体验进行分析和整理。综合文献分析结果和直播参与者实际体验，结合贝恩特 施密特五大用户体验模型，从学习者体验出发，针对直播课程在线教学的特点，初步构建直播课程评价模型维度和指标要素。2.1.1直播内容体验度直播内容是直播课程的核心和前提，体现在直播教学内容的选取、设计以及呈现等方面。在课程定位和目标已经明确的前提下，合理选取、设计和组织教学内容，才能从根本上激发学习者的学习愿望和兴趣，满足其学习需求，让学习者感受课程学习的价值。参考国内外相关标准，结合直播课程特点，提取准确性、实用性、递进性、前沿性、多样性、趣味性和文化性七个指标。2.1.2直播课堂体验度直播课堂颠覆了传统线下课堂面对面的互动模式，学生仅以网络在线的方式参与教学活动，教师也无法直观地感知学生的课堂反应。高质量的课堂活动可以促进学生主动参与和积极表现的愿望，从而激发学生的认知和情感。课堂交互形式和教师对课堂活动的组织都是影响课堂的关键因素。根据在线直播课堂的特点，提取清晰性、互动性、启发性、多元性、及时性、恰当性六个指标。2.1.3直播平台体验度直播平台是直播课程的载体，为直播提供技术支持和服务，是直播课程能否正常开展的基本条件和重要保障。直播平台的技术性、功能性和可靠性等都对用户是否愿意、持续使用平台软件产生直接影响。平台的用户体验是直播课程体验的一部分，从直播平台的一般性特点和对课程教学的支持角度，提取易操作性、稳定性、兼容性、合理性、交互性、可访问性、及时性、美学性八个指标。2.1.4直播情感体验度直播情感体验度是学习者对直播学习的过程和结果情感的综合体验。由线下课程转为直播教学，学习者能否适应直播教学、是否乐于参与直播课程活动以及课程学习的成就感和兴趣度，都是直播情感体83验度的关键指标，据此本维度提取适应性、参与性、成就感、兴趣度四个指标。2.2评价指标的筛选和优化指标的筛选和优化采用调查问卷和专家咨询相结合的方式。问卷方面，为了既保证指标的科学性和合理性，又能充分反应学习者对指标的意见，问卷对象分别选取兼具教研水平和直播教学经验的高校教师，以及具有直播学习实际经验的高职学生。针对初定的4个一级指标和24个二级指标，编制“在线直播课程学习者体验影响因素”调查问卷，对每项指标进行“十分明确”“明确”“不一定”“不明确”和“十分不明确”5个选项的区分，对应分数分别为5、4、3、2、1。如对指标“不一定”“不明确”或“十分不明确”，需要给出相应的修改意见。问卷结果显示，一级指标明确度评分均在4分以上，表示基本认同，而对二级指标，结合专家咨询反馈，提出以下修改意见：一是删除针对性不强的指标。如“直播内容体验度”中的“文化性”指标，具有一定的学科偏向，且属于不太重要的指标，建议删除。“直播平台体验度”中的“流畅性”指标，一般多用以描述网络传输质量，对直播平台性能方面表述指代性不强，建议删除。二是指标概念划分太细，需要精简合并。如“直播平台体验度”中“合理性”“交互性”和“可访问性”均属于平台功能方面的展开描述，三者可合并调整为“完备性”。三是指标描述不当，易引起歧义。如“直播课堂体验度”中的“多元性”是指对学生进行多元评价，仅用以阐述评价方式多样性，侧重过程，不能反映评价结果，应改为“客观性”，强调评价结果的公正性。“恰当性”指代的内容范围太宽泛，语义不明确，改为“调控性”，特指教学过程的有效调控。“直播平台体验度”的“及时性”表述不当，且易混淆，改为“容错性”，表示平台对于学习者错误操作，能及时给出反馈信息和操作指引。综合上述意见，对原有指标体系进行修改和优化，确立第二轮指标体系如表1所示。表1直播课程评价指标体系表一级指标二级指标二级指标描述B1直播内容体验度B11准确性内容的选择和讲解准确无误B12实用性所授知识和技能具有实际应用价值B13递进性教学内容编排从简单到复杂，层层递进B14前沿性展现学科前沿知识，体现学科发展趋势B15多样性提供文档、视频等多样化资源，满足学习者不同需求B16趣味性内容生动有趣，具有吸引力B2直播课堂体验度B21清晰性课堂教学活动组织清晰，学生易参与B22互动性师生、生生之间建立良好、有效的课堂互动B23启发性教师通过多种教学手段，启发、引导学生思考B24客观性教学评价客观、公正，不带随意性B25及时性教师及时关注、解决并反馈学生学习问题B26调控性教师对教学过程有效调控，且恰当处理课堂偶发情况B3直播平台体验度B31易操作性操作界面直观易辨，学习者易操作B32稳定性平台运行稳定，发生故障几率低B33兼容性兼容不同的终端设备、系统和浏览器B34完备性平台功能完备，满足教学互动和资源访问等需求B35容错性出现错误操作时，及时给出信息反馈与操作指引B36美学性功能区域划分清晰，界面色彩搭配美观B4直播情感体验度B41适应性对直播课程适应良好，无明显障碍B42参与性乐于参与直播课程各项学习活动B43成就感体验到直播课程学习和进步的成就感B44兴趣度对直播课程产生兴趣，有继续学习直播课程的愿望842.3评价指标权重的设置指标权重是通过数据占比的形式，将各项指标在同级指标中的重要性大小予以量化显示。首先，针对第二轮指标体系，再次编制并向直播授课一线教师和学习者发放“在线直播课程学习者体验影响因素”问卷，要求其对22个指标重要程度打分，然后，运用层次分析法量化权重系数。层次分析法（Analytic Hierarchy Process，AHP）是一种对多准则定性问题进行定量分析的科学而有效的决策方法10。其原理是将目标问题分解若干因素，根据因素关系构建层次模型，确定每层两两因素间重要程度等级，形成被比较元素的相对排序权重。应用层次分析法计算权重系数通过以下三个步骤完成。第一步，构建判断矩阵。根据问卷中对每层指标重要性的判断得分，进行数据转换，计算每层指标两两重要性之比，由此构建成对判断矩阵。对于n阶判断矩阵A，其形式如下：A=1a12a13a1na211a23a2na31a321a3naij1ainan1an21其中，aij代表指标i相对于指标j的重要程度（i，j=1，2，3n），且aii=1，aji=1/aij。第二步，计算权重向量。对于n阶判断矩阵A，对其各行向量进行几何平均，得到矩阵n维向量wi，然后对wi进行归一化运算，得到的向量wi即为指标权重。计算公式为：wi=nj=1aijn，j=1，2，3，4nwi=w-ini=1w-i相应地，特征向量W=（w1,w2,wn），为矩阵的层次单排序权重。将层次单排序权重与其第一层权重向量矩阵相乘，即可获得底层到最高层矩阵的总排序权重。第三步，判断矩阵的一致性。对判断矩阵进行一致性检验，可以避免主观判断导致的逻辑上的错误。使用一致性比率CR作为矩阵一致性的测试标准，如果CR 0.10，则认为该矩阵具有令人满意的一致性，否则需要对矩阵进行调整，直至满足条件。计算CR的公式为：CR=CIRI为了计算CR的值，需要计算一致性指标CI的值，并且引入平均随机一致性指标RI。其中，RI的值如表2所示。表2平均随机一致性指标RI值表n12345678910RI000.520.891.121.261.361.411.461.49CI的值与矩阵的最大特征根max相关，CI和max的计算公式分别为：CI=max-nn-1，max=1nni=1（AW）iwi对上述问卷收集的关于指标相对重要性的判断结果进行转化，构建判断矩阵，最终建立一个一级指标矩阵和四个二级指标矩阵。根据上述步骤计算出均满足小于0.10的条件，矩阵通过一致性校验。将矩阵向量归一化后，得到各级指标的单层次权重和总层次权重结果如表3所示。85表3直播课程各级评价指标权重表一级指标一级指标权重二级指标二级指标单层次权重二级指标总层次权重B1直播内容体验度0.3667B11准确性0.30260.1110B12实用性0.23550.0864B13递进性0.14840.0544B14前沿性0.08740.0320B15多样性0.14840.0544B16趣味性0.07780.0285B2直播课堂体验度0.3413B21清晰性0.21200.0724B22互动性0.32720.1117B23启发性0.13360.0456B24客观性0.14010.0478B25及时性0.09260.0316B26调控性0.09450.0323B3直播平台体验度0.2029B31易操作性0.36980.0750B32稳定性0.20750.0421B33兼容性0.10170.0206B34完备性0.18490.0375B35容错性0.07190.0146B36美学性0.06410.0130B4直播情感体验度0.0890B41适应性0.39050.0348B42参与性0.19530.0174B43成就感0.27610.0246B44兴趣度0.13810.0123由上述数据可以看出，在一级指标中，“B1直播内容体验度”权重最大，即直播内容在直播课程体验中占据最重要的位置，其次是“B2直播课堂体验度”。在二级指标中，“B22互动性”占据最重要位置，其次是“B11准确性”“B12实用性”“B31易操作性”和“B21清晰性”。3评价指标体系的检验和应用3.1评价指标体系的相关性分析Pearson相关性分析用于衡量元素间是相关的还是独立的11。相关系数为0.60.8为强相关，而大于等于0.8，则意味着两元素存在极强相关性，一般需要修改或删除。再次运用SPSS对指标数据进行相关性分析得出，“清晰性”与“及时性”（相关系数0.717），“启发性”与“趣味性”（相关系数0.621），“完备性”与“美学性”（相关系数0.625），虽然存在重叠部分，但22个指标的相关系数值均小于0.8，说明指标仍具有较好的独立性。3.2评价指标体系的信度和效度检验信度和效度校验分别检测指标的可靠性和合理性。使用Cronbachs 系数作为可靠性测试值，值越大，表示指标的内在一致性越高，即越可靠，如果低于0.6，则表示信度不理想，需要修改问题项12。经测试，系数为0.827，表示指标信度不错，可以使用。采用因子分析方法进行效度分析，Kaiser-Meyer-Olkin（KMO）值为0.729，大于0.6，符合因子分析要求。Bartlett球形度检验显著值为0.000，小于0.05，22个指标的4个因子累积方差贡献率为68.331%，问题项与因子的对应关系没有严重偏差，表示指标效度符合要求。863.3评价指标体系的应用3.3.1评价指标体系的应用过程为进一步验证评价指标体系的可操作性，应用该评价指标体系制作问卷，对在线直播课程进行评价。共设计问卷题目23个，前面22个题目运用已构建的22个评价指标，分别从直播内容、直播课堂、直播平台和直播情感四个方面对直播课程进行相应评价。问卷题目采用客观单选题方式，选项采用李克特式五级量表，从5到1依次表示“非常满意”到“非常不满意”五个等级。将问卷每项指标得分Bij与该指标总层次权重Pn相乘，并将各项指标评价结果相加，得出单份问卷评价得分，即：指标分值Bij指标权重Pn，n=1，2，3，22问卷最后1题，采用主观简答题的方式，要求学习者报告主观学习体验并阐述理由，以便验证学习者的偏好程度与指标结果是否一致，为指标的进一步完善提供依据。选取问卷对象为本校大一下学期两个批次班级学生共96名，参与评价的这部分学生该学期因地方突发疫情，所有课程随即转为线上直播，对直播课程学习有直接而深刻的实际体验。3.3.2评价指标体系的应用及分析首次选取问卷对象为非计算机类专业班级学习者52名。选取直播平台为“超星课堂”，选取课程为“信息技术”。向52名学习者发放试卷，回收有效问卷52份，计算“信息技术”直播课程总体得分为4.012，表示学生对该门直播课程总体是满意的。由于二级指标的评分数据更能直观反映优缺点，分析二级单项指标项得分发现，B11准确性、B21清晰性、B33兼容性评分相对较高，表明学习者对课程内容准确性、课堂教学清晰性以及平台兼容性方面满意度较高，而B22互动性，B31易操作性和B44兴趣度评分相对较低，表明该课程直播课堂互动性不够，“超星课堂”平台的易操作性方面体验欠佳，学生的学习兴趣度有待提高，均一定程度地影响了学习者的直播学习体验。为进一步验证指标在不同专业和不同课程中的合理性和适用范围，进行第二次问卷发放，发放对象为计算机类专业班级44名学习者，选取直播平台为“超星课堂”，选取课程为专业课程“网页设计与制作”。问卷结果显示，该直播课程总体得分为4.326。分析二级指标发现，B12实用性、B22互动性、B41适应性评分较高，表明学生对课程内容实用性、课堂互动性和直播适应性体验良好，而B32稳定性和B34完备性评分相对较低，学生的主观体验报告认为直播平台有遭遇卡顿、操作不流畅情形，且在资源访问方面不够便捷。上述指标评价结果与通过课程访谈、线上调查以及问题报道等途径收集的学习者关于直播课程的反馈基本一致，表明该评价指标具有一定的可行性和适用性。一级指标四个维度能够较客观、全面地反映直播课程不同方面对学习者体验的影响。而在二级指标上，对于不同的专业和课程，学习者对于直播课体验的侧重点也会有所不同，如非计算机类专业学生对直播平台的易操作性比较关注，而计算机类专业学生对于直播平台资源可访问性要求更高。4结语在疫情防控常态化形式下，在线直播课程在高职院校数字化教学中得到快速应用和推广。直播课程不同于MOOC和精品课程类在线课程，其异地同步教学的方式，使其既兼具在线课程和线下课堂的部分特征，又与两者不完全相同，需要建立符合直播课程特点的课程评价方式。本文基于学习者体验视角，提出从直播内容、直播课堂、直播平台和直播情感四个维度，评价在线直播课程质量，突出学习者的主体地位，重视学习者的体验和需求，更利于提高教学满意度。应用本文构建的评价指标体系，可以对高职院校直播课程教学进行评价，其不同维度指标能够直观体现和描述直播教学效果的影响因素，从而发现直播课程教学的不足，明确改进和提升的方向。本文的研究尚存在不足之处：一方面，由于直播课程学习质量评价的研究尚处于探索阶段，相关的标准仍在不断完善，后续还需结合新的理论和标准进一步完善评价指标。另一方面，在确定权重时，虽然运用层次分析法尽量做到科学，但由于调查范围和分析方法的有限，指标仍带有一定的主观性，可通过87扩大调查者范围并采用德尔菲法和层次分析法相结合的方式，增加指标的科学性。另外，后期可以根据直播课程内容所属的专业领域特征进一步完善指标体系，以提高课程评价的针对性。随着直播课程的普及和推广，相应的实践和理论都将更加科学化、规范化、深入化，学习者的直播课程体验也将不断提升。参考文献：1 刘绍英.广西开放大学教学质量标准构建研究J.广西广播电视大学学报，2020，31（4）：5-12.2 潘晓彦，蒋家琼，莫兰，等.美国“QM质量标准”与我国“精品在线开放课程”评价指标体系比较研究J.湖南师范大学教育科学学报，2019，18（3）：105-110.3 聂建峰，蔡佳林，徐娜.我国高校在线开放课程建设与应用的问题分析和改进策略J.国家教育行政学院学报，2020（4）：60-65.4 刘斌，张文兰.在线课程学习体验的影响因素及其结构研究J.现代教育技术，2017，27（9）：107-113.5 唐环环.基于用户体验的大规模开放在线课程评价研究D.杭州：宁波大学，2017.6 安哲锋，张峰峰.MOOC学习质量立体模型的构建研究基于学习者体验视角的研究J.成人教育，2018，38（6）：18-23.7 陈志华.基于用户体验的网络课程有用性评价指标体系设计与应用D.北京：首都师范大学，2014.8Ding Gang，Wei Lihong，Cao Danyang，et al.User experience evaluation of service platform for online courses based on fuzzycomprehensive evaluation methodthe user experience of“machine principles”as an exampleJ.Science Innovation，2018，6（2）：97-97.9 刘妍，张天琦.设计思维视角下的学习体验设计J.上海教育，2022（6）：12-14.10 成先娟.不确定型层次分析法排序方法的研究D.南宁：广西大学，2006.11 程娟娟.高校科研与教学关系实证研究基于皮尔逊相关系数的分析J.中国高校科技，2022（10）：46-52.12 王淑华.汉字应用水平测试信度和效度研究以上海市2012和2015年测试为例J.盐城工学院学报（社会科学版），2022，35（4）：71-76.责任编辑：许立群On the Evaluation System of Online Live CoursesBased on Learner ExperienceYE Genmei（Department of Software Engineering,Maanshan Teachers College,Maanshan 243041,China）Abstract：Practicing the concept of learner centered,the evaluation system of live course is constructed based on learner ex-perience.The preliminary evaluation dimensions and indicators are constructed by using literature research,user interviews andnetwork research.Indicators are further screened and optimized through questionnaire investigations.Then the weight of indicatorsis calculated by using the analytic hierarchy process,and the rationality of indicators is verified by combining correlation analysisand reliability and validity checks.Finally,the practical application is carried out in combination with specific courses.From thepractical application effect,the evaluation results of indicators are basically consistent with the direct feedback from learners.It in-dicates that the indicators are reasonable and operable.By applying this indicator system to evaluate live courses,we can find theshortages of the live courses,improve the learnerslive learning experience and enhance the teaching effect.Key words：learner experience；online live course；evaluation indicator；analytic hierarchy process88