基于深度学习的自媒体平台在线课程质量评价研究.pdf

电化教育研究基于深度学习的自媒体平台在线课程质量评价研究徐振国1袁 王佳宁2袁 王悦1袁 郭顺利1袁 谢万里1渊1.曲阜师范大学 传媒学院袁 山东 日照276826曰2.北京师范大学 科学教育研究院袁 北京100875冤摘要 自媒体平台存在海量在线课程袁但质量良莠不齐袁严重影响学习者的学习体验和学习效率袁因此袁探索客观尧准确尧高效的自媒体平台在线课程质量评价方法成为亟待解决的现实问题遥 针对该问题袁研究首先构建在线课程质量评价体系袁并利用层次分析法确定各指标权重遥 其次袁利用深度学习和自然语言处理等技术对在线课程评论数据进行粗粒度情感分析和细粒度情感分析袁以实现自媒体平台在线课程质量评价遥最后袁采集 Bilibili 平台在线课程评论数据进行应用研究袁并通过实验证实该方法具有较高的可行性尧可信度和准确率袁可实现对自媒体平台在线课程质量的有效评价袁以促进在线课程良性发展袁优化学习者的学习体验遥关键词 在线课程曰 自媒体平台曰 课程质量曰 深度学习曰 课程评价中图分类号 G434文献标志码 A作者简介 徐振国渊1989要冤袁男袁山东泰安人遥 副教授袁博士袁主要从事教育人工智能尧数字化学习资源尧在线学习行为研究遥 E-mail院遥 谢万里为通讯作者袁E-mail院遥DOI:10.13811/ki.eer.2023.08.006网络教育基金项目院2020 年国家自然科学基金青年科学基金项目 野学习画面情感对学习者情感的影响机制及其自适应调整方法研究冶渊项目编号院62007020冤曰2022 年中国博士后科学基金资助项目 野在线学习环境下学习画面情感的自适应调整方法研究冶渊项目编号院2022M711883冤一尧引言党的二十大报告指出袁推进教育数字化袁建设全民终身学习的学习型社会尧 学习型大国遥 当前袁以Coursera尧Udacity尧中国大学 MOOC 等为代表的 MOOC平台和以 YouTube尧Bilibili尧抖音等为代表的自媒体平台包含大量在线课程资源袁成为学习者开展在线学习和终身学习的重要渠道1遥 自媒体平台具有传播速度快尧影响范围广尧交互性强等鲜明特点袁持续保持良好发展势头2遥与 MOOC 平台课程相比袁自媒体平台课程拥有相对多元的授课风格尧更轻松的学习氛围和更便捷的交互形式袁深受学习者喜爱遥 然而袁自媒体平台课程的准入门槛较低袁缺乏监管约束袁导致课程质量良莠不齐袁学习者通常需要花费较长时间才能找到满足学习需求的高质量课程遥 课程质量评价能够通过对课程的科学评判袁实现课程筛选和优质课程推荐3袁从而提高学习者的学习体验和学习效果袁并激励上传者开发更多优质课程遥 因此袁探索客观尧准确尧高效且有针对性并易于操作的自媒体平台在线课程质量评价方法成为目前亟待解决的现实问题遥 研究利用深度学习和自然语言处理等技术对在线课程的评论数据进行情感分析袁以实现对自媒体平台在线课程质量的有效评价袁促进在线课程的提质增效和日臻完善遥二尧相关研究传统的在线课程质量评价主要有三种方法院专家评价法尧质量标准评价法和学习者评价法遥然而袁每种方法都有其局限性遥 专家评价法是选择具备扎实专业422023 年第 8 期渊总第 364 期冤知识的专家和具有丰富教学经验的教师袁以野背靠背冶打分的方式对在线课程做出定量评价4遥 此种方法优点是具有较强的可靠性尧适应性和稳定性袁并能够在有限的数据资料条件下进行定量估计曰缺点是费时费力袁并依赖于专家的知识和经验袁通常用于小规模优质课程评选遥质量标准评价法是采用成熟的准则作为评估标准袁 然而此方法常常忽视学习者的学习体验遥学习者评价法是学习者按照自己的标准和体验对课程进行评价袁 虽然该方法体现了学习者的主体性袁但学习者的评分通常具有较强的概括性袁并易受学习者主观倾向的影响袁根据评分往往难以确定影响在线课程质量优劣的因素遥自媒体时代用户生 成内容 渊User GeneratedContent袁UGC冤承载着信息传播尧思想碰撞尧情感宣泄等多种功能5袁弹幕尧评论等互动方式具有新颖性尧即时性尧交互性尧简便性尧风格化等特征袁深受青年群体的青睐袁并是用户表达诉求尧态度和观点的重要方式遥针对自媒体平台在线课程袁学习者的弹幕和评论既可表达真实想法袁也可抒发内心情感遥因此袁部分研究者利用数据挖掘方法袁对学习者的弹幕尧评论等内容进行分析袁 以便弥补传统在线课程质量评价方法的缺陷遥 Cong Qi尧Xian Peng尧Aytu Onan 等基于传统机器学习方法袁挖掘学习者评论所隐含的态度倾向袁实现对在线课程的评价6-8遥 相较于态度倾向袁情感倾向更能反映学习者对在线课程的直观感受袁以及对教师和课程的真实意见袁评论的情感倾向需要借助文本情感分析方法进行判断遥 目前研究者常采用 WordNet尧HowNet尧Ntusd 等词典实现对在线课程评论数据的情感分析9遥 基于情感词典的文本情感分析方法耗时费力袁所得结果的准确性依赖于所选取情感词典的质量和覆盖范围遥随着计算机性能的提升和人工智能算法的优化袁有研究表明袁基于深度学习的文本情感分析方法具有更高的准确率和更强的适应性袁综合性能优于基于情感词典的方法10遥综上所述袁 目前研究者主要围绕 Coursera尧Udacity尧中国大学 MOOC尧学堂在线等 MOOC 平台在线课程进行研究袁对自媒体平台在线课程缺乏关注遥在线课程质量评价多基于学习者评论内容的态度倾向和情感倾向袁 其情感倾向识别常应用情感词典和传统机器学习方法遥 构建适用且科学的在线课程质量评价体系袁并基于深度学习算法对学习者评论进行情感分析袁以此实现对自媒体平台在线课程质量的评价袁 可更好地体现课程质量评价的导向作用尧激励作用尧反馈作用和辨别作用袁并提升自媒体时代学习者的学习体验遥研究以 Bilibili 平台在线课程为研究对象袁基于深度学习模型 ERNIE 对在线课程的评论数据进行情感分析袁从学习者的角度探讨在线课程质量的评价方法遥三尧研究设计与方法研究主要包括两个步骤院第一袁构建自媒体平台在线课程质量评价体系袁 通过德尔菲法征集专家意见袁并根据专家意见进行完善曰利用层次分析法袁采用9 级比例标尺构造判断矩阵袁进而得出评价体系各指标的权重遥 第二袁提出基于深度学习的自媒体平台在线课程质量评价方法袁包括在线课程评论数据采集与预处理尧计算 TF-IDF 值确定关键词尧选取在线课程质量评价体系各指标的标签词曰 使用深度学习模型ERNIE 对课程评论数据进行情感分析袁并加权计算在线课程的最终得分遥 研究过程和方法如图 1 所示遥图 1研究过程和方法渊一冤自媒体平台在线课程质量评价体系构建目前袁研究机构已发布诸多有关在线课程质量评价体系的文件袁如我国教育部教育信息化技术标准委员会制定的叶网络课程评价规范曳尧美国国防部高级分布式学习联合实验室发布的叶网络教学设计与评价指南曳尧英国高等教育质量保证署发布的叶远程学习质量保证指南曳等遥此外袁姚凯等建立了包括 5 个一级指标的 MOOC 评价指标体系袁从教学设计尧课程内容尧界面设计尧媒体技术尧课程管理等方面对 MOOC 进行评价11遥 童小素等以叶网络课程评价规范曳为蓝本袁探索性地建立了包含 3 个一级指标和 26 个二级指标的MOOC 质量评价指标体系12遥 刘颖等构建了信息素养MOOC 教学质量评价体系袁利用层次分析法计算指标权重袁并采用模糊综合评价法对部分信息素养 MOOC教学质量进行评价13遥本研究根据既有在线课程质量评价研究成果和自媒体平台特点袁初步构建自媒体平台在线课程质量评价体系袁通过德尔菲法征集教育技术尧远程教育等领域专家意见袁对其进行完善遥 研究构建的自媒体平台在线课程质量评价体系见表 1遥43电化教育研究表 1自媒体平台在线课程质量评价体系渊二冤采用层次分析法确定指标权重层次分析法渊Analytic Hierarchy Process袁AHP冤强调定量和定性相结合袁具有过程明晰尧运算简便尧结果明确尧系统性强等特点袁能够有效解决难以用定量方法解决的实际问题19遥 本研究利用 Yaahp 软件计算自媒体平台在线课程质量评价体系各指标权重袁并对判断矩阵进行一致性检验遥 首先袁邀请教育技术和远程教育领域的 5 位专家对各指标进行两两比较袁构建判断矩阵遥 其次袁将数据录入 Yaahp 软件袁进行权重计算遥 经过计算袁自媒体平台在线课程质量评价体系各指标权重见表 1遥最后袁计算一致性比例 C.R.遥结果显示袁一致性比例 C.R.小于 0.1袁符合要求袁判断矩阵为满意一致性矩阵遥自媒体平台在线课程质量评价体系各指标中袁能力层面尧教学实施尧情感层面尧认知层面尧技术支持所占权重较高遥 相比较而言袁学习效果下的 3 个指标较为重要遥 与 MOOC 平台不同袁自媒体平台对学习者的学习过程很难进行监督和考核袁通过学习者的评论内容可以得知学习者对课程各方面的评价袁以及学习课程后学习者在认知尧能力尧情感等方面是否得到了提升遥 各指标权重反映了专家们结果导向的尧基于学习效果的评价倾向遥此外袁专家们意识到袁自媒体平台在线课程同质化程度越来越高袁并指出应该更加重视能使在线课程质量产生较大差异的指标遥由于目前自媒体平台多数在线课程仍以教师讲授为主袁课程开设门槛较低袁很多教师没有教育学背景袁甚至没有任何教学经验袁致使课程质量难以达到预期遥因此袁专家认为教学设计与实施较为重要袁是保证学习者学习效果的前提和基础袁权重仅次于学习效果维度袁其中的教学实施在二级指标中所占权重较高遥渊三冤基于深度学习的自媒体平台在线课程质量评价方法文本情感分析袁也称为倾向性分析尧意见挖掘袁是指利用数据挖掘尧机器学习尧自然语言处理等智能技术对文本的观点尧情绪尧极性等进行分析袁以便对文本的情感倾向作出判断遥本研究通过粗粒度情感分析和细粒度情感分析的综合应用评价自媒体平台在线课程质量遥1.基于深度学习的粗粒度情感分析百度于 2019 年推出基于深度学习的语义理解预训练模型 ERNIE袁 其使用多层 Transformer 作为基本编码器袁并强调对知识进行整合袁以达到增强表达的目的20遥ERNIE 借鉴了 BERT 的掩码策略袁在基本级别掩码基础上袁增加短语级别掩码和实体级别掩码遥基本级别掩码是指将句子视作由基本的语言单元组成袁 具体而言袁汉语的基本语言单位是汉字曰短语级别掩码是将由多个基本语言单位组成的短语作为概念单元进行屏蔽曰实体级别掩码是将地名尧人名尧组织等专有名词抽象为实体进行屏蔽遥 通过多阶段知识掩码策略袁可以获得语义信息丰富的表达遥 实验结果显示袁ERNIE在语义相似度尧自然语言推理尧文本情感分析等自然语言处理任务方面优于 BERT 等方法遥此外袁训练数据方面袁ERNIE 除了使用百科类尧资讯类中文语料外袁还引入论坛对话类数据袁进一步提升模型的语义表示能力袁使其在基于上下文的知识推理中具有较好表现袁以便更好地捕捉上下文情感信息袁从而实现更高精度的正负性情感划分遥 因此袁本研究使用 ERNIE 进行粗粒度情感分析袁以得到单条评论语句的情感得分遥2.基于自然语言处理的细粒度情感分析本研究中细粒度情感分析是指利用通过粗粒度情感分析得到的单条评论语句情感得分和通过 TF-IDF值计算筛选出的标签词袁 进行更为细致层面的情感倾向分析袁以求得在线课程在评价体系各指标的得分遥渊1冤标签词选取TF-IDF 算法用以评估某个词在文本集中对某份文本的重要程度袁越重要则越可能是此份文本的关键词袁是目前常用的无监督关键词提取算法遥 这种算法在提取关键词时将词语位置属性考虑到了关键词选择的指标当中袁能甄别在语料中多次出现的非关键词以及偶尔出现的关键词遥 TF-IDF 算法由 TF 算法和IDF 算法组成遥 TF渊Term Frequency冤指词频袁TF 算法是统计字词在某份文本中出现的次数袁即求字词在文本中出现的频率袁频率越高袁说明该字词越重要遥 IDF渊Inverse Document Frequency冤 指逆向文件频率袁IDF算法是统计某个字词出现在多少份文本中袁 字词在越少的文本中出现袁说明其对文本的区分能力越强遥 某个字词的 IDF 值具体计算方法是文本总数除以包含该字词的文本数量袁再将求得的商取对数遥 TF-IDF 值总指标 一级指标 二级指标自媒体平台在线课程质量教学设计与实施教学设计教学实施授课教师教学风格教学技能教学状态技术支持 技术支持学习效果认知层面能力层面情感层面参考文献权重叶网络课程评价规范曳140.07Victor Dyomin袁等150.16肖婉袁等40.05刘颖袁等130.08Yao-Ting Sung袁等160.08姚凯袁等110.11Colin Milligan袁等170.14Colin Milligan袁等170.16Ren佴e Jansen袁等180.15442023 年第 8 期渊总第 364 期冤表 2部分关键词及其 TF-IDF 值是 TF 值与 IDF 值的乘积袁 本研究中将关键词按照TF-IDF 值降序排列袁取前 n 个词作为关键词袁通过此种方法得到的关键词具有较好的代表性遥然后根据构建的自媒体平台在线课程质量评价体系袁从关键词中选取与评价体系各维度相匹配的词作为标签词遥渊2冤在线课程各指标情感得分计算在粗粒度情感分析基础上袁结合各指标标签词进行细粒度情感分析遥首先袁将标签词作为索引袁通过与每条评论语句逐一匹配袁实现每条评论语句到评价体系各指标的映射遥 其次袁根据每条评论语句的情感得分袁计算在线课程在各指标的情感得分遥 若有多条语句与某指标匹配袁则取与之匹配的所有评论语句情感得分的平均值遥 最后袁结合评价体系各指标权重进行加权计算袁得出在线课程的最终得分袁以实现对自媒体平台在线课程质量的评价遥四尧自媒体平台在线课程质量评价方法应用渊一冤数据采集与处理1.评论数据采集Bilibili 是国内知名自媒体平台袁截至 2022 年 12月注册用户数量达 3.5 亿袁并且设有专门的在线课程栏目遥 因此袁本研究选择 Bilibili 作为数据来源遥 研究以数学尧英语尧地理尧历史尧计算机编程尧物理等为关键词在 Bilibili 中搜索在线课程袁 将搜索结果按照评论数量降序排列袁 每种随机选取 3 个评论数量高于1000 的在线课程袁共选取 18 门在线课程作为研究对象遥 Bilibili 提供了丰富的应用程序接口渊ApplicationProgramming Interface袁API冤袁 可利用 API 获取在线课程的评论数据遥 本研究首先利用 Python 的 request 模块获取 json 数据曰然后对其进行解析袁以便定位对应的评论数据字段曰最后袁读取评论的详细内容遥2.数据清洗与预处理由于网络文化的多样性尧开放性和自由性袁在线课程的评论内容复杂多样袁通常有超越传统表达的信息袁如绘文字尧颜文字尧表情符号等袁甚至还存在广告信息尧垃圾信息和低俗用语等遥 这些信息无用且对正常研究造成干扰袁 影响文本情感分析的效率和准确性遥 因此袁要在情感分析前对通过网络爬虫得到的数据进行清洗袁删除无效的有害信息和干扰信息袁提高数据分析的有效性遥与此同时袁对爬取的数据进行整理袁剔除评论内容中的标点符号尧数字等无效字符以及停用词遥 停用词包括你尧他渊她冤尧你们尧他们渊她们冤等人称代词袁的尧地尧得尧所等助词袁哟尧啊尧哎尧哇等语气词等遥这些词语在文本中出现次数较多袁但是对文本情感分析并无实际意义遥 最后袁删除重复评论以及少于 3 个字符的无效评论遥 经过数据清洗和预处理袁共得到有效评论数据 86099 条遥渊二冤标签词选取1.TF-IDF 值计算本研究利用 Python 中的 jieba 库对有效评论数据进行分词袁并计算 TF尧IDF 和 TF-IDF 的值遥jieba 是目前常用的第三方中文分词库袁 支持三种分词模式袁即精确模式尧全模式和搜索引擎模式遥 部分关键词及其TF-IDF 值见表 2遥2.标签词选取本研究将关键词按照其 TF-IDF 值降序排列袁并从中选取前 3000 个关键词遥 根据前面构建的自媒体平台在线课程质量评价体系袁从中选取与评价体系各指标相匹配的词作为标签词遥表 3 描述了在线课程质量评价体系中各指标对应的部分标签词遥渊三冤粗粒度情感分析ERNIE 是百度推出的较为成熟的语义理解预训练模型袁得到广泛应用袁并取得令人满意的效果遥 因此袁 本研究通过百度的自然语言接口 AipNlp 调用预训练的深度学习模型 ERNIE袁 进行粗粒度情感分析袁并逐句计算情感得分遥 例如袁野老师的声音真好听袁逻KeywordTF-IDF 值KeywordTF-IDF 值KeywordTF-IDF 值视频0.003343633988作业0.000780506418明白0.000499826540教材0.002548399183课后0.000768422828简单0.000461518057考试0.002353515193内容0.000693466695题目0.000435318575课件0.001555254457答案0.000625020919学会0.000428600487讲义0.001473648590板书0.000623373975成绩0.000418767540倍速0.001414283599解答0.000535042714做题0.000405407619预习0.001207055912字幕0.000527300799认真0.000356915343推荐0.001006357983声音0.000518106388有用0.000351924230听懂0.000955343918厉害0.000503772714错误0.000345071472习题0.000877644514疑惑0.000501147238好难0.00033076986445电化教育研究辑清晰袁学习真快乐冶的情感得分为 0.9998袁野一位只会念教材尧原理不分析尧说话听不清尧提问不回答的老师冶的情感得分为 0.0190遥渊四冤细粒度情感分析对根据粗粒度情感分析得到的在线课程单条评论语句情感得分和标签词进行细粒度情感分析袁以便得到在线课程质量评价体系各指标的得分情况遥 图 2为选取的 18 门在线课程各指标的情感得分遥图 218 门在线课程各指标情感得分渊五冤自媒体平台在线课程质量评价根据自媒体平台在线课程质量评价体系各指标权重和通过细粒度情感分析得出的各指标情感得分袁计算在线课程质量的加权得分袁以此作为在线课程的最终得分袁用于评价在线课程质量遥 本研究选取的 18门在线课程的最终得分如图 3 所示遥图 318 门在线课程最终得分五尧自媒体平台在线课程质量评价方法验证既有研究指出袁Bilibili 平台用户往往通过点赞尧收藏等行为表达对视频的认可和喜爱21遥 为了验证本研究提出的自媒体平台在线课程质量评价方法的应用效果袁 本研究首先随机选取 Bilibili 平台评论数量高于 1000 的另外 10 门在线课程袁然后邀请 3 位教育技术领域专家通过背靠背打分的形式对这 10 门课程进行评价袁最后结合点赞数和收藏数等客观平台数据进行应用效果分析遥为了保证 3 位专家评价结果的一致性袁本研究采用肯德尔和谐系数对主观评价的信度进行检验遥结果显示袁肯德尔和谐系数为 0.927袁并在 0.01 水平上显著相关袁说明 3 位专家的评价结果较为可信遥 取 3 位二级指标标签词教学设计教材尧课程尧总结尧最新尧预习尧热点尧引入尧重点尧难点尧目标尧习题尧作业尧合理尧参考答案尧复习尧解答尧题目尧不合理尧乱尧知识尧练习尧平时成绩尧辅导尧提问尧循序渐进尧答疑尧例子尧细致尧举例尧进度尧信息量尧深入浅出尧小结尧教学方式尧课件尧讲义尧课前尧课后尧内容尧助教尧演示尧课程设计尧精炼尧时长尧逻辑尧很细尧很全教学实施节奏尧启发尧课堂气氛尧活跃尧速度尧讨论尧莫名其妙尧听得懂尧看不完尧太乱尧能看懂尧实践尧混乱尧讲解尧乱七八糟尧很慢尧看不懂尧做作业尧跟得上尧深入尧教学尧错误尧跟不上尧补充尧要点尧趣味性尧冗长尧交流尧太快尧交流经验尧速度慢尧浪费时间尧趣味尧沟通交流尧参与尧测验尧快进尧互动尧交流学习尧错乱尧不太懂尧浅显教学风格礼貌尧脾气好尧陪伴尧大师尧自然尧魅力尧板书尧灵活尧负责尧严谨尧无私奉献尧人好尧仔细尧严格尧亲切尧用心尧完美尧深刻尧平易近人尧严肃尧渊博尧热心尧细致尧风趣尧好听尧幽默感尧幽默尧一本正经尧严谨尧自然教学技能条理清晰尧讲清楚尧口语尧表达尧表达形式尧啰嗦尧通俗尧写字尧吐字尧尴尬尧知识面尧规范化尧认真尧板书尧生动有趣尧照本宣科尧熟练尧口音尧有效尧呆滞尧误导尧清楚尧深入人心尧英语水平尧全面尧错别字尧经验尧枯燥无味尧口齿不清尧只会念尧标准尧规范尧语法错误尧名不虚传尧发音尧普通话尧语速教学状态生动活泼尧死板尧效率尧热情尧不知不觉尧效率高尧积极尧充分尧轻松尧合理尧有条理尧讲太快尧高效尧令人兴奋尧枯燥尧简明尧友好尧清清楚楚尧拖沓尧指点迷津尧吸引尧丰富尧思路清晰尧生动尧激情尧神情尧拖泥带水尧愉快尧表情尧耐心尧条理尧轻轻松松尧舒服尧敷衍尧应付尧投入技术支持弹幕尧视频尧倍速尧方便尧音量尧音效尧页面尧模糊尧制作尧辅助尧画质尧崩坏尧更新尧播放尧工具尧字幕尧音质尧剪辑尧好卡尧声音尧字体尧加载尧失效尧软件资源尧流畅尧好使尧清晰度尧打不开尧屏蔽尧录屏尧刷屏尧录课尧不卡尧随时尧资源共享认知层面够用尧查漏尧启发尧受益匪浅尧考研尧掌握尧听不懂尧搞不清楚尧茅塞顿开尧基础知识尧懂得尧听懂尧盲区尧搞清楚尧补习尧不挂科尧期末考试尧一窍不通尧获益匪浅尧明白尧基础薄弱尧学会尧似懂非懂尧成绩尧质量尧有用尧豁然开朗尧基本知识尧学习效果尧恍然大悟尧学懂尧通俗易懂尧记不住尧困惑尧纠正尧干货尧深奥尧考公尧概念尧抽象能力层面受益匪浅尧技能尧能力尧语感尧受益尧解决办法尧解决问题尧提升尧改变尧融会贯通尧加深尧熟练尧掌握尧技巧尧变强尧困难尧提高效率尧醍醐灌顶尧好用尧突破尧业余爱好尧水平尧应试尧巩固尧收获尧能用情感层面信心尧成就感尧感触尧积极尧好累尧相见恨晚尧期待尧兴趣尧不困尧令人兴奋尧困扰尧犯困尧不怎么样尧感觉良好尧推荐尧浪费时间尧差劲尧体会尧目瞪口呆尧好困尧自信尧上瘾尧感兴趣尧有趣尧着急尧快乐尧不太好尧走神尧发呆尧催眠尧好开心尧有意思尧毫无意义尧好评尧一塌糊涂尧心累尧差评尧感慨尧点赞尧励志尧看不下去尧停不下来尧瞌睡表 3各指标对应的部分标签词462023 年第 8 期渊总第 364 期冤专家打分的平均值作为每门课程的最终得分袁并归一化到 01 之间袁保留三位有效数字遥结果如图 4 所示袁虽然每门课程专家评价法得分和本研究方法得分并不完全相同袁但根据得分的折线趋势和基于得分的课程排序可知袁本研究方法对在线课程质量的评价结果和专家评价法的结果基本一致遥图 4本研究方法和专家评价法结果对比结合点赞数和收藏数进一步分析袁课程 8 是中学物理课程袁综合得分最高袁同时拥有 16.8 万次点赞和28 万次收藏遥 笔者学习该在线课程发现袁 该课程视频尧音频的质量较高袁授课教师着装正式袁仪态大方袁普通话标准袁思路清晰袁并且通过自编趣味野顺口溜冶的方式帮助学习者掌握知识点袁因此袁深受在线学习者的喜爱遥 课程 9 是语言类课程袁该课程由于各维度都有较多消极评论袁其综合得分小于 0.5遥多数学习者评论该课程过于浅显尧视频质量差尧虚假宣传尧内容陈旧尧包含广告等袁例如袁野完全就是蹭热度的视频袁一点干货没有袁无语冶野大家别浪费时间了袁内容真的很无语冶野看了以后感觉没有讲什么很有用的东西袁这些方法早就知道了袁别人都讲了好多遍冶遥 因此袁其点赞数和收藏数与同类课程相比较少袁笔者学习该在线课程后确认学习者的评论基本属实遥综上所述袁本研究提出的在线课程质量评价方法具备较高的可行性和可信度袁 评价效果较为理想袁对自媒体平台在线课程质量有一定的评价效用遥六尧结语针对自媒体平台在线课程质量评价问题袁本研究首先根据既有研究和自媒体平台特点构建自媒体平台在线课程质量评价体系袁该体系包括 4 个一级指标和 9 个二级指标曰然后通过层次分析法确定各指标的权重袁专家们具有以结果为导向的评价倾向袁同时肯定了异质性在自媒体平台在线课程质量评价中的重要性袁具体体现为学习效果和教学设计与实施两个指标的权重较高曰接着袁利用深度学习模型 ERNIE 对学习者评论数据进行文本情感分析袁 学习者是学习的主体袁其评论内容包含着对课程的真实感受和情感倾向曰最后袁对各指标权重和各指标情感得分进行加权计算袁以便对在线课程质量进行整体评价遥 与传统的在线课程质量评价方法相比袁本研究所提方法效率高袁更具客观性和实效性袁 可满足大数据时代对海量在线课程的评价需求遥但也存在一些局限性袁用于文本情感分析的标签词是人工从 TF-IDF 值较高的关键词中筛选的袁工作量繁巨且不可避免地受到筛选者主观意识的影响遥未来研究和实践中袁将尝试通过聚类分析等方法选取标签词袁并比较探讨两种方法的准确性遥 此外袁本研究仅以 Bilibili 平台部分在线课程为例袁接下来将扩大数据采集范围袁以增强评价方法的普适性遥参考文献1 CURRAN V袁 SIMMONS K袁 MATTHEWS L袁 et al.YouTube as an educational resource in medical education院 a scoping reviewJ.Medical science educator袁 2020袁 30院 1775-1782.2 黄楚新.我国自媒体发展现状尧问题及对策J.人民论坛袁2022渊22冤院104-107.3 王璐袁赵呈领袁万力勇.基于扎根理论的在线开放课程质量评价指标体系构建研究要要要以国家精品资源共享课为例J.中国远程教育袁2017渊11冤院70-76.4 肖婉袁卢锋袁季一木.什么样的在线课程受学习者欢迎钥 要要要基于 15 门在线课程评论的文本挖掘与组态分析J.电化教育研究袁2023袁44渊5冤院60-66.5 李欣苗袁陈云.基于特征选择和倾向分析联合优化的 UGC 情感自动识别方法J.管理工程学报袁2019袁33渊2冤院61-71.6 QI C袁 LIU S.Evaluating on-line courses via reviews miningJ.IEEE access袁 2021袁 9院 35439-35451.7 PENG X袁 XU Q.Investigating learners behaviors and discourse content in mooc course reviews J.Computers&education袁 2020袁143院 103673.8 ONAN A.Sentiment analysis on massive open online course evaluations院 a text mining and deep learning approach J.Computerapplications in engineering education袁 2021袁29渊3冤院572-589.9 聂卉袁首欢容.基于修正点互信息的特征级情感词极性自动研判J.图书情报工作袁2020袁64渊5冤院114-123.10 GENG S袁 NIU B袁 FENG Y袁 et al.Understanding the focal points and sentiment of learners in mooc reviews院 a machine learning47电化教育研究and sc-liwc-based approachJ.British journal of educational technology袁 2020袁51渊5冤院1785-1803.11 姚凯袁李思志袁李艳红袁等.MOOC 评价模型研究J.复旦教育论坛袁2017袁15渊3冤院65-71.12 童小素袁贾小军.MOOC 质量评价体系的构建探究J.中国远程教育袁2017渊5冤院63-71袁80.13 刘颖袁吉久明袁李楠袁等.学生视角下的 MOOC 课程教学质量评价体系构建研究要要要以学术信息素养类 MOOC 课程为例J.图书馆杂志袁2021袁40渊2冤院95-103.14 教育部教育信息化技术标准委员会.网络课程评价规范EB/OL.渊2014-03-17冤2023-06-30.http院/ DYOMIN V袁 MOZHAEVA G袁 BABANSKAYA O袁 et al.Mooc quality evaluation system院 tomsk state university experienceEB/OL.渊2017-05-20冤2023-03-25.https院/ SUNG Y T袁 CHANG K E袁 YU W C.Evaluating the reliability and impact of a quality assurance system for e-learning coursewareJ.Computers&education袁 2011袁57渊2冤院1615-1627.17 MILLIGAN C袁 LITTLEJOHN A.Supporting professional learning in a massive open online courseJ.International review of researchin open and distributed learning袁 2014袁15渊5冤院197-213.18 JANSEN R S袁 VAN LEEUWEN A袁 JANSSEN J袁 et al.Supporting learners self-regulated learning in massive open online coursesJ.Computers&education袁 2020袁146院103771.19 徐振国袁赵春雨袁王悦袁等.智慧学习环境下大学生深度学习的影响因素J.现代教育技术袁2023袁33渊1冤院58-65.20 沈彬袁严馨袁周丽华袁等.基于 ERNIE 和双重注意力机制的微博情感分析J.云南大学学报渊自然科学版冤袁2022袁44渊3冤院480-489.21 黄炜袁沈欣芸袁李伟卿.视频博客 Vlog 用户的持续使用行为影响因素研究要要要以 Bilibili 为例J.现代情报袁2022袁42渊6冤院69-79.Research on Quality Evaluation of Online Courses for We Media PlatformsBased on Deep LearningXU Zhenguo1,WANG Jianing2,WANG Yue1,GUO Shunli1,XIE Wanli1(1.School of Communication,Qufu Normal University,Rizhao Shandong 276826;2.Research Institute of Science Education,Beijing Normal University,Beijing 100875)Abstract There are a large number of online courses on we media platforms,but the quality isuneven,which seriously affects the learning experience and learning efficiency of learners.Therefore,exploring objective,accurate and efficient quality evaluation methods of online courses for we mediaplatform has become a practical problem to be solved.To address this problem,this study firstly constructsan online course quality evaluation system,and uses the analytic hierarchy process to determine the weightof each index.Secondly,deep learning and natural language processing technologies are used to conductcoarse-grained sentiment analysis and fine-grained sentiment analysis of online course review data inorder to realize the quality evaluation of online courses on we media platforms.Finally,the review data ofonline courses on Bilibili platform is collected for application research,and the experiment has proved thatthe method has high feasibility,credibility and accuracy,and can realize the effective quality evaluation ofonline courses on we media platforms,so as to promote the healthy development of online courses andimprove the learning experience of learners.Keywords Online Courses;We Media Platforms;Course Quality;Deep Learning;Course Evaluation48