大数据理念下开放大学学习评价的现实探索与系统构建.pdf

专题研究教育与技术 年第 期 大大数数据据理理念念下下开开放放大大学学学学习习评评价价的的现现实实探探索索与与系系统统构构建建 陈 翀闫乾勋摘 要:通过分析开放大学学习评价现状结合大数据技术框架和“学本评估”理论从在线学习过程观测点活动记录、数据处理与存储、数据分类与整合、数据分析、在线学习过程评价、个性化反馈等 个方面提出了基于大数据理念的开放大学个性化学习的评价系统和实施流程以期为开放教育评价研究提供参考为推动终身学习评价提供新的视角关键词:学习评价大数据学本评估开放教育开放大学终身教育收稿日期:./.作者简介:陈翀江苏开放大学后勤处助理研究员主要研究开放教育管理、信息化建设闫乾勋江苏开放大学后勤处教师主要研究教育信息化、信息系统建设基金项目:江苏省高等教育教改研究项目重点课题“互联网 背景下网络考试改革研究”()习近平总书记在党的二十大报告中明确提出“推进教育数字化建设全民终身学习的学习型社会、学习型大国”为国家教育发展指明了方向 作为国家教育体制改革试点项目教育部明确了“切实办好开放大学推动建设学习型社会”的重要任务这也是开放大学在教育体制改革中的使命 开放教育作为高等教育的重要组成部分需符合高等教育基本规律教师教学、学生学习的质量均需由科学的学习评价体系来评判 但与普通高校不同的是开放大学实行注册入学其培养对象的学习背景、学习需求、学习能力、学习素养差异巨大普通高校标准统一的评价体系并不适应开放大学个性化教与学的需求 随着教育数字化建设进程的推进在线教育教学在高等教育领域广泛开展大数据理念和技术在教育领域中得到广泛应用这使得以在线教育为主要教学方式的开放大学在分析利用学习行为数据并进行个性化学习评价方面具有得天独厚的优势有关适用于在线教育的学习评价目前国内已有较多学者进行了探讨和研究 如胡久红、肖娥芳等认为学习者自控力及心理因素、教师在线教学技能水平及对学习者的了解程度、在线学习环境、教学资源质量等因素对在线学习影响程度较深而徐俊芳、王书瑶等认为在线学习主要从学生互评、教师教学满意度、学习者的客观成绩或主观学习满意度且多倾向于从学习者的主观评价和学习成绩方面来评价同时肖娥芳等依据在线学习环境、教师在线教学技能水平、学生在线学习状况三因素构建了基于 法的在线教育学习评价指标体系倪彤光等从学生学习行为、问卷调查和学习状态 个层次出发初步建立了在线学习评价模型刘文斌等针对现有教学评价缺陷提出一种以学生学习行为与偏好为属性决策变量的在线课程教学质量评价方法综上可知研究者基于学习者、教师、学习环境、学习行为等单因素内容进行分析提出了多因素评价体系其对学生具有普适性和主观依赖性而在线学习评价应该是一个动态多维的、具有强 年第 期专题研究教育与技术针对性的系统工程需要伴随学生自身学习的全方位和全过程 以往的研究中大都未能根据学生的学习能力和学习行为习惯设立个性化方案形成一套系统的、满足开放教育对象个性化学习需求的学习评价系统 基于此本文在借鉴在线教学评价研究成果的基础上结合开放大学的学习现状提出一套具有开放教育在线学习特色的学习评价系统和反馈机制旨在充分利用在线教育大数据中的有效数据信息通过学习行为与学习之间的相关性对开放教育学生形成个性化反馈以充分调动每位学生的学习积极性提高自身的学习效率一、开放大学学习评价现状分析学习评价是通过在学习进程中对学习者进行实时评价为学习者提供及时的反馈、引导、激励和调节等学习支持的一种教学反馈机制 理想的学习评价能够有效促进教学与课程的动态性、生成性关系弥补在线教学缺乏动态反馈的缺点提升在线教学的课程意义其中由于开放大学的课程具有全线上教学的特点因此一直都十分重视学习评价为了通过多种方式考查学生日常学习过程中的表现、所取得的成绩及所反映出的情感、态度、策略等情况对学生学习结果做出相对全面、准确的评价开放大学推行了目前课程体系中一直沿用的学习评价模式 “形成性评价 终结性评价”即在关注学生学习考核结果的同时也重视学生学习过程并通过联合评价结果相应修改或调整教学计划以获得更加理想的教学效果 这种“形成性评价 终结性评价”的综合评价方式自实施以来有效改善了传统评价方式手段和内容单一的情况但仍存在不少问题()评价内容程式化缺乏针对性 开放大学实行注册入学制学生在进入开放大学学习之前都是来自各行各业的在职人员他们的前置学历各不相同 如表 所示 开放大学即便是同层次(尤其是专科)的学生他们在入学前所接受的教育类型也各不相同分布极不均衡其学习背景、学习能力、学习素养、学习需求等差异巨大统一的、程式化的评价体系无法满足开放大学的学情 这意味着学生学习评价的内容不应仅局限于对知识与能力的评价学生的学习动机、兴趣、情感、态度、意志、性格等方面的评价也应当予以足够的重视 而目前的学习评价主要以作业成绩和作业评语的方式呈现学情反馈维度单一、反馈内容不够深入不能有针对性地对学生个体的学习情况进行评价反馈难以及时为学生调整学习方法和学习策略提高学习效率和提供个性化学习支持服务表 开放大学新生各类前置学历占比专科原学历层次中专高中大专本科其他占比.本科原学历层次大专本科硕士博士占比.()评价结果以点概面缺乏全面性 目前开放课程的“形成性评价”设计主要依据知识单元的学习进度安排时间节点无法贯穿整个学习过程 如表 所示以 开放大学开设的某门课程为例形成性评价的设计由观看视频时长、讨论、形成性测试、期末大作业 类考核构成在一个学习周期中 讨论、形成性作业分别被安排在第、周 这种在整个学习周期内安排几个评价节点的方式无法实现对学生学习全过程的持续观察、记录和反思 同时对学生提交的作业质量和在 上发帖质量的评价往往依赖于教师的教学经验和个人态度等具有一定的主观性和片面性表 开放大学课程的形成性考核任务和要求序号考核内容考核形式布置时间权重观看视频/全程第二单元 第 周第三单元形成性测试 第 周第四单元/第五单元形成性测试 第 周第六单元 第 周第七单元期末大作业第 周 ()反馈时间滞后缺乏即时性 开放大学专题研究教育与技术 年第 期 的教学模式以线上教学为主教师和学生处于准分离状态无法像传统课堂那样面对面交流 这种模式下即时的学情反馈机制显得尤为重要学情反馈是否及时准确直接影响到教学的质量和效果 以上述课程为例其形成性评价属于阶段性的过程性评价教师只能在学生提交作业时了解其在上一学习阶段中的学习效果而学生也只能在作业评阅后通过教师给出的评语了解自身的学习状态 学生在学习过程中无法即时得到评价和反馈教师也无法即时了解学生的学习需求、学习行为和学习效果这在一定程度上影响了教学进度的灵活调整和教学效果的有效提升通过上述分析表明开放大学现阶段评价模式无法满足教师教学及学生的个性化学习需求因此本文拟借助“大数据技术”充分挖掘学生的在线学习过程行为数据应用“学本评估”理论框架丰富评价形式对数据分析进行指导构建学习评价系统实现个性化、全面化、实时化的学习评价二、大数据背景下在线学习评价系统的理论基础.大数据技术在数据量庞大繁杂的今天传统的数据处理工具已无法满足其使用需求 因此众多学者针对大数据的特点研发了一种全新的数据处理工具 这种工具能够快速分析和处理海量数据信息被称为大数据技术图 大数据技术的模块组成与关系大数据技术包括四个模块部分即数据获取数据存储(数据索引、存储、分享、归档)、数据分析(数据清洗、处理)和数据应用各模块之间的关系如图 所示 由于大数据具有海量化、多样化和快速化的特征能够对数据进行实时处理因而各模块之间的关系不仅包括从数据获取到数据应用的渐进序列关系还包括两模块之间的交互和反馈关系利用大数据技术可将大量的、多样化的学生学习行为进行量化处理进而可以从量化的数据中分析其与学习效果的关联性最后根据关联性分析结果对学生的个性化学习提供反馈和指导 大数据技术为开放大学在线学习全面性评价和个性化评价提供了实施基础、技术支持和发展空间同时大数据技术模块组成为开放大学个性化学习评价系统框架提供支撑.“学本评估”()理论 年卡里斯()等人提出了“学本评估”()理论的概念和基本框架该理论以建构主义学习理论为基础从学习的视角出发将测评融入学习系统中从而更全面、充分地发挥评价对学习每个阶段和各个环节的促进作用图 “学本评估”理论框架“学本评估”理论主要包括评估任务作为学习任务、学生参与和反馈作为前馈三个要素 首先该理论注重评估任务作为学习任务强调不能仅关注学生学习的结果而是希望学生能通过完成一系列阶段性的评估任务来获得更深层次的学习体验提升自身学业水平 这为开放大学学习评价从单一终结性评价转向诊断性、过程性、终结性评价相结合的方式指明了路径 其次强调学生参与评估学生学习行为的反馈可作为教师教学计划、教学目标、评价标准等优化的方向这有助于教师单向评价向多维互动评价转变 最后倡导反馈作为前馈提出教师、学习同伴、学生自己都应该将评价反馈作为下阶段学习的前馈以此形成良性循环 这有助于改善开放大学混合学习评价反馈效果不佳的问题进而促进学生下一步学习的有效进行.大数据背景下在线学习评价的特征开放大学学生个体差异较大在线学习过程的学习行为也随之多样化借助大数据工具进行在线学习评价的必要性不言而喻 以大数据技术与“学本评估”理论为基础结合开放大学在线学习评价现状总结大数据应用流程及在线学习评价特征具体如图 所示 年第 期专题研究教育与技术图 学习评价领域中大数据的应用流程和特征()丰富学习评价内容 满足个性化需求的开放大学学习评价不能只为了程序式检查和评比分数更应通过丰富的评价内容对学生展开全方位了解 在大数据时代背景下多元化操作行为在各类界面和终端都会留下数据痕迹大量的数据痕迹拼接而成的数据库为评价形式多元化提供了可能一方面评价主体需要多方参与应努力形成师生之间交流点评、学生之间相互讨论、教师之间沟通经验的主体多元化评价形式 另一方面评价方法需要丰富改善加强过程性评价与终结性评价的结合建立针对学生个性化综合素质的评价方法 设立学生在线课程问答、实践活动上传展示、阶段性课程成果收集等多种在线学习评价方法丰富学习评价内容形式()完善学习评价结果 学习评价的初衷是为了及时反映学生在学习过程中的状态、收获和困惑并及时为学生提供个性化的支持服务而目前的学习评价较为注重周、月等时间节点的诊断和测试并以此为依据反映学生阶段性学习表现此类缺乏连续性的间断节点评价难以对学生个体形成正确认识并准确反映自身学习思考的过程推进大数据背景下的开放教育在线学习方式借助大数据的连续性特点可将每个学生在学习全过程中的理解程度、思考问题逻辑、创新性想法等精细化行为通过不定期评价以量化的方式保留其细节特征为分析其学习差异性提供动态化的精细数据使教师可以对学生进行全过程的监督和反馈准确把握每个学生的学习方向提高学生的学习效率()实时反馈学习评价 反馈个性化是开放大学学习评价最重要的特征之一它不仅仅针对每个学生的个性化学习行为进行分析而是通过对学生的评价实现对学生个体的个性化教学反馈以期达到更好的学习效果 通过大数据分析获得学生接受新事物能力、学习态度、学习的努力程度、学习动机、学习兴趣、个人性格等方面的量化数据对不同学生在学习过程中的差异表现进行表征并以可视化的方式反馈给老师 老师可根据数据反馈及时了解各学生自身情况并制定个性化教学方案实现精准化教学尽可能选择最适合学生的学习方式对学生学习起到激励促进作用 同时学生可通过学习评价的反馈更清晰地了解自身学习兴趣、学习效果、学习习惯等从而为进行个性化教学、提升教学质量提供强有力的支撑三、大数据背景下在线学习评价的系统设计结合开放大学校情和大数据背景下在线学习评价的特征分析依据大数据技术框架和“学本评估”理论本研究设计了大数据背景下在线学习评价系统模型具体如图 所示 该系统主要由在线学习过程观测点活动记录、数据处理与存储、数据分类与整合、数据分析和在线学习过程评价(可视化信息反馈)个子系统和个性化反馈扩展部分组成 通过这些教师平台教学和学生在线学习的行为活动可由大数据形式反映并分析出来保障在线学习质量判断未来教学和学习的趋势.在线学习过程观测点活动记录子系统学生的性格、能力、爱好、习惯等特性暗含于学生学习行为当中因此需要选择有代表性的、能够如实反映学生全面发展状况的指标同时参与开放大学学习的学生具有年龄、职业背景、个体需求差异大的特点所以还需要选取与学生个体发展相匹配并能体现其个性的评价指标 根据上述原则该系统将观测点分为教师平台教学、学生在线学习两部分其中教师端观测点包括平台登录频次、批阅课程作业量和时效性、发布课程公告数量和浏览量、发布讨论帖数量和浏览量、发表评论条数和字数、作业点评率与点评字数学生端观测点包括平台登录频次、课程在线时长和时段、学生课程测评所需时间和成绩、发表评论关键词情况、作业提交率、及格率和提交时间段等.数据处理与存储子系统数据处理与存储子系统主要包括数据采集获取、数据筛选转化、数据记录存储 个模块 在系统中学生相关学习行为主要由网络日志中所记录专题研究教育与技术 年第 期 图 大数据背景下在线学习评价系统设计模型的用户登录学习平台后产生的一系列操作数据组成由于大数据背景下在线学习过程活动所产生的数据量巨大所以需要如 爬虫、会话跟踪技术、网络抓取等数据采集工具对网站相关内容数据进行动态采集为后续子系统提供丰富的数据库支撑 但是原始数据库数据表中记录的大量用户的基本信息和学习行为数据不能直接作为系统进行数据挖掘的数据源而是需要通过数据筛选模块清洗不干净数据、删除冗余数据将非数值数据转换为数值数据 处理后的碎片化数据可通过数据转化模块按照一定规则进行划分和数据标准化并根据数据的特征、数据之间的关联性进一步转化为“数据集”在数据利用方面使后续子系统更加便捷 同时为防止数据丢失需要通过数据记录存储模块将处理后的数据或数据集存储到相关数据库中 处理完成的数据按照结构性质分为结构化数据和非结构化数据其中结构化数据(如登录时间、发帖量、视频学习时长等)存储在关系型开源数据库 中非结构化数据(如图片、文本等)存储在非关系型开源分布式数据库 中.数据分类与整合子系统数据分类与整合子系统调取存储在数据库中的相关数据集根据提取数据的特征进行归类将碎片化数据整合成教师与学生双层面数据库 在参照开放教育在线学习评价特征的基础上教师与学生双层面数据可进一步细化其中教师层面包括:教学过程与教学习惯数据主要指教师带有个人主观性的教学实践行为数据 学生层面包括:学习过程主要指学生与学习资源交互产生的数据学习习惯主要指学生带有个人主观性的学习实践行为数据学习方法主要指学生完成学习任务的行为数据学习能力主要指学生完成学习任务的时间及课堂测试数据学习态度数据主要指可表现学生在线学习认真程度的数据 同时数据分类与整合子系统中细化的核心内容可以根据实际评价的需求进行相应调整以达到通过数据整合的方式打破学生在线学习过程数据孤岛的最终目的.数据分析子系统作为关键环节的数据分析子系统主要是利用已分类整合好的数据集进一步创建分析学生和教师的“个体用户自画像”即建立针对用户的个性化资料库为用户提供高质量的个性化服务教师“个体用户自画像”重点在于掌握教学规律和习惯发现教学过程中的盲点 学生“个体用户自画像”主要是开放教育教师在查询学生个体时使用通过学生个体画像了解和认识学生为学生提供个性化教学同时学生也可以查看自己的用户画像信息了解自身学习情况为自检提供数据支撑根据开放大学学生特点设计数据分析子系统主要包括学习行为 偏好指数分析、学习成效分析、价值分类学情模型分析 其中 偏好指数反映目标群体在特定研究范围内的优势或弱势根据 规则可以了解学生相关倾向和偏好学业成效是学生学习结果的最终体现是教学质量的直接反映因此学习成效分析可分为学生综合成绩分析、学生综合成绩与教师教学行为相关性分析以明确学生对课程的掌握情况以及学生与教师之间的联结情况在线学习流程一般为“登录学习平台观看学习课程资源根据课程团队教师发布的学习活动进行讨论或提交作业退出学习平台”反映学生的总体学习行为特征 年第 期专题研究教育与技术较为统一因此借鉴电商领域衡量客户价值和客户创利能力的 模型根据学生在线学习活跃程度和学习时长设计()学生价值分类模型分析学生学习过程活动的特征从而为判断学生的积极性和交互程度提供依据.在线学习过程评价子系统该系统旨在把评价内容贯穿于学习全过程通过相关评价指标对学习开始前阶段、学习过程中阶段、学习结束后阶段三个核心时间段开展评价 利用可视化等展示工具将进行学习评价后的结果及时呈现给学生和教师让学生和教师都可以准确掌握学生的学习情况首先在学习开始前阶段需要对学生的基础进行充分考虑包括:所学知识掌握情况、接受新知识的能力、对知识点的渴求度、学习目的等 对于开放大学学生而言其学习动机较多是为了提升自身工作岗位迁移能力因此明晰学生知识的欠缺部分明确其对新知识接收、归纳、总结的水平才可制定专项学习方向使教学方案合理化实现个性化的教学设计达到因材施教的效果其次在学习过程中阶段对学生学习习惯开展评价 学习习惯是一种学生个性化的学习过程包括每天学习时间段、接纳知识效率较高和较低时间段、学习过程的参与积极性等 在该阶段根据学生个体用户自画像所表现的教学问题进行诊断参考问题诊断结果与学生学习习惯对个性化教学设计进一步完善有助于形成适合学生的学习策略提高学习效率 最后在学习结束后阶段对学生开展学习效果评价 学习效果是学生学习完成后所引起的个体心理与行为上的变化 因此系统设计从自学能力、所学知识基础应用能力、所学知识综合应用能力、学科探究问题能力等由简至难 个角度综合考查学生对知识的掌握情况并借鉴该评价结果对该学生下一阶段学习的教学设计进行完善.个性化反馈扩展部分个性化反馈属于在线学习评价系统中的扩展部分开展评价是手段最终目的是实现学生的个性化教学设计 因此本文设计了依据系统的评价结果开展的个性化反馈内容具体如图 所示图 个性化反馈内容一是个性化教学方向 不是简单地把学习视频、学习课件、课程作业等堆放在学习平台上而是要根据学生的用户自画像有针对性地推送有价值的学习内容 同时教师也应根据学生在实际工作岗位中的知识需求和学习兴趣来设计教学活动提高教学效果和学习效率 二是个性化教学内容 现阶段在线学习平台中一些宏观、抽象概念的语言表达枯燥单一教学内容不够生动部分学生对抽象内容难以理解 因此教师需要根据学生对教学内容的接受程度个性化呈现多种学习内容满足不同学生的喜好需求 对于难以理解抽象概念的学生学习内容通过符合开放大学学生需求的方式来展现以此增强学生理解激发学习兴趣 三是个性化教学形式 通过了解学生在学习过程中对于交流讨论的接受程度、偏好及学习兴趣设计专题学习小组 对于互动意愿强烈的学生以学生自发组织、教师参与的形式建立学习小组在较大程度上提高学生的积极性对于自学意愿强烈的学生以教师重点主导师生一对一的形式促进交流 在最大程度上尊重学生学习习惯的同时保证学习效率 四是个性化教学导学机制 学生的开放性导致同批次入学的学生在学习素养方面差异较大因此需要建立个性化教学导学机制达到学习支持服务覆盖全过程的目的以提高学习效果 对于学习时间较少且知识点掌握情况不乐观的学生可制定更为细致的导学方案如要有明确的学习目标、学习计划和学习规范 当有新的任务或作业时要给学生提示并提醒学生结束时间 同时可通过在课程中间设置小问题等方式避免学生挂网蹭学时四、在线学习评价系统的实施流程本文以 开放大学统计数据为例分析学习过程评价系统用于开放教育的路径和方法具体如图 所示首先学生通过网上平台进行线上学习活动在该学习过程中产生的行为数据将被记录下来同时教师通过平台开展的一系列教学活动而生成的行为数据也被记录 其次学生和教师行为专题研究教育与技术 年第 期 图 大数据背景下开放大学在线学习评价系统实施流程数据库中的数据会被传递至基于大数据的开放大学学习评价系统 根据不同的评价指标和内容系统选择对应的方法和模型对学生的学习过程开展评价图 为学生 高级财务会计课程在线学习分析图 由图()可知该学生高级财务会计知识点 和 测评成绩较好 对比分析其对应的学习时长知识点 实际学习时长低于课程标准值而知识点 高于课程标准值 利用在线评价系统初步判断该学生对于知识点 掌握较为熟练对知识点 虽储备知识不足但对该内容具备一定的学习能力 知识点 和 的测评成绩都不理想其中知识点 的实际在线学习时长远超标准时长表明该内容是学习薄弱项知识点 学习时长较短表明学生 对该内容储备知识不足且缺乏学习兴趣()课程时长与测评成绩分析()在线时间段分析图 学生高级财务会计课程在线学习分析图根据学习评价系统分析的结果可通过 个不同的反馈机制进行学生个性化教学设计 第一评价结果直接反馈至在线学习平台后台系统该后台可根据学生在线学习评价结果主动推送个性化课程及学习资料 对于学生 系统可个性化推荐自身学习意愿强烈但学习效果不佳的课程(如知识点)适当减少知识点 和 的推送第二评价结果通过在线学习平台消息推送反馈至学生本人使学生可通过分析结果精准了解自己的学习状态便于进行自评 第三评价结果通过在线教学平台反馈至学生信息卡中建立个性化资料库教学者可通过可视化展示页面掌握每个学生的学习习惯和学习程度 如图()所示可知学生 在 点和 点在线频次较高教师可掌握其高频学习时间段创建相似学习习惯小组供学生们进行实时在线交流 第四教师以每个学生的可视化评价结果为依据及时对学生进行学习过程干预提供个性化教学方案和学习指导建议以适应终身教育在线学习及学生多样化的特点五、总结随着教育数字化步伐的不断迈进大批量线上教学产生了教育大数据其存在为在线学习评价系统提供了新思路 而大数据、学习分析和内容分析等技术的引入让“个性化分析”为特征的在线学习评价有了技术和方法的支撑 本文在此背景下分析了开放大学学习评价现状及大数据背景下的在线学习评价特征并以大数据技术与“学本评估”理论为基础从观测点记录、数据处理与存储、数据分类与整合、数据分析、过程评价、个性化反馈 个方面提出了基于大数据理念的开放大学个性化学习评价系统 最后借鉴开放大学实际数据论述了该系统的实施流程基于大数据理念的开放大学学习评价系统在政策层面贯彻落实国家深化新时代教育评价改革总体方案的精神对扭转“唯分数”和“唯升学”的评价模式进行实践探索 在实践层面体现评价主体、方法、功能的多元化能通过精细化的评价为每个学生建立个性化学习库在学生学习的过程中持续改进课程体系的教学内容和教学环节设计在实践层面实现真正意义上的“因材施教”本研究模型为开放大学在线学习与评价服务提供更加高效、精准和个性化的参考同时也期望由开放大学研究拓展至终身学习领域为其评价环节提供新视角 年第 期专题研究教育与技术参考文献:习近平.高举中国特色社会主义伟大旗帜 为全面建设社会主义现代化国家而团结奋斗 在中国共产党第二十次全国代表大会上的报告.人民日报().吕长生厉毅.历史制度主义视域下我国开放大学政策变迁的制度逻辑.中国职业技术教育():.孟志远王夫艳.大数据与教育研究的变革:可能与限度.高等教育研究():.胡久红曾令涛.大学生在线学习效果调查研究.办公自动化():.肖娥芳.在线教育学习效果评价研究.现代商贸工业():.徐俊芳董恒进.在线教育的发展及其质量评价研究.继续医学教育():.王书瑶王娟高振.智能时代在线教育质量评估机制研究.广西广播电视大学学报():.倪彤光顾晓清薛磊.在线学习模式下大学生学习绩效评价模型研究.福建电脑():.刘文彬杨波屈喜龙.基于学习行为数据的在线课程教学质量精准评价方法.湖南工程学院学报(自然科学版)():.上超望韩梦刘清堂.大数据背景下在线学习过程性评价系统设计研究.中国电化教育():.().:.牟智佳.电子书包中基于教育大数据的个性化学习评价模型与系统设计.远程教育杂志():.万晓容朱丽佳陈俊等.基于大数据的教育评价研究综述.软件导刊():.:.():.陈秉达陈世国李莉.大数据背景下在线学习发展性评价系统设计.科教导刊():./:.:责任编辑 张军涛 刘家萍