教育评价新视野.doc

教育评价新视野 | 龚春燕等：大数据评估促进教育决策科学化
　　　中小学管理

　　导读
　　如何让大数据为教育管理和决策服务？2009年以来，重庆已监测义务教育学校1955所，师生约40万人次，获取了数亿数据，构建了系列模型；综合素质电子化平台已被全市258所高中采用。重庆教育评估院龚春燕院长亲自为您讲述重庆大数据的来与往。
　　大数据评估促进教育决策科学化/龚春燕 何怀金 贾玲卢锦运
　　教育监测评估的最终目的是为了改进教育教学，提高教育质量，为学生提供更适合的教育。但目前多数地区和学校依然采用对考试原始分数进行简单排序的方法来进行教育评估，其评价方式单一、评价指标和内容窄化、评价结果被误用和滥用，给学生身心发育和教育发展带来了诸多不利影响。
　　如何在理念、方法、技术上对教育质量监测评价进行改革？大数据具有体量大（Volume）、类型杂（Variety）、速度快（Velocity）、价值高（Value）和真实性强（veracity）的“5V”特点，必将在教育评估中扮演重要角色。重庆市自2009年首次开展基础教育质量监测以来，已经逐渐形成了一套较完整的大数据采集、模型处理、结果使用的技术和方法，促进了学校管理的改进与区域教育的科学发展。
　　一优化方式：建构大数据采集平台
　　1. 建立信息化监测评价平台
　　2009年，重庆市教育评估院在教育部基础教育质量监测中心和北京师范大学“认知神经科学与学习”国家重点实验室的帮助下，首次实施了重庆市基础教育质量监测。此后，为提高监测效率与科学化水平，我们建立了重庆市基础教育质量监测数据库，将日常评价与大规模监测相结合，自主研发了信息化监测评价平台（见图1）。

　　图1：重庆市基础教育质量监测信息平台架构图
　　2. 研发数据分析软件平台
　　我们广泛调研了不同类型、不同层次的学校，选取了不同经济发展水平的三个区县和20所学校作为测评实验基地。通过对这些实验基地的教育质量监测与评价的实践和追踪，研发了用于全市监测评价的软件平台，提高了工作效率，实现了分析及报告生成自动化，主要解决了以下几方面问题：
　　（1）采用图像识别技术，实现纸质数据采集自动化
　　我们针对相关软件售价太高，无法实现对题卡合一问卷的自动化识别的情况，采用图像识别技术，自主研发了网上阅卷扫描识别系统，实现了监测所需的多题本合一、题卡合一、主观题分段评分的特殊功能。
　　（2）采用网络问卷填答，实现教师数据采集有序化
　　基于纸质问卷填答方式受填答时空限制、后期处理复杂、使用成本高的不足，我们研发了易于操作使用并与后台数据分析清理相结合的网络问卷系统。
　　（3）采用人工智能技术，实现超量数据清理精准化
　　我们通过研发监测数据清理软件，将原本借助于其他软件需要由20余人一个月完成的清理工作，缩短为1人一周就能够完成。
　　（4）构建常用分析模型，实现分析生成报告自动化
　　为了确保评价结果的针对性和准确性，需要有科学的分析方法和完善的指标体系。我们通过挖掘和提炼采集到的数据，构建了一系列分析模型，并在此基础上编写分析软件，自动生成近千份学校和区县报告、数十万份学生综合素质报告。
　　这些模型包括：义务教育均衡系数测算模型、城乡一体化教育资源配置模型、基于IRT项目反应理论的量尺分数合成模型、多维教学评价模型、学校办学规模测算模型等。例如：通过构建“学生学习进步增值评价模型”，对学校或学生的进步程度进行量化评价和价值判断，促使学校关注每一个学生的进步和发展。
　　3. 构建科学的监测工具库
　　工具是评价的基础，我们的工具研发专家团队按照国际通行的程序，召开了150余次研讨会，最终研制出了八类60余套教育教学质量评价工具。
　　二明确方向：确定大数据采集范围
　　六年来，我们共监测义务教育阶段学校1955所，师生约40万人次。2011年、2012年、2014年、2015年，我们在全市范围内选择100所不同层次的学校进行监测，每次涉及学生约8000名，参与学校的所有校长、干部、教师全员参测，每次约６000人。2010年、2013年全市40个区县的1400余所学校、1400余名校长、12000余名学校管理干部、23000多名教师、14.5万名学生参加了监测，同时还对四个区县的所有学校约150所学校进行监测,获取了数亿的数据。
　　1. 采集师生日常教育教学数据
　　我们通过日常数据采集系统，采集教师日常教育教学信息、学生日常学习与生活的关键信息、学生的成长记录，了解每个学生的过程性发展情况。
　　2. 采集多元评价主体的评价数据
　　我们通过构建学生、家长、教师、学校管理者参与的综合素质评价电子平台，形成多主体共同参与的“评价联合体”，实现了评价主体的多元化，建立了良好的“多方协作的互动关系”，改变了已往由教师单一评价学生的状况，使评价更加全面，真正起到激励和促进学生学习的作用。
　　3. 采集定性数据和定量数据
　　我们通过大数据分析建立模型，发现教育教学中存在的普遍性规律，诊断教育中存在的问题，定量地评价教学质量；同时，学校质量标准又提供了定性的评价手段，关注学生、教师和学校在“质”的方面的发展。
　　4. 采集学生综合素质评价数据
　　我们研发的学生综合素质评价平台，以学生表现为评价内容、以“增值”幅度为评价标准，坚持评价目标统一性与差异性的有机结合，实时采集学生成长、教师教育教学、学校管理等信息，并用软件对相关信息进行自动分析，为每位学生和教师定期或不定期地生成综合素质成长报告。
　　2012年以来，综合素质电子平台被全市258所高中学校采用，对所有学生的道德与公民、学业与创新、运动与健康、沟通与合作、审美与、身体素质等进行全面评价，每学期为每位学生生成发展报告。目前，这一平台已为重庆市考试院提供了60多万份高中学生综合素质报告，为高校招生提供了参考。
　　三有效使用：让大数据助推教育发展
　　1. 形成三级监测评价机制
　　我们建立了全市、区县和学校三级监测评价机制。在市级评价中，重点关注统筹城乡均衡的情况，通过抽样采集、分析全市数据，向各级教育行政部门提供政策建议，促进城乡教育资源的合理配置，统筹城乡教育均衡发展。在区县评价中，主要关注县域均衡问题，组织实施针对本区县的教育评价工作。在对学校进行的评价中，减少传统意义上的统考统测，树立新的质量观，对学生进行过程性评价，逐步实现以特色办学为前提的校际发展的均衡。
　　评价结果会反馈给多个对象，如教育行政部门、学校、教师和学生。具体如图2所示。

　　图2：多元反馈机制
　　2. 服务政府决策
　　五年来，我们为重庆市教委提供了教育质量监测报告40余份、区县基础教育质量监测报告100余份。针对报告提出的问题和建议，市教委出台了《重庆市教育委员会关于印发减轻义务教育阶段学生过重课业负担，深入推进素质教育十项规定的通知》（简称“减负十条”）等10余个教育行政决策文件，有效地减轻了学生学业负担，改革了课程设置，改变了教师教学行为，提升了教育质量。2013年教育部监测数据表明，在全国范围来看，重庆是整体负担最轻的省市之一，质量高于同等地区。
　　我们通过对数亿数据的分析、提炼，初步构建了可测、可评的教育质量指标体系，制定了《重庆市义务教育阶段学校质量标准》。其中，我们确定了20个测评学校质量的指标，含5个指数、8个满意度百分比、7个学校常规指标，包含过程性质量和结果性质量两个板块，共10项内容（见图3）。而我院也成为国家标准化试点中唯一一个教育单位（全国共98个试点单位）。

图3：重庆市义务教育阶段学校质量标准内容
　　我们构建的一系列模型在多个区县得到了检验，在提升教学质量、教师专业能力等方面成效显著。其中，义务教育均衡发展测算建议得到国务院有关领导的批示，相关计算模型被教育部采纳，并在全国义务教育发展基本均衡县(市、区)督导检查中得到了应用。数十个兄弟省市单位到我市就本研究进行深度交流和学习。
　　区县教育行政部门使用评价报告，对相关工作进行了有针对性的改进。如重庆市某区详细解读了近600页的基础教育质量监测报告，尽管该区多项评价指标的指数排在全市前列，但区教育行政部门从报告中找到若干需要改进的问题，如针对区教师培训中“39.6%的教师认为系统性不够，29.8%的教师认为针对性不强”的现状，区教师培训单位实施“先调查再设计培训菜单”的方式加以改进；针对教师随年龄增长而倦怠感上升的问题，全区启动了教师心理健康培训工作；针对家庭教育中的问题，全区开展家校共育工程，社会对区教育的满意度大增。
　　3. 促进学校改革
　　大数据库中存储了来自教师、学生、家长的海量数据，信息化分析平台通过模型自动分析这些数据之间的相互关系和对学生学习质量的影响，找到有明显影响的行为指标，总结其规律，并存储到教育教学规律结果库中，供校长和一线教师研究和学习。
　　重庆市教育评估院为学校做的评价报告图文并茂，约有300页，有效诊断了教育质量现状，既有学业质量，也有学生的品德、体育、心理、兴趣方面的情况；既有学校管理的诊断报告，也有教师教学行为的评估，为学校管理、教师教育教学、学生成长提供了科学依据。许多学校根据监测结果，改变了管理方式，有针对性地实施了一系列改进措施。有的中小学组织教师认真分析评估报告达一个多月时间，还有学校开展了针对家长的体验式培训，促进了家长观念的改变。
　　四直面挑战：正视大数据评估的推广瓶颈
　　基于大数据进行教育评价，其方向无疑是正确的，但推广的难度也是客观存在的。
　　其一，决策者的认识水平。一个区域是否使用和如何使用大数据的分析结果，与教育行政领导对数据的信任程度直接有关。
　　其二，与高考、中考的整合。尤其是在高中综合素质评价结果成为高校招生录取的参考内容后，如何保证评价结果的真实性、公平性，还有待进一步研究。
　　其三，成本问题。不少边远学校信息化设备落后，人员信息化素养不高，即使通过软件解决了大部分成本问题，但客户端计算机、实现纸质试卷数字化的扫描仪、学校上网费用、校园网建设等成本也较高。
　　其四，专业指导力量问题。对结果报告发现的问题和规律，如何有针对性地采取有效措施，改进学校管理、教师教育教学、学生成长，需要有关教育教学专家指导，建立结果运用的指导改进机制。
　　其五，结果反馈问题。继续研发移动应用平台，加强评价结果的智能与及时反馈，实现个性化定制评价，真正通过数据读懂学生，将成为我们研究的重点。