学校效能的增值评价——对河北省保定市普通高中学校的实证研究.docx

学校效能的增值评价对河北省保定市普通高中学校的实证研究【标题注释】本文系中英“学校评价创新和改善学校教育质量的策略”合作研究成果，中方合作机构为中央教育科学研究所，英方合作机构为英国布里斯托大学。在此向英国文化委员会对该合作项目的资助、河北省保定市教育局对数据采集工作的大力支持表示感谢。【内容提要】学校评价在教育评价体系中处于核心地位，它直接影响着对教师评价和学生评价的原则以及学校的发展方向。运用增值评价学校效能是当前学校评价研究的重要内容。对河北省保定市普通高中学校效能进行实证研究结果表明：60%80%的高考成绩校际差距都不是学校本身所导致的，在提高学生进步幅度方面，不同学校间存在明显差异。增值评价结果与高考分数评价结果存在较大差异；学校效能在不同学科间没有显着差异；学校对不同学生群体的效能无差异。学校效能的增值评价对于创新学校评价体系具有重要的参考价值。【摘 要 题】教育评价【关 键 词】学校评价/学校效能/增值评价/多水平模型【正 文】 一、学校效能的增值评价理论综述 学校效能评价被认为是评价学校在控制生源和学校背景等外部因素的条件下，与其他条件类似学校相比，其达到目标的程度，是对学校工作绩效“净”影响的评价。对学校效能的研究存在多种模式，序润斯根据发展阶段将其总结为五个基本模型：关于教育机会平等的研究模型、教育生产函数模型、补偿教育项目的评价模型、有效学校研究模型和有效教学研究模型，在各研究模型中又有不同的效能测量方法和计量模型。 增值评价属于教育生产函数模型，与一般的教育投入产出分析模型不同，增值评价的主要特征表现为以学生的学业成就为评价依据，通过相关的统计分析技术，将学校对学生发展的影响从生源、性别、民族等诸多相关因素中分解出来，进而测量一定时间内学生的进步幅度，以此试图发现一些学校的学生是否比其他学校的学生能获得相对较大的发展。学校效能增值评估研究有以下基本特征：量化研究为主；综合性；应用性；国际性。 二、研究数据和方法 依据项目实施方案，所有数据均从河北省保定市直接采集，其中包括90所普通高中学校2005年的高考和2003年的中考数据，另包括其中27所学校的学生问卷和学校背景问卷。学校情况调查的数据包括：学校所在地、大小、类型、级别、经费、办学条件、师资水平和校长情况等共19项指标。有关学生的数据包括以下几方面： 年学生高考成绩 根据分析需要共分为六类成绩指标：文科总成绩、理科总成绩、所有学生的语文成绩、所有学生的英语成绩、文科数学和理科数学。所有的分数均采用标准化处理。 年学生中考成绩 依据高考学生信息，从保定市学生中考成绩库中提取相对应的学生中考信息。根据保定市中考要求，2003年学生中考共包含五门课程：语文、数学、英语、文科综合和理科综合。与高考成绩的处理相类似，所有的中考成绩也进行标准化处理。 3.学生背景情况 为进一步分析学生背景因素对学生学业成就的影响，在对27所学校的学生抽样调查中，采集了学生的背景因素，其中包括学生的性别、年龄、所学专业、课外辅导情况、父母亲受教育程度和家庭收入等共16项指标。 在分析中生成两个变量：一个是学生的学习能力指标，它是基于学生的中考成绩总分，取其最高的25%，中间的50%和最低的25%为三个等级，以此考察不同学习能力和水平的学生对高考成绩的影响；另外一个是学校的学生成就水平，它是基于学校学生中考的平均成绩，分为较高的25%，中间的50%和较低的25%三个等级，以此考察不同学校生源的差异对高考成绩的影响。 基于采集到的数据情况，为验证学校对学生学业成就的影响，建立了包含学校和学生的两种水平分析模型。与一般的多重回归相比，本文中的两水平模型考虑到了学校与学生之间的嵌套问题，它可以将学生和学校这两个分析单位同时纳入模型中去从而更加准确地分离出学校对学生的影响。同时，在本文的分析中，只考虑回归方程中截距项的分层变化，而不考虑回归系数变化情况。其基本形式 在模型计算中，逐一引入相关变量建立以下六个模型，以考察和比较各相关变量的影响。 模型1：方程右边只有截距项，其目的在于它可以作为参照模型，为下述模型的比较提供依据； 模型2：方程右边加入中考成绩，考察中考总成绩和各科成绩对高考成绩的影响效果； 模型3：方程右边加入学生背景变量，90所学校数据中只有学生性别一项学生背景变量，27所学校中有16项学生背景因素变量数据； 模型4：方程右边加入学校背景变量，90所学校模型中有生成的学校等级变量，27所学校中有19项学校背景因素变量数据； 模型5：方程右边加入中考成绩和学生背景变量，考察中考成绩和学生背景两个因素对学生学业成就的影响； 模型6：方程右边包括所有因素，将所有变量加入模型中作为自变量，考察和比较自变量回归系数的大小及变化情况。 通过对各模型的比较，确定最终分析模型。所有模型的估计中均采用MLwin 软件进行计算，所采用的回归估计的方法是迭代广义最小二乘法(Iterative Generalised Least Squares, IGLS)估计。 三、实证分析结果 采用分析软件对数据进行统计处理，分析结果如下。 1.学校的教育教学差异并不是造成高考成绩校际差距的主要原因 与单纯地依据原始分数评价不同，多水平模型下的增值评价能够直接反映学校教育管理、校园文化等因素对学生学业成就的影响，而将学校自身不能控制的因素排除在外。将河北省保定市普通高中学校按照其学生中考时的平均成绩分为三类，生源较好的25%的学校为第一类，中间的50%为第二类，较差的25%为第三类。分析结果表明：生源较差的学校其高考成绩明显低于生源中等和生源较好的学校；而生源较好的学校其高考成绩明显好于其他学校。研究发现：不同学校高考成绩的校际差距，60%左右可归因于所招收学生在中考成绩上的差异；如果再将学生详细的家庭背景与学校背景因素考虑在内，则可解释80%左右的高考成绩校际差距。 可见，学校间教育教学质量的差距并非完全是由于学校自身工作不力造成的，与学校的生源、经费、办学条件等外部因素亦密切相关，而这些因素上的差距是历史和社会综合原因形成的，责任不应该完全由现在的学校来承担。 2.在提高学生进步幅度方面，学校间存在明显差异 采用多水平模型软件Mlwin对模型6进行计算，将学生中考成绩、家庭背景、学校情况等相关因素对高考成绩的影响都考虑进去，可以得出学校的效能排名。针对保定市高考的具体科目，可以计算出文科总成绩、理科总成绩、所有学生的语文成绩、所有学生的英语成绩、文科数学和理科数学等六个方面的各学校排名。 以文科总成绩和理科总成绩的学校效能分析为例，保定市90所普通高中学校的文科成绩中，有28所学校的效能低于平均水平，有24所学校其效能高于平均水平；在理科成绩中，有25所学校的效能低于平均水平，有17所学校其效能高于平均水平。 3.增值评价结果与高考分数评价结果存在较大差异 模型1中没有考虑其他因素对高考成绩的影响，其计算结果只考虑高考成绩的学校排名，为比较增值评价结果与高考分数评价结果，将模型1计算出来的学校排序结果与模型6计算的学校排序结果进行比较。 从中可以看出，90所学校按照增值从低到高依次排列，而按照高考分数的排名与增值对本研究中90所学校的评价而言，虽然两种评价方法产生出来的学校排名相关性检验中，其斯皮尔曼系数仍然显着，但无论是考察学校的文科学生还是理科学生，有1/3的学校存在此种情况：采用原始分数评价时的学校排名与采用增值评价时的学校排名间的差距在20名以上。在高考分数排名中较高的学校，其学校效能并不一定也相应较高，反之亦然。 4.不同学科间的学校效能显着相关 从总体上看，学校效能在不同学科间没有显着差异，但部分学校在具体学科和专业上具有较强的效能优势。计算并检验90所学校在各学科间效能的相关系数，可以看出学校效能在不同学科间显着正相关。但在90所学校中，编号为8、85和47的学校在所有的学科中，其学校效能都是相对稳定的；而学校20的文科效能明显高于理科，学校52在理科效能上是最好的，但在文科上却一般。 5.学校在提高男生、女生以及不同学习能力的学生学业进步幅度上不存在分化和区别对待现象 从整体上看，学校在促进男生、女生以及不同学习能力的学生的学习提高上较为一致。按照性别和学习能力对学生分组，进一步考察学校对不同学生群体的效能差异。计算并检验保定市90所普通高中学校中各学生群体间学校效能的相关系数，结果表明，学校在提高男生、女生以及不同学习能力的学生学业进步幅度上显着相关。 四、讨论和建议 学校评价在教育评价体系中处于核心地位，它直接影响对教师评价和学生评价的原则以及学校的发展方向。本研究给我们以下启示。 1.以增值评价为手段，促进学校均衡发展 与传统的仅用学生的某次考试成绩、学校的升学率作为评价指标相比，增值评估用于学校评价将科学反映学校教育教学工作绩效，有助于公平合理、科学全面地评价学校，促进学校特色建设，从而促进学校均衡发展。本研究表明，60%80%的校际差距不是可以由学校控制的原因造成的，这些因素包括学生家庭的社会经济背景和学校资源的先天差距等。如果对学校的评价单纯以学生“出口”差距而不考虑学生的“入口”差距，对相当大一部分学校而言是不公平的。特别是在对普通高中学校的评价实践中，还主要是实行以学生高考成绩为导向的学校评估，以学校考上名牌大学的学生数作为考核学校工作的指标。这种过于简单化的评估手段必然导致学校走上以片面追求升学率为目标，以抢夺优质生源为工作重点，以换取资源倾斜投入为动力的非均衡发展道路，其最终结果是好学校越来越强。差校越来越差的“马太效应”愈演愈烈。 而实行以学校提高学生进步和发展幅度为目标的附加值评价，将有效地引导学生从重投入到重过程，从重生源到重培养，从单纯注重结果到关注教育全过程。特别是对于那些各方面基础条件较差，长期得不到重视而仍然付出了大量工作的学校，增值评价能够充分反映出他们的努力程度，从而科学合理地反映每一所学校的工作绩效。 2.建立增值评价指标，完善学校评估指标体系 本研究表明，虽然增值评价结果与原始分数评价结果有较大差距，但对学校效能的增值评价并非全面否定现有的评价体系，而是对现有评价指标体系的补充和深化。事实上，真正是高效能的学校其在传统评价体系中也是好学校，在传统评价中最差的几所学校其在效能增值评价中也仍然是较差的。 在国外，增值评价指标也被作为一项重要的创新性指标加入到现有的评价指标体系中。在英国，由政府正式发布的学校评估指标体系中有三个主要指标：学生缺课率、毕业考试的通过率和学校的增值指标。这三个指标各教育主管部门可根据评价的需要各取所需。由经济合作与发展组织(OECD)研制的教育系统国际指标体系(INES)也正考虑将增值指标纳入，以增强国际间学校效能比较的效度。对照我们现在的学校评估指标体系，其主要问题之一就是评估指标单一化，缺少对教育教学过程和学生成长的有效评价。因此，建立学校增值评价指标，对完善我国学校评估体系具有很好的参考价值。 3.以增值评价为导向，促进学校的特色发展 增值评价不仅是对学校的总体效能进行评价，还可以评价学校内部不同学科、不同人群的效能。本文的分析结果也表明，部分学校在不同的学科上有突出的效能，如果我们进一步拓展效能的评价范围，还可以对学校内德育、学校管理等各方面实施效能评价，从而更有效引导学校多元发展。因此，增值评价方法不同于传统的鉴定性评价，而是强调学校自身的进步幅度以及其独特的效能表现。例如有的学校可能整体效能不高，但可能对学习基础不好的学生有较好的效果，这就可以形成增值评价体系下的学校特色。 此外，增值评价将关注教育的重点从资源投入转到学校内部的教育教学管理，从学校硬件建设转到学生的进步幅度。这种转变一方面反映了当前世界范围内社会发展对加强教育内部绩效评价的必然要求，另一方面也有利于切实帮助学校提高效能，强化责任，实现科学发展。 本文的研究是基于河北省保定市数据进行的。虽然研究中有90所学校的学生考试数据，但仅有27所学校的学生背景因素和学校背景因素问卷，因此本文中并没有深入讨论学生学业成就的影响因素。而且增值方法的局限性也是显而易见的：如学校的功能和价值不仅仅在于提高学生的认知水平和学业成就，而是包括情感、态度、价值观等多维目标，所以，用单一的学生成绩指标来测定学校效能是远远不够的。有一些学者已经在开始尝试使用多种指标，诸如学生辍学率、转学率、学生的情感态度测量值等来丰富和完善学校效能评价体系。 更精细的分析还可以考虑随机系数模型，即考虑各学校效能影响因素在不同学校间的变化情况。此外，学校效能增值评价的稳定性也是一个需要重视的问题，需要进行较长时间的跟踪分析才能得出更为合理的结论。 注释： Jaap. Scheerens, Improving school effectiveness, United Nations Educational, Scientific and Cultural Organization, 2000. Jaap scheerens, Cees Glas and sally M. Thomas. Educational evaluation, assessment, and monitoring, a systemic approach. Swets & zeitlinger publishers. 2003. Harvey Goldstein, Pan Huiqi, Terry Rath and Nigel Hill, the use of vale added information in judging school performance, institute of education university of London, 2000. Lesley Saunders, A Brief History of Educational Value Added: How did we get to where we are？ School effectiveness and school improvement, 1999, Vol. 10, No 2. Russell W. Rumberger, Test Scores, Dropout Rates, and Transfer Rates as Alternative Indicators of High School-Per-formance, American Educational Research Journal, 2005, , No. 1. 【参考文献】 1James s. Coleman, et al. Equality of education opportu nity, US department of health, education and welfare, 1966. Sally Thomas. Evaluation of RSSI Using Value Added Measures of School Performance. Final Project Report, 2001. Lesley Saunders, ACCOUNTABILITY MECHANISMS AND PROCESSES: Value Added: Telling the Truth about Schools Performance? . worldbank. org/education/est/resources/topic%20papers/Valueadded, doc. Ren Chunrong. A Pilot Assessment on Secondary School Effectiveness in Beijing with Vale Added Models. Project Report, 2001. Yang Xijie, The Effect of Schools on College Entrance Examination Achievement, Project Report, 2003.