香港地区中学文凭考试等级预测研究.pdf

收稿日期：作者简介：2023-10-12许嘉凌，女，香港考试及评核局评核科技及研究部经理；萧伟乐，男，香港考试及评核局评核科技及研究部主管；席小明，女，香港考试及评核局考试、评核及研究部总监。许嘉凌萧伟乐席小明（香港考试及评核局，香港 999077）香港中学文凭考试等级预测研究摘要：为研究香港中学文凭考试（简称文凭试）等级预测结果，以过往文凭试结果作为依据，通过标准化程序，对20202023年共计146 180名考生根据其校内评核成绩进行文凭试等级预测；并采用问卷调查法，基于各参与学校组织架构、教师的工作经验、公开考试阅卷经验及专业发展活动等，运用多层线性模型探讨学校属性与校内评核的关系。结果显示：中文、英文、数学、通识教育4门核心科目等级预测结果具有较高的准确度，其中英文预测结果最佳，其余3科预测结果类似；选修科目则因每年选考人数少导致文凭试成绩变化大，进而影响预测结果；多层线性模型分析显示，不同学校属性对于不同科目的校内评核具有不同的预测效果。关键词：香港中学文凭考试；等级预测；校内评核；标准参照测验【中图分类号】G405【文献标识码】A【文章编号】1005-8427（2024）02-0033-8DOI:10.19360/ki.11-3303/g4.2024.02.005现行香港中学文凭考试（Hong Kong Diplomaof Secondary Education Examination，HKDSE，以下简称文凭试）为新学制下，学生在完成六年中学课程后所参加的大学入学考试。首届文凭试于2012年举行，香港考试及评核局（Hong Kong Examinations and Authority，以下简称考评局）自2013年起开始对文凭试进行预测研究。该研究旨在通过校内评核分数预测广大考生文凭试成绩等级，协助教师了解学生未来公开考试的可能表现，从而因材施教，并优化校内评核的设计。20132019年，该预测研究仅限于文凭试核心科目，包括中文、英文、数学、通识教育4门。为更全面地研究学生在校表现与文凭试考试结果的关系，自2020年起，考评局将此预测研究延伸至 24门甲类科目，包括4门核心科目及20门选修科目。一、文凭试科目概况中国香港于2009年9月起推行新学制，包括三年高中及四年大学课程的教育改革。文凭试因应这一改革，于2012年开始实施，为六年制中学的毕业考试，以取代旧学制的香港中学会考（Hong Kong Certificate of Education Examination）及香港高级程度会考（Hong Kong Advanced LevelExamination），由考评局组织实施公开考试。除此之外，文凭试也是广为国际认可的大学入学资质证明。文凭试科目分为甲类、乙类、丙类三类。甲类科目为24门高中科目，包含4门核心科目（中文、英文、数学、通识教育）及20门选修科目（中国文学、英语文学、中国历史、经济、伦理与宗教、地Journal of China Examinations2024年第2期No.2,20242024年第2期理、历史、旅游与款待、生物、化学、物理、科学、企业、会计与财务概论、设计与应用科技、健康管理与社会关怀、资讯及通讯科技、科技与生活、音乐、视觉艺术及体育）。所有甲类科目的评核由考评局负责，依据同一套共通能力等级描述（general descriptors），为各科制定等级描述（level descriptors），将考生表现以5个等级（15级）报告于文凭试成绩证书。文凭试各科等级描述及考生表现的范例，可参阅考评局网站的“香港中学文凭考试评级程序与水平参照成绩汇报”1。其中，在最高等级考生中，成绩最优异的可获评为 5*级，成绩次佳的可获评为5*级，表现低于第一级的“不予评级”，其结果不会报告于文凭试成绩证书。乙类科目为应用学习类科目（applied learning subjects），其评核由提供相关课程的机构负责，考生评核成绩须由考评局审定后汇报于文凭试证书。丙类科目包含法语、德语、印地语、日语、西班牙语、乌尔都语6门，采用剑桥大学国际考评部（Cambridge Assessment International Education）的高级补充程度试卷（Advanced Subsidiary Level），阅卷及成绩评级同由剑桥大学国际考评部处理。文凭试24门甲类科目的最终成绩为文凭试考试分数与校本评核（school-based assessment，SBA）的合成，且每一年度各科在此两部分的组合比例有所不同。文凭试最终成绩汇报采用标准参照（standards-referenced）方式，经由专家小组评级会议、考评局内部会议及公开考试委员会会议等程序确定最终评核结果。针对 4门核心科目，考评局采用一套结合专家判断和统计分析的方法，设定各科每个等级的临界分数（cut score），并据此给予每名考生在4门核心科目的等级；选修科目部分则采用“组别能力指数”（group abilityindex）作为评级的参考。二、等级预测研究在每一学年文凭试预测研究中，考评局根据学校所提交应届考生的校内24科目评估分数，参考学校过去的文凭试成绩预测，各学校考生在此24科目的文凭试等级。采用R-4.2.3软件进行预测分析。（一）研究样本本 研 究 样 本 来 自 2020 年 377 所 学 校36 913 名考生、2021 年 375 所学校 34 743 名考生、2022 年 417 所学校 38 127 名考生、2023 年319 所学校 36 397 名考生的校内评核资料。为有效区分学生表现，学校提交的评核分数介于0.0100.0，校内评核主要采用中学六年级模拟考试数据。（二）研究方法预测研究的方法涵盖标准化处理（standardization）、分数预测（mark prediction）、等级预测（level prediction）三个步骤。以 2020 年为例，对每一步骤进行说明。1.标准化处理首先，将各学校所提交的评核分数（schoolmark）标准化，转换至以文凭试为基准量尺的标准化分数，步骤如下：第一步，将20122019年所有学生的文凭试分数转换至以0.0100.0分为量尺的文凭试量尺分数（scaled score），作为文凭试量尺基准。第二步，计算20122019年各年文凭试量尺分数的平均分数及标准偏差。第三步，计算20122019年总的文凭试量尺分数的平均分数及标准偏差。第四步，将上述步骤代入公式（1），计算20122019年各年文凭试量尺分数的标准化分数（standardized score）。34其中，M8-year及SD8-year分别表示8年总的文凭试量尺分数的平均分数及标准偏差，M1-yearl及SD1-year分别表示各年度文凭试量尺分数的平均分数及标准偏差。第五步，计算各校2020年所提交评核分数的平均分数和标准偏差，以及8年总的文凭试标准化分数的平均分数和标准偏差。2.分数预测将上述第五步所计算出的各校文凭试量尺分数的统计指标，代入公式（2），基于各校2020年所提交的校内评核分数预测每一位考生的文凭试分数（proxy mark）。其中，M8-year-school及SD8-year-school分别表示各校在8年总的文凭试量尺分数的平均分数及标准偏差，M1-year-school及 SD1-year-school分别表示 2020年度各校所提交评核分数的平均分数及标准偏差。由于文凭试最终成绩由文凭试考试分数与校本评核依据不同加权比重合成，各科最终的预测分数由公式（2）的预测文凭试分数按权重加上2020年校本评核分数。例如，中文科文凭试分数占比为76%，校本评核分数占比为24%；而数学科则不参考校本评核分数，最终成绩即为文凭试分数。受疫情影响，学校授课时间大为减少，因此20212023年的文凭试，不但校本评核科目有所减少，比重也有所降低。例如，中文科20212023年文凭试分数占比提升至90%，校本评核分数降低至10%。20202023 年各科目文凭试和校本评核分数权重参见考评局官方网站 www.hkeaa.edu.hk。开展2021年、2022年、2023年研究时，8年文凭试量尺分数对应增加为9年（20122020年）、10年（20122021年）及11年（20122022年）。3.等级预测将20122019年文凭试各等级百分比分别加权后，再以各等级加权后平均值作为2020年预测的等级临界分数线。依据此预测等级临界分数线，计算每一位考生文凭试预测分数相对应的预测等级（predicted level）。（三）评估指标本研究预测准确度的评估指标为各考生的预测等级与其文凭试实际等级之间的差距。（四）研究结果表 1呈现 20202023年文凭试核心科目预测等级结果。可以看到，四年中4门核心科目预测结果比较一致，其中，英文科的预测结果为最佳，每一年都有约70%考生预测等级与其文凭试实际等级相同，并且约99%的考生预测等级与其文凭试实际等级差距在一个等级范围之内。中文、数学及通识教育则每一年都有超过50%考生的预测等级与文凭试实际等级相同，有超过93%的考生预测等级与其文凭试实际等级差距在一个等级范围之内。在选修科目预测结果上，每年约有31%至65%的考生预测等级与其文凭试实际等级相同，超过75%考生预测结果与其文凭试等级相差在一个等级以内。由于部分选修科目的考生数量较少，过去的考生表现也比较波动，预测的准确性受到一定影响。比较特别的是视觉艺术科，它的校本评核成绩占总分50%之多，需要预测的考试分数只占总分的50%，结果预测等级与文凭试实际等级相同的百分比在60%以上，比其他选修科高。总体来说，有校本评核成绩的科目，预测的准确性一般较高。SD1-year-schoolschool mark-M1-year-schoolSD8-year-schoolM8-year-school+proxy mark=（2）M8-yearSD1-yearscaled score-M1-yearSD8-yearstandardized score=（1）+许嘉凌 等：香港中学文凭考试等级预测研究352024年第2期三、多层线性模型分析针对2023年参与文凭试预测研究的学校进行问卷调查，包括教师工作经验、参与公开考试阅卷经验、参加教师职业培训活动、采用文凭试等级描述设计校内评核及向学生提供反馈、预估学生文凭试成绩的经验，题目包括“过去5年，负责本学科的老师曾参与过多少次公开考试评卷工作?”“过去5年，本学科的老师有没有为学生预估过DSE成绩?”等。本研究使用的数据具有层级性，学生属于个体层级（层1），学校属于组织层级（层2），构成一个二层级模型。采用R-4.2.3软件的lme4软件进行二层级线性回归模型分析。（一）研究样本样本来自2023年319所参加文凭试预测研究的215所学校教师问卷资料及18 632名考生文凭试预测资料。（二）研究方法为有效估计多层线性模型分析的高层级（学校层级）效果，纳入分析的科目需要满足以下标科目中文英文数学通识教育微积分与统计*代数与微积分组合科学化学*组合科学物理*组合科学生物*组合科学*综合科学*资讯及通讯科技视觉艺术中国文学*英语文学*健康管理与社会关怀*设计与应用科技*食品科学与科技*服装、成衣与纺织*会计商业管理中国历史经济伦理与宗教*地理历史旅游与款待音乐*体育*预测等级与文凭试实际等级相同的百分比/%2020年56.270.654.353.930.735.148.141.447.351.949.252.563.539.447.848.964.550.758.349.348.841.844.847.240.342.544.843.647.62021年50.871.058.453.834.340.144.141.545.748.937.349.163.636.737.545.949.750.545.853.351.343.848.145.643.341.344.336.551.02022年50.070.256.249.733.039.348.033.038.050.238.245.562.336.938.244.247.943.138.549.451.941.646.645.141.443.142.436.547.92023年51.570.860.049.931.739.851.448.750.658.423.547.862.735.034.648.554.656.321.450.048.742.048.645.643.242.745.435.451.2预测等级与文凭试实际等级差距在一个等级范围之内的百分比/%2020年96.299.295.796.075.381.092.488.293.093.487.395.097.788.590.994.197.295.883.392.393.987.790.291.086.988.589.882.091.32021年93.599.297.395.480.887.289.979.386.091.488.093.597.383.283.391.892.087.887.495.194.389.293.290.488.887.189.883.595.62022年93.699.096.693.579.185.993.587.880.693.686.792.297.483.786.188.892.892.680.893.292.388.091.290.787.788.688.280.890.42023年94.299.197.793.478.186.294.494.394.592.276.591.897.581.583.391.295.892.778.693.795.089.693.390.689.788.089.281.392.9注：*为考生人数较少的科目。表1 20202023年各科目考生分数预测结果36准，即该科目回收的教师问卷所来源学校的数量必须超过50所2，据此筛选出中文、英文、数学、通识教育、中国历史、经济、地理、历史、生物、化学、物理、会计与财务概论、资讯及通讯科技、视觉艺术14个科目。此14个科目皆采用相同的10个预测变量（表2）进行11组二层级模型，因变量为学生文凭试的预测分数（如等级预测研究中的步骤二）与真实分数的差异。11组二层级模型的层1皆如公式（3），层2则依序加入表2所列自变量。Yij=0j+eij（3）其中，模型1为零模型（null model），公式（4）是层2模型中不设自变量的模型。模型 211则为层2依序加入表2自变量。例如：模型2是代入公式（5），在层2加入“学校位置”为自变量；模型11则是代入公式（6），层2加入“学校位置、学校类型、男/女/男女校、样本数、数据百分比、工作经验、公开考试阅卷经验、专业发展活动、等级描述经验、预估文凭试经验”为自变量。0j=00+u0j（4）0j=00+1X1+u0j（5）0j=00+1X1+2X2+3X3+4X4+5X5+6X6+7X7+8X8+9X9+10X10+u0j（6）其中，对于层1模型，Yij表示第j个学校第i个学生因变量的观察值（学生文凭试的预测分数与真实分数的差异），0j表示第j个学校对校内评核回归直线的截距，eij表示第j个学校第i个学生的测量误差。对于层2模型，00，j（j=1,2,10）分别表示截距0j对于学校变量Xj（j=1,2,10，如学校位置、学校类型）的回归直线的截距和斜率，u0j表示由第j个学校的学校变量带来的截距上的误差。将公式（4）、（5）、（6）代入公式（3）可得模型1、2、11合并的模型为：Yij=00+u0j+eij（7）Yij=00+1X1+u0j+eij（8）Yij=00+1X1+2X2+3X3+4X4+5X5+6X6+7X7+8X8+9X9+10X10+u0j+eij（9）（三）评估指标为验证二层级模型的拟合效果，首先，利用AIC3、BIC4、Log Likelihood及似然比检验等统计量指标依序对模型211与模型1的拟合优度进行比较。然后，对前一步骤所得与模型1显著不同的模型进行似然比检验。（四）研究结果结果如表3所示，有10个科目找出拟合效果自变量学校位置学校类型男/女/男女校样本数数据百分比工作经验公开考试阅卷经验专业发展活动等级描述经验预估文凭试经验类别/数值香港岛/1九龙/2新界/3资助学校/1按位津贴学校/2直接资助学校/3官立学校/4惩教机构/5男校/1女校/2男女校/31186010015 年/1610年/2 10年/30 次/112 次/234 次/3 5 次/40 次/112 次/234 次/3 5 次/4从未使用过/1曾尝试过/2在情况许可下，会做/3经常会做/4从未预估过/1曾尝试过/2在情况许可下，会做/3每一年都会做/4表2 二层级模型自变量情况注：样本数为参加等级预测研究的学生人数，数据百分比为校内评核采用中学六年级模拟考试数据的百分比，等级描述经验为采用文凭试等级描述在校内评核设计及向学生提供反馈，预估文凭试经验为预估学生文凭试成绩的经验。许嘉凌 等：香港中学文凭考试等级预测研究372024年第2期自变量学校位置：九龙学校位置：新界学校类型：按位津贴学校学校类型：直接资助学校学校类型：官立学校学校类型：惩教机构男/女/男女校：女校男/女/男女校：男女校样本数数据百分比工作经验：610年工作经验：10年公开考试阅卷经验：12 次公开考试阅卷经验：34 次公开考试阅卷经验：5 次专业发展活动：12 次专业发展活动：34 次专业发展活动：5 次等级描述经验：尝试过等级描述经验：在情况许可下，会做等级描述经验：经常会做预估文凭试经验：尝试过预估文凭试经验：在情况许可下，会做预估文凭试经验：每一年都会做模型回归系数经济-0.85（2.28）-2.61（2.25）6.20（7.80）-0.84（2.54）2.19（2.41）39.83（11.42）英文1.47（0.77）0.82（0.76）-2.51（2.74）-0.96（0.82）1.14（0.8）21.82（5.58）1.28（1.25）2.08（0.93）0.02（0.01）数学-1.24（0.98）-1.49（0.94）3.50（3.56）-0.08（0.96）0.04（1.05）26.65（7.53）3.72（1.84）1.84（1.37）0.04（0.01）通识教育-0.41（0.61）-0.01（0.61）0.07（1.60）-0.61（0.79）0.51（0.69）21.11（6.44）1.31（0.98）-0.11（0.72）0.03（0.01）地理-0.13（1.45）-1.46（1.49）-2.27（3.32）2.09（1.39）0.35（1.51）5.12（2.09）4.26（1.70）0.12（0.06）视觉艺术1.24（0.91）-0.24（0.96）0.90（1.51）-0.19（0.88）0.14（0.87）-0.77（1.19）-0.65（1.02）0.22（0.07）-0.01（0.01）1.33（0.86）0.79（0.72）0.26（0.69）-2.38（0.81）-1.82（0.69）中文-0.25（0.46）-0.55（0.43）-0.45（1.3）0.11（0.47）-0.07（0.43）7.28（4.67）-0.85（0.67）-0.22（0.48）0.01（0.01）0.01（0.01）0.33（0.75）0.78（0.73）-0.72（0.68）-0.95（0.71）-0.88（0.68）-1.37（0.62）-0.32（0.47）6.44（1.96）5.50（1.96）6.04（1.93）会计与财务概论-3.90（2.17）-7.00（2.41）17.03（6.22）1.67（2.21）0.90（2.11）0.89（3.27）7.29（2.5）-0.01（0.07）0.06（0.04）2.06（3.01）8.35（2.50）-0.51（1.90）-4.77（2.37）-2.37（1.82）-3.34（3.93）1.17（3.98）0.53（3.87）6.5（2.32）3.78（2.27）2.08（2.12）资讯及通讯科技-0.49（2.61）-3.19（2.49）0.88（5.86）-5.51（2.92）-2.05（2.12）3.88（4.15）3.93（2.78）0.31（0.16）-0.05（0.04）1.30（3.06）1.16（2.26）0.57（1.94）-3.14（3.12）0.33（1.99）-7.62（6.33）-3.21（5.98）-7.53（5.89）-17.17（3.63）-17.26（3.68）-14.28（3.57）化学-7.30（2.04）-2.75（1.83）6.85（6.86）3.74（1.68）0.51（1.91）-1.41（3.31）1.43（2.8）-0.03（0.04）-0.09（0.03）5.44（2.37）8.12（2.17）-0.30（1.74）3.09（2.30）-2.75（1.71）-4.45（6.50）2.02（6.59）-1.45（6.33）-5.20（2.14）-1.79（2.19）-3.59（2.20）10.4（3.55）7.39（3.43）2.68（3.03）表 3 多层线性模型分析结果注：括号内数值为回归系数误差。38最好的二层级模型，分别为：经济科是模型3，英文科、数学科、通识教育科、地理科是模型5，视觉艺术科是模型8，中文科、会计与财务概论科、资讯及通讯科技科是模型10，化学科是模型11。可以发现，不同学校层级的自变量对于不同科目校内评核的预测效果不同，且相同二层级模型对于不同科目的预测效果也不同。例如，对于经济科，参加学校的位置与类型对学生文凭试的预测分数与真实分数的差异具有预测效果，其中：对比于在香港岛的学校，九龙与新界学校的校内评核易低估学生在文凭试的表现；而相比于资助学校，按位津贴学校、官立学校、惩教机构容易高估学生表现，直接资助学校则易低估学生表现。10个学校层面自变量对于化学科均有预测效果。按位津贴学校、直接资助学校或官立学校，或者具有较长工作经验、较多公开考试阅卷经验或较少预估文凭试经验的教师容易高估学生表现。某些自变量所具有的学校个数资料量过少，造成所估计回归模型系数误差过大，也会影响整体模型解释，如惩教机构学校个数较少，其回归系数误差皆较大。四、结论与讨论20202023年香港文凭试各科等级预测结果显示，4科核心科目的预测结果具有较高的准确性，其中，英文科预测结果最佳。选修科目的预测结果则每年略有不同，其原因可能为，每年选修人数少造成文凭试考试结果变化较大，加上不少科目在 2021年和 2023年取消了校本评核，进而影响每一年的预测结果，并影响到以过往文凭试成绩作为历史参照标准化考生评核成绩的结果，因此预测结果变异较大。2023年采用问卷调查法，多层线性模型分析显示，不同学校结构对于不同科目的校内评核具有不同预测效果。未来可收集考生在校其他评核成绩与模考成绩结合、增加学校层调查问卷样本数或问卷题目，以找出影响校内评核因素，并进一步提高预测准确度，进而为学校提供更多实用的反馈，提升校内评估的信度与效度。参考文献1 香港考试及评核局.香港中学文凭考试评级程序与水 平 参 照 成 绩 汇 报 EB/OL.2023-03-03.https:/www.hkeaa.edu.hk/DocLibrary/Media/Leaflets/HKDSE_SRR_A4booklet_Mar2018.pdf.2 MAAS C J M,HOX J J.Sufficient sample sizes for multilevel modelingJ.Methodology:European Journal of Research Methods for the Behavioral and Social Sciences,2005,1（3）:86-92.3 AKAIKE H.Factor analysis and AICJ.Psychometrika,1987,52（1）:317-332.4 SCHWARZ G.Estimating the dimension of a modelJ.Annals of Statistics,1978,6（1）:461-464.Predicted Level Study of the Hong Kong Diploma ofSecondary Education ExaminationHSU Chia-Ling,SIU Wai-lok,XI Xiaoming（Hong Kong Examinations and Assessment Authority,Hong Kong 999077,China）Abstract:To investigate the prediction results of the Hong Kong Diploma of Secondary EducationExamination（HKDSE）grades,a standardization procedure was carried out with reference to the historicalHKDSE results,based on school internal examination data to predict a total of 146,180 candidates 2020（下转第101页）许嘉凌 等：香港中学文凭考试等级预测研究39of official school teachers had to be in line with the unified standard of civil officials and the professionalrequirements,which promoted the professional development of teachers in the Qing Dynasty to a certainextent.Secondly,due to the influence of the imperial examination system on promotions,most teachers soughtadvancement outside of teaching positions.Consequently,limited opportunities for promotion hindered long-term development within the teaching profession.Thirdly,the promotion system of official school teachers wasunfair and lagging,indirectly undermining teachers enthusiasm for career development.Lastly,the officialschool teachers appraisal and promotion system in the Qing Dynasty lacked sufficient independence andextensibility,which was why the career development channels were not smooth.The assessment and promotionsystem of official school teachers in the Qing Dynasty holds significant implications for contemporary teacherassessment.Keywords:imperial examination system;teacher assessment;civil service promotion;teacher careerdevelopment2023 HKDSE results.Additionally multilevel modeling analysis was used to explore the relationship betweenthe attributes of each participating school and the school internal examination data using a survey in 2023,including the organizational structure of participating schools,the work experience of teachers,the experienceof marking public exams,and the professional development activities.The results showed that the predictedgrades of the four core subjects,Chinese language,English language,mathematics compulsory part and liberalstudies,had higher accuracy of predicted levels than the elective subjects.Among the four core subjects,English Language displayed the best prediction accuracy,while the others yielded similar results.The electivesubjects had lower prediction accuracy primarily due to fewer enrollments in schools every year,whichresulted in variances in the schools HKDSE results.Multilevel modeling analysis showed that different schoolattributes have different predictive effects on school internal examination of different subjects.Keywords:Hong Kong Diploma of Secondary Education Examination（HKDSE）;level prediction;schoolinternal examination;standards-referenced test（上接第39页）程春玉 等：科举制下清代官学教师考核与升迁制度研究（实习编辑：刘昊林）（责任编辑：徐奉先）101