香港地区中学文凭考试诊断反馈系统的开发及改进.pdf

收稿日期：作者简介：2023-10-12禤美瑶，女，香港考试及评核局评核科技及研究部高级主任；萧伟乐，男，香港考试及评核局评核科技及研究部主管；周钜宽，男，香港考试及评核局评核科技及研究部经理；杨汉基，男，香港考试及评核局评核科技及研究部高级主任；席小明，女，香港考试及评核局考试、评核及研究部总监（通信作者）。禤美瑶萧伟乐周钜宽杨汉基席小明（香港考试及评核局，香港 999077）香港中学文凭考试诊断反馈系统的开发及改进摘要：为进一步推动“评核促进学习”，香港考试及评核局以历年香港中学文凭考试（HKDSE）的评核数据为基础开发了HKDSE诊断反馈系统。目前，该系统结合HKDSE 6个科目选择题的试题库，对学生学习表现数据加以分析并建立统计模型，为教师与学生提供诊断性反馈报告，突出学生在不同能力或范畴的不足与强项。来自14所学校的约2 200名学生及教师试用了该系统，通过问卷调查和访谈法，收集意见建议，以改进系统设计。系统改良版在“数据主导评核提升计划”中正式推出，辅之以学科教师培训，以帮助学校提升评核质量。关键词：香港中学文凭考试；诊断反馈；评核促进学习；个性化学习【中图分类号】G405【文献标识码】A【文章编号】1005-8427（2024）02-0040-7DOI:10.19360/ki.11-3303/g4.2024.02.006香港考试及评核局（以下简称考评局）一直致力于在学校推进“评核促进学习”，其主要目的是提供实用的评核反馈，以促进学习和教学。在资讯科技应用于评核服务的趋势推动下，考评局自2019年起研发香港中学文凭考试（Hong KongDiplomaofSecondaryEducationExamination，HKDSE，以下简称文凭试）诊断反馈系统（Diagnostic Feedback System,DFS）1，针对过往的文凭试选择题进行诊断反馈并形成报告，旨在更好地实践“评核促进学习”理念。考评局与香港教育城合作，在已有的网上试题学习平台上增加DFS独有的版面和功能，学生只需完成几个简单步骤，在线上完成试卷，便可收到诊断报告，获得全面反馈。同时，教师也能获得详细的题目分析报告，以便对教学和评核策略作出调整。在两轮学校先导计划后，考评局于2022年正式推出“数据主导评核提升计划”，为中学提供DFS和教师培训，提升学校的评核工作水平。一、文凭试DFS概述在中国香港，学生完成3年全日制高中课程后，可参加文凭试，成绩符合要求的考生将获发香港中学文凭证书。一般而言，文凭试考生会报考4个核心科目，以及23个选修科目。评级由考评局负责，各个科目参照一套明确而固定的标准，汇报考生表现对应的等级。为确保成绩报告Journal of China Examinations2024年第2期No.2,2024的方式符合国际标准、透明度高且清晰明确，文凭试甲类科目（共有24科，其中4科为核心科目，其余20科为选修科目）采用标准参照方式报告成绩。考生在甲类科目的表现以5个等级（15级）汇报，第5级为最高。在第5级考生中，成绩最优异的可获评为5*级，成绩次佳的可获评为5*级，其余的则评为5级。考生表现低于第1级的标示为“不予评级”。文凭试开始于2012年，至今已开展10余年，仅多项选择题一类，每科累积题目数以百计，可提供丰富的评核和学习资源。考评局收集历年考生的作答数据及考试成绩，利用统计和心理测量技术，可以准确评估学生在特定内容或认知领域的能力水平。为更有效地利用以上数据，提升教师教学水平，同时为学生提供诊断性的反馈，有必要建立高效的评核平台，即文凭试DFS。截至 2023 年，反馈资讯涵盖 20122021 年文凭试6个科目（数学、化学、物理、生物、经济，以及企业、会计与财务概论）共约2 000道题目。考评局把过去文凭试的评核数据加以分析并建立统计模型（如题目反应理论模型），提供每道题目的难度属性，并参考历届考试成绩数据评估考生的表现级别（A至D级）。为提供更丰富的资讯，考评局邀请相关学科专家，结合教师和学生的需求，提供学习平台设计方面的专业建议和对试题的分析，并进一步撰写反馈意见。作为线上学习平台，相比纸本文凭试历届试题或坊间的补充练习，DFS能提供更多即时的评核资讯，供教师和学生参考。由于香港学校的师生熟悉香港教育城（香港规模最大的一站式专业教育网站）为网上试题学习平台（online questionbank,OQB）开发的多项选择题试题库，考评局与香港教育城合作，把DFS融入OQB，使用者不需要额外学习不同系统的操作。学习平台收到学生的答案之后，会处理作答数据，借助测量模型，分析学生的表现，评估学生在每个知识领域的能力高低，从而得出评核报告。教师可选择以不同的方式（年份/内容领域/认知领域/题目难度/随机）运用文凭试的试题库来组合适合的试卷，分派给指定学生进行评核。学生直接在平台作答试卷，系统可以即时分析他们的表现。提交答卷后，DFS分别向学生与教师提供反馈报告。学生报告展示其整体表现，重点列出学生在不同能力或范畴的强项及弱点，并显示答错题目的重点考核知识、提示与答案。教师报告提供所有学生的表现概要、分数与分析，以及各题目的考核知识与答案，还可以根据需要检视个别学生的报告。二、DFS诊断报告内容DFS 诊断报告包括学生诊断报告和教师报告。（一）学生诊断报告学生诊断报告包括以下四个部分。1.估算级别DFS会根据题目反应理论模型和评核结果预测学生的综合能力水平，并提出估算级别，共A、B、C、D四级，大致对应文凭试中第5级（或以上）、4 级、3 级和 2 级（或以下）。完成线上评核后，学生会立即获得有关其能力水平的客观反馈，还可以追踪自己以往在平台上的成绩，反思自身的学习进度，并尝试设立更高的学习目标。图1展示了估算级别的报告页面。估算级别以仪表盘的形式展示，若学生曾提交过相同科目的测验评估，过往的估算级别也会显示。页面右边呈现各个级别的描述，并突出显示本次评估获得的级别。2.不同内容领域和认知领域的表现文凭试题目涉及各科目中不同的内容和认知领域，其中，认知领域仅适用于某些科目。例禤美瑶 等：香港中学文凭考试诊断反馈系统的开发及改进412024年第2期如，在数学科（必修部分）中，其内容领域包括数与代数、度量、图形与空间、数据处理等，其认知领域包括有关数学表达形式的能力、将情景数学化的能力和设定解题策略的能力；化学科的题目则仅分析其内容领域，包括金属、酸和盐基、碳的化学、物理化学原理等。在学生完成一组文凭试题目后，系统会制作一份学生在不同领域表现的诊断报告。在不同方面对学生能力进行分类，可以辅助学生精准分析自己的优势和不足，还可以针对特定模块的题目作复习或进一步练习。报告用雷达图显示学生能力高低，同时比较文凭试考生的平均成绩，学生在群体中所处的位置一目了然，更容易帮助其掌握自己的学习情况。图2展示了某学生经济科学中弱点与强项的报告页面，其中，学生能力和文凭试考生的平均能力分别以不同颜色的多边形显示在同一雷达图中。3.错答的试题及作答表现DFS会根据学生的能力和题目难度，识别学生应该能够解答的题目。对于本可以正确回答的问题，学生可能在初次尝试时过于仓促而导致非知识性失分，在这种情况下应该鼓励学生再次作答，以更审慎的态度和更透彻的思考来避免类似的错误。如图3所示，未能得分的题目用不同颜色分类，红色是漏答的题目（图3中第45题），黑色是错答的题目（图3中第16、37题）。错答题目中蓝色表示“可避免错误”的题目（图 3 中第9题），绿色表示“建议再尝试”的题目。根据测量图1 估算级别报告示例图2 某学生经济科学弱点与强项诊断报告42图3 试卷审视报告截图模型可知，“可避免错误”为学生能力以内的试题，学生答对机会超过八成；“建议再尝试”题目则稍微超出学生的能力，学生答对机会近五成。4.题目的主要知识点或提示DFS还提供反馈来辅助学生解答题目，旨在让学生通过自学和重做题目来得出正确答案，收获试题背后更具价值的知识和技巧。图3展示了其中一道错答试题的主要知识点或提示。学科专家经过分析，将历届考试题目归纳为不同的内容或认知领域，为每一道题目编写知识点和提示，而非直接提供答案。这是因为坊间许多题解或工具书已经就文凭试的题目给出过参考答案，并有不同角度的拆解和分析，仅呈现答案没有意义。相反，在学生答错题目时以更加含蓄的方式给予线索和提示，帮助其思考并厘清关键概念，有助于学生形成解题思路，再次作答时准确率更高。学科专家审视每一道题目时，主要根据题目内容、正确率、难易程度、常见错误以及当年考生实际答案的分布，针对每道题目的特性编写最适切的主要知识点及提示，作为诊断性反馈。为使提示更易于理解并涵盖更详细的解释，知识点或提示以分层形式显示，越具体的解释层次越高，学生可以根据自己的需要选择不同层次的提示。这种设计能逐步引导学生思考，帮助学生校正误区，减少对教师的依赖，同时也能减轻教师的教学负担。（二）教师报告DFS教师报告包括四个部分。首先，教师报告总结所有学生提交的试卷在各个方面的表现。如图4所示，教师摘要报告会显示所有学生的成绩，包括估算级别统计和在不同范畴的平均表现，试题对应年份文凭试考生的平均表现也会提禤美瑶 等：香港中学文凭考试诊断反馈系统的开发及改进432024年第2期图4 摘要报告截图图5 学生与题目分析报告截图供作比较。其次，教师可查看个别学生的报告，以更深入地分析学生表现，为不同能力的学生分配不同的评核试卷。再次，题目分析部分总结学生试卷中每道题目的表现，如图5所示，以表格形式列出所有学生的成绩细节。最后，报告显示试卷中每道题目的详细属性，包括题目分类、题目难度、提示、主要知识点和正确答案。此外，试题分析以表格形式列出评估中所有题目的资料及所属范畴，这些分析报告方便教师查阅数据，并进行排序、搜寻和筛选等操作。44三、DFS使用效果检验考评局于2021年初推出首轮学校先导计划，来自8所学校约1 000名教师和学生试用了DFS系统。在首轮学校先导计划后，考评局于2022年再次邀请来自6所学校约1 200名教师和学生试用了6个科目的新版本系统。在先导计划中，教师制作模拟试卷，供学生在线上进行现场考试或课后练习，教师可以查看DFS分析学生表现而生成的诊断报告。随后，考评局通过线上问卷收集师生反馈，并以学校为单位开展访谈，收集使用者的意见和建议。整体而言，参测学校认为DFS所提供的有关学生表现的估算和个别题目的反馈有一定价值，并对版面设计提出改进建议，以便利用数据跟进学生学习需要。参考教师与学生的意见，考评局重新设计和调整系统，更新了各项功能。考评局在先导计划中收到教师的反馈，认为文凭试的题目十分适合用来评估学生的学习表现。然而文凭试题目有限，不足以满足日常教学和评估的需要，因此一线教师往往需要参考坊间教科书的题目，但可能在选择契合学生能力的题目方面面临一定困难。因此，考评局推出“数据主导评核提升计划”，为中学提供DFS及评核质量保证平台（Assessment Quality-assurance Platform，AQP）服务2，配合拟题培训支援学校教师，提升学校整体的评核工作水平。AQP是由考评局开发的另一套自动化网上系统，利用现代评核科技分析测试题，以保证题目的质量。AQP 于2015 年推出，目前有超过 100 所学校使用该平台。“数据主导评核提升计划”训练教师使用AQP分析测试数据，以了解不同学生的学习需要，并辨别存在缺陷的题目，以便改善日后的评核设计。2022学年，共有 24所学校参加了为期两年的“数据主导评核提升计划”。考评局为参与计划的学校提供拟题培训，涵盖数学、化学、物理和生物4个科目，由曾参与文凭试拟题的专家担任导师，模拟编制校内测验卷的过程，依托实际经验学习开发考试及评核题目的原则和方法。培训在Moodle学习平台上设置学习单元，涵盖多个与评核工作相关的专题，如教育评估概念、文凭试诊断反馈系统及评核质量保证平台、试卷设计考虑、诊断反馈选择题等。每个单元包含添加语音讲解的 PPT 及线上测验，大约需要一小时完成。除有关拟题技巧和理论的线上课程外，培训还包含面授课程。4个不同学科的教师在学科专家的指导下模拟出卷和修改题目的过程，并学习如何编写提供给学生的反馈。整个培训的设计针对教师的实际工作需要，帮助其设计高质量的评估以及编写信效度高的题目，进一步希望教师完成课程后能够担当专家的角色，把所学的方法在科组中实践，使学校更多同事获益。在培训中，教师也可以和学科专家进行互动交流，并与其他学校的学员互相分享讨论。一位参与培训项目的教师这样分享他的见解：参加这个培训后，我了解到DFS能协助学校评估学生的能力，让教师据此针对性地作出教学部署；而学生也可通过DFS系统，知道自己在哪一范畴中表现出色，哪一范畴中表现稍逊，继而自主地制订学习计划。例如，我们以DFS系统内的内容领域，为高中学生设计一个两阶段的学习流程。在学生完成一份试卷后，我会利用AQP系统分析数据，找出学习难点并加以澄清。之后发放第二份同类试卷，让同学再尝试一次。在学生经历过第一次评估，并厘清自己的问题后，我相信第二次测试的成绩必有进展。这样一来，学生的自信心会提升，学识也会丰富起来。另外，对于能力已超越该范畴的学生，在第一次评估后，可将时间投放在另一范畴上，实现因材施教的效果。禤美瑶 等：香港中学文凭考试诊断反馈系统的开发及改进452024年第2期四、结束语总体而言，考评局希望通过DFS系统配合评核设计和拟题培训，提高教师的评核素养水平，优化学生的学习效果，强化学校利用促进学习的评核和数据主导的决策。教师能够获得诊断反馈和报告，深入了解学生的优势与劣势，并相应地调整教学。此外，将诊断分析纳入日常运作，还有助于提升教师评核设计和题目编写能力。DFS除了现有的6个文凭试科目外，计划于2024年再加入4个科目，包括旅游与款待、地理、体育、资讯及通讯科技；每年也会更新试题库，以覆盖更多文凭试题目，从而通过DFS系统向师生提供更丰富的评核资讯。最后，考评局的相关工作呼应了张厚粲先生提出的“考试不仅仅具有选拔功能，更重要的是可以为学生、教师和家长提供改进学习的反馈信息”3。DFS不仅仅是利用统计和心理测量等技术来预测学习成绩，更是关注学生的发展。DFS的诊断性反馈和报告正是把复杂的内容及技能解构，归纳重要范畴和能力，并根据常见的错误或异常作答表现给予反馈，通过不仅指出错答试题的数量，也指出可能存在的误解及错误的根源，来提高学生的学习效果。参考文献1 香港考试与评核局.香港中学文凭考试（文凭试）诊断回馈系统（DFS）EB/OL.2023-09-01.https:/sc.hkeaa.edu.hk/TuniS/www.hkeaa.edu.hk/tc/our_services/assessment_literacy/dfs/.2 香港考试与评核局.评核质量保证平台（AQP）EB/OL.2023-09-01.https:/sc.hkeaa.edu.hk/TuniS/www.hkeaa.edu.hk/tc/our_services/assessment_literacy/aqp/.3 张厚粲.教育测量学:高考科学化的技术保障J.中国考试,2017（8）:4-7.Developing and Enhancing the Hong Kong Diploma ofSecondary Education Examination Diagnostic Feedback SystemHUEN Mei-yiu,SIU Wai-lok,CHOW Kui-foon,YEUNG Hon-kei,XI Xiaoming（Hong Kong Examinations and Assessment Authority,Hong Kong 999077,China）Abstract:To enhance the promotion of assessment for learning,the Hong Kong Examinations andAssessment Authority has developed Diagnostic Feedback System（DFS）for the Hong Kong Diploma ofSecondary Education Examination（HKDSE）.The DFS is based on the assessment data of previous HKDSEexaminations.Currently,this system integrates the multiple-choice question banks of six HKDSE subjects toanalyze learners performance data and build statistical models to provide students and teachers withdiagnostic feedback reports,highlighting students the strengths and weaknesses with respect to differentdomains or skill sets.In a pilot scheme,approximately 2,200 students and their teachers from 14 schoolstested the DFS,while surveys and interviews were conducted to collect suggestions for improving its design.The improved version of the system has been launched in a data-driven assessment enhancementprogramme with subject-based teacher training to help schools enhance the quality of their assessment.Keywords:Hong Kong Diploma of Secondary Education Examination（HKDSE）;diagnostic feedback;assessment for learning;personalized learning（实习编辑：刘昊林）46