PISA数字化学习技能测评.pdf

收稿日期：作者简介：译者简介：2023-10-12Mario Piacentini，男，经济合作与发展组织（OECD）高级分析师。吴泓霖，男，教育部教育考试院助理研究员。PISA数字化学习技能测评摘要：在教育数字化的时代背景下，学习方式加速演变，学习技能测评成为各国教育界关注的前沿焦点。PISA2025对数字化学习技能进行测评，目的是更好地了解学生需要掌握哪些技能和策略，才能成为真正的自主学习者，同时提供来自国际教育行业的相关信息，以帮助师生将新型学习技术更好地应用于教育。阐述PISA数字化学习技能测评的理念和方法，包括目标构念、学生模型、测评单元、证据规则、分数报告等。为使教育者了解学生如何思考和调节自己的学习，OECD研发学习技能创新测评平台（Platform for Innovative Learning Assessments,PILA），为教育者提供互动技术和有研究支撑的工具，对学生的成长进行评估。关键词：考试数字化；PISA；数字化学习技能；创新测评；自主学习评价【中图分类号】G405【文献标识码】A【文章编号】1005-8427（2024）02-0018-7DOI:10.19360/ki.11-3303/g4.2024.02.003引 言数字化学习技术正在重塑人们的学习方式，它赋予学习者极大的自主性，通过不同的媒体形式使人们十分便利地获取大量的信息，影响人们构建知识体系的过程。这些技术将人为探究与计算机能力相结合，为学习提供新的、更高效的形式，让个体学习者得以锻炼和培养自己的技能、分析和组织信息、与他人合作。然而，在为学习赋能上，并非所有的数字化资源都具有相同的价值。目前，很多课堂上使用的所谓数字化工具，只是简单地把学生的练习活动变成某种数字化形式，这些活动实际上通过纸笔也能进行。数字化资源的更大价值潜藏于那些能够产生互动的学习环境中，学生可以利用各种直观的表征方式展现自己的想法。这些数字化的建构工具不仅使学生能够对原本难以接触到的复杂现象进行探索，而且可以提供即时反馈，让学习者能够检验自己理解是否到位，进而不断迭代形成问题的解决方案，如Scratch、NetLogo、Code.org等学习应用程序已经建立全球性的学习社区。现在，数以百万计的学生使用这些工具进行主动探索，让复杂的概念可视化，建立、创造并分享他们的个性化学习内容。这些工具带动的学习过程与学习的建构理论一致，都强调学习者在知识构建和认知发展过程中发挥积极作用，也强调教师将身份转变为学习促进者而不是信息传授者1。建构主义理论认为，当学习者做一个对自己有意义的项目时，能够达到最佳学习效果2。在构建一个工件（artefact）的过程中，学习者将构想、概念及Mario Piacentini（经济合作与发展组织，巴黎 75775）吴泓霖 译（教育部教育考试院，北京 100084）Journal of China Examinations2024年第2期No.2,2024技能付诸行动，当学习者与工件产生互动、不断完善时，他们的想法、对概念的理解以及技能又会进一步发展。数字世界大大增加了以做促学的机会。一、PISA增设数字化学习技能测评的背景教育系统的基本目标是培养学生的学习技能。无论是正式的还是非正式的教育环境，学习和解决问题都与技术发生越来越多的联系，这意味着年轻一代必须做好准备，才能在数字世界中有效地使用技术，主动参与其中并发挥作用。近年来，许多国家在将数字技术融入教学方面投入大量资金，COVID-19的全球大流行进一步刺激这些方面的投资，因为学校经常面临停课，教学活动不得不大规模地转至线上，给许多学生的学习活动带来影响。然而，目前全球教育界依然缺少充分的证据证明这些投资是否真正促进学习，是否真正帮助学生形成运用技术自主学习的能力。如今在网上获取学科知识已十分便利，对学生在特定时间已经掌握的知识进行测评，其重要性大为降低，取而代之的是对他们学习新知识的能力进行测评。然而，目前还缺乏证据证明教育系统能够成功地促进学生有效学习所需的认知、元认知和情感技能的发展。PISA2025对数字化学习（learning in the digital world）技能进行测评，目的是更好地了解学生需要掌握哪些技能和策略，才能成为真正的自主学习者，同时提供来自国际教育行业的相关信息，以帮助师生将新型学习技术更好地应用于教育。基于学习者在学习过程中的认知、元认知和情感过程，这项测评将生成多个测量值。作为测评的一部分，学生需要完成2项拓展的学习任务，预计耗时1个多小时。学生运用开放式学习平台上的信息和工具开展任务时，将有一位虚拟导师提供自动化、智能化的反馈，鼓励学生进行一定次数的操作。基于学生解决开放性问题的过程，将产生带有时间标记的细颗粒数据。通过收集这些过程性数据，可以推断学生与这些开放式学习系统互动的有效性，包括测量学生在多大程度上能够规划时间、设立学习目标、明确学习需求、对自己逐渐形成的认知进行监控和准确判断、根据反馈调整策略、评估各种工具和信息与目前学习目标的关联性、整理和概括自己的新认知用于展示所学内容。这项测评还收集学生在学习新主题或尝试在线解决复杂任务时如何保持专注和激励自己的信息。PISA2025数字化学习技能测评还使用问卷，收集学生在课堂内外参与数字学习活动的背景信息。各国在帮助学生自主培养使用数字化工具所需素养的措施是不同的，其有效性如何，PISA2025也将提供测量和比较的数据。高质量、国际化的数据收集工具和数据分析手段，能够引导教育政策向数字化赋能的方向转变，帮助一线教师确定目标和步骤，以便将技术更好地融入课堂。二、PISA2025数字化学习技能测评方法（一）领域分析和目标构念领域（domain）分析包括对人们在目标领域所使用的概念、语言和工具进行盘点，对人们使用目标知识和技能所针对的问题和情境进行识别，界定相应领域情境下良好表现的特征。为此，OECD秘书处成立跨学科专家组，专门进行这项工作。在PISA2025数字化学习技能测评的领域分析中，一个关键问题是学生在考试中究竟应该学习什么和使用哪些工具。在数字世界，有许多工具能够帮助实现建构主义理论所提倡的积极和情境化的学习体验，如许多学生用Scratch设计数字化动画3、用PheT虚拟实验室探索科学现象4。专家组构想学生在测评中应该产出哪种工作成Mario Piacentini：PISA数字化学习技能测评192024年第2期果作为学习证据时，参考了STEM领域的实践案例。针对学生如何使用这些工具的问题，已有相关研究从实证和理论的角度，为界定熟练学生的实践方式和初学者遇到的典型困难提供重要参考5-6。此外，在教学设计和学习进程领域也出现很多可靠的证据，帮助专家组将这项新型测评的学习目标聚焦到科学实践上，包括实验、建模、设计算法解决方案等。在这些实践中，相对容易确定学生在短时间的数字化学习测评中能够实操和学习的概念和操作，如变量控制策略或条件逻辑的使用等。专家组将PISA2025提出的数字化学习技能定义为使用计算机工具参与知识构建和问题解决迭代过程的能力，体现为基于计算机进行科学探究实践时能够进行有效的自我调节学习；将数字化学习定义为一种反复的过程，也就是把学习看作一个整体的、非线性的过程。换言之，学习是一个复杂的过程，要求学习者成为积极的参与者，并逐步建立自己的认知。该定义将构建知识和解决问题视为建构主义学习的特定形式。在建构主义视角下，学习者对自己的学习负责，采取行动寻找各种问题情境的解决方案，并且利用各种资源增进理解。根据该定义，问题解决并不是简单地重现某些领域知识，从而为某一陌生的问题情境提供解决方案；而是使用外部资源对自己的知识进行补充，从而达到特定目标的过程。在这项测评中，学生利用各种支架（scaffold）和从其他各种外部资源中学习的机会，逐步到达他们的最近发展区（zone of proximal development）。在测评中使用计算机工具，意味着学习者基于自己正在形成的知识和理解，形成各种直观的计算机化表征并加以改进，通过这种方式参与到构建知识和解决问题的过程中。这些计算机化表征可以有多种形式，但对PISA2025测评而言，必须是计算机能够执行的模型（如各种概念图）或算法解决方案（如各种程序）。该定义还指出学生进行数字化学习时必须具备两项能力。第一项是自我调节学习能力，这是学习者参与任何自我调节探究过程的基本素养7。从本质上讲，自我调节学习指人们在学习时对自己的元认知、认知、行为、动机、情感等多种心理过程的监控和控制8。在数字化学习环境中，各种资源不仅唾手可得，而且还能得到即时反馈9。面对大量的非结构化信息，学习者非常容易分心，因此自我调节学习能力非常重要。第二项能力是计算和科学探究操作能力，这一能力引导学生运用计算机工具创造新知识、解决新问题，学习者必须能够运用计算机化的方式思考问题，进而用好数字化情境。（二）学生模型数字化学习技能测评的学生模型由三个互相关联的部分组成，即计算和科学探究实践、元认知监控与认知调节过程、非认知调节过程。见图1。第一个维度是计算和科学探究实践。用不同类型的问题测评以下3个方面的内容：1）能否分解问题并识别模式。向学生呈现一些复杂的、可分解的问题，要求他们定义和排序解决步骤，并识别重复出现的模式。2）能否开展实验和分析数据。提供不同的界面供学生做实验、收集数据、将数据可视化，如某个测评单元要求学生编写一个向用户推荐电影的应用程序，为了达到该目的，学生必须调查用户过去看过哪些电影、如何评价的这些电影及电影的哪些特点与他们的评分相关。3）能否构建和调试计算机应用程序。通过评估学生能否迭代制作功能实用的程序或者模型，可以得到证据。如在某个测评单元，要求学生建立一个病毒传染的计算模型，用于预测疫苗接种数量如何影响新感染人数。在测试中，学生创建不同的计算机应用程序，用于发现系统20分解问题并识别模式开展实验和分析数据构建和调试计算机应用程序监控进度和调整适应评估知识和行为表现保持任务参与度管理情感状态计算和科学计算和科学探究实践探究实践元认知监控元认知监控与认知调节过程与认知调节过程非认知调节过程非认知调节过程图1 数字化学习技能测评的学生模型的工作方式、设计问题解决方案，或者作出预测以为决策提供参考。第二个维度是元认知监控与认知调节过程。为了在该维度获得有效证据，需要分析学生如何与虚拟导师互动以填补他们对问题和工具的理解差距，还需要评估学生在多大程度上可以监控完成学习任务的进度。在开放的学习情境中，学生可以请虚拟导师为自己提供一些类似问题的解决案例或更为明确的提示。在该维度，监控进度和调整适应的证据主要通过评估学生何时决定寻求帮助以及评估其是否适应这种方式，即评估学生是否根据帮助采取行动；还可以检查学生何时选择测试他们的解决方案，以及如果测试显示出一些问题，他们是否作出改进作为测评的证据。在评估知识和行为表现方面，需要在测评单元结束时让学生评估他们工作的不同方面，然后对他们的自我评估能否反映真实表现进行再评估。第三个维度是非认知调节过程。有些行为能够反映学生想要做好和学好的决心，通过收集与这些行为相关的日志数据，可以对任务参与度进行测评。例如，可以分析学生在虚拟导师提供帮助时是否认真遵循指导，以及学生是否决定查看他们无法解决的任务解决方案。虚拟导师会在测评单元的不同阶段介入，要求学生报告他们的感受，这些自我报告可以用于建立情绪调节措施。（三）学习单元的构成为了生成学习过程的证据，测试单元的构成需要具有创新性。由此设计每个学习单元由五个系列阶段组成，其中每个单元的持续时间约为30分钟，见图2。在开始阶段，由虚拟向导介绍该单元的整体学习目标，让学生通过辅导课程的形式进行体验（如“我将教你如何”）。第二阶段是评估已有知识，学生要完成一项预测试，目的是测评学生是否提前知道本单元要学习的概念和操作。第三阶段是一项教程，学生需要熟悉数字化学习界面的核心功能等。第四阶段为学习阶段，包含一系列分离式的、精心设计的任务，帮助学生做好准备，以应对需要花费较长时间的挑战性任图2 数字化学习的测试单元示例介绍整体学习目标评估已有知识教程学习活动30分钟挑战自我评估Mario Piacentini：PISA数字化学习技能测评212024年第2期务。在最后的挑战阶段，学生需要通过解决更加复杂的、包含多个步骤的问题，展现自己在教程和学习阶段所学的内容。挑战性任务结束后，学生完成一些自我评估问题，并报告他们在这个学习单元中的情绪状态。这种复杂的设计旨在让学生沉浸在真实的数字体验中，激发他们学习新事物的兴趣。需要注意的是，每个学习单元都包含一组定义明确的概念和操作，学生可以按照连贯的教学顺序掌握这些概念和操作。（四）证据规则通过检查学生在学习和挑战阶段作答问题的正确程度，可以评估他们工作成果（即程序和模型）的完整程度；通过基于过程数据（日志文件）检查学生在任务过程中所采用的策略，可以收集学生各项目标技能发展程度的证据并作出推断。数字环境学习框架包含详细的证据规则表，用于描述如何解释以上观测指标和报告分数。使用过程数据进行评分比较简单。例如，在建模单元，过程数据主要用于检查学生是否完成所需的步骤（如通过足够次数的实验，得到基于证据的两个变量之间关系的结论）。对自我调节学习的评估而言，使用过程数据也是必需的，但却更加复杂，因为对任何关于自我调节学习行为的潜在证据进行评估，都必须考虑到学生在之前和之后的行动，以及行动发生时情境的状态。例如，只有当学生真正需要帮助、且只有当学生按照虚拟导师的建议操作时，才将学生向虚拟导师寻求帮助的行为视为“监控进度和调整适应”的证据。关于自我调节学习行为，专家组研制复杂的证据规则以评定潜在证据。此外，作为证据规则的补充，还将数据挖掘方法用于试测数据，以发现自我调节学习行为的其他证据。数字化学习技能测评使用的统计模型比以往PISA测试使用的模型更加复杂，主要挑战在于测量值之间存在局部依赖，即任务之间并非互相独立。学生在先前任务中的行为和采取的行动可能影响他们的后续表现。例如，那些认真执行教程和学习任务的学生，一般在最后的挑战任务中表现更好。这违背了标准题目反应模型（IRT）局部独立性假设，因此需要一个足够灵活和稳定的模型以解释不同任务观测指标之间的依赖性。统计模型的另一个挑战是非随机缺失数据的生成。有些自我调节学习的指标是以学生选择寻求外部资源支持为前提，但是只有少数学生会作出这种选择，那些完成任务时遇到困难的学生更有可能寻求资源支持。基于树的题目反应模型（tree-based IRT）有望解决相互依赖和非随机缺失数据的问题10，目前正在评估这种解决方案。以 IRTrees模型为例，该模型通过节点将序列化的过程转变为树状结构，每个分支都以二进制的末端节点结束，通过这种方式可以处理复杂任务内部的协方差。目前，研究小组也在考虑使用动态贝叶斯网络作为建模的替代方法。（五）分数报告数字环境学习的构念明显是多维度的，涉及不同的认知和自我调节学习的过程。这项新测评还有创新特征，即测量学生在测评体验中学习的程度。因此，基于测评数据的报告生成多项分数和指标，包括：1）基于测试表现的量表分及构念的两个维度（计算和科学探究实践，元认知监控与认知调节过程）上的相关信息。与以往的PISA测试一样，该量表按成绩等级组织。2）测试中学习情况的测量值。将学生在预测试（测量学生对要学习的概念的提前了解情况）的表现与他们在学习和挑战阶段的表现进行比较，可以得到这些测量值。3）非认知调节过程的指标，通过情境化的自我报告题目进行测量。4）使用数字化资源学习的体验、态度和倾向的指标，通过PISA学生调查问卷模块中的自我报告题目进行测量。22三、从大规模测评到课堂：数字化学习技能的形成性评价PISA的评价结果给政策制定者和社会大众提供本地区学生与世界其他地区学生的比较数据，有关部门可以借鉴评价结果优异地区的政策和做法，实施系统的改革。然而，像PISA这样的大规模测评所提供的信息也是有限的。为监测学生能做什么或者需要做什么才能进步，需要开展形成性评价。因此，OECD决定投资一个新项目，为形成性评价提供材料，教师也可以使用这些材料帮助学生发展关键能力。这个新项目即“创 新 学 习 评 价 平 台”（Platform for InnovativeLearning Assessments,PILA），PILA使用学习分析技术（learning analytics）为教育者提供互动技术和有研究支撑的工具，对自主、审辨的学习成长进行评估，使教育者不仅了解学生知道什么，而且了解学生如何思考、如何调节自己的学习。PILA包括模块化结构，每个模块聚焦具体的素养（如建模、系统思维、数据分析等），通过数字接口（应用程序）模拟现实世界探究中使用的工具。这些应用程序为学生提供相关支持（提示或者学习资源），帮助学生在开放的情境中完成任务，并向他们提供有关自身成就的反馈。PILA还通过解释学生在开放情境中的互动情况分析学生的表现，并在多维仪表盘（multidimensionaldashboards）中提供概览；教师可以通过实时调用仪表盘，为遇到困难的学生提供帮助，或经过分析后给学生布置个性化作业，或对整个课堂的情况进行反思。仪表盘还可以描述学生对相关概念和操作的掌握情况，以及他们组织和监控学习任务、使用资源、应用其他重要综合技能的能力。每个 PILA 模块都提供专门的资源，用于帮助教师了解模块的评价内容，为学生选择或构建合适的评价单元，或者创建新的定制任务，在报告仪表盘中解释学生表现，解决学习者面临的共同挑战，并将 PILA 与其他教育活动联系起来。PILA的首套应用程序与PISA数字化学习技能测评框架相对接，为教师提供支持学生发展技能的有效方式。四、结论世界各国的教育日益重视培养学生构建知识和自主学习的能力。有研究表明，深度学习是通过个体与客体以及周围的人积极互动而主动构建的，并不是通过从外部世界接收信息被动获得的。精心设计、积极主动的学习体验有助于学生在参与活动和项目时积累知识。通过数字技术，学习者在课堂上可以参与各种形式的信息互动，还可以参与实验工作、处理大量数据、发挥创意及创造性地解决问题等，从而真正促进教育向基于探究的课堂学习活动转变。数字化学习情境还支持协作活动，并向用户提供个性化反馈。此外，数字化学习可以帮助学生自主完成交互式、基于探究的任务，培养学生对自己学习负责的态度，并帮助他们发展21世纪的重要技能，如批判性思维、创造力、毅力和团队合作。然而，利用数字资源学习也给学生带来巨大挑战。为了取得成功，他们需要选择如何构建解决方案流程，探索替代解决方案路径，提高对自身知识和技能的认识，制订更能有效解决问题的策略，以及有效应对挫折和困惑。虽然人们普遍认为这些学习技能很重要，但关于是否为学生提供了充分的机会来发展这些技能的国际证据非常有限。PISA2025的测评结果将提供国际化、可供比较的发现，不仅探讨世界各地的学生在何种程度上能够理解复杂现象并使用计算机工具解决问题，而且探讨学生在何种程度上能够通过自我调节学习的产出过程来做到这些。这种对自主学习技能的关注与 OECD学习框架2030 中定义的Mario Piacentini：PISA数字化学习技能测评232024年第2期21世纪教育目标11相一致，并将形成多维度的测量标准，展现学生在这个日益数字化的世界中是如何学习的。PILA项目正在研发的形成性工具将支持各个地区和学校培养学生的自主学习技能。参考文献1 KAFFASH H R,KARGIBAN Z A,KARGIBAN S A,etal.A close look into role of ICT in educationJ.International Journal of Instruction,2010,3（2）:64-82.2 PAPERT S.Mindstorms:children,computers and powerful ideasM.New York:Basic Books,1980.3 MALONEY J,RESNICK M,RUSK N,et al.The scratchprogramming language and environmentJ.ACM Transactions on Computing Education,2010,10（4）:1-15.4 WIEMAN C E,ADAMS W K,PERKINS K K.PhET:simulations that enhance learningJ.Science,2008,322（5908）:682-683.5 BRENNAN K,RESNICK M.Using artifact-based interviews to study the development of computational thinking in interactive media designC.Vancouver:Paperpresented at annual American Educational Research Association meeting,2012.6 DE JONG T,BEISHUIZEN J,HULSHOF C,et al.Determinants of discovery learning in a complex simulationlearning environmentM/GARDENFORS P,JOHANSSONP.Cognition,education,and communication technology.London,New York:Routledge,2014:257-284.7 DE JONG T,NJOO M.Learning and instruction withcomputer simulations:learning processes involvedC/DE CORTE E,LINN M C,MANDL H,et al.Computer-based learning environments and problem solving.Berlin,Heidelberg:Springer,1992:411-427.8 PANADERO E.A review of self-regulated learning:sixmodels and four directions for researchJ.Frontiers ofPsychology,2017,8:422.9 JRVEL S,HADWIN A.Examining the emergenceand outcomes of regulation in CSCLJ.Computers inHuman Behavior,2015,52:559-561.10 JEON M,DE BOECK P.A generalized item responsetree model for psychological assessmentsJ.BehaviorResearch Methods,2015,48（3）:1070-1085.11 OECD learning compass 2030:a series of concept notesEB/OL.2023-02-07.http:/t4.oecd.org/education/2030-project/contact/OECD_Learning_Compass_2030_Concept_Note_Series.pdf.PISA Innovative Assessments of Learning SkillsMario PIACENTINI（Organization for Economic Cooperation and Development,Paris 75775,France）Abstract:In the context of digital education,the evolution of learning methods is accelerating,and learningskills assessment is increasingly becoming a focus of attention in international education.PISA 2025 evaluatesdigital learning skills with the aim of better understanding what skills and strategies students need to master inorder to become truly autonomous learners,while providing relevant information from the internationaleducation industry to help better apply new learning technologies to education.This paper explains theconcept and methods of PISA digital learning skills assessment,including goal constructs,student models,assessment units,evidence rules,score reporting,etc.To enable educators to understand how students thinkand regulate their learning,the OECD has developed the Platform for Innovative Learning Assessments（PILA）for formative assessment.The formative tools that are being developed in the PILA project will supportjurisdictions and individual schools in fostering these autonomous learning skills.Keywords:digitalization of examinations;PISA;digital learning skills;innovative assessment;autonomouslearning assessment（责任编辑：张 丽）24