2024年教学设计结果的形成性评价.doc

教学设计成果的形成性评价
无论是教学设计方案还是学习材料，这些设计成果一般在推广使用之前，要在小范围内使用，测定它的可行性、合用性和有效性以及其他情况，来检查方案并不停修改、完善方案，使教学设计过程及其成果更趋有效。教学设计成果的评价一般也包括形成性评价和总结性评价两种形式，但它不一样于其他评价的重要特点在于教学设计成果的评价重要以形成性评价为主，也就是说，教学设计成果要在其形成的同时对其加以评价。
一、教学设计成果的形成性评价
形成性评价是教学设计人员用来获取数据，并通过这些数据修正他们的教学，提升教学效率效果的过程。形成性评价的重点是搜集数据，分析数据，改进教学设计。形成性评价开始于分析阶段，连续于选择和设计阶段，假如计划中尚有试用阶段，那么还将连续到实行过程的前期。
1．教学设计形成性评价的措施
形成性评价一般包括六个阶段：自我评价、教授评议、一对一评价、小组评价、实地试验、进行中的评价。需要阐明的是，在这里用“阶段”这个词是为了协助设计人员明确：在实行上述形成性评价的时候，要注意前后的关系。一般情况下，这些措施是依次实行的，当然，在设计实践中，也许不会实行所有的形成性评价措施，如一般的课堂教学设计的形成性评价极少进行一对一评价、小组评价，教授评议、实地试验等措施常常被用于某些公开课、研讨活动；而在企业环境中，形成性的实行相对完整某些。
（1）自评（Design Review，初始排错）
设计者、开发者或设计团体中的某些组员在将方案展现给教授或使用者评价之前对其进行评价。这一过程一般被称作“内部评议”，一般是在外部评价之前进行。
为使自评更有效，设计开发者应完成如下任务：
l         制定一套评价标准。这套标准能够和针对教授、使用者评议的同样，也可存在差异，但应尽也许涵盖所有教学过程中教师和学生会关注的所有项目，以及设计团体需要处理的所有设计和开发问题。
l         将所有设计成果先搁置几天以便于形成成果与意图的距离。
l         成为准执行者并试行这套方案。
l         统计各种积极和悲观的反馈。
（2）教授评议（Expert Review）
重要指邀请某些内容教授、教学设计教授或者有关领域的教授，针对教学设计各要素的选择或设计提供信息，并（或者）在方案实行之前对其中的各个草拟要素进行评议：
l         方案中所包括的教学内容是否是正确的、最新的？
l         方案中的所有观点是否是一致的？
l         提供的案例、实践练习、反馈是否是真实而准确的？
l         教学措施是否符合并反应当代教育观念和教育理论？
l         教学的内容、措施以及所用的教学资源是否适合用于教学对象？
对于课堂教学这一层次的设计成果教授评议，往往采取说课的方式；对产品或系统这两个层次的教授评议，一般采取教授评议会的方式。教学设计人员要仔细统计每个教授的详细意见，并对这些评议结论进行“再检查”，从中找出仍然存在的问题，对方案和学习材料进行修改。
（3）一对一评价（One-to-One Review）
一对一评价有时也被称为对教学设计成果的诊疗性评价阶段。在这个阶段中，设计人员往往需要和三名或者三名以上具备代表性的学习者一起工作，从单个的学习者身上采集数据并修正教学材料，其目标是确定并更正教学中存在的明显错误，并从学习者那里取得对教学内容的最初使用数据和反馈。这是设计者初次从学习者的角度出发，对他们在设计和开发过程中所做的决议进行审阅，来验证设计师和开发者的预感是否正确，是否存在对目标人群的误解。这个阶段的评价能够从如下几个方面进行（Walter O Dick, Lou Carey, James O. Carey，）：
l         明晰度：对于学习者个体而言，信息或者展现给他们的教学内容是否明了、清楚？
l         影响力：教学对于学习者个体的态度和达成教学目标有无影响？在态度方面，需要确定学习者是否意识到学习和自身是亲密有关的、自己能够通过适当的努力就能够达成目标、对学习经历感到有趣并满意；在学习成就感方面，能够通过后测了解学习者是否能回忆起学习的信息、是否能完成任务，详细的措施能够是书面练习、口头回答教师的提问或者是完成一件事、一个作品。
l         可行性：假如得到所需的资源（如时间、教学情境），教学的可行性有多大？可行性重要考虑学习者的能力水平、教学媒体和教学环境，如学习者的成熟度、独立性和动机水平怎样影响完成教学所需的时间，学习者能否或者轻易地学会所要求的专业设备操作或技能，学习环境是否令学习者感到舒适，在要求时间内传递教学的成本是否合理等等。
一对一评价的过程核心在于它是一个交互的过程。设计人员要参加学习者的学习过程，观测学习者的参加情况，并在预先设定好的时机，和学习者讨论材料中展现的内容。因此，在每次进行一对一试验之前，设计师都应当制定一个方略，决定交互该怎样进行，怎样向学习者进行阐明，怎样让学习者懂得什么时候能够和评定人员讨论，怎样激励学习者放松地谈论设计方案和学习材料。这就要求设计师有比较强的交流能力，能够在自己和学习者之间建立友好信任的关系，并进行有效的交流。
一对一评价搜集数据的途径有观测统计、和学习者讨论中的统计、教学完成后的问卷和测验。在交流和统计的过程中，设计人员不但要懂得问题所在，并且还要了解问题的详细内容、学习者为何会出现这种反应以及评定人员对此作出的解释，因为后者往往更能提供改进教学清楚度的有用信息。
很明显，每次一对一试验都只有一个学习者参加。学习者无需从大量学习者中随机抽取样本，只要挑选几个能够代表目标人群的学习者。在实际评价中，能够从高于平均水平、处在平均水平和低于平均水平各一个，假如有必要，也能够在完成了对这三个学习者的初步评价后再多挑选几个学习者进行一对一评价。在选择学习者的时候，既要考虑其知识和能力的水平，也要关心其他与学习者的成绩亲密有关的特性，如学习者的态度、先前的经验、学习的格调等。
通过一对一评价，教学中的严重错误都会暴露出来，有些能够立即进行修改。但因为选择的学习者是有差异的，从每个人身上得来的数据都也许是不一样样的，因此有些问题也许不会立即修改，需要等到其他学习者重新试验后或者小组评价后才会作出改动。
（4）小组评价（Small-Group Evaluation）
小组评价阶段往往是由8～20个目标人群的经典代表组成学习小组，利用教学材料自行学习，然后通过对他们的测试来采集所需要的数据。小组评价有两个重要目标，一个是确定在一对一评价后所做的改动是否有效；另一个是确定教学中还存在哪些问题，是否能合用真实的目标群。
小组评价往往需要搜集两个方面的数据（Walter O Dick, Lou Carey, James O. Carey，）：
l         教学有效性：教学有效性重要包括学习者在前测和后测的成绩以及对教学的态度。前测一般包括入门技术和教学目标，后测测定学习者在教学目标上的体现，能够通过测试或练习取得；对教学的态度信息重要是通过态度问卷和后续访谈来获取。
l         教学可行性：一般包括学习者完成教学和所要求的绩效评测所需的时间以及在特定条件下实行教学的成本及可行性；实行或管理教学者的态度。
小组评价的基本过程和一对一评价中所采取的截然不一样。在一对一评价中，评价人员一直和学习者处在互动的状态；而在小组评价中，评价人员（或者教师）在向学习者作出必要的阐明和解释后（假如有前测就先进行前测），就按照方案中要求的实际教学措施、过程组织教学过程，在各个过程中，评定人员要尽也许少地干预。只有当教学环境出现问题以至于使教学过程无法按照方案继续下去的时候，评定人员才进行一定的干预，并且将出现的问题和处理措施如实统计。正是因为如此，在教学实行后的态度问卷中要尽也许详尽地包括教学方案的各个部分，包括教学设计的各个要素、教学实行中的问题以及他们对教学的改进提议，如：
l         你清楚应当学什么吗？
l         学习材料直接和教学目标有关吗？
l         在学习过程中，你感到压力很大吗？哪些地方令你学习很困难？
l         教学有趣吗？你比较喜欢参加哪些活动？
l         有足够的练习吗？这些练习和教学目标有关吗？
l         测验能真正地考查你对教学目标的知识吗？
l         在学习的过程中，你得到了足够的支持吗？反馈信息令你满意吗？
l         当考试答题时，你感到自信吗？为何？
l         你对教学过程和学习材料尚有哪些好的提议？
假如有也许，在学习者完成问卷后，就学习者的见解进行更深入的讨论，并从中分析教学设计方案和学习材料中的问题，然后再进行修改。
从上述小组评价的过程和措施能够看出，学习者的挑选和信息的分析对小组评价来说至关重要。迪克、凯里等以为（Walter O Dick, Lou Carey, James O. Carey，），小组评价以8~20个学习者为适宜，假如学习者人数少于8，所得到的数据也许不具备代表性；假如从多于20个学习者处取得数据，所取得的信息又也许超出了需要，并且增加的学习者并不能带来额外的有价值的信息。小组评价的学习者不能像一对一评价那样有一定的随意性，应当尽也许地代表目标人群，在理想的研究环境下应当随机挑选学习者，因为这么才能把经验推广到整个目标人群。不过在经典的学校、业界和成人教育环境下，纯粹的随机常常是不也许的，甚至也也许是不希望的。因此他们提议，在无法随机挑选小组评价的学习者时，仍要尽也许确保从目标人群的每种类型中最少选用一个代表，并提供了几个划分目标人群类别的措施：
l         学业水平分别为高、中、低的学习者
l         不一样母语的学习者
l         熟悉和不熟悉某种学习方式（如网络教学）的学习者
l         年轻、没有什么经验的学习者，相对更成熟的学习者
我们以为，除了上述几类之外，选择学习者时还要考虑到他们的动机水平，因为动机水平较高的学习者往往会取得较高的学业成绩。假如无法实现这一点，则需要在成果解释的时候阐明这一点，并提供对应的实行提议。
一对一评价比较强调评定人员的交流能力，而小组评价则比较强调对数据信息的分析，首先要判断问卷调查时哪些问题还需要深入深入访谈，另首先要将问卷、测试中所得的数据信息和描述性信息加以汇总，并分析这些信息所代表的含义，以便形成更有效的修改报告。小组评价后的修改既包括一对一评价后的深入完善，也也许会教学方略作较大的调整。
（5）实地试验（Field Trial）
实地试验是教学设计成果实行前形成性评价的最后一个阶段，执行人员（一般是指教师）要在一个与教学材料最后使用环境尽也许相像的学习环境中进行评价。实地试验的目标是确定在小组评价之后所做出的改动是不是有效，并要确认教学方案在预设的使用环境下是否能够使用。
实地试验的重要目标是要找出并消除教学中尚存的问题。实地试验和小组试验有许多相同之处，两类评价的过程中都要决定学习者的体现是否适当，教学的传递方式是否可行；另一个相同之处是，二者都是采集学习者的成绩和态度信息、教师的教学过程和态度，以及诸如时间、费用、空间和设备等资源信息。二者的最重要差异在于教学材料、学习者、过程、教师和环境的真实程度不一样。实地试验更强调与实际教学的接近程度，因此在实地试验前，往往教学方案已尽也许得到修改和完成。
实地试验的核心是创设一个与“真实世界”尽也许接近的教学情境（Walter O Dick, Lou Carey, James O. Carey，），因此，实地试验不但要讨教学环境、条件都要与最后的使用环境、条件尽也许相像，并且执行教学的人员也要尽也许是教师，而不是教学设计人员，在教学实行过程中，设计人员也许不在场，虽然在场，设计人员往往只需在旁观测并做统计，并不对教学过程进行干预，哪怕是教学过程中出现意外的事件。当然，在一般的课堂教学中，教学设计人员往往就是任课教师。实地试验对学习者的要求也比较高，因为要确保这些学习者能够代表教学方案的目标人群。而这一点在现实情境中是极难做到的，变通的做法就是选择不一样的小组来进行实地试验，并且尽也许搜集所有目标环境下的数据，如老式教室、多媒体教室、多媒体网络教室等。
在实地试验阶段，数据搜集、分析的过程和措施都和小组评价类似，只是问题会依据小组评价的经验，愈加集中于教学在预期学习环境下的可行性，重点了解也许影响教学成功的各种原因。并且在搜集数据的时候，除了搜集学习者的意见外，还要与教师访谈，了解他们的态度和感受。
（6）进行中的评价（Ongoing Evaluation）
所谓进行中的评价是指在教学实行之后，就教学对学习者的学习、工作和应用知识处理问题的效果所进行的评价。在前面的五个阶段，重要都是处理教学方案的实行问题，包括怎样完成教学目标、更有效地实行教学等，没有包括到知识和技能在其他应用环境甚至生活中的实际问题中的问题，而这是教学的根本目标。无论是知识、技能，还是措施，教学的最后目标并不只是为了学生能够掌握或者在学习过程中的应用，而是在最后需要利用这些知识、技能和措施的环境中进行创造性地利用。因此，教学设计人员不能忽视这一点，应当在适宜而可行的时候，对学生的应用情况进行评价，以确定学生的知识、技能和措施是否能够保持，是否在其他应用环境中使用所学的。
“进行中的评价”能够协助设计人员明确如下几点：
l 学习者是否意识到能够在实际生活或工作中应用他们所学到的新知识、技能？并且是不是已经做了？
l 学生应用的效果怎样？对后续的学习、生活、工作产生哪些影响？假如是系统层次的教学设计成果，还要考虑对组织产生了什么影响。
l 学习者对改进教学、教学设计成果有什么提议？对于产品层次的教学设计成果，要跟踪产品在教学实行后连续使用的情况，以获取修改产品的信息。
要获取这些信息，能够采取现场观测、统计和反思报告、访谈、问卷调查等方式，既能够直接从学习者处取得，对于一般在校生还能够通过教师、同学、家长等间接得到，而对于在职人员则能够通过企业统计、同事、客户等间接取得，表6-4-1则聚集了某些基本的问题、也许的数据起源以及数据采集的措施（Walter O Dick, Lou Carey, James O. Carey，），教学设计人员能够依照实际情况形成你自己的问题。
表6-4-1  应用环境形成性评价要问的问题、数据起源和数据采集措施
问题
数据起源
数据采集措施
技能是否得到了迁移？
怎样使用技能的（频度、环境）？
有哪些物理环境、社会环境和管理方面的原因促进了技能的迁移和使用？
有哪些物理环境、社会环境和管理方面的原因妨碍了技能的迁移和使用？
应用所学技能是否有利于处理最初问题？怎样处理？有何证据？
培训还能够怎样改进提升？
学习者
同事/搭档
学习者的下属
上司
客户
企业统计
访谈
问卷
观测
统计分析

一般情况下，这种“进行中的评价”往往被以为只适合用于培训、产品等教学设计成果，其实并非如此，虽然在这些环境中这种评价强调的比较多，然而在课堂教学中这种评价也越来越受到重视，课堂教学设计不但要对学生的学习过程、学习成果进行评价，在选择教学方略时更重视知识、技能的迁移利用，重视学生问题处理能力的培养以及学生在生活中的应用能力。实际上，此类评价在课堂教学是很常见的，诸多教师都会在教学中自觉地利用，只是并不是以一个很明显的评价行为体现出来，如数学学科的计算能力、语文学科的朗诵能力和写作能力等，尽管没有进行专门的评价，教师会在其后的有关内容教学中观测学生应用已学知识的情况，假如学生掌握得不够好，教师就会采取某些补救措施，甚至重新实行教学。
假如条件许可，能够要求所有的学习者参加进行中的评价，但假如在教学之前有比较充足的小组评价或实地试验，也能够只从所有学习中挑选部分样本学习者进行评价。在选择学习者样本的时候，能够依照他们的后测成绩和态度问卷，挑选一部分水平高的、一部分水平低的，以及某些设计人员比较感兴趣的特殊环境的学习者。并且还要用同样的问题咨询，从而取得间接的评价信息。
在理想的情况下，为取得丰富的评价信息，设计人员需要深入到应用的实际环境，但实际上此类评价的最大障碍是时间，以及也许无法再对所有学习者一一进行面对面的访谈，电话、网络则为此提供了一定的便利条件。进行中评价的成果往往是由设计人员完成一份评价报告，其中包括教学的优缺陷、教学能够愈加好地支持新技能迁移和利用的地方、有关消除影响新技能迁移利用的教学障碍的改进教学提议。
2．教学设计形成性评价的一般过程
无论是上述哪一个形成性评价措施，一般都包括制定计划、选择评价措施、试用设计成果和搜集资料、归纳和分析资料、报告成果等几项工作。
（1）制定评价计划
这是教学设计成果评价的准备阶段。在该阶段重要是确定评价活动的目标、评价对象、评价的指标体系在何种情况下从事评价和实行评价后所必须做出的决议程度，以及在什么时候、什么地方实行测量，获取信息以及怎样组织等工作。一份完整的评价计划重要包括：
l         确定评价对象和评价目标
l         设计要评价内容的评价指标体系，如评价的是教学材料，一般能够从教育性、科学性、技术性、艺术性和经济性等角度建立详细的指标体系。
l         确定搜集信息的类型和措施，以及处理统计数据的技术伎俩。形成性评价需要搜集的信息重要包括教学目标的达成情况（一般采取学生的学习成绩）、学习者和教师的态度以及教学过程的实行情况，搜集这些信息的措施有测验、问卷调查、访谈、观测、师生的反思报告等。
l         选择被试并阐明成果的背景条件。阐明选择被试的条件、人数等，并解释教学设计成果的试用是在什么背景下进行的，需要什么条件支持等。
（2）实行评价计划
教学设计成果评价的实行阶段，重要包括如下工作：
l 搜集评价信息：这是一项基础工作，也是评价中工作量最大的工作。评价者要依照评价指标体系，逐项搜集信息，全面、客观、真实地掌握评价对象的情况。在一对一评价、小组评价和实地试验等评价中，还要组织教学过程。
l 整顿评价信息
整顿评价信息也就是对搜集的信息进行汇总整顿。通过采取观测、测验、访谈和问卷等措施，评价者搜集到一系列所需的资料。为了便于分析，能够依照需要，将测量的数据资料进行统计处理，制成图表。制成图表后，评价者应对资料做深入初次分析，拿各类数据与评价标准做比较，考查各种现象的相互关系。通过度析，也许会发觉某些重要问题，随即应对它们加以解释，并通过恰当的途径证明自己的解释。例如，当几个评价工具提供的数据对设计成果的某些方面显示出共同的趋势，而这种趋势与预期的教学目标相悖时，将予以尤其关注。设计者可就这些问题咨询、访问教育学家、心理学家、学科教授和有经验的教师，或与被试（师生）进行个别面谈或集体座谈。这些访谈的目标是让各方人士对初步分析成果和改进意见加以证明。为此，设计者应持有虚心、诚恳、坦率和求实的态度，而当该成果遭到激烈批评时，还应保持冷静，以使所有被访者都能毫无保存的谈出意见。最后可将访谈成果与初步分析成果综合起来，对评价资料做深入的深入分析，并在此基础上酝酿修改设计成果的方案。
l 处理评价成果——进行评价成果报告
因为修改设计成果的工作不一定立即就进行，也不一定由原设计者来做，因此需要把设计和评价的有关情况和结论形成书面报告。在这里，评价者需依照评价报告的性质和报告的读者对象来确定报告的内容、形式。报告能够是正式的，也能够是非正式的；能够是描述性的，也能够是数据分析的。在向有关部门通报评价成果时，评价者所要做的不但仅只是提出报告、表白成果，还应当展示他们是怎样对资料做出解释，是怎样从分析中得出结论以及他们对处理问题的提议。评价报告的内容一般包括：设计成果的名称和宗旨、使用的范围和对象、试用的要求和过程、评价的项目和成果及成果的分析、修改的提议和措施、参评者的名单和职务，以及评价的时间等等。评价报告以简明扼要为宜，详细资料如：各种数据、访谈统计、分析阐明等能够作为附件。
上面提出的某些评价的要素和步骤，但这只是对教学过程的一个静态分析。在实际教学活动过程，各要素之间并不是独立的、互不联系的。以往人们对教学过程的研究，习惯于采取以分析思维为主导的研究措施，只重视对教学的各部分分别进行细致的研究，而忽视对各个部分相互关系的研究。因此，对各部分相互关系的研究即教学结构的研究和设计能够协助我们从整体上去综合的认识和探讨教学设计模式中各种原因之间的关系及其多样化的体现形态，有利于我们从动态的角度去把握教学设计过程的本质和规律，无论是在指引实践还是在理论研究上都具备十分重要的意义。
3．影响形成性评价的某些原因
教学设计过程的形成性评价部分会因为教学理论措施和哲学观的不一样而不一样。但无论怎样，你都不能靠推测来阐明你的教学材料具备有效性，而必须要用学习者来测试这些材料。因此，你要尽也许搜集最真实反应材料有效性的数据。在计划和实行数据搜集过程时，设计师还要对形成性评价的环境和参加评价的学习者做如下几方面的考虑。
（1）环境方面的原因
环境方面的原因不但要考虑物理环境原因，还要考虑心理环境原因。在进行评价时，评价人员要确保所有技术设备都要能有效地运行。诸多教师就是在使用新材料时因为新材料要用到的设备不能正常运作而受挫，成果是从学习者处得来的数据无效，教师也只好到了为了试验材料必须要确保设备良好运作的教训。另外，在一对一评价、小组评价阶段，尤其是一对一评价时，能否促使学习者畅所欲言，真诚地体现自己的意见，除了有良好的物理环境外，如安静并且便于集中学习者注意力的环境，还必须要有良好的心理环境，能够使学生感到轻松，乐意产生一个信任感。
（2）学习者方面的原因
在形成性评价的任何阶段选择参加评价的学习者时，都要防止完全依赖教师对学习者入门知识的判断。只要也许，都要进行入门知识测试，以确定被试是否为该教学材料目标人群的一份子。经验表白，因为各种原因，教师有时候对被推荐参加形成性评价研究的学习者的教学准备情况估量不准，因此要尽也许地去确定学习者的入门知识，同时还要考虑怎样去看待入门技能水平不一样的学习者。
（3）评定人员方面的原因
在进行小组评价、实地试验等的过程中，尤其是实地试验中，方案实行者往往是教师，教师的教学能力、对方案的了解力以及所具备的技能等都不尽相同，也许会使评价的成果产生一定的偏差。另首先，评价的成果也许并不如预想的那么有效，这也许会导致设计人员对自己工作的不满意，会产生失望感，这也会在一定程度上影响评价的成果，尤其是一对一评价的成果。此时，需要设计人员清醒地认识到正、负反馈的各自的价值。
（4）形成性评价实行中的条件原因
这些原因包括时间、经费、人员安排等的问题，如当一对一评价没有措施实行时，设计人员也许会采取找人通读材料并用问卷进行调查的替代性措施，这也会影响评价的成果。
对于设计师来说，基本标准就是形成性评价是一定要进行的，问题是何时、何地、以何种方式进行。有时候有充足的时间和资源进行形成性评价，不过在不也许这么做的时候，设计师也有责任想方设法通过各种途径，尽也许多地搜集有关教学各个方面的信息，以便教学能得到适本地改进。