远程教育项目评价策略和方法(上).docx

远程教育项目评价策略和方法(上) 摘要根据远程教育项目广泛开展的现实情况，本文介绍了当前国际上远程教育项目评价的策略和方法，包括折衷策略以及由其衍生的6C评价法、AEIOU评价法及这些方法的应用实例，希望本研究成果能有助于促进我国远程教育项目评价的系统性、有效性和科学性。关键词远程教育项目，评价，6C评价法，AEIOU评价法近年来得益于信息技术的发展和广泛应用，远程教育在世界各国、各地区得到大力开展和积极发展，并产生了大量的、各种各样的远程教育项目。为了确保远程教育项目有效、有序的开展，国际远程教育界已经形成了一些成熟、系统的评价策略和方法，因此，本文通过对相关文献的分析和综述，介绍了折衷主义的评价策略及其衍生的两种评价方法，希望能对我国远程教育项目的评价有所借鉴。远程教育项目及其评价的必要性远程教育项目泛指所有根据一定目标设计和实施的、有计划的、有组织的远程教育课程计划、远程教育实践项目、远程教育培训活动、远程教育推广应用项目和远程教育技术应用项目等。这些项目按照主持机构的行政级别可分为国际、国家、地区、机构等的项目；按照项目的教育层次可分为基础教育、高等教育、职业教育等的项目；按照进行目的可分为学历教育、培训认证、技术应用、教学改革等的项目。但是无论如何进行分类，远程教育项目都应具备以下共同特点：明确的目标、清楚的计划、组织合理的项目机构、正常的运作、有明显效果、充足并使用合理的资金，以及系统的项目管理。如果一个远程教育项目不具备这些特点，可能会造成人财物的浪费，使参与项目的投资者和学习者的利益受到损害，特别是那些投资大、影响范围大、涉及人员多的远程教育项目。因此，为了保证项目能具备以上特点必须依靠科学、系统的评价策略和方法。在美国，国家及各州政府都出巨资建立远程教育的基础设施，并推动远程教育在全国(州)的开展和进行，如在爱荷华州及南达科他州相继开展的明星学校远程教育项目都是持续进行多年、耗资数百万美元的大型远程教育项目。在中国，正在进行的现代远程教育试点工程、农村中小学现代远程教育工程、中国和联合国儿童基金会联合开展的远程教育项目“姊妹学校”项目等也都是具有相当规模和影响，并动用了大量人力、物力和财力资源的远程教育项目。那么，这些项目是否按照项目目标和计划进行，项目的具体进展情况如何，出现了什么样的问题，应该做什么调整，项目带来了什么样的效益，项目进行中发生了什么突发问题和意外情况，如何确定项目是否取得成效，如何确保项目资金和人才资源合理利用等等。这些问题的答案都无法仅仅通过简单的回答、调查、项目进行者单方面的报告、项目进行中的一些数字而得到，但它们又是项目开展过程中和项目结束总结时对项目进行评价必须掌握的问题。怎样才能准确和客观地了解这些问题呢?通过文献调研发现，现在国际上常用的方法是进行折衷主义的、持续的、系统的项目评价，经过多年的发展和实践以后，有关研究者已经总结出了一定的策略和方法，并很好地应用在了各种规模和类型的远程教育项目的评价中。远程教育项目评价的策略和方法在英国开放大学，项目评价是指系统地调查某个远程教育项目的优点和价值，以及它们与其它可选方案相比可能带来的提升等系列活动。在其项目的评价过程中有两种可选的策略。第一种策略是传统的、实证主义、经验主义的策略，这种策略试图应用物理学的方法和过程进行项目评价；第二种策略是一种折衷的评价策略，这种策略综合使用质性和量性的研究方法进行远程教育项目的评价。传统的评价策略使用的是实验方法，通过实验来决定远程教育项目的效力。其实这种评价策略从一开始起就已经是根据评价者心目中的基本要求来进行的了。首先，评价者精确地选出进行比较的样本，建立了必需的控制，变量也是从要收集的数据中选取出来的；然后，选取和设计对变量进行客观测试的方案，并在项目实施之前、之中和之后不断地收集数据；最后，评价者会根据这些数据进行分析，完成评价报告。这种评价策略的结果常常是对从两个或更多个不同组别学习者处所收集到的数据进行比较，例如通过对远程学习者与接受常规教育的学习者进行比较，然后总结出远程教育活动的作用。最近，在英国开放大学等机构，人们开始使用另外一种策略评价远程教育项目。这种策略的提倡者坚持一个基本的观点：即反对传统的量化评价过程和方法，而在评价活动中加入更多对全局进行了解和观察的自然方法。这种评价策略通常使用聚焦小组、访谈、观察和文献收集调研等方法收集评价的信息，从而获得对与远程教育活动相关的事物更多层次、更多维度、更多方面的理解。Woodley和Kirkwood(1986)将远程教育项目的评价总结为一种相当折衷的过程，即通过利用各种与远程教育项目需要和评价活动相匹配的方法和过程来完成评价。从实践的立场来看，现在的评价大多采用这种综合质性和量性研究的方法来进行的。当然，评价活动中仍然需要进行数据收集及统计分析，但同时也需要理解观点和聆听不同的看法。远程教育评价活动要与项目的需要相匹配。目前，综合运用质性和量性研究方法的评价方法主要有两种：6C评价法和AEIOU评价法，下面分别对它们进行介绍。6C评价法6C评价法(Six Categories of Evaluation)是指对评价项目的具体行为、效力、效果、项目目标、方针和组织情况等六个范畴来进行评价。(Simonson et al.，2003)6C评价法所需要的信息都可以从远程教育项目的各项活动中获得。1)具体行为的评量具体行为的评量方法是指对项目中各种人、事、物有关的数字进行计算分析。项目进行中行政管理的记录和文件都可以提供关于人、事、物的有效数据。这方面要了解的问题有：开发了多少课程？为多少学生提供了服务？有多少学生存在流失的可能性?2)效力的评量效力的评量与对项目具体行为的调查是非常相关的。通常行政上的记录能成为提供效力评价信息的资源。这方面要了解的问题有：有多少学生成功地完成了课程的学？学生的平均学习量有多少？参加后续课程的学生有多少？课程学习的花费是多少？学费是多少?3)效果的评量足够的学习测量通常被认为是测量远程教育项目学习效果的一个最重要的方法。通常，评价者通过与学习者进行访谈来了解他们学业和学习的情况，并了解学习者对远程教育活动的感觉和理解。通过邮件进行调查是从学习者那里收集关于学习效果方面信息的另一个有效方法，其它测量效果的方法还有学生借款文件的文档、课程使用情况和课程材料被其他机构使用的情况等。另外，附加课程中学生的注册情况，某课程推出后有了系列类似课程等情况也能说明远程教育活动的效果。4)项目目标的评量一些远程教育项目详细地说明了项目目标，包括教什么内容，教什么人，教到什么程度等。对这类信息的收集主要是要了解项目目标在多大范围内得到实现。远程教育项目最普通的一个目标就是要为远程学习者所准备的，而不是为普通学生准备的，对学习者进行调查和测量可以获得这方面的信息。5)方针措施的评量对方针措施的评价通常利用市场研究的表格来进行。对预期学生和职员的调查可用于决定社会对某远程教育项目和活动的需求。方针措施的评量活动也包括监控。通过了解学生参与情况可以了解学费是否太高，项目是否提供了合适的课程，课程进行中是否存在阻碍和不足(如缺乏计算机或没有图书馆)。有时对方针政策的评价能用来判断项目是否成功，可通过对那些低成就的人和那些某个项目中不合格学生进行调查。方针政策评价的目的是决定是否需要某些过程，是否需要对其做改变，或是否需要发展新的方针政策。6)组织机构的评量评价一个远程教育机构内部的组织机构和运行程序是很必要的。评价者经常需要监控课程发展的过程或远程教育项目发送的过程，以帮助这个机构运作得更高效。这个范畴的评价要求进行实地考察、访谈，有时还可以采用阅读关键负责人工作日志的方法来收集有关信息。AEIOU评价法AEIOU评价法是从项目的责任履行(Accountability)、成效(Effectiveness)、作用(1mpact)、组织 (Organizational context)和未曾预料到的结果(Unanticipated Consequences)等五个方面来评价一个远程教育项目的实施。Sweeney(1995)提倡对远程教育项目评价要用一种折衷的评价策略，这种策略也得到了渥尔逊和桑德斯(Worthen & Sanders，1987)的支持。AEIOU评价法就是这样一种动态、折衷的评价方法，它允许评价者根据项目的实际情况有计划地安排评价过程。此外，AEIOU评价方法提供了能进行有效评价所必须掌握的一系列关键问题的框架。有的评价计划常常只包含这个框架中的部分内容，而一个全面的评价计划则应该包含这个框架中的全部内容。一个全面的评价通常包含以下五方面的内容：1)责任履行即项目策划者是否按照他们的计划开展了项目。这是评价一个项目或一门课程的第一步，其目的是决定一个项目的目标或各项行动计划是否已完了。在了解这个方面的情况时，常用的方式是通过让对象回答“是”或“否”的问题来获取资料，另外也要收集一些关于人、事和活动的数字。常询问以下问题来测定项目的责任履行情况：是否召开过次数适当的班级会议？有多少学生注册参加远程教育项目？印制了多少项目资料?分发了多少?实施方法：有关信息通常是从项目行政管理的记录中获取的，项目负责人通常被要求提供用于说明项目目标和各项具体活动完成情况的、不同层次的文件和资料。有时，评价者也会对参与项目的普通工作人员访谈以获取有关数据和资料。2)成效即项目进行得如何。这方面的评价试图了解项目活动的进行情况。成效问题的评价通常要关注项目参与者有关的态度和知识。显然，成绩、成就测试和态度调查都可作为评价手段。评价者通常会要求评估课程材料和课程讲授过程，从而决定这些项目或课程的质量和效力。学生对课程的评价也常用于提供来自参与者的反馈和意见。这方面的评价中常见的问题有：正在参加远程教育项目的参与者对他们所参与的项目是否满意？通过所参与的项目，学生是否能学到他想学的东西？教师是否为教授远程学习者做了充足准备?实施方法：传统的学习成绩和态度的标准化测量方法适用于评价项目的质量和有效性。评价者也可要求学习者和教职员回答有关的问题。焦点小组也可为评价者提供有价值的信息，其参与者能较系统地对问题进行反馈和回答。最后，可以让项目参与者记录日志，然后用来分析和确定基础上实施过程中每天产生的效用。 -全文完-