公益项目评估指导手册_公益行业评估支持平台.pdf

公益项目评估指导手册 公益行业评估支持平台系列研发产出之一 研发方：明德公益研究中心 委托方：公益行业评估支持平台 2019 年 公益行业评估支持平台 目 录 第一章 手册介绍.1 一、研发背景.1 二、使用对象.1 三、内容简介与使用建议.1 第二章 发展性评估介绍.3 第一节 公益项目评估的价值.3 第二节 发展性评估概述.5 第三节 发展性评估原则.7 第四节 发展性评估流程.9 第三章 评估准备.13 第一节 建立评估共识.14 第二节 明确评估内容.18 第三节 交付评估任务书.22 第四章 评估设计.24 第一节 拟定评估建议书.25 第二节 签订评估协议.31 第三节 制定评估执行计划.34 第五章 评估实施.39 第一节 评估信息收集.39 第二节 评估信息分析.43 公益行业评估支持平台 第三节 评估结果呈现.46 第六章 评估应用.49 第一节 评估结果传播.50 第二节 项目管理响应.51 第三节 元评估.52 公益行业评估支持平台 1 明德公益研究中心 第一章 手册介绍 一、研发背景 近些年来，我国公益行业发展迅速，对公益项目评估的需求也越来越高，但目前，评估专业人才匮乏，缺乏系统的培养体系以及专业标准指引；评估机构水平参差不齐，缺乏准入门槛把关与质量控制措施。同时，第三方评估成本高，除调研涉及的人力成本外，最大的一部分是沟通成本，评估相关方需要对评估有共同的基本认知。因此，整个公益行业亟需要一套公益项目评估指导手册，以指导评估人员提升评估工作的专业性与规范性，指导评估的利益相关方对评估有共同的基础认知，降低沟通成本的同时，对评估工作也可有客观的评价依据。提升评估专业性的同时，也降低评估中存在的风险，保证项目评估过程的专业、规范与透明，结论的真实可信。二、使用对象 首要目标受众为第三方评估从业者，同时可为组织内部的评估者、项目资助者及对项目评估感兴趣的读者提供参考。三、内容简介与使用建议 手册首先对“发展性评估”进行整体介绍，之后将按照工作流程的时间 顺序，将评估分为“评估准备”、“评估设计”、“评估实施”与“评估应用”四个阶段，一一介绍其中的核心工作、常见挑战与应对方法。本手册根据公益行业评估支持平台使命精神，由明德团队结合明德近几年对公益项目评估的实践、思考与探索，以及国际相关实践经验与研究成果，从公益行业评估支持平台 2 明德公益研究中心 第三方评估机构的视角进行的撰写，对于第三方评估从业者，可直接参照本手册开展评估工作；而对于公益项目管理方、资助方，则可熟悉整个评估流程，了解如何更好地借助第三方为自己服务。为便于各方有效使用本手册，特做以下说明：本手册所呈现的公益项目评估过程中的各项工作虽源于实践但又高于实践，有些内容依然是目前现实情况下的理想或完美主义，旨在推动各方包括明德自身以更高的标准要求自己做的更好，因而建议各方在阅读本手册相关内容时应结合文中对其实现所需的条件进行理解，再结合自身工作所处的实际情况进行思考、学习与应用。公益行业评估支持平台 3 明德公益研究中心 第二章 发展性评估介绍 第一节 公益项目评估的价值 评估是每个人日常生活中都有的经历。比如，周日下午的朋友聚餐与读书会时间撞车，要选择哪个活动？iPhone、华为和小米，到底该买哪部手机？不同的人面对同样的情景可能有不同的选择，这背后隐含着每个人的价值追求及其对事物价值的判断标准。举个例子，同样是购买服装，追求身份的人看品牌；追求舒适的人看面料；追求美观的人看剪裁与颜色各种价值追求是通过不同判断标准来实现的。每个人的时间、金钱、精力等资源都是有限的，如何高效分配这些资源以实现个人价值追求，就需要制定判断事物价值的标准。对于个人而言，分配资源的标准可以是潜在的、模糊的，甚至是不设限的。但对于一群人、一个组织或一个国家而言，分配集体或公共资源的标准必须是明确的。它是集体决策的基础，是集体中的个体或小团体优化资源配置的依据，是追求经济与效率的前提。以公益项目为例，基于对“好项目”的界定及其评价标准所得出的结论，对外能够帮助资助者进行资助选择，对内能够帮助执行者调整行动。这也正是公益项目评估的价值所在。从以资助者为代表的外部视角看，最低的要求可能是资助的一个合规的项目，这时的“好项目”至少应该能够如约使用资助款、完成既定项目活动、并提交既定产出；更高的要求可能是资助一个安心的项目，这时的“好项目”除合规要求外，可能还应管理规范、有据可循、过程与产出质量令人满意；最高的要求可能是资助一个帮助自己实现“梦想”的项目，这时的“好项目”还应公益行业评估支持平台 4 明德公益研究中心 能够提供成果的有效性（即项目目标对象的积极变化可归功于项目干预）、项目的经济性（即该项目比解决同一社会问题的其他项目性价比更高）。而从以执行者为代表的内部视角看，最低的要求可能是完成一个项目，这时的“好项目”至少应该是工作对象清晰、产出明确、活动可行、投入匹配；更高的要求可能是呈现服务对象的积极变化，这时的“好项目”还应有具体的干预策略、可预测的发展过程、可衡量的工作任务与结果；最高的要求可能是生成解决某类社会问题的知识，这时的“好项目”还应确立项目干预体系、明确为服务对象带来变化的作用机制。显然，不同视角下的决策者，基于不同的目的，对“好项目”的界定及其评价标准是不同的。因此，为其提供的评估内容与过程也不尽相同。早在 1967年，Michael Scriven 就以评估主要目的是帮助内部改进项目还是帮助外部做决策为依据，将评估分为形成性评估（Formative Evaluation）与总结性评估（Summative Evaluation）两类。1 然而从现实操作的角度，一方面，第三方评估者所面临的评估目的往往是两者兼备的。评估委托者通常希望评估不仅要为资助者提供决策依据，也要为执行者提供改进依据。另一方面，公益项目从立项之初，所涉及到的资源就是内外部双方面的，“项目应该做到什么样”（即“好项目”的界定）也就包括双方的理解。在此基础上所进行的评估，天然会回应双方的要求。因此，在真实的评估服务中，难以完全从资助者或执行者的角度去开展评估。若想同时回应内外部的需求，首先要解决两个问题。一是内外部对于“好项目”的理解差异，二是内外部想了解的具体评估问题较多而单次评估资源有 1 Scirven,M.(1967).The methodology of evaluation.公益行业评估支持平台 5 明德公益研究中心 限之间的矛盾。针对第一个问题，对某个具体项目在特定时间内应在达到什么程度，我们以项目核心利益相关方的共识为准。第二个问题，则是通过对公益项目所处的发展阶段进行分类来解决的。分类后，每一发展阶段的项目所要解决的核心问题相对明确，与此相关的具体评估问题有限。这种评估从真实的项目发展状态出发，以推动项目向下一个阶段发展为方向，拟定与之相适应的评估目标，并与内外部评估结果使用者一起明确具体的评估问题与成功标准，帮助其增强对项目干预过程与结果的理解，辅助其进行管理决策。我们称之为发展性评估。第二节 发展性评估概述 作为提供第三方评估服务的一家公益组织，我们希望自己的工作能够助力被评估的公益项目本身有所发展。为实现这一目的，首先要了解项目过程本身是如何实现的。一个项目的实现过程，从功能上讲，可分为生产或服务运作过程、项目管理过程与内外部的支持过程三个维度。它们分别回应如何实现项目目标，如何促进活动衔接、监测过程质量与保障产出品质，以及如何部署内部支持条件、创造外部支持环境。三者之间以运作过程为基础，管理过程与支持过程为运作过程的实现服务。因此，了解公益项目的运作过程是推动其发展的关键。我们认为公益项目是这样一类项目，它通过组织各种活动干预某种社会问题的发展过程，推动某类人群、生物或环境的积极变化，达到促进社会问题解决，维护公共利益的目的。从这一角度来讲，公益项目运作的核心在于如何推动服务对象的积极变化。公益项目的发展过程即为不断明确有效的干预策略及公益行业评估支持平台 6 明德公益研究中心 其所带来积极变化的过程。据此，我们将公益项目的发展分为探索期、成长期与成熟期三个阶段。对于一个新发起的公益项目而言，首先需要一段时间去丰富与验证自身对所要解决的社会问题或所面临的环境条件的认识，确定项目干预的有效性与作用机制。即通过实践去探索有效的干预策略并创造干预活动所需的前提条件。这一时期我们称之为探索期。经过一段时期的探索，有效干预策略相对清晰，干预活动的前提条件也已具备，项目成果更具可预测性，干预的潜在逻辑越来越清晰。我们称之为发展期。随着干预成效的不断显现，有效经验的不断积累，项目干预活动体系得以确立，相关方对“什么在发挥作用”的确定性增加，对自身的影响、价值或意义有充分的准确的认识。我们称之为成熟期。每一发展阶段的项目均有其所要面临的核心问题。对处于探索期的项目而言，这一问题是：项目要促使什么发生？对处于成长期的项目而言，这一问题是：项目是如何发挥作用的？而对处于成熟期，则是：项目带来了哪些变化？不同发展阶段的项目能够为管理决策所提供的信息量存在明显的差异。成熟度越高的项目所能提供的信息越多，能够支持的评估内容也就越丰富。因此，成长期的评估内容可用于成熟期，探索期的评估内容也可用于成长期，反之则不然。比如：对探索期项目的可持续性做评估，或者对成长期项目的效果做评估，都会因缺乏相关数据而无法得出有效结论。采用这一发展性评估框架，我们能够在满足内部管理者与外部支持者决策需求的同时，为项目发展提供基于现实的改进建议。该框架并未包含具体可测量的“成功”标准，相关标准将由项目的核心利益相关方来界定，随项目与相关方的不同而不同。因此，发展性评估具备较强的应用性与参与性，其所能发公益行业评估支持平台 7 明德公益研究中心 挥的价值很大程度上取决于相关方的投入。从我们的经验来看，最终帮助内部管理者改进项目与外部支持者有效决策的评估，往往具备两个前提条件。一是具备相对明确、基于现实挑战的具体发展问题。它可能基于内部管理者视角，比如：是否能够将项目复制到另一个地方？也可能基于外部支持者视角，比如：停止资助对项目成效有哪些影响？二是在项目设计阶段纳入评估。发展性评估是面向成果、基于过程的评估，为保障对整个过程观测的质量，从一开始就介入是最佳选择。从在项目执行中或结束后才介入的评估，往往因缺乏介入前的观测数据，或因相关方回忆的模糊性而无法回应某些问题。比如：对未建立基线与对照组的项目，评估在项目执行中或结束后介入，无法对其作用程度进行有效评价。第三节 发展性评估原则 基于发展性评估功能、目的、框架与前提条件，我们总结出五条实践该评估的基本原则：1.成果导向 发展性评估的目的是为了促进项目发展，这里的发展即为推动其所干预的社会问题的解决。为实现这一长远目标，公益项目必须不断促进服务对象或环境的积极变化，这一变化过程中的阶段性里程碑，即为公益项目的阶段性成果。它们是项目实现其价值、获得持续成功的标志。因此，发展性评估以项目成果为导向，帮助项目明确其阶段性成果，澄清服务对象或环境从当前状态到目标状态的变化路径，推动其关注自身与环境的相互作用及其所带来的影响，并以此为基础建立相应的管理与支持系统。公益行业评估支持平台 8 明德公益研究中心 2.聚焦过程 发展性评估采用过程的方法。一方面，将被评估项目视为一个目标实现过程去分析。这一过程从功能上分为运作过程（成果实现过程）、管理过程与支持过程。我们以运作过程为基础，将其从初始状态发展到目标状态的变化过程分解为投入、活动、产出、成果与影响五部分，管理过程与支持过程为辅助其实现而建立。另一方面，将评估本身也视为一个完整的循环过程。它包括设计（Design）、监测（Monitoring）、评价（Assessment）、改进（Improvement）四部分，形成一个 DMAI 循环，参与整个项目管理过程。聚焦过程有助于项目团队理解项目结果是如何产生的，便于项目团队预测结果、优化管理与提升绩效，并为项目成员及其与相关方之间的沟通提供依据，能够促进项目成员相关能力的发展。3.基于证据 公益项目涉及某类人群、生物或环境的变化，过程复杂影响因素不确定性高，相关方较多视角与理解各异，加之学科技术发展水平有限，测量、评价与解释环节极易受人质疑。为保障评估分析与结论的可靠性，增强评估对后续决策的可用性，发展性评估必须特别强调分析与判断的依据。一方面，在“投入-活动-产出-成果-影响”这一项目过程链条上，为各环节设置观测点，从不同利益相关方处收集客观事实，交叉验证信息的同时提高信息的全面性；另一方面，对信息收集的流程与质量采取相应的管理措施，以保障所收集的信息真实有效。4.相关方参与 发展性评估以成果为导向，关注服务对象或环境的变化过程，这一过程涉公益行业评估支持平台 9 明德公益研究中心 及的相关方众多。识别相关方是理解项目内外部环境、认识成果实现过程的基础。这些相关方基于不同的视角与诉求，往往对项目目标与过程有不同的认知。发展性评估需要促进相关方的参与，了解相关方对项目的认知与影响。一方面，是为了促进核心利益相关方对项目“成功”的评价标准达成共识。另一方面，是为了降低因认知差异而造成的行为反应的不确定性，增强项目按照预期发展的可能。5.管理者重视 发展性评估始于项目面临的现实挑战，其结果直接贡献于项目的管理决策。因此，项目执行方的最高管理者必须认同评估的价值并支持全员参与。相关管理者要具备统一的理念，调动有关人员的积极性，保障组织使命、项目长远目标、项目阶段性成果、项目执行过程与配备资源的协调一致。在实现项目成果的基础上，不断增强目标的有效性、提升组织及其成员的能力、优化执行与管理过程、提高项目效率与效益。第四节 发展性评估流程 我们倡导的发展性评估致力于通过评估促进项目发展。评估结果除为内部管理与外部决策提供判断依据外，通常也会附上改进建议并推动应用。这种评估属于广义上的咨询服务，即以专业知识、信息、技术、经验为资源，向客户提供问题解决方案或决策建议。因此，它具有咨询服务流程相对明确、内容高度定制的一般特点。类似于咨询的委托、设计、实施与交付流程，我们将发展性评估划分为准备、设计、实施与应用四个阶段。然而，受公益项目自身社会性的影响，发展性评估又具有一定的特殊性。公益行业评估支持平台 10 明德公益研究中心 一方面，公益项目所追求的公共利益，较商业利益而言更难衡量，需要在评估过程中与相关方就“成功标准”达成共识；另一方面，公益项目所能取得的成效，较商业项目而言更依赖相关方，需要最大限度了解各方对项目的认知，并促进各方对其目标与实现过程达成共识。因此，发展性评估比一般咨询服务更注重相关方的参与。我们先对发展性评估的四个阶段进行简介，并在此基础上列表呈现出各阶段相关方的参与情况，以便各位查阅。1.评估准备 评估准备阶段是整个评估过程的基础。在该阶段中，评估委托方向服务方说明评估背景、需求与目的，评估服务方则向委托方说明评估所能提供的价值、一般流程与要求。在此基础上，双方进一步明确本次评估的目标、问题、方法、范围、任务、权责及预算等，形成评估任务书（Term of Reference，简称 ToR）。评估准备工作使得双方对整个评估过程与结果有一致的预期，其核心产出评估任务书是整个评估工作的质量指引。2.评估设计 评估设计阶段是对准确阶段双方形成的共识进行具体的操作设计。在该阶段中，评估服务方组建团队，基于委托方提供的项目基础资料与评估任务书，确定评估框架、主要活动与产出、时间、资金与人力投入，拟定评估建议书，双方协商一致后签订评估协议。评估项目正式启动，评估服务方组织包括委托方在内的项目相关方进行项目梳理，明确评估指标、成功标准，并结合各方资源条件制定详细的评估执行与沟通方案。评估设计工作能够提高评估方与相关方的工作效率与合作效果，其核心产出评估方案是整个评估工作的过程指引。公益行业评估支持平台 11 明德公益研究中心 3.评估实施 评估实施阶段是对评估执行与沟通方案的落实。在此过程中，评估方按既定方案推进评估实施，开发测量工具；在相关方的配合与支持下，完成工具的预测试与优化、调研对象的抽样及信息的收集；整理与分析信息，并就分析结果听取相关方的反馈，结合有关理论与外部环境状况形成合理的解释，最终完成评估报告。评估实施阶段的工作为评估结果提供依据，是决定评估质量与效果的关键，其核心产出评估报告是整个评估最重要的交付物。4.评估应用 我们所谓的评估应用不仅指最终评估报告定稿后推动建议的落地，还包括评估活动过程中对项目相关方的积极影响及评估过程本身的改进。它事实上是一个贯穿整个评估的过程，而非单指评估的收尾阶段。在准备阶段，帮助委托方认识发展性评估，识别利益相关方，收集其需求并确定其在评估中的权责；在设计阶段，听取各方对项目的认知，讨论确定评估指标与成功标准；在实施阶段，与委托方保持持续沟通，听取各方对项目的体验、意见与建议，对环境变化的观察等；在完成评估报告后，倾听相关方对评估发现的理解与评估工作的建议，促进相关方对评估结果的使用。评估应用工作能够促进各方成长，实现评估价值的最大化，是整个评估过程中最能体现发展性评估特性的内容。表 2.1 评估各阶段中相关方的参与 评估阶段 开展时间 主要内容 相关方的任务 1.评估准备 从接到评估委托到评估任务书确定-澄清评估背景、需求与目的-介绍评估的价值、流程与要求-明确本次评估的目标、问题、方法、范围、任务、权责及预算等-拟定评估任务书-了解项目核心相关方的需求，确定评估背景、需求与目的-了解项目核心相关方的可用资源，结合评估的价值、流程与要求，与评估方协商确定评估的目标、问题、方法、范围、任务、权责及预算等 公益行业评估支持平台 12 明德公益研究中心 2.评估设计 从评估任务书确定后到信息收集之前-组建评估团队-确定评估框架、活动与产出、时间、资金与人力投入-拟定评估建议书-签订评估协议-开展项目梳理-明确评估指标与成功标准-制定评估执行与沟通方案-明确评估参与者及其角色、整理项目当前及历史资料-确认评估方对项目的认识与据此所拟定的评估框架、活动与产出、时间、资金与人力（含项目相关方）投入-签订评估协议-协调评估相关方参与项目梳理-参与讨论确定评估指标、成功标准与评估方案 3.评估实施 从开始信息收集到完成评估报告-开发测量工具-工具的预测试与优化-调研对象的抽样-信息收集、整理与分析-结果解释与建议-完成评估报告-协调参与工具预测试的对象-协助调研抽样与信息收集-反馈对分析结果的理解-提供对报告呈现的建议 4.评估应用 贯穿整个评估过程-识别与确定核心利益相关方-帮助相关方认识评估并确定彼此的权责-推动相关方参与、记录与表达-倾听相关方对评估发现的理解与评估工作的建议-促进相关方对评估结果的使用-明确评估目的与评估结果使用者-建立正确的评估预期，了解自身在评估过程中的角色与权责-记录自身的观察与体验，表达对项目的认知与需求-分享对评估结果的理解-提出对评估工作的建议-制定管理响应计划 需要特别指出的是，相关方是指其认知、态度与行为将对项目持续发展产生重大影响的各类人群。在发展性评估中，包含两个层面的相关方，一是对被评估项目有影响的相关方，二是对评估结果应用有影响的相关方。两者有交叉亦有不同。前者通常是项目参与方，包括资助方、设计方、管理方、执行方、合作方、服务对象等，以及间接受影响的其他人群，比如服务对象的亲友、在项目地开展同类活动的组织。他们是全面了解项目所处环境、与各方的交互关系及实际作用的信息来源。一般而言，评估会在内外部条件的限制下，尽可能触及各类项目相关方。而后者，即评估应用相关方，除包括参与配合评估的项目相关方外，还包公益行业评估支持平台 13 明德公益研究中心 括可能未参与项目的评估结果使用者。比如若希望通过评估开展知识生产的工作，向行业或社会推广、甚至以此为基础开展政策倡导，那么业内实践专家、领域内的研究者、相关媒体、乃至政策制定者们都是评估的相关方。这些使用者由委托方的评估目的而定，也会被纳入评估过程，听取意见与建议。第三章 评估准备 作为一项定制化服务，发展性评估的过程是否顺利、结果是否有效，很大程度上取决于评估准备工作的质量。高质量的评估准备能够让评估方与委托方对彼此的需求与供给形成清晰的认知，基于有限的资源协商确定合理的评估任务，并对整个评估过程与结果产生一致的预期。这一结果的实现建立在评估方与委托方互相了解的基础之上。相比承接过众多委托的评估方，委托方对评估的了解相对更少。因此，委托方的状态往往决定了整个过程的内容与节奏。委托方对发展性评估越了解、对自身需求越明确、相关评估资源越丰富，双方所需沟通的内容越少、时间越短，评估准备工作的效率与质量就越高。为了最大限度发挥评估的价值，我们推荐在被评估项目的设计期开展评估准备工作。这里的设计期，不仅包括新项目的设计期，也包括已有项目新一轮执行之前的启动期。如果委托方在执行期才开始考虑评估工作，则需要特别针对因部分信息缺失或采用回溯信息而对评估产生的限制与影响进行说明。本章将为您介绍评估准备阶段的主要工作内容：1.建立评估共识 2.明确评估内容 公益行业评估支持平台 14 明德公益研究中心 3.交付评估任务书 第一节 建立评估共识 委托方提出评估委托自然有其原因，这里包含着作为解决方案的评估所要回应的问题或所要满足的需求，也包含着评估所应采用的方法、涉及的范围与纳入的相关方。然而，并非所有的委托方都会清晰的表达其需要评估的原因，更常见的情况可能是将其所认为评估能做到的一切事情，均作为需求告诉评估方。因此，充分了解委托评估的背景，引导委托方澄清自己的需求，考虑双方既有资源的限制，判断自己能在多大程度上回应其需求，是评估方首先要完成的工作。Step 1.1 了解委托任务 初次进行评估委托，委托方所提供的信息相对有限。通常，委托方会对计划评估的项目进行简介，并说明预期的完成时间，可能还会提到预算。但极少会详细说明委托背景、目的、预期及相关经验与资源。而这些内容正是评估方判断委托方的真正需求及评估能在多大程度上予以回应的关键。因此，评估方需要对此进行补充了解，并说明目的。同时，向委托方介绍评估服务所提供的价值及其流程。表 3.1 了解委托任务的内容 主题 内容 目的 1.预评估项目-发展历史、现状与未来规划-服务对象与目标-服务内容与合作伙伴-服务范围与时间周期 预估评估范围、所需能力与资源 2.评估需求-计划评估的原因-对本次评估的要求与期待-评估结果的使用者及用途 确定适宜的评估方法及相关方 3.评估资源-历史监测评估管理状况 了解可用资源，预估公益行业评估支持平台 15 明德公益研究中心-评估人员配置与预算-相关方的评估经历-管理层对评估的态度 评估管理与沟通投入 Step 1.2 沟通委托需求 在真实的评估工作中，除长期合作伙伴外，我们极少仅通过初次沟通就能够达成合作。一方面，委托方往往难以全面回应评估方的问题。另一方面，我们也难以在较短的时间内让委托方全面理解发展性评估意味着什么。因此，在初次沟通后，一般我们需要基于沟通记录列出需要委托方提供的参考资料与进一步回应的问题，并提供对于发展性评估的进一步介绍，帮助委托方认识发展性评估、了解彼此在服务过程中的权责。参考资料用于进一步了解预评估项目，通常包括机构年报、工作规划、项目申请书、项目设计方案、监测评估报告、会议记录、工作总结等。而需要进一步回应的问题则用于明确评估需求与评估资源。对此类问题，除向管理层确认外，我们建议委托方基于自身的评估目的识别相关方，向其说明情况并听取意见再确定答复。表 3.2 识别评估相关方及其评估应用角色 可应用评估发现的个人、群体与机构 推动政策制定 进行项目执行决策 提供评估支持 调整行动 基于兴趣的关心 项目设计者 项目资助者 识别项目地需求的个人与机构 支持项目的在地机构 其他场地、物资与人力等资源提供者 项目执行方最高管理层 项目管理者 项目执行者 评估资助者 项目服务对象 项目间接受益人 潜在的项目推广对象 公益行业评估支持平台 16 明德公益研究中心 服务同类对象的其他机构 未被服务的目标人群 对项目或评估持消极态度的群体 项目对其利益有影响的人群 社区成员/公众 管理相关社会问题的政府部门 参与政策制定的人群 相关社会问题研究者 媒体 Step 1.3 评估承接决策 在评估需求进一步明确、双方对评估的价值与功能形成共识的基础上，评估方需要对委托方当前的项目发展状态、评估需求、可用资源与评估能力进行分析，以确定其评估准备状态，并结合自身业务范围、能力、资源、时限与业务量，综合判断是否要承接该项服务。若无法承接，需要向委托方说明原因。对评估准备状态的评价工作称之为可评估性评价（Evaluability Assessment）。即便明确了评估需求并得到管理层与相关方的支持，要开展评估工作仍面临许多现实问题需要考虑。比如满足评估需求的相关信息是否可可及？获取新信息的成本如何？是否有足够的时间、预算、人力投入？评估结果是否来得及影响相关决策？评估收益是否大于评估成本？可评估性评价正是为回应这些问题而产生的，通过分析评估的可行性、适宜性、经济性与应用性，实现降低评估成本、增强评估收益、提高评估应用价值，并改善评估设计的效果。表 3.3 可评估性评价参考框架 主题 内容 作用 1.项目设计 项目达成其预期结果的逻辑是否合理、可行-项目所要解决的社会问题及目标对象的确定性-项目目标与所要解决的社会问题之间的逻辑性与现实性-项目目标、活动、产出与投入的确定性、一致-判断项目发展阶段-确定可行的评估范围与目标-预估项目梳理公益行业评估支持平台 17 明德公益研究中心 性、逻辑性与可测量性-项目干预对象从当前状态到目标状态变化路径的清晰程度与实现的可能性-项目与政策的一致性-与同类项目之间的关系 的工作量 2.信息可及性 相关信息是否可获取及是否足以回应评估问题-项目设计中对工作绩效标准的确定性与SMART2水平-项目设计、过程与管理资料的可获取程度-支持者与阻碍者、政策与法律等环境条件监测信息的可获取程度-基线数据、对照组数据、既往监测评估数据的可获取程度-项目结果（包含预期与未预期）数据的可获取程度-项目执行方及其合作伙伴的监测管理信息提供能力-利益相关方最关心哪些信息-新的数据收集与分析的可行性与成本（资金和时间）-预估评估框架与指标制定的工作量-判断可行的评估方法-预估信息收集与分析的工作量 3.评估背景 操作环境是否有助于开展评估-会见参与项目的核心人员的可能性-完成评估的资源（资金、人员、时间、技能）匹配性-相关方对评估的态度、参与意愿及可能性-评估可能遇到的伦理问题及其可管理性-社会文化、自然环境或其他因素的限制与挑战及可控性-预估评估过程中的风险与挑战-预估评估管理的工作量 4.评估应用 评估过程与结果是否有助于项目改进及相关决策-相关方对于在评估过程中学习与应用评估结果的认同程度-评估主要使用者/影响对象对评估的期待-评估主要使用者/影响对象参与评估的程度-评估主要使用者/影响对象的需求被回应的程度-评估时机与项目周期匹配性-评估结果呈现时间足以支持相关决策-预估评估问题及其优先级-预估评估应用过程中的风险与挑战-预估评估沟通协调与促进应用的工作量 如果可评估性评价表明项目已做好评估准备，评价结果将被用于完善后续的评估工作描述与评估设计。若评价结果显示项目尚未做好评估准备，则应考虑调整评估预期与方式或根据评价结果的建议调整当前的准备状态。比如，评价表明要看到项目有显著的量化成果数据为时过早，不建议评估聚焦于最终成 2 SMART 原则（S=Specific、M=Measurable、A=Attainable、R=Relevant、T=Time-bound）公益行业评估支持平台 18 明德公益研究中心 果的达成，但可以通过定性与定量的方法去评估阶段性结果。又或者，结果可能显示评估无法测量所有你期望的成果，但可以聚焦在相关方最感兴趣的小部分内容。一般而言，促进项目评估准备的建议主要包括：完善项目设计：修正项目逻辑以建立一个清晰、可测量、有共识且真实的变化理论 改进项目执行：调整项目活动以增加达成既定目标的可能 改善项目管理：采用正确的管理措施以落实项目设计、确保运行流畅 提升测量水平：开发或完善项目监测数据系统 增强评估认同：在利益相关方间建立起对评估目的与应用的共识 第二节 明确评估内容 在确定承接评估委托后，评估方需要在可评估性评价的基础上将其了解评估需求、评估回应需求的方式方法及所用资源等转化为明确的工作任务。这份任务清单通常包括评估问题、方法、范围、团队及其权责、相关方及其权责、时间与预算等内容。这一工作在面对评估专业化程度相对较低、无内部评估人员的委托方时，由评估方主导，委托方及其他评估相关方反馈。而在面对评估专业化程度较高、拥有内部评估人员的委托方时，评估方一般只需要适当的澄清、补充或调整。因为这类委托方在寻求外部评估方时，往往会提供一份针对评估工作的说明，其内容涵盖大部分前述评估工作任务。Step 2.1 确定核心评估问题 评估工作的起点与核心是评估需求，而评估需求必须转化为关键评估问题公益行业评估支持平台 19 明德公益研究中心（Key Evaluation Questions，简称 KEQs）才能明确评估工作、开展评估设计。这里的评估问题是指整个评估工作所要回应的问题，并非在具体的调研工作中所使用的问题。这类评估问题的产生主要依据两个方面的信息：一是评估方及其他评估参与方或评估结果使用方所提出的问题、信息需求或表达的关注点；二是与项目所处发展阶段相匹配的评估内容框架，及项目所解决的社会问题与所服务对象的相关研究。后者主要由评估方提供，更多发挥参考、指引与优化的作用。经过“建立评估共识”的一系列工作，评估方可能收集到大量评估问题。这些评估问题可评估性参差不齐，需要进一步优化。首先，在分类的基础上对评估问题进行整合与提炼。一般而言，可分为指向项目操作与管理的过程性问题、指向项目产出、成果与影响的结果性问题以及指向内外部环境的支持性问题三类。其次，从可行性与应用价值两个维度对优化后的评估问题进行评分，并依据得分结果进行优先级排序。整个优化过程需要评估方与委托方共同完成，协商一致。为保障评估工作的质量，通常最终保留不超过 7 个核心评估问题是比较合理的数量。表 3.4 核心评估问题评分表 评价依据 评估问题 1 评估问题 2 可行性 是否有匹配的资金与人力投入？是否能满足其所需时间？是否有相应的方法与技术？应用价值 主要评估使用者是否关心？是否能产生确定的结果？结果是否对项目决策有影响？所得到的信息是否有长期价值？注：答案为“是”计 1 分，“否”计 0 分，按各评估问题的总分进行优先级排序 Step 2.2 评估工作内容分析 公益行业评估支持平台 20 明德公益研究中心 核心评估问题决定信息收集对象与范围、信息分析方式及评估所需投入，这些内容正是评估工作的主体。基于“建立评估共识”阶段所获取的信息，评估方需要针对每个评估问题进行工作分析，确定回答该问题所需要收集的信息、信息来源、信息收集方式、信息分析方式、信息收集与分析所需时间与人力投入。其中，所需要的信息一般基于对核心评估问题的拆解，比如对项目目标是否达成这一核心评估问题，其所需要收集的信息可能涉及项目目标在质与量两个维度上的多项内容。基于交叉验证的考虑，获取所需信息的来源需要多样化。一方面除委托方外，可以从合作伙伴、服务对象等项目相关方直接获取信息；另一方面，也可以从项目外的相关文献、专家顾问获取信息。常用的信息收集方式包括桌面研究、问卷、访谈、观察等，由此获得的信息可分为定量与定性两大类。定量信息能够直接描述事物的状态，明确直观，便于交流比较，但某些情况下因缺乏工具、技术或条件很难收集；而定性信息则能够反应事物之间的关系，丰富细节，便于推测因果，但往往不易确定其代表性与可推广程度。因此，一般而言，评估信息收集工作需要两者兼顾，互为补充。与信息类型相对应，信息分析也可分为定性分析与定量分析两大类。表 3.5 核心评估问题工作分析表 评估问题 所需信息 信息来源 收集方式 分析方式 所需时间 所需人力 问题 1 问题 2 问题 3 问题 4 问题 5 Step 2.3 确立参与者权责 公益行业评估支持平台 21 明德公益研究中心 在对每个核心评估问题进行分析的基础上，评估方能够统筹评估工作整体所需的时间与预算，并列明评估过程中所需的参与方及其参与内容。为做好评估过程管理，保障工作效率与质量，评估方需要根据“达成评估共识”阶段所识别的相关方及其角色，以及“评估工作内容分析”所得到的具体参与内容，明确各类相关方的参与人员及其权责。所有评估参与者，按照其在评估中所扮演的角色，大致可划分为四类。一般而言，发展性评估中应包括所有这四类参与者，具体情况还需要与相关方协商确定。第一类为管理决策类，主要以评估方、委托方及资助方的相关负责人等对评估有决策权的人员为主。这类参与者直接参与评估准备、设计与管理工作，对重要事项进行讨论与决策，并在评估应用阶段，执行相应的管理决策。他们能够获取评估过程与结果的所有信息，对评估工作有决策权。第二类为参与应用类，主要为评估方团队成员，委托方、资助方、合作伙伴中的项目设计、管理与执行者等直接参与项目、对项目过程有直接影响的人员，以及未直接参与项目但在“达成评估共识”阶段被识别为核心评估结果使用者的人员。这类参与者主要参与评估准备、设计与结果解释的重要工作讨论，贡献其观点、提出意见与建议；在评估实施过程中协调相应的资源，保障与支持具体工作的顺利开展；并在评估应用阶段，推动具体工作的改进。他们是评估团队的核心人员，能够了解评估逻辑、影响评估设计、参与评估实施、深入理解评估结果，并提升自身工作效率与质量。第三类为协助支持类，主要包括已得到或尚未得到服务的项目目标对象、目标对象家庭与所在社区成员、为目标对象提供类似服务的其他组织相关负责人或相关内容研究者等受项目直接与间接影响、能够反应项目成果与影响的人公益行业评估支持平台 22 明德公益研究中心 员。这类参与者主要参与评估实施过程，提供对项目的反馈、对环境的观察、以及对真实变化的理解，也能够在评估设计中发挥积极作用，提供基于成果与影响端的视角。他们能够了解项目逻辑，推动项目设计、执行与管理的改进，从而获得更好的收益。第四类为传播影响类，以“达成评估共识”阶段所识别的其他可能使用评估结果或影响项目发展环境的人员为主，比如：未参与项目的大额资助者、政策制定者、媒体报道者、监管机构相关负责人等。这类参与者相对被动，其参与自主权更大，在整个评估过程中更可能是“被告知”的角色。通常在评估应用阶段被邀请了解评估结果，共商应用计划。表 3.6 评估参与者及其权责清单 参与者类别 具体人员 主要参与内容 责任 权利 管理决策类 参与应用类 协助支持类 传播影响类 第三节 交付评估任务书 经过“明确评估任务”阶段的工作，评估方与以委托方为主的相关方就评估问题、方法、范围、参与方及其权责、评估时间与预算等内容达成共识。这一系列共识需要形成书面记录，作为整个评估工作的内容与质量管理的指引，为进一步的评估设计与评估协议签订等后续工作的开展奠定基础。这份说明在不同国家与地区或不同背景的组织中，可能有不同的称谓。它可能被称为评估任务书（Term of Reference，简称 TOR）或评估工作描述（Statements of Work，简称 SOW），也可能被称为项目评估文件（Project Appraisal Document，简称 PAD），还可能是提案建议书（Request for Proposal，简公益行业评估支持平台 23 明德公益研究中心 称 RFP）或招标邀请书（Invitation for Bid，简称 IFB）。在我们的工作中，将其统一称之为评估任务书。评估任务书的内容主要来自可评估性评价和与委托方沟通的结果，一般包括为什么要做评估、评估什么、如何进行评估、如何管理评估及如何应用评估几方面内容。“为什么要做评估”主要提供被评估项目自身的基本信息，如发起的背景、目的