政策评估模型分析及其对当前政策评估审计的启示.doc

常见政策评估模型分析及其对当前政策评估审计的启示高翔（审计署驻广州特派办）【时间:2011年10月13日】【来源: 】【字号：大 中 小】摘要：公共政策是现代公共管理运行的核心平台，已变成了人们生活的一种重要外在条件,及时开展政策评估对发挥好政策职能作用具有重要意义，对政策评估涵义准确界定有利于厘清政策评估审计的工作要求，日臻成熟的西方国家的和常用的评估模型包括效果型评估、经济型评估、专业型评估和过程型评估等四大评估模型体系中近10类，在对各类政策评估模型的源起、优缺点深入阐述和分析的基础上，针对我国实际，对如何开展政策评估审计提出建议。关键词： 公共政策 评估 研究“十二五”规划中明确提出，今后要把转变经济发展方式作为促进经济又好又快发展的根本依托，国家审计作为保障国家经济社会健康运行的“免役系统”，必须在促进经济发展方式改变中发挥积极的作用，以促进经济社会科学发展。加强对包括宏观经济政策在内的各种公共政策执行及结果，及时开展政策评估审计，有利于各级政府将中央的重要决策落到实处，是促进经济发展方式转变的一种不可或缺有效途径，如何有效的政策评估审计，是摆在审计机关面前的一个不容回避的课题。本文拟从国外公共政策评估的涵义入手，全面介绍和系统分析当前西方国家政策评估的主要模型，并在此基础上对我国开展政策评估提出建设性意见。一、公共政策及政策评估的涵义界定公共政策作为与公共权力主体相伴随的产物，对社会其他子系统产生深刻的影响。二十世纪以来，这种作用越来越明显。首先，随着政府经济职能的膨胀，以罗斯福新政为标志，西方国家放弃了完全放任的自由资本主义政策，改变了政府传统“守夜人”的角色，通过各种形式广泛地介入社会经济活动。其次，随着社会职能的不断扩展，政府大大强化了其在社会公共权力中的主体地位，制定了大量的公共政策，其涉及领域之广泛、程度之深刻、规定之细致，使得每个公民从生到死都不可避免地生活在公共政策的影响之下，公共政策已变成了人们生活的一种外在条件。关于“公共政策”的界定，有很多种视角，主要有价值分配论视角、目标方法选择论视角、立场论视角、过程论视角、政治合法性实现论视角，等等。托马斯戴伊（Thomas Dye）等人认为大多数公共政策是合力作用的结果，他认为公共政策“就是政府选择做哪些事情而不做哪些事情”。目前多数学者认为公共政策基本内涵，至少包含三个方面内容：其性质是以政府等为代表的决策主体运用被赋予的公共权力来区分社会利益需求、协调社会利益矛盾与冲突的方略；其目标直接指向国家、社会或共同体的利益最大化；其核心是一种选择。鉴于公共政策种类繁多，执行复杂，影响深远，因此利益相关方不但关注政府追求什么样的政策，更关注政府如何实施这些政策、这些政策产生什么样的结果，也就是需要通过评估来监督其运行、确定它所产生的最终效果，以更好地把握将来的方向，使得政府履责尽可能地做到富于创造性、富有效率和更负责任。政策评估作为评估的一种，一些学者主张将其界定为涵盖与公共政策相关的各种分析评价，如卡罗尔魏斯（Carol Weiss）在他的评估研究（1972）一书中这样描述：“政策评估是一种弹性度很大的词，它可以扩展到涵盖到（各种与政策相关的）分析判断”。他们主张将事前评估，计划评价，需求评估，目标设定分析等都纳入政策评估范围。罗斯（Rossi）和弗里曼（Freeman，1989）提出“政策评估是系统应用社会科学研究程序，来评价公共政策项目的设计、执行和最终效果”。另一些学者反对这样界定，他们认为如果政策评估是包含公共政策生命周期内的各种分析，相对于政策评估概念起源来说，显得过于泛化。首先，他们认为1967年爱德华萨其曼（Edward Suchman）在政策评估研究一书中首次倡导将政策评估作为一个独立的研究领域看待，只是指对政策执行过程和结果的评价，并不包括事前的各种评估。在标志着公共政策评估走向成熟的斯图亚特纳格尔（Stuart Nagel）的公共政策评估手册中，也是类似的界定。其次，他们认为对公共政策形成前的各种潜在方案分析评价，属于内部的选择程序，不应包括在政策评估定义范围之内。在众多的定义中，笔者倾向于韦顿（Vedung 1997）提出的政策评估定义，即：“政策评估是围绕公共政策的管理、结果和影响的优点及价值，开展的一种深入的回顾评价活动，以期为将来的公共政策实践发挥积极作用”。这一定义厘定了政策评估的几个关键特征：一是政策评估内容应包含公共政策的程序和实质性评价；二是强调除了影响评价外，还应对公共政策的效率和过程监督；三是它指出评估过程必须执行一定的标准；四是它明晰了评估的目的，即为将来的政策实践活动发挥积极作用。由此可见，公共政策评估其实就是根据特定的目的，依据一定的标准和程序，对政策运行、效果、效益、效率和影响等方面所开展的一种绩效评估和价值判断活动。（三）公共政策评估范畴如果将公共政策全过程，简单地抽象为一个由输入，转换和输出组成的系统，基于上述定义，本文讨论的政策评估主要指是与整个政策周期后端相关的评估，其政策评估范畴和线路可以用图1来描述。二、西方公共政策评估常见模型政策评估的逻辑起点是其分类的一个重要的依据，因为不同的起点引致的组织模式，将会形成不同的评估模型。随着政策评估实践的深入和不断的发展，西方国家已经形成了效果型评估模型、经济型评估模型、专业型评估模型和过程型评估模型等四大类评估模型体系。（一）效果型模型效果型评估是应用最广泛的一种类别，除了典型的目标导向型评估模型外，还包括副作用评估模型、无目标约束评估模型、受众导向模型等四种。1目标导向评估模型。该模型是评估中最典型的方式，它具有简单和明晰的两大特点，评估过程主要包括两个部分：目标衡量和程度评价。目标衡量指的是政策结果是否符合预定目标，而程度评价则是分析政策项目产生了多大程度的预期结果。目标导向评估是以目标作为逻辑起点，其评估路线主要由三部分组成：首先，找出政策项目目标、梳理出他们的实际含义并转换为可测量的标准，其次，测定各种目标实际取得值，最后，评定目标的实现程度。这一评估模型可以用下图所示：目标导向模型应用非常广泛，几乎所有政策项目，都可以用这一模型来评估。在早期的文献中，目标导向模型在政策项目评估中占绝对主导地位。之所以如此，因为它具有突出的优点： 一是它符合民主社会公众对政府履责结果的需求；二是它的评估标准相对比较客观，通过对项目设定目标完成情况来判断一个项目的结果，这种谨慎的评估方式避免了以个人主观的标准去评判项目的优劣，所以司克文（Scriven，1991）称它为第二次评估（即从别人的观点上进行评估）；三是这种模型只是涉及两大类问题，实施起来非常简单。自上世纪七十年代以来，这种模型受到来自各方面的攻击。原因在于其自身存在着几个固有的缺陷：首先，它没有考虑项目完成成本。其次，一些学者认为项目目标不足以用来作为评估标准，因为政策目标有时具有模糊性，一是项目的目标出于某种目的考虑，本身就模棱两可，无从知晓其包含什么或不包含什么（这在试图解决政治冲突又不想要有真正的结果时经常出现）；二是多个目标并存引起的晦涩，一些政策项目虽然有一个主目标，但它同时被要求与其他目标进行平衡，由于他们有的可能还相互冲突，也很难用他们来判断项目成功与否。也就是说，如果政策制定者没有将目标细化并形成一个整体可测的政策结果，那么目标导向模型的评估很难形成一致的结论。第三，它忽视对非预期效果的评估，即评估者只是限定自己对预设的项目目标进行研究，任何其他非预期的副作用都不在评估考虑之中。这一限定的优势存在事实上的不合理，如按照这种模型，伊萨贝拉女王派哥伦布西行寻找印度航线项目，就是一个完全失败的项目，因为抵达印度的预定目标并没有实现，但不考虑发现美洲大陆所带来的巨大价值，显然是不合理的。第四，这种模型忽视了政策制定过程中所包含的潜在目标。该模型只要求评估者使用预定、正式提及的实质性目标作为评估测量标杆和收集数据的依据，但显性目标也许只是冰山之一角，它也许只是决策者向公众的一个交代而已，远未揭示其真实动机。一旦这些幕后的战略目标实现了，政治家已经没有兴趣去执行项目的那些实质性条款，所以项目目标实现与否并不足以判断项目是否成功。第五，该模型专注于项目后果，而不是程序，没有把执行过程当成一个问题来认真对待，及时简单地把执行过程只是看作一个黑匣子来处理。2副作用评估模型。正因为目标导向模型只使用预设的目标来评估，忽略对一些未曾预期或意想不到的政策效果的评估，有学者提出将目标导向模型向同时考虑副效果的方向扩展，并称之为副作用评价模型（Vedung，1996）。它的特征是在保留预设目标评估的同时考虑副作用。政策副作用是与预设目标效果想对应的概念，主要指政策在目标范围外所产生的作用，即公共政策可能产生超过预期结果之外的其他一些后果。副作用本身是个中性词，既可能带来诸如哥伦布航行项目中发现美洲大陆这样好的效果，也可能产生用来解决问题的办法自身却变成了新的问题这样坏的效果，如瑞典一个应对能源节约的项目是资助住宅节能的，即由政府来补助那些愿意对既有房屋进行节能改造的屋主，使得既有建筑在使用能源时更有效率进而达到节能的目的。然而，项目实施在财富分配上可能有不利的副作用，因为有屋者整体上来讲要比其他人群更加富有。即便如此，为达到节能的目的政策制定者仍然接受了这一副作用，因为他们知道补助项目还会产生一系列有利的副作用，如项目实施后会刺激经济、提供新的就业机会等。事实上，副作用评估模型，强调的是一个整体评估，这种模型如下图所示。但以什么标准来判断项目效果，是副作用评估模型中遇到的最大挑战。理想状态下，评估师可以用政策预期主要效果价值与各种副作用价值进行平衡。也就是说坏的副作用看作是主目标实现的代价，好的副作用作为当主目标不算太理想的项目的一个筹码。但这里还是存在着如何明确主要效果、各类副作用的价值大小判定标准问题。由于副作用通常是无法预见的，因而判断效果好或坏的标准也无法预设，判断标准不能预设，副作用价值大小自然无法计算，对主目标价值进行加减来计算项目整体价值，自然也就无从实现。对这一问题，有学者提出采用留置的解决方案，即除用预设目标对主要效果进行评价外，评估师可以只是纯粹记录副作用，将确定副作用价值和项目整体价值评价，留给政策制定者或评估报告的使用者。3无目标约束评估模型。鉴于目标导向型模型存在一些问题，一些评估理论学者如司克文（Sciven ，1973）提出了无目标约束评估模型。粗略一看，感觉这一模型太过于激进，不设立目标，怎么可能评估？按照无目标约束模型，评估应只按照结果（无论是计划结果或是非计划的结果）来组织，由于不囿于预先设定的政策目标，评估者对评估对象的总体效果会有一个更加全面的视角，因为他将专注于政策产生的所有后果，也就是他能集中注意力在评估对象实际产生什么而不是限于其应该产生什么样的效果。这一模型可以描述如图3所示。由于没有了预期与非预期之分，无目标约束模型客观上了取消对诸如政策副作用诸如此类的贬称。但在司克文提出的模型里，项目效果是与客户的需要相互比较的，而有的学者韦顿（Vedung） 甚至认为无目标约束模型既不用关注预设目标，也不用关注客户的需求，只要求关注结果。显然，无目标约束模型明显是与结果导向管理相关。无目标约束模型建议评估者只是陈述结果事实，将对这些真实数据运用价值标准形成总体价值判断，留给了决策者。4. 受众导向评估模型。受众导向模型是站在另外一个角度来评估政策，它围绕政策项目是否满足了目标受众的需求或期望而展开的。受众导向评估是基于公共管理本质上是在公开市场上向顾客提供商品和服务这一理念。在运用受众导向模型时，首要步骤是定位政策项目的目标受众，由于评估不可能涵盖所有的受众，所以必须对目标人群进行合理取样。受众导向模型只能是其他评估模型的一种补充，因为它自身也存在一定局限性，因为受众的判断标准各不相同。（二）经济评估模型各种效果评估模型的共同缺点是忽视成本。事实上，过分集中在效果上，往往容易导致资源的极大浪费。与此相反，经济评估模型则关注政策项目的成本情况。经济评估模型包括生产率模型和效率模型两类。1. 生产率评估模型。私营企业将利润作为价值标准，实现利润最大化是企业成功的标准。与此类似，生产率最大化应该是公共政策绩效的标准。生产率似乎是一个模糊的概念，它通常定义为产出和投入的比率。其用数学公式表示就是：生产率=产出/投入。显然，这一比率公式可以变换成许多具体的形式。例如，在计算某一公共图书馆项目的生产率时，可以使用成本生产率（借出书本数量/图书馆综合成本）来衡量，也可以借助于工作生产率（借出书本数量/综合工作小时数）来衡量。前者是经济性的评价项目，后者是物理性评价项目,当然还可以用其他生产率指标来衡量。但是，判断一个公共部门的实际生产率是否合适，必须要有一个参考标准，一般可以使用以下方法来判断：一是与过去绩效比率情况相互比较、二是与国内相同机构的比率相比，三是其他国家相似机构，四是政策制定时确立的目标。生产率作为一个衡量公共部门行为好坏有一定的技术优势,因为一般而言投入到项目或部门的资金成本并不难计算。但是生产率在确立时也存在着一些困难，首先，成本有时也很难以确定。其次，以什么作为产出指标时也有较大困难。仍以图书馆评估为例，借书数量这一产出指标是涵盖图书馆各种产出的指标吗？虽然公众提供借书机会是图书馆的最重要的任务，但它也许并不是一个能够涵盖所有业务的指标，一些人到图书馆可能是阅读报刊、杂志和期刊，或者是查阅字典、百科全书或者听音乐、看录像，显然这些不会显示在借书数量的统计之内。第三，在衡量生产率时，还有一个比较复杂的问题在于质量问题。因为如果公共部门在执行某一不正确的项目，纵使产出再高，也达不到理想的效果。2效率评估模型。效率模型是另外一种重要的经济型评估模型。效率可以从两个方面进行度量，一是成本-效益分析，一是成本-效果分析。罗斯和弗雷曼（Rossi and Freeman ，1989）在评估：一种系统方法中指出：“效率评估（包括成本-效益分析和成本-效果分析）提供了一种将成本与政策项目结果来联系起来的参考框架。在成本效益分析中，项目投入与产出都是用货币进行度量；在成本效果分析中，投入用货币进行估计，但是产出却是按照实际影响效果进行估计。”也就是说，在成本-效益分析中的效率可以表示为项目产出货币化价值与项目货币化成本的比值，而在成本效果分析中，效率则是各种物质形态效果价值与货币化的成本之间的比值。这可以用简单的公式表达为：成本-效益分析中的效率=项目效果货币化价值/项目货币化成本；成本-效果分析中的效率=项目物质形态效果/项目货币化成本。效率模型的项目效果，指的是项目所直接引致的后果。从这一点上看，效率分析评估与效果分析是一致的，主要的不同之处在于效率分析将成本考虑在内。如同各种评估模型一样，生产率模型和效率模型也存在着偏颇。他们都忽视了当代民主对公共部门活动其他方面的一些诉求。如：其判断价值标准中无法体现合法公正、程序公平、共同参与等。（三）专业性评估模型）在专业性评估模型中，同行审查是一种重要的评估方式。所谓同行审查，是指委托专业人员来评估相同领域专业人员的工作情况，如委托律师评估律师工作成果，聘请工程师评估工程师工作成果，等等。同行审查原本是学术性刊物稿件的甄选程序，即稿件要通过同行审查来决定是否发表，它后来被用于研究基金对资助项目的甄选。同行审查看似与政策评估无关，现在却成为一种重要的评估方式，原因在于在一些专业技术主导的公共部门，公共政策涉及到非常复杂的专业的知识，当需要对公共政策执行、结果和影响，进行专业评价时，只能求助于同行专家, 即该领域的知名专家被邀请来对项目质量进行评估。当然这些请来的专家需要比那些被评估者有更强的专业知识才能胜任。同时，他们也必须相对独立。同行审查有时还采取两个工作组并行的方式来取代单一工作组的做法。当然，这种评估方式，有时也会产生不同工作组得出的结论不尽一致的问题，但在复杂的专业领域，这种方式也许是用来判断评估对象绩效的最好方法。（四）过程性评估模型前面三大类模型，本质上属于一种实体性的评估模型，但在政策评估实践中还有过程评估这一重要类型。过程评估主要包括监测评估和程序评估。1.监测评估。监测评估是指在政策执行过程中确认项目执行是否有效和是否符合目标的一种分析性评估，评估的结果常用作改进项目执行的依据。监测评估具有四个特征：一是监测评估是项目执行程序中的一部分；二是它主要是一种内部评估，一般主要由项目人员自行开展；三是在时间上它没有明显的区分，可以持续于整个项目始终；四是它主要是一种描述性的评价（有时也涉及到对目标是否完成的一些判断）。由于监测评估常由政策项目执行人员来开展，这容易导致评估的客观性和适当性问题。但不管怎样说，作为政策项目的一部分，监测评估可以用相对低廉和有效的方式，及时来揭示项目是否正确地执行，将为最终评估提供重要参考资料，这也是监测评估为什么越来越受重视的原因。2.程序评估。程序评估关注的是项目如何被执行。一些学者有时将程序评估归并入过程检测，但这两者是有区别的。首先程序评估不像过程监测那样具体、那样依赖项目各项措施的完成情况；其次是程序评估一般由外部单位实施的，更注重研究项目是如何发挥作用的，能否有助于实现既定目标，而不是依据现有标准对各项进展进行测量。这种评估一般也是描述性的，在性质上更具有归纳性，它常包括下列内容：一是监测和跟踪投入如何转化为产出的实际转换过程，进而判断是否达到预定政策目标；二是独立观察项目执行单位是如何工作，并和项目相关人员开展讨论，以了解他们对项目本身及其目标的整体认识；三是有时会开展一些穿行测试，确定各项规定是否得到遵守。三、评估模型对我国公共政策评估审计的启示从上述评估模型发展演变及分析中不难看出，西方国家在探索政策评估模型时，一些模型往往是在另一些模型缺陷的基础上发展出来的，同时可能又带来了新的缺陷，再不断地以新的模型去修正，进而形成了目前比较完整的评估模型体系。其评估模型的发展过程，为我国构建自己的政策评估模型体系时给出了一个重要启示：各种评估模型其在具有合理方面的同时，也具有缺陷性，很难说那一种模型能适合一切目的。因此，笔者认为我们在构建模型体系时，可以不像西方国家那样过于拘泥于单一模型，而可以根据现阶段政策评估目的和政策项目特征，创造性地建立组合评估模型来指导政策评估，如：对我国改革过程中经常开展的一些试点政策项目，评估目的是要看政策是否能产生预期政策目标，以及是否产生非预期的副作用，为在更大范围内实施提供参考，因此可以结合实际创造性地使用由结果导向模型、副作用评估模型、受众评估模型等组成的组合模型来进行评估；对一些正式实施的关系国计民生的重要政策项目，在实施阶段除了要重点开展过程评估和生产率评估，也可以开展阶段性结果导向评估和受众导向评估，及时为优化政策提供参考；对已经结束的政策项目，要以综合评估模型和效率模型，全面分析和解剖项目实施的效果性、效率性和经济性，在评价结果同时认真做好过程原因分析，为今后类似政策制定，提供全面参考依据。具体来说，要做好政策评估审计工作，在促进经济发展方式转变中发挥更好的免疫系统功能，笔者觉得在以下四个方面必须努力：一是要尽快在认真吸收西方政策评估理论的基础上，结合实际及时构建中国特色政策评估理论体系，为政策评估提供有效的理论指引。西方国家在政策评估，在结合实践发展发展需要，不断构建和完善自身的评估理论体系，为实践提供理论指导。其现有的理论体系，为我国处于起步阶段的公共政策评估工作，提供了很好的借鉴理论基础。但同时也应看到，因政治体制和经济基础不同，其评估模型、标准体系、评估方法等许多方面，并不完全适用于我国政策评估实践，因此应该在消化吸收的基础上，借鉴其合理内核和研究思路，及时构建科学、规范、有针对性和具有中国特色的公共政策评估理论与方法体系。二是要尽快构建包括公共政策评估在内的政府绩效评估法律体系，切实解决政策评估指标体系问题，将为审计监督实现量化奠定基础。政策评估中的关键问题在于评估指标体系和标准的确立。对评估中普遍感到困难的指标体系和标准问题，美国在绩效与结果法案中对各个联邦政府部门提出了非常具体的要求，较好地解决了指标体系问题，如：建立执行目标以限定该项目活动应达到的绩效水平，这类目标应以客观、量化和能衡量的形式来表述；建立用来衡量或评估每一项目活动的相关产出、服务水平和结果的业绩指标；提供一个比较实际项目成果和预先设定的执行目标的基础；对用于检验衡量标准的方法进行描述；等等。因此，借鉴美国绩效与结果法案核心思想，及时进行政策评估立法，评估有了权威性和强制性的评估标准，也会促进各个部门重视政策执行评估，推动各项政策的有效落实。三是建立多层次的政策评估主体体系，对政策运行进行全方位监控，使其更好地发挥积极作用和实现政策初衷。我国许多公共政策在出台时，具有良好的初衷。但往往由于出台比较仓促或没有根据实际情况及时予以调整等原因，导致政策结果达不到预期，表现出“重制定，轻执行、不问效”的特征，一个重要原因在于对政策执行及执行效果开展全方位评估的法定评估主体体系的缺位。美国在其政策评估实践中，形成了政策出台部门、执行部门、监督部门和社会评估组织多层次评估主体体系，持续对政策执行、结果进行评估和监督，确保其政策较好达到预期目的。因此，及时通过授权，尽快建立起多层次评估体系，确保政策评估及时开展，有利于促进政策实现预期目标，发挥好政策功用，减少评估主体缺位问题。四是在起步阶段克服三个片面观念，大胆尝试，不断在实践中发展中国特色的政策评估工作。我们政策评估起步阶段要注意克服三种片面观念：一是将政策评估神秘化，以政策评估时机不成熟，条件不具备为由，不敢积极开展政策评估工作，导致裹足不前。二是将政策评估过分技术化。政策评估最初是从企业管理经验与方法中加以借鉴和发展而来的,但公共政策评估与企业管理评估不同，不能用纯粹的管理技术与方法来执行政策评估，三是将政策评估完美化。政策评估发展到了今天虽然已经比较成熟，但在实践中还存在着一些难以解决的矛盾和问题，仍然需要在实践中进一步地丰富与发展。因此，只有充分发挥后发优势，在借鉴吸收发达国家政策评估合理内核的基础上，结合实际大胆尝试，并实事求是地不断发展和完善，才能把我国的政策评估工作推向前进。（高翔）主要参考文献：1.Jones, Charles O.1984,An Introduction to the study of Public Policy，Belmont, CA: Wadsworth, Inc,p38.2.Vedung, Evert.1997,Public Policy and Program Evaluation, New Brunswick, NJ: Transaction Books3.托马斯R戴伊：理解公共政策（第10版），中国人民大学出版社，2004年版。4. Sciven,Michael,1973, “Goal-free Evaluation”, in Ernest R. ed.5. Stake, Robert E., 1975, Evaluating in the Arts in Education: A responsive Approach. Columbus, Ohio: Merrill6Kaufman, Roger, and Susan Thomas, 1980, Evaluation without Fear. New York: New Pointviews。7Wholey, Joseph S., and Kathryn E. Newcomer, and Associates, 1989, Improving Government Performance: Evaluation Stategies for Strengthen Public Agencies and Programs. San Francisco :Jossey_Bass 8Rossi, Peter H., and Howard E. Freeman, 1989, Evaluation: A Systematic Approach. Newbury Park, Calif.: Sage.9Rutman, Leonard, 1980, Planning Useful Evaluations: Evaluability Assessment. Newbury Park, Calif.: Sage.10Wholey, Joseph S., John W. Scanlon, 1970, Federal Evaluation Policy: Analyzing the Effects of Public Programs. Washington D.C.: The Urban Institute.11. Dror, Yehezkel, 1968, Public Policy-making Reexamined. Scanton, Pa.: Chandler. 12.Dunn, William N. Public Policy Analysis: An Introduction, 1st ed. Englewood Cliffs, NJ: Prentice-Hall, 1981.13.Sylvia, Ronald D. and Kathleen M. Sylvia, Program Planning and Evaluation for the Public Manager, 3rd ed. Long Grove, IL: Waveland Press, 2004.