小议公众评判法在预算绩效管理中的运用_宋伟.pdf

财政监督CAIZHE2023 6小议公众评判法在预算绩效管理中的运用宋伟郗厚洋【摘要】本文通过分析专家评估法、公众问卷法、抽样调查法和访谈调查法在预算绩效管理运用中存在的问题，如专家专业优势发挥不充分、抽取的样本不具代表性、数据分析不够深入等，就专家选用和管理、问卷设计和检测、抽样方法设计、样本审核、数据分析等几个关键环节进行研究探讨，以期获取社会公众对财政支出政策和项目的真实评判意见，了解公众对现有项目绩效的态度和对未来的期望，为政府决策提供参考。【关键词】公众评判法绩效管理专家评判 抽样调查 访谈调查党的二十大报告提出要健全现代预算制度，根据此要求，财政部部长刘昆在2023年财政工作会议上提出：深入贯彻党的二十大精神，政府投资要讲究绩效，向资金使用效益高的地方倾斜；深化预算绩效管理，提高预算绩效管理各环节质量；抓实抓细重点绩效评价，加大绩效信息公开力度，形成评价、反馈、整改、提升良性循环。这些论述说明，全面实施预算绩效管理是健全现代预算制度的重要内容，是优化财政资源配置、提升公共服务质量的关键举措。在预算绩效管理系统中，服务对象或项目受益者作为公共产品和服务的最终“受益方”，对财政支出是否有绩效最有发言权，他们提出的建议或意见也是政府决策的重要参考。在评价公共财政项目支出绩效时，通过专家评估、公众问卷及抽样调查等方式获取服务对象对财政支出政策和项目的评判意见，能够了解公众对现有项目绩效的态度和对未来的期望，这些数据在一定程度上反映政策落实效果，从而可以掌握公众对社会经济管理的愿景。所以，公众评判法的结论可以应用于全过程预算绩效管理。一、公众评判法的主要方式当前，在预算绩效管理中，因财政资金的公益性特征，服务对象或受益群体多、影响面大、涉及范围广，所以公众评判法是运用比较普遍的一种方法。根据财政部 项目支出绩效评价管理办法（财预202010号），公众评判法是指通过专家评估、公众问卷及抽样调查等方式进行评判的方法，但其中并未指出如何具体应用。笔者结合工作实践，就公众评判法的几种方式在全过程预算绩效管理中的应用进行简单阐述。专家评估法，是组织各领域的专家运用专业方面的经验和数据资源优势，对所评估政策和项目进行综合分析与研究，从而对评估对象未来发展状况或已完成成果提供指导、监督和评估等裁判作用。在预算绩效管理中，专家的参与能够在一定程度上提高绩效管理工作的专业度和公信力，其作用主要体现在两个方面，一是在立项环节离不开专家智库的前瞻引领，专家利用专业优势对投入经济性、实施方案有效性和可行性等作出精准判断；二是项目完成评判成果阶段，对项目或政策的实施效果提供判定，为后续项目实施提供参考依据。公众问卷法，是通过制定详细周密的问卷，要求被调查者据此回答以收集资料的方法。相较其他方式，公众问卷法能够突破空间限制，借助网络和各种新绩效管理37财政监督CAIZHE2023 6C AIZHE媒体形式开展，该方法普遍用于事前绩效评估中的需求相关性调研、绩效评价中受益群体满意度等相关数据的获取，不仅节省时间、人力和物力，还能够将定性问题转换为定量问题进行分析研究，从而以最少的投入获得最大量的信息。抽样调查法，是从大量调查研究对象中，抽选一部分单位进行调查，并据以对全部调查研究对象作出估计和推断的一种调查方法。在预算绩效管理中，抽样调查适用于绩效运行监控和绩效评价环节，可以根据调查对象样本量确定抽样方法，选择具体抽样的样本来核实或反映总体特征。当前，通常在预算绩效管理中采用非概率抽样的方式来抽选样本，对总体特征进行推断。访谈调查法，是调查员通过与调查对象进行交谈，收集口头资料的一种调查方法。这种方法适用于预算绩效管理的事前绩效评估、绩效目标审核、绩效监控和绩效评价等所有环节，可以采取一对一或一对多的形式，就涉密或某一类问题采取交谈的方式获取相关信息，并与前几种方式搭配运用。二、公众评判法运用中存在的问题公众评判法是预算绩效管理中获取信息的一种重要方法，运用的范围和领域较为广泛。在实际运用过程中，第三方评价机构出于人力、物力、财力、时间和效率等方面的考虑，存在聘用的专家作用发挥不充分、公众问卷设计不够科学、抽样样本不具代表性等问题，导致无法获取真实数据或获取的数据不够科学、数据分析不够深入等情况，在一定程度上影响了绩效评估、评价的质量。以下笔者结合工作实际探讨公众评判法运用中存在的主要问题：（一）专家专业优势发挥不充分在预算绩效管理工作中，聘用专家存在专业不对口、数量不足或组成结构不合理、时间仓促走过场、没有给专家充分调研准备时间、专家组中缺少内在协调机制的情况，导致专家作用发挥不充分。也存在聘用专家忽视回避原则、专家发表意见不负责任的情况，影响评审论证的独立、客观和公正力。（二）公众问卷设计不科学在实际工作中，问卷存在问题设计脱离绩效管理目的和调查对象的认知，问题之间逻辑性不强、问题内容不全面或词意含糊，存在暗示或诱导的情况，问题权重设计不科学等情况。例如，“您是否享受过XX项目的补贴？”若受访者回答“是”，接下来应该调查项目补贴所带来的产出和效果上的直观感受；但若受访者回答“否”，接下来却缺少跳转题目引导调查回答不享受项目补贴的原因等内容。再比如，“您认为XX项目奖补标准和资金发放是否合适？”这类题目过于宽泛，因涉及多个方面的影响因素将会使该题目失去调查重点，无法了解到更多信息。（三）调查对象不全面比较常见的情况是人为地缩小调查范围。比如，对一个财政奖补类项目，通常只选择获得奖补的企业或个人进行问卷调查，忽略了未获得奖补的企业或个人，导致调查对象不够全面，无法了解未获得奖补的真正原因，从而使得分析结果片面化。（四）抽样方法不正确对于投资大、涉及多个实施单位的项目，抽取部分样本开展现场评价是一种高效的方法。为确保评价质量，委托方会在绩效管理工作中要求抽样比例，比如抽样现场评价数量原则上不低于具体项目实施单位总量的30%，或抽样现场评价金额不低于评价总额的60%，第三方评价机构根据要求确定抽样数量。但是在评价过程中，第三方评价机构综合考虑成本、时间、效率等因素，仅仅选择那些距离评价项目或评价单位最近、最容易找到的人或偶然遇到的人作为调查对象；还有的评价单位在分类抽取样本时，不同类别抽取比例不同，导致样本结构与总体结构存在较大差异，无法代表评价总体的真实情形，最终都会影响调查结论，降低评价质量。（五）调查程序不科学在实际工作中，评价工作有时将调查问卷直接交给被评价单位执行，而非亲自执行，使整个调查过程处于失控状态，无法确保问卷结果的客观性和准确性。访谈调查中由政府部门的管理人员陪同，调查对象无法说出真实想法，或者绩效管理38财政监督CAIZHE2023 6访谈员语言不够中立，问题提出时具有引导性和倾向性，也影响调查的结论。（六）数据分析不深入在实际工作中，通常仅将回收的调查问卷简单计算出一个满意度分值，用于评价得分，而未从提供公共产品的数量、服务质量或时效性等方面进行分项计算，或根据问卷中结果类问题与原因类问题之间的逻辑关系，查找导致项目绩效不高的原因，并深入查找对策，提出可行的建议。例如，某小区广场WiFi覆盖项目，通过对周边群众开展满意度调查，整体满意度不足78%，但如果仅据此得出结论项目绩效不高，未对问卷当中的基本问题和相关建议进行归纳总结，深入挖掘项目整体存在的问题，则调查问卷资料利用不够充分。三、如何正确运用公众评判法公众评判法中的专家评估法、公众问卷法、抽样调查法和访谈调查法这四种方式各有优势，不能割裂单独运用，只有四种方式综合运用互为补充，才能得出科学完整的结论。本文仅就专家选用和管理、问卷设计和检测、抽样方法设计、样本审核、数据分析等几个关键环节进行研究探讨。（一）构建专家咨询机制首先，建立分行业分领域专家库，根据项目所在的行业领域选择相应的专家参与，并注意各专业专家的综合运用。比如，某幼儿园园区改扩建项目，该项目属于基建类项目，还属于教育行业，所以要同时聘请工程造价与建筑类专家和学前教育专家。其次，明确需要专家解决的痛点、难点或者需要梳理明晰的工作模糊点，确保专家咨询建议有的放矢、重点突出。再次，在专家咨询过程中，既要有专家之间不同意见的内在协调机制，也要充分保障被咨询对象当事人对专家意见的质疑权，尽可能避免专家因为信息不充分而导致咨询建议缺乏客观性或针对性的情况。最后，建立专家组组长负责制，明确专家的权利和责任，加强监督管理。（二）合理设计调查问卷首先，通过前期对项目的深入了解和调研，结合项目的相关书面资料和行业研究，找出该项目满意度的重要影响因素。其次，设计问卷的问题形式，可以根据项目特点，设计不提供答案的开放式问卷，也可设计给出可供选择答案的封闭式问卷。在内容上既要包含被调查者的基本情况，从而判断其与被调查项目的相关程度，也要包含项目绩效影响因素（原因类）问题和项目绩效（结果类）问题。对于项目绩效（结果类）问题，应根据项目绩效指标，从项目产出数量、质量、时效性以及所产生的经济效益、社会效益、生态效益和可持续影响方面进行问题的设计。最后，对关键满意度问题的每个定量答案设计分值，通常设计5档满意程度，并分档进行量化。同时，结合项目具体情况，分析每项问题的重要性，根据每个问题的重要性排序设计不同权重。比如，有的项目公平性权重要高于时效性，但有的项目便捷性要高于规范性。最科学的权重设计方法是判断矩阵法，通过两两问题的重要性比对，最终计算出每个问题的权重。表1常用满意尺度集表2按照判断矩阵法确定各因素的权重（三）全面检测调查问卷一是对调查问卷每条内容与调查项目的相关程度进行内容效度分析，研究各条内容是否有效地表达调查项目的各种变量或者维度。二是对每项调查内容的可选择答案进行评判，分析是否存在其他客观标准，目的是确保问题设计合理，逻辑性强。三是组织少量被调查者进行串行测试，评判整份问卷结构是否合理，验证卷面用语是否清晰准确，被调查者能否准确理解等，验证其可行性。四是对测试数据进行最后效度和信度分析，结合具体数据对调查问卷进行微调。满意度等级 非常满意 比较满意 一般满意 较不满意 非常不满意取值范围54321AB1B2B3B4B5B111/3111B231111/3B311111/3B411113B51331/31W0.3080.1780.3080.1030.103绩效管理39财政监督CAIZHE2023 6C AIZHE表3通常信度（Reliability）克朗巴哈系数表表4通常效度（Validity）相关系数表（四）科学选择抽样方法在评价中进行问卷调查时，对于受益群众数量巨大且分散的情况，采用抽样调查，通过局部样本分析得到受益总体的评判是应用最广泛的一种方法。但对于一些特殊项目，应根据项目受益群体特点，选择不同的评判方法。一是对于受益群众文化程度较低的情况，比如“三农”项目，可采用在项目周边群众走访调查或由调查人填写调查问卷的方法开展；二是对于项目支出内容政策性较强，受益群众对政策所知有限或根本无所知，或出于自身利益考虑影响意见客观性的情况，可采用专家和社会公众结合评判或完全由专家对绩效进行评判的方法；三是对于非普惠制的财政补贴政策，存在重点补贴和典型补贴的情况，应将抽样调查、重点调查和典型调查相结合，确保获得更有价值的信息。对于样本量的确定，一般根据下列步骤来计算所需要的样本量。已知期望调查结果的精度（E），期望调查结果的置信度（L），以及总体的标准差估计值的具体数据，总体单位数N。计算公式为：n=2/（e2/Z2+2/N）。特殊情况下，如果是很大的总体，计算公式变为：n=Z22/e2。（五）周密进行样本审核样本收集回来后应通过检查样本前后答题的一致性、稳定性与可信度，对样本真实性、可靠性、完整性进行审核来辨别真伪，剔除无效样本，一般采用来源法、逻辑法和经验法判断。来源法通过分析被调查者基本信息与评价项目的利害关系进行样本筛选，如被调查者年龄、行为等证明对被调查项目不了解，或不能够提供正确的认识，则这样的样本作为无效样本剔除。逻辑法通过评估项目内在逻辑联系来判断，如果发现问卷前后明显无法相互印证或违背事物发展的逻辑，则可判定问卷是不真实的。经验法主要由实践经验丰富的专家根据以往的经验分析判断。一般来讲，评价项目利益相关人反映的情况比局外人反映的情况可靠性高，文字资料比人群口传的资料可靠性高，多数人反映的情况比少数人反映的情况可靠性高。（六）综合分析问卷数据在调查问卷收回后，第一步要进行资料真实性、可靠性、完整性审核，将不完整、不准确、不可靠的问卷剔除。第二步，根据被调查者背景信息，比如样本特征信息、基本现状、基本态度对有效的被调查者进行分类，并分类整理编号。第三步，按照设计确定的权重和分值，计算每一类型问卷的分值，最终计算整个项目满意度分值。最后，运用各种统计分析，研究问卷调查各项要素之间、调查要素与项目之间的关系，深入分析挖掘问题。将基本信息、基本问题、得分较低的单项满意度问题、反馈的意见建议进行归类汇总，与整个项目呈现的问题匹配。通过数据和问卷之间的逻辑性和严密性综合分析，增强数据质量，为政府决策提供有力的支持依据。（作者单位：青岛市财政事务服务中心、山东华科仁杰信息咨询有限公司）参考文献1李莉，黄振辉.实用社会调查方法M.广州：暨南大学出版社，2008.2袁岳，周林古等.零点调查：民意测验的方法与经验M.福州：福建人民出版社，2005.3章辉等.绩效管理中的专家角色：位与为J.财政监督，2020，（02）.4郑彦卿.以公众满意为导向的公共部门服务评价J.辽宁行政学院学报，2007，（01）.5周俊.问卷数据分析破解SPSS的六类分析思路M.北京：电子工业出版社，2017.信度系数0.9以上0.80.90.70.80.7量表信度高信度较高信度相当信度不足效度系数r0r0|r|=0|r|=10|r|10|r|0.30.3|r|0.50.5|r|0.80.8|r|1两变量相关性正相关负相关不存在线性相关关系完全线性相关存在一定程度的线性相关微弱相关低度相关显著相关高度相关绩效管理40