系统评价实践研究方法论框架.doc

系统评价研究方法论框架

刘新建

（来源：刘新建.系统评价领域硕士学位论文的规范要求探讨. 学位与研究生教育，2011，（6）：17-22）
图1 系统评价实践研究方法论框架
行
不行
行
行
评价活动总结及资料存档
构建评价方案
建立评价支持系统
制定评价实施方案
实施评价方案
实施结果分析
不行
创建评价支持系统阶段
制定评价指标体系
检验评价模型
提出正式评价研究任务
选定初步评价模型

提出修改目标和任务
不行
有
无
成立评价领导小组
确定评价问题

有无现成方案
适用性分析
组建评价专家组
系统评价研究可以划分为两大类：系统评价学研究和系统评价实践研究。系统评价学研究的内容是系统评价活动的一般规律和通用技术方法，属于技术科学领域；系统评价实践研究的内容从最终结果上看，是一个具体的系统评价方案,属于系统工程实践领域。

一个系统评价方案的内容要素包括评价目的、评价目标、评价主体、评价对象、评价总指标、评价指标体系、评价结果形成模型等。对于系统评价实践研究来说，每一次系统评价实践活动都是一项系统工程，因此，它应遵循一般系统工程方法论所揭示的系统结构逻辑和过程逻辑（即活动步骤）。
根据霍尔的“三维结构”方法论，一项系统工程活动的逻辑步骤包括[4]：①明确问题；②选择目标；③系统综合；④系统分析；⑤方案优化；⑥做出决策；⑦付诸实施。顾基发基于物理-事理-人理方法论提出的系统工程逻辑步骤是[5]：①理解领导和用户意图；②形成目标；③调查分析；④构造策略；⑤选择方案；⑥实现构想；⑦协调关系。具体到系统评价这类系统工程项目上，其逻辑步骤一般为[6]：①明确系统目标；②分析系统要素；③建立评价指标体系；④制定评价结构和评价准则；⑤选择评价方法；⑥进行专家评估；⑦确定评价结果。我们提出更详细的系统评价工作方法论如图1所示。 当然，实际的工作过程不是直线式一个环节接着一个环节进行，而是经常折返往复的，各个评价方案要素的确定过程是相互影响关联的。
从一般系统评价学研究到具体给定系统的评价实践研究，形成系统评价领域从最抽象理论到最具体评价方案的研究系列。不过要特别提醒，要把构建具体系统评价方案的研究与评价实施活动区别开来。对既定具体系统的评价实施活动（即图1中创建评价支持系统阶段以下的步骤）不属于评价学术研究，而属于管理实践活动。如在各种社会机构定期不定期进行的大学排名、国际竞争力排名、城市竞争力排名等活动中，只有对评价方案的研制才属于系统评价学术研究活动。所以，系统评价研究系列从抽象层次上看包括：一般系统评价学研究、特殊领域系统评价学研究（也有多个层次，如教育评价学有普通教育评价、中小学教育评价、高等教育评价、职业技术教育评价，另外还有学校评价与区域教育评价之分）和特定评价项目方案研究一般系统评价学研究以各种系统评价活动的共同规律和普遍适用评价方法为研究内容，特殊领域系统评价学研究以该特殊领域的普遍规律、概念、范畴和通用评价方法为研究内容。指定评价对象的评价方案研究以构建完整的可以即付实践的系统评价方案为研究内容。
系统评价实践研究方法论框架里的每一个步骤都可以成为系统评价学研究（包括一般系统评价学研究和特殊领域系统评价学研究）的研究内容，包括其中的概念范畴、活动规律、实践原则等等。在建立评价指标体系环节中，具体包括价值关系分析、总指标结构分解、指标定义、指标测度标准和测度方法设计等内容；在检验评价模型环节中，具体包括指标灵敏性分析、信度检验、效度分析和区分度分析等内容在这两个环节中，各种方法原则成为中心研究议题。对于特定评价项目方案研究，其任务就是通过分析，逐步确定评价方案的各个要素，其中，评价指标体系和评价模型通常成为这类研究的核心内容。
对于一般系统评价学研究，所涉及的科学问题除了普遍共性规律理论之外，还包括评价方案及评价过程的结构、各个步骤环节所用的合适的技术方法（如评价专家组的组成问题、评价模型构建技术、评价方案有效性分析方法等）、评价过程中的心理与行为科学问题，等等。

……6
作为一般系统评价学研究，其研究对象和研究结果从极端上看，应适用于任何一类系统。但是，有些问题可能只适应于几个类型系统，或在较多跨实践领域的问题上都存在。例如，我们曾提出制定评价指标体系的七项原则[7]，其总体上是针对一般系统评价活动的，但是其中的明确责任原则对于评价目的是为了非组织管理要求的评价任务来说，相关问题可能并不存在。如国家间的国际竞争力评价就不涉及管理责任追究问题。然而，这样的论题也应属于一般系统评价学研究，而不只属于一个特殊领域评价学研究，因为它是跨领域的。
如前提到，一般系统评价学的研究内容除了评价实践研究过程各个步骤的相关问题外，还包括评价行为与评价心理学的内容。另外，“确定评价问题”的相关理论方法也可以成为一个研究内容。“确定评价问题”就是要通过一定的分析确认存在某种必要的“评价问题”。对于实际管理者来说，他要根据管理问题的性质和重要性大小来确认评价需求的存在；对于学术研究者来说，他要通过研究社会需求和相关理论研究的需求来确认评价需求的存在，然后才付出精力对此评价问题的解决提供理论支持。这种“确定评价问题”的工作也会存在一些共性的规律和有效的工作方法。作为学术研究，就是要去发现这些规律和发明相关方法。实际上，如图1所示的系统评价方法论框架也需要进行学术研究，予以不断改进完善。价值哲学问题作为系统评价学的上位基础理论也可以是一般系统评价学研究的内容。目前这方面的理论内容尚需进一步提高完善。如价值的分类和可测性问题、价值的综合问题等。
…………
一般系统评价学研究的方法最主要有两大类：理论演绎法和归纳分析法。理论演绎就是从已经公认的或得到一定证明的理论或假设出发，推演出一般系统评价的基本理论和基本方法。其中已有的理论或假设可以来自于价值哲学等哲学层次的分支学科，也可以来自于其它各种层次的学科，如社会学、心理学、系统科学，等等。归纳分析包括案例分析、专家调查或咨询、公众调查、心理行为试验或测验等。归纳分析活动可以是大型的、复杂的调查活动，也可以是简单举例的方式。比如，提出一条系统评价活动应遵循的原则，那么，首先是清楚明确地陈述这条原则，其次，可以举一些简单例子对不遵循这样的原则的后果予以揭示。这实质上是一种证伪的方法，即证明“不遵循这条原则就会有不利结果出现”。证实需要完备的理论逻辑，而证伪只要一条证据就可以作为理论或方法研究论文，特别是技术科学和经济管理类论文，在论证得出理论结论以后，一般应通过实际案例来说明理论的实际意义或方法的实际操作程序，以证实理论或方法的可应用性。
……
特定评价项目研究是针对“具体评价问题”或“特定评价任务”的。……首先，要完整准确地陈述评价任务，这其中包括对评价目的和评价目标的确定。评价目的是关于评价的管理意义（社会评价会涉及社会意义）的陈述，评价目标是关于对评价对象的评价结果的表现形式的要求，如是确定等级还是排出名次等。评价任务的陈述同时也确定了评价对象的总体。
第二，确定评价中的价值关系。要准确全面地找出既定评价任务涉及到的各个层次的价值主体及面对的价值客体。准确的价值关系的陈述是后面设计评价指标体系和评价模型等核心工作的必要前提。如大学排名评价中，如果不能确认谁对大学排名有需求，不清楚需求者关于大学的价值需求，那么其中的评价指标体系设计就是不可能的，即使设计了，也是盲目的。不同的人及不同的组织对大学这个价值客体的期望和要求是不同的，从而评价指标体系和评价标准都会不同，从而不会只有一种大学名次排序。这方面的分析是大多数评价研究中所忽略的。
第三，要确定评价的实施主体──称为评价主体，即要确定是由组织自己评价还是委托专业组织（或专家组）进行评价，或是一种第三方评价，即社会评价。作为学位论文作者，他似乎站在一个评价主体的位置，但是，他实际上只是一个评价方案设计者。他的方案是否为管理者所接受、接受以后由谁实施是论文中必须考虑的，这也是这种评价研究内容的一个组成部分。这在大多数学位论文中常是缺位的。
第四，建立指标体系和选择评价模型是系统评价实践研究的两大核心任务。在许多情况下，这两大任务似乎是相互独立的环节。但是从方法论整体上看，这两个环节是密不可分的，其关系有点“先有鸡还是先有蛋”之类问题的感觉。首先，选择什么类型的评价指标体系与选择什么样的评价模型有关。如当选择使用神经网络分析模型时，就要考虑如何划分投入指标和产出指标，仔细确定他们的投入产出定性关系。当选择使用突变理论模型时，不仅要划分投入指标和产出指标，还要注意指标数量的约束。对于涉及指标较多的评价研究，还要通过模型的试算和检验分析来确定指标的合理性或完备性。[7]指标不是越多越好。
……
评价实践研究可以进一步分为两类，这就是单一评价对象的评价任务和多评价对象的评价任务。比如，企业经营绩效诊断是一种单对象评价任务，而企业500强评选则是一种多对象评价。对于多评价对象的评价任务，还有一个选点试评的环节。通过试评发现设计方案中存在的问题，逐步修正后再进入正式评价实施程序。对单对象评价任务研究，所提评价方案的合理性或合适性判断只能依赖于管理者的认可和实际系统运行结果的证实；只有它确实实现了评价目的，提高了管理效益，才能说它是成功的。