澳大利亚的研究质量管理与评估.docx

澳大利亚的研究质量管理与评估
【内容提要】
如何对人文社会科学的研究质量和研究影响进行评价在各国学术界都是一个探讨中的问题，本文对澳大利亚的现行评价指标、这些指标对人文社会科学研究的意义，以及即将推广执行的“研究质量框架”作了简要评述。
【关 键 词】人文科学/社会科学/研究质量/科研管理/科研评价/澳大利亚EE7UU1652874

    中图分类号｜G326.11
    一、现行评价指标综述
    在澳大利亚，政府一直是研究与创新活动的最大投资者，对于研究和培训活动最为集中的大学，政府主要通过拨付大学统筹经费来予以支持。此外，澳大利亚海洋科学研究所(AIMS)、澳大利亚核科技组织(ANSTO)和联邦科学与工业研究组织(CSIRO)是由公共资金资助的三个最重要的科学研究机构，而澳大利亚研究理事会(ARC)和国家健康和医学研究理事会(NHMRC)则是主要的基于公共资助的研究拨款单位。这些机构评价研究质量和影响的做法构成了目前澳大利亚研究评估的主流。
    1.大学统筹经费的拨付
    在澳大利亚，人文科学和社会科学的研究和培训大多集中于大学，但是对于大学中人文社会科学研究质量和研究影响并没有直接的评价措施，在这方面，由教育、就业和劳工关系部(Department of Education，Employment and Wrkplace Relations)负责管理的“机构资助计划”(Institutional Grants Scheme，IGS)和“研究培训计划”(Research Training Scheme，RTS)①是将政府拨款与大学业绩的衡量联系起来的一个途径。②在这两项计划中政府的投入主要涉及两个方面：第一是政府拨付的学生贷款，这一项对研究成果并不构成压力；第二是研究收入，它可以间接地解释为一种质量标准，因为研究拨款是在竞争和同行评议的基础上获得的。这些方案还包括两个产出的方面，其一是高等研究学位的完成情况，这主要与研究培训活动有关；其二是研究出版物，这一项在每个方案中各占有10％的权重，而这也是唯一一个与研究成果有关的标准。由此可见，每所大学的研究出版物的数量在很大程度上决定了它基于上述两个方案可以获得的资助的程度。
    2.公共资助的研究机构所采用的评价方法
    从历史的角度讲，澳大利亚的国家研究政策主要依据的是科学、工程学等科技领域的研究实践和传统的评价方法，科学技术领域的这些评价规范还常常不加区别地被应用于人文社会科学领域；此外，新近构建的研究质量框架(RQF)其评价主体也是大学开展的研究和由政府统筹资助的科研组织所从事的研究，因此了解公共资助的大型机构的评价方法，分析其利弊，并预期它们对人文社会科学研究评价的潜在影响是十分重要的。
    澳大利亚由公共资金资助的科学研究机构主要有三个，即澳大利亚海洋科学研究所(AIMS)、澳大利亚核科技组织(ANSTO)以及联邦科学与工业研究组织(CSIRO)。目前，这些机构无一例外地使用“出版物数量”作为衡量的一种业绩指标。具体而言，AIMS并没有具体指定它统计的出版物的类型，而ANSTO和CSIRO则圈定了刊物论文、会议论文和摘要、书籍、论著章节、专著以及商业和技术报告等类型的出版物，CSIRO还将其类型扩展到专利的引用次数。此外，CSIRO还将知识产权作为一种成果计量单位，如发明、专利和专利应用的数目，在本国和国外的商标品牌，以及在本国和国外注册的设计或产品。
    AIMS和CSIRO都利用出版物引文分析作为研究质量的衡量方法，但其基础仅限于收编入相关索引的刊物文献。ANSTO虽然提出科技出版物以及会议文集也应作为反映研究质量的要素，但是却没有提供如何衡量这些文献的细则。
    所有三个机构都将其成员所获得的嘉奖列出以标志其研究质量的高低，ANSTO特别列出一年中接待的有国际声誉的访问学者的数字作为一种质量指标，AIMS则提到外部的评价和同行评议。
    在研究影响的衡量方面，上述机构采用了一些类似的指标，比如研究成果实现商业化的程度、与企业的合作关系以及为政府提交的相关建议等。在政策建议方面：ANSTO以它们对国际社会相关政策制定的参与程度为依据；CSIRO将提出的建议、口头报告和陈述、针对政策开发提出的建议、所获得的委员会成员身份、受邀给予说明等作为衡量指标；AIMS则主要计算提交建议书的数量。ANSTO还有一个特别的指标，即根据使用其设施的来访者的数量来考虑其影响，这些来访者包括学生、博士后和合作研究者。
    由上述分析还可以看出，公共资金所资助的上述机构在其对研究质量的衡量上所选用的指标大致相同，而且都没有特别区分出针对人文社会科学研究的评估程序和标准，嘉奖、荣誉和同行评议是衡量的原则方法。
    3.基于公共资源的研究资助机构
    如前所述，澳大利亚研究理事会是澳大利亚最主要的分配公共研究资源的机构之一，特别是理事会为人文社会科学研究提供专用经费。另外，澳大利亚国家健康和医学研究理事会在其健康和医学的委托研究课题中也为人文社会科学提供一定的资助。
    澳大利亚研究理事会(ARC)
    2002-2006年在ARC分配的全部研究资助中有1/5以上提供给了人文科学、艺术和社会科学领域，是人文社会科学研究可获得的最主要的资助来源。③
    ARC主要采用如下几种方法对其资助的研究课题进行质量评价：课题成果的数量评估，这主要涉及出版物，其中也包括软件和创造性作品等较为特殊的出版物形式；商业化活动的衡量，包括专利、证书和公司的创建等。为获得有助于正确分配资助的信息，ARC还利用基于刊物的文献计量研究，具体标准包括论文数量、每篇论文的被引次数、实际和预期的引用率以及被引频次最高的出版物。此外，与研究有关的国际合作的分析也在参考范围之内。
    国家健康和医学研究理事会(NHMRC)
    2003-2004财年，NHMRC和其他医学研究机构获得的政府拨款为4.283亿澳元，约为政府科学与创新预算的8％。NHMRC获得的经费主要用于健康、医学以及伦理学方面的研究，以及从事相关的政策研究等，其中必然要涉及人文社会科学领域，因此通过委托课题等方式，人文社会科学领域也可从中获得一定的研究资助。但是与研究理事会一样，对于被纳入NHMRC委托课题的人文社会科学研究，其质量和影响也没有特别的评价程序和指标。
    NHMRC目前使用的研究质量和影响的衡量方法是于2004年开始采用的“绩效管理框架”，框架借鉴财政和行政管理部的“结果—产品”(outcome-output)模式，这一模式说明NHMRC生产了什么，即output；以及由此导致的社会后果，即outcome。涉及的方面有“创造新知识”、“利用新知识”、“提高创新能力”等。这些主题都有一系列的指标给予支持，借以衡量研究的质量和影响。尽管NHMRC的评估方法不包含单独的针对人文社会科学研究的分析，但是其中的一些非文献计量指标似乎对评价人文社会科学的研究较为有利。
    “绩效管理框架”的另一个特点是它综合了各种研究影响的衡量方法。例如在“利用新知识”的类目下有“加强对NHMRC健康建议的理解”的一些指标，包括对NHMRC建议的(非学术的)引文率和利益相关者对NHMRC建议和信息的知晓情况和满意度。在“推进知识向健康政策和实践领域的转移”类目下的具体指标包括：NHMRC研究扩展到更深入研究中的趋势，研究导致的公共卫生政策和实践领域的变化，以及对新的或修改的建议的理解。④
    4.现有评价方法对人文社会科学研究的含义
    总结上述机构目前所采用的评价方法，可以发现，首先，在澳大利亚一直没有与大学统筹经费相关的直接衡量研究质量和研究影响的标准，唯一的与研究相关的产出指标是出版物的数量；其次，在研究机构和资助机构的质量评估实践中，几乎所有研究机构也都围绕出版物的数量来搜集数据。但是学者普遍的看法是，出版物或作品的数量并不一定与研究质量有关，特别是当政府的主旨在于提升研究质量而不是数量的情况下，这样一种激励数量的衡量方法更加成问题。
    此外，不管是研究单位还是资助机构，基于刊物数据库的引文分析都是一个确定研究质量的重要指标，如AIMS，ANSTO，ARC，CSIRO和NHMRC都使用美国科学信息研究所(ISI)的《科学引文索引》(SCI)、《社会科学引文索引》(SSCI)和《艺术与人文科学引文索引》(AHCI)，而最常用的引文指标是单一或系列出版物的被引量、被引频次最高的论文和刊物影响因子。⑤但是这种方法目前受到广泛质疑，特别是人文社会科学以及艺术研究领域的学者，他们认为引文分析虽然比较适合于自然科学和实验科学，但是不应不加区别地应用到人文社会科学领域，而任何在人文社会科学领域中强化引文指标重要性的政策都将对这一领域的研究产生不利的影响。文献计量学的研究也认为：引文指标并不能揭示出版物的内在质量：引文可以是肯定的，也可以是否定的，一篇论文被频繁引证可能恰恰是因为对其结论存在争议。因此不少文献计量学家更倾向于将引文作为衡量研究影响的指标，或是一部作品对此后相关研究文献的影响指标给予讨论。
    与澳大利亚相关的一个更为重要的问题是其人文社会科学研究成果以刊物论文的形式出现的比例比较低。根据澳大利亚国立大学研究评估和政策项目负责人、文献计量分析专家琳达·巴特勒(Linda Butler)的统计，1995年澳大利亚人文社会科学的全部出版物中只有不到50％是以论文的形式发表的。⑥这一数字表明，这种标准的科学方法并不能反映那些非标准出版物占主导地位的学科领域中研究成果的本来面目，而针对创造性的艺术作品更是不宜采用这样的方法。
    另一个重要的问题是，澳大利亚的人文社会科学领域中有较大比重的研究是以澳大利亚本国的社会、历史和经济为对象的，因此只有少量的偏重于澳大利亚研究的刊物被ISI数据库所覆盖，与欧美那些占主导地位的出版物相比，这些刊物受到的关注很少，就此澳大利亚的学者曾提出批评，认为如果单纯依赖ISI的数据库来对个人或大学的研究生产力作出结论，或是寻求进行学科或国家的比较是一种毫无价值的做法。
    除了引文指标，AIMS、ANSTO、CSIRO和NHMRC还使用一些非文献计量的指标来衡量研究质量，如奖项和荣誉。这些非文献计量的指标被认为是衡量人文社会科学研究质量的更有前途的指标，而且原则上可以平衡地应用于科学技术和人文社会科学各个部门。
    对于研究影响的衡量，所有机构都依据研究的商业化或技术转移，或是为政府提出的政策建议来制订指标，而且NHMRC还将实际的政策影响作为一个指标；ARC和NHMRC都衡量国际合作和社会联系的程度；而NHMRC在衡量其资助研究的非学术引文方面，以及衡量社会对其研究的认知程度以及研究所引发的社会态度的改变方面是独具特色的。
    另一个受到关注的方法是CSIRO和NHMRC采用的“结果—产品”模式，它将定量和定性的数据以及同行评议结合起来，对于人文社会科学研究而言，这被认为是一个机会，可以借此设计类似的模式进行研究影响的评价。这样的模式可以突出人文社会科学研究和科学技术研究的共同之处，突出人文社会科学研究的特点并明确哪些研究是值得公共财政给予支持的。
    二、研究质量框架的开发及其要素
    1.背景与进展
    2004年，澳大利亚总理宣布，作为“支撑澳大利亚的能力——通过科学和创新建造我们的未来”计划的一部分，澳大利亚政府将针对公共资助的研究建立质量框架和可获取框架，研究质量框架主要衡量大学和公共资助机构所从事研究的质量，以及这一研究对社会的益处；而研究的可获取框架应确保研究者和广泛的社会团体能够获得有关研究的信息并了解如何对研究成果加以利用。
    研究质量框架(RQF)由澳大利亚前总理责成当时的澳大利亚教育、科学和培训部着手制定，为支持框架的开发，2004年12月政府宣布建立专家顾问组，其中有来自英国、新西兰的国际代表，还有来自澳大利亚国内与研究和研究资助有关的各方面的代表，总共13人。⑦专家小组就研究质量和影响评价的过程和措施提出建议。在2005年9月，专家顾问小组批准发布了研究质量框架的优选模式，公开咨询各方面的意见。
    2006年3月，时任教育、科学和培训部长的霍恩·朱莉·毕晓普(Hon Julie Bishop MP)收到专家顾问组提交的报告“研究质量框架：评估澳大利亚研究的质量和影响——关于RQF优选模式的最终建议”，并将其分发给各研究部门给予考虑。与此同时，部长宣布成立研究质量框架开发顾问组⑧以接续专家顾问组的工作，开发顾问组负责就研究质量框架的最佳和可行的结构以及恰当的评估过程和标准向政府提出建议。
    2006年10月，开发顾问组签署了研究质量框架的建议方案，⑨提交给澳大利亚政府和相关各方征询意见。此后，澳大利亚政府围绕框架的落实来开展工作，其中包括与大学的大量交流工作以及就框架中的一些要素进行实验。2007年的主要任务还包括制定落实过程的一般指导原则，尽快任命评估小组的主席和成员以便确立和颁布专门小组的指导原则和评估程序。
    目前，澳大利亚政府已经对实施框架的成本给予考虑，2007年是准备和试用阶段，2008年进行相关数据的收集，2009年对框架实施提供资助，⑩2011年框架将推广到澳大利亚所有大学。
    2.研究质量框架的目标和要素RQF的目标
    澳大利亚政府寻求确保公共资金投资于高质量的研究，这样的研究不仅为高等教育和研究部门，也为广泛的社会带来实际的益处，而RQF为澳大利亚政府根据研究质量和研究影响的评价对相当比重的统筹经费给予重新分配提供了基础。
    目前的大学统筹经费的分配是根据一些量化的指标(如出版物数量、外部研究收入和高等研究学位的学生贷款和完成情况)，但是这些特定的指标并没有提供足够的信息，足以依据它们来确定和嘉奖出色的研究领域或是鼓励社会加大对研究的投入。RQF将承认并嘉奖高质量和高影响力的研究，对于澳大利亚政府和纳税人来说，RQF还应该是透明的，以便他们更好地知晓公共研究投资的成果，而反过来还可以鼓励澳大利亚企业界进行更多的投资。
    框架关于研究质量与研究影响的一些说明
    在澳大利亚，统计局将R&D分为4类活动，即纯基础研究、战略性基础研究、应用研究和实验开发。RQF致力于综合评价大学中的研究机构开展上述研究活动所取得成果的质量和影响，同时，RQF模式还可以针对多样性的和跨学科的研究，以及各种合作的和由不同职业阶段研究者从事的研究进行评价。
    为了促进研究质量的提高和研究影响的扩大，RQF将重点放在以下方面。
    ·原创研究的质量，包括其内在价值和学术影响。学术影响涉及同行对研究独创性的认可以及它对相同和相关学科领域发展的影响。
    ·原创研究在同行团体外的影响或利用，这些情况(即在RQF评价阶段研究被成功应用的程度)通常不反映在传统的同行评价的文献中。
    高质量的基础研究通常导致有价值的应用，这是得到广泛承认的，但是在研究的开展及其应用之间通常存在时间的滞后，开发顾问委员会就此建议，由现有研究小组成员在评价期6年之前从事的研究——假如在研究和被宣称的影响之间存在可以被证实的直接关系的话——也应包括在影响评估的范围内。
    顾问委员会还注意到，一些具有较高影响的应用研究在质量方面获得的评价可能不高，因为这些研究所关注的是解决现实的问题，或是应用的范围较为狭窄，RQF也应通过资助模式对这类高影响的研究给予嘉奖，但研究的质量评分必须达到2分的起始点，即根据原创性、重要性和严密性等该研究领域承认的标准，此项研究必须是完好的。
    研究小组
    RQF将研究小组作为基本的评估单位，研究机构可以决定有多少个研究小组以及包括哪些研究人员参与评估，研究小组将用4位数字的“研究领域、课程和学科”(Research Fields，Courses and Disciplines，RFCD)代码和恰当的关键词叙词来限定其研究活动的重点。由于跨学科研究的比重日益增多，研究小组可以选择三个不同的RFCD代码(每个至少占20％的比重)来描述自身的研究活动。
    研究小组提供足够的有关他们研究重点和活动的关键词是非常重要的，因为这样更易于确定单一的RFCD代码不能明确界定的特殊领域的研究；有助于认定RFCD的分类没有充分覆盖的那些新的和突破性的研究领域；可以在对澳大利亚研究活动的不同模式有更多了解的情况下进行相关分析。
    如果研究小组从事的是跨学科研究，那么它们将指定一个评估小组作为其“主”评估小组。“主”评估小组负责决定该小组的证明文件或其中的某些部分是否应分发给其他评估小组或专业的评审人员以进行外部评估。
    研究小组的最小规模应为5名成员，但是更小的规模或仅有单个研究者的小组在特殊情况下也是允许的，对研究小组的规模不设上限规定。
    评估所需提交的文献
    参与评估的研究机构必须提交一份说明作为其证明文件的补充，内容包括：符合要求的研究人员总数和接受评估的研究人员数目；被指定的研究小组的名单，包括它们的RFCD代码以及每个小组的研究人员数目；负责研究工作的校长为所提交资料开具的证明。参与评估的研究小组还必须提交一份背景陈述作为其证明文件的基础，内容主要包括：有关研究小组的形式、组成和研究重点的信息；能够证明研究小组能力的补充事实信息；对研究小组的竞争资助收入的说明；能够在评估阶段产生影响的所有早期研究的信息。
    研究质量的评估
    对研究小组进行质量评估的主要依据是：小组内每一位研究者的4项最好的研究成果；在6年评估期内研究小组完成的所有研究成果的清单；作为背景陈述组成部分所提供的关于研究质量的证明材料。评估小组将对研究质量给出5个等级的评价。最高级别的5分表示：该研究为其所属领域中处于世界前沿地位的研究，或是在某一对澳大利亚具有重要意义的领域中作出了同等卓越的贡献；而最低的1分表示：研究被认为低于公认的优质工作的标准。
    研究影响的评估
    研究影响被限定为研究在广泛的地区、国家和(或)国际社会中为其终端用户带来的社会、经济、环境和(或)文化益处。
    对研究进行影响评估的基础将是研究小组所提供的10页以上的有关其研究影响的陈述，具体内容大致包括：根据一般和专业评估小组的影响指标对本小组研究所产生的影响进行陈述，这些陈述必须以证据为基础，包括可考证的指标；4个以上的个案研究来对所宣称的影响提供佐证；评估小组可以联系到的可以证明研究小组的声明属实的终端用户的详细情况，以便需要时作为证明人来联系。
    提交进行影响评价的研究必须获得2分的质量评价的起始分，评估小组将对研究影响同样作出5个级别的评价。其中A级表示：研究的采用已经为澳大利亚的某地区、全国或国际的广泛社会和地区带来了突出的社会、经济、环境和(或)文化效益；而最低的E级表示：在澳大利亚各地区、全国或国际范围内，研究具有有限的或不能确定的社会、经济、环境和(或)文化影响。
    评估专家小组
    RQF根据RFCD代码成立13个评估专家小组，小组的结构设计力争实现学科覆盖面和评估者工作负担之间的平衡。研究机构为其参与评估的各研究小组指定所属的主要学科，然后这些研究小组的材料将被分配到适合的专家评估小组。
    每个评估小组由12名成员组成，其中包括一名主席，至少三名国际评审人员和至少三名终端用户。
    终端用户必须来自工业、商业、公共部门或社区组织，他们将为评判研究质量和影响提供广泛的视角，并且必须独立于研究小组的直接合作者和有着明显利益冲突的参与者、机构或个人。
    以上是依据“建议方案”对研究质量框架的原则和要素作出的大致说明。这一“研究质量框架”建议模式已经获得澳大利亚政府的支持，框架的实施被认为将有助于推动高质量和高影响力研究的出现，并将使澳大利亚的研究拥有更强的在国际舞台上进行竞争的能力。由于“研究质量框架”依据国家基准对研究的质量和影响进行评价，相信这种做法将使对研究的公共投资更为透明，也将鼓励澳大利亚的产业界为研究投入更多的资金。
    注释：
    ①关于这两项计划的详情可登陆该部网址了解。
    ②Jonathan Powles, Measures of Quality and Impact of Publicly Funded Research in the Humanities, Arts and Social Sciences, CHASS OCCASIONAL PAPERS #2,2005, http://www.chass.org.au/papers/PAP20051101JP.php.57.
    ③Jonathan Powles, 2005,p.63.
    ④Jonathan Powles，2005，p .66.
    ⑤同上，p.68。
    ⑥L. Butler, 2004, ARC-supported Research: the Impact of Journal Publication Output 1996-2000, Australian Research Council, Canberra, pp. 153～154,转引自Jonathan Powles,2005, p. 68.
    ⑦http://www.dest.gov.au/sectors/research_sector/policies_issues_reviews/key_issues/research _quality_framework/rqf_development_2005.htm#Expert_Advisory_Group.
    ⑧RQF开发顾问组由澳大利亚首席科学家(Chief Scientist)吉姆·皮科克(Jim Peacock)任主席,详见http://www.unisa.edu.au/rqf/dest/docs/RQFDevelopmentAdvisoryGroup.pdf。
    ⑨Department of Education, Science and Training, Research Quality Framework: Assessing the Quality and Impact of Research in Australia, The Recommended RQF, October 2006, Endorsed by the Development Advisory Group for the RQF, in http://www.unisa.edu.au/rqf/dest/docs/TheRecommendedRQFwebsiterelease14November2007.pdf.
    ⑩http://www.dest.gov.au/Ministers/Media/Bishop/2006/11/B002141106.asp.

【参考文献】

    [1]Australian Research Council, Research Quality Framework, Response to the Preferred Model, 2005, http://www.arc.gov.au/rtf/ARC_response_to_Preferred_Model_051005.rtf.
    [2]Huw Davies, Sandra Nutley, Isabel Walter, Assessing the Impact of Social Science Research: Conceptual, Methodological and Practical Issues, 2005, http://www.odi.org.uk/Rapid/Events/ESRC/docs/background_paper.pdf.
    [3]Claire Donovan, A Review of Current Australian and International Practice in Measuring the Quality and Impact of Publicly Funded Research in the Humanities, Arts and Social Sciences, The Australian National University, REPP Discussion Paper 05/3, Nov. 2005, http://repp.anu.edu.au/papers/200511_disc03_review.pdf.