科学技术评价方法及主要国家的做法.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,科学技术评价方法及主要国家的做法,刘 云,北京理工大学,2004年,12,月,内容提要,一、引 言,二、什么是科学技术评价,三、为什么要开展科学技术评价,四、科学技术评价方法及其应用,五、主要国家科技评价的做法,六、几点启示,一、引 言,科学技术评价活动在科学技术发展的不同历史时期具有不同的特征。,在近代科学技术发展的早期，由科学家个人兴趣和好奇心驱动的自由探索研究成为科学技术活动的主要形式，科研活动主要依靠自筹资金、社会资助和权贵的捐助，政府的投入很少。科技活动的文化属性突出。,科学技术评价主要限于科学共同体内部的学术评价和对科学家重大科学发现的优先权的识别,，评价的目的在于,促进学术交流、建立科学规范、引导研究方向,。,一、引 言,20,世纪以来，人类的科学技术活动进入“大科学,”,时代，科学技术在国家经济、社会和安全中的战略地位日益凸现,成为第一生产力。特别是二战以后，发展科学技术成为国家战略和国家政策的重要方面。科技活动的文化属性和生产力属性并重。政府对科学技术活动的宏观引导与组织管理不断加强，对科学研究的投入不断加大。,科学技术评价不仅限于科学共同体内部的学术评价机制，也成为政府制定科技政策、配置科技资源和实施有效管理的重要行为（手段）。,科技活动的本质规律对评价的要求,共同理念自由发展,物质资源,-,精神产品,水平、质量、精品,方针、政策引导,个人创造与灵感,观念,过程,环境,成果,组织,共同目标严格管理,物质财富循环增值,效益、数量、规模,制度规范,团队精神与合作,等,文化活动,生产活动,科学技术工作是集生产力和文化属性为一体的活动,科技活动的本质规律对评价的要求,科技评价的困难在于：,需要寻找一种能兼顾生产力评价和文化评价为一体的方法。,二、什么是科学技术评价,概念内涵,科学技术评价是对科学技术活动及其产出和影响的,价值,进行判断的,认识活动,。,科学技术评价既是科学共同体和科学技术发展内在的、基本的学术评价机制，也是科学技术管理的工具，是对科学技术活动进行预测、规划、决策、管理、监督的手段。,二、什么是科学技术评价,科学技术评价分类,按科技活动阶段：事前评价、事中评价、事后评价。,按评价目,的,：立项评审、中期评估、结题验收、绩效评价。,按评价对象：政策评价、计划评价、项目评价、机构评价、人员评价、成果评价等。,按评价方法：定性评价、定量评价、综合评价等。,按评价执行方：内部评价、外部评价。,二、什么是科学技术评价,科学技术评价的原则,科学性,独立,性,客观,性,(,注意客观与主观的统一,反映事物的本质属性,),公正,性,国际性,实效性,公开性,三、为什么要开展科学技术评价,科学技术评价的需求：,优化配置政府科技资源；,提高政府科技决策与管理的科学化水平；,提高科研工作的效率和质量（引入竞争激励机制）；,促进科学发展目标与国家目标紧密结合（政策引导）；,营造有利于原始性创新的环境和文化；,向公众“交帐”和说明公共资金使用效果（赢得公众的支持、预算制度改革的要求）。,四、科学技术评价方法及其应用,定性评价,：,同行评议法、回溯和案例评价法,定量评价,：,文献计量法、经济计量法,综合评价：多指标综合评价法、,定标比超法,1、同行评议方法,(,制度,),同行评议（,peer review）,是充分依靠科学家群体对科学技术活动（包括科研活动、科研资助、科研管理等）进行民主管理的一种方法（或制度）。,具体而言，同行评议是指某一领域或与其邻近领域的专家采用同一种评价标准，共同对涉及相关领域的某一事项,进行独立的价值评议的过程,，其评价结果为有关部门的决策提供依据。,1、同行评议方法,(,制度,),同行评议是科技评价中应用最广泛和可信度较高的评价方法，尤其是对用定量方法难以测度和判断的科研活动的,价值评估,(merit review),，具有其他方法不可替代的优势。,美国经济发展委员会,：,“美国基础研究体系的一个基本优势就是，通过一种认真和具有竞争性的同行评议过程来分配经费拨款。”,美国国家科学技术理事会基础科学委员会：“在对单个政府部门当前计划的评审中，以同行评议为基础的价值评价将继续是主要工具。”,1、同行评议方法,(,制度,),美国,GPRA,确定的评价原则：“,为确保世界级研究水平而对科学事业进行管理，同行评议是基础,。研究项目要由专家来评定其价值，资金的配置也须以研究项目的科学价值为依据。潜在的科研项目和科研计划要根据知识前沿领域的卓越的研究活动的标准进行评价。同行评议的价值评估同样可以被用来对一个机构的基础科学项目作回顾性评价。,1、同行评议方法,(,制度,),同行评议广泛应用于各类科技评价活动：,科学出版物（论文、著作等）的评审,学位、荣誉和职称评定,科研项目评审,科研成果的验收与评奖,科研机构评价,科技政策和科技计划评价,同行评议的方式：,通信评议（函评）；会议评审；函评,+,会评；,现场评议。,1、同行评议方法（制度）,同行评议法的优点：,价值评价,存在的缺陷：,“熟人关系网”,崇尚权威,“马太效应”,不利于支持创新性的非共识项目,剽窃行为,NIH,申请研究资助的同行评议,1,、机构设置,主任办公室,18,个专业研究所,4,个综合研究中心、资源中心和图书馆,3,个临床医疗、信息技术服务和评估机构,（科学评估中心,CSR,）,2,、,NIH,科学评估中心（,CSR,）,（,1,）设立三大综合评审组（临床与人口基础研究、生理系统、分子和细胞机理）和,100,多个专业评审组,集中受理申请,将项目申请分配给,CSR,的各专业评审组或研究所的学科评审组,将潜在的资助项目申请分配给,NIH,的研究所,100,多个专业评审组对提交的项目申请的,科学创新价值,进行评议,2,、,NIH,科学评估中心（,CSR,）,（,2,）分配项目申请的依据,专业评审组基于,每个专业评审组的评审指南,研究所基于,研究所的使命,研究所的方向,3,、申请资助的双重评估系统,（,1,）第一层次的评估（项目评价）,专业评审组（,SRG,）,对申请资助项目的科学创新价值进行评议,对于是否予以资助和资助期限提出建议,（,2,）第二层次评估（管理和政策评价）,国家咨询理事会（,NAC,）,评估,SRG,对申请资助项目评议的质量,对,NIH,项目官员提出资助建议,评估优先资助项目,提出政策建议,研究资助申请,医学院或研究中心,国立卫生研究院,科学评估中心,将申请分配给各专业评审组和研究所,创新研究思想,提交申请,专业评审组,评估科学价值,研究所,评估项目的可行性,咨询理事会和委员会,提出建议行动,研究所所长,向,NIH,主任提出最后决策建议,分配经费,执行研究,4,、,NIH,研究资助的评议过程,5,、,CSR,的同行评议制度,（,1,）,CSR,的同行评议,各专业评审组由一位与该专业密切相关的资深专家担任专业评审主管（,SRA,）,每一个专业评审组由,12-24,名专家组成（主要来自学术界）,每一次专业评审组会议要评审约,60-100,个项目申请,（,2,）同行评议专家遴选标准,科学研究造诣深、专业水平高,博士学位或相当水平,成熟的判断力,工作成效显著,学术视野宽阔,公平公正,热心服务,妇女和少数民族的适当代表,5,、,CSR,的同行评议制度,（,3,）无利益冲突的证明并签字（回避制度）,与申请者的关系：配偶、父母、儿女、合作者,担任过有关机构的官员、主任、理事、雇员或合作者,与有关机构进行过谈判或存在预期雇佣的有关协议及其他类似关系,（,4,）保密制度,评议材料和评审会会议录所反映的特殊信息仅供讨论和,NIH,项目官员使用,在形成每次会议结论时，讨论材料要销毁或反馈所有与评审有关的材料,除评审主管（,SRA,）外，讨论内容将不列入评审会议录,评审过程中的有关问题应提交评审主管,6,、,专业评审组评审会,（,1,）评审标准,科学意义,：本研究能解决一项重要问题吗？能发展新的科学知识吗？,方法和路径,：设计思路和方法是否先进、可行？能解决遇到的问题吗？,创新,：有无新颖的概念和方法？其研究目标是原始创新吗？,主要成员,：主要成员接受过良好的训练吗？,环境,：现有条件能支持可能的成功吗？科研环境有独一无二的特点吗？,（,2,）决定是否同意资助的要素,科学价值,项目实施的考虑,经费使用的合理性,6,、,专业评审组评审会,（,3,）专业评审组的行动,对申请项目科学价值的优先等级给分（,1.0-3.0,；百分制）,基于有关的评审标准，评审组首先判断该申请项目科学价值的等级在所有被评审项目的一半以上的行列，对请求的研究时间和资助经费提出建议，给出优先等级的评分，综合讨论中的意见和建议，给出评议结论。,不评分（一半以下）,评审组成员全体一致认为该申请项目的科学价值的等级在所有被评审项目的一半以下的行列，就不予评分。,通讯评议意见汇总后经评审组审议反馈给申请者,。,延缓,在没有附加信息的情况下，评审组无法给出推荐意见。当然，可以访问该项目的有关网站，或由申请者提供补充材料。,6,、,专业评审组评审会,（,4,）专业评审组的后续行动,按优先等级分数和百分数计算排序,提供总结材料,对通过评审的申请项目，专业评审组要以书面的形式给出总结建议，希望研究所对该项目进行资助。,书面总结建议一般包括：,评议的概要和结论,原始的批评意见,优先级评分和百分制评分排序,预算建议,项目管理注意事项,移交国家咨询理事会作进一步考虑,7,、,国家咨询理事会的评议行动,同意专业评审组的意见,修改专业评审组的意见,对延缓的项目组织复审,同行评议的制度安排,1,、同行评议专家资格审查制度,是保证同行评议有效性的基本前提,确定专家遴选标准,同行或单位推荐,专家基本情况登记,专家资格审查,专家公示,专家入库,同行评议的制度安排,2,、建立同行评议专家库,为评价活动提供充足的、符合要求的专家人选,根据评价的需要确定专家数量规模,专家信息的完整性,专家信息的动态跟踪与更新,专家评议信息记录,专家库定期评估与动态更新制度,专家公示（尤其是评价委员会和专家组成员）,专家库共享机制,同行评议的制度安排,3,、评价专家遴选的随机原则,避免人为因素干扰，保证遴选程序的公正性,根据评价需要提出所需评价专家的特征信息,（研究领域、专长、职称、年龄、地区、部门、机构等）,遵循相应规则在专家库中随机遴选,同行评议的制度安排,4,、评价专家定期更换制度,保证评价专家委员会（专家组）的权威性、公正性和代表性，避免相关利益关系对评价工作的影响,实行任期制，定期更换,评价专家委员会（专家组）成员任期一般不超过两届,在规定的届期内逐年按比例更换专家,同行评议的制度安排,5,、评价专家回避制度,避免评价专家与被评价者之间的利益关系，保证评价的客观、公正性,被评价者可以提出回避专家的名单，书面出据证据和理由,评价专家保证与被评价者之间无利益冲突关系，并书面签字,6,、评价意见反馈制度,提高专家评价的客观、公正和科学性,被评价方具有知情权,评价意见反馈给被评价的人员或单位,同行评议的制度安排,7,、对评价意见的申诉制度,加强对评价活动的监督制约机制,被评价方对评价意见持有异议，可以向评价委托方或评价监督委员会提出申诉,被评价方提供书面材料,评价监督委员会负责调查并做出仲裁,8,、评价专家信用制度,提高评价专家的责任感和信誉度，保证评价工作客观、公正,跟踪记录评价专家的评价活动信息,建立评价专家信用库,定期在内部组织对评价专家信用的反评估,反评估结果为调整和更换专家提供依据,同行评议的制度安排,9,、国际评价机制,保证评价工作客观、公正，提高评价的质量和水平,建立海外评价专家库,按合适比例邀请国际一流专家参与评价工作,注意国家安全和保密问题,10,、对“非共识”项目建立小额探索资助机制,保证创新性“非共识”项目的探索机会,识别“非共识”项目,建立小额探索资助基金,评审专家署名推荐,项目主管提议，请个别专家复审,研究期限,1-2,年,同行评议的制度安排,11,、对申请项目的新构思实行“优先权”制度,避免剽窃行为,对申请项目的新构思实行“优先权”的书面备案,保护申请人的原始性创新思想,2、案例与回溯评价法,特点：,对,关键事件或典型案例,进行回顾和剖析，分析导致关键事件发生的科学内外部因素，分析研究工作环境和资助机制对取得重要成果的作用与影响，总结成功经验与不足，预见科研工作可能产生的影响，提高科学研究与科研管理工作的显示度。,2、案例与回溯评价法,优点：清晰描绘研究工作的关键事件及其价值，以及内外因素对研究工作的影响。,缺点：评价结果难以反映整体，结论不具普适性。,成本高、研究周期长。,一般适用于投资周期长、投资强度大的重大科技计划（项目）、大科学工程以及科研机构的评价等。,2、案例与回溯评价法,应用：,美国,NSF,采用案例和回溯评价方法，定期展示基础研究的贡献。著名的评估工作有：,1968年，技术回溯与科学中的重大事件,1973年，创新过程中科学与技术的相互作用,1980年，基础研究如何获得了意想不到的回报,3、文献计量评价法,文献计量评价法是利用科学产出的文献计量指标的定量数据，采用数学和统计学方法，对科学活动规律及其影响进行研究与分析的一种方法。,文献计量评价法基于科学引文索引（,SCI）,和专利数据库，采取论文指标、引文指标、专利引文指标等从,宏观层面,研究国家的科学能力、科学前沿发展趋势、科学活动的水平及影响具有统计学意义上的合理性和可信度，对国家宏观科技政策和科技管理具有一定的参考价值。,3、文献计量评价法,代表性的工作,美国,NSF,科学与工程指标（双年份）,美国,ISI,科学观察（双月刊）,英国,OST,科学、工程与技术年度统计报告（年度）,中国科技信息研究所中国科技论文统计与分析（年度）,中科院文献情报中心世界科学中的中国研究报告,(,不定期,),3、文献计量评价法在中国科学国际比较中的应用,2002年，,SCI,收录中国论文数量达到39015篇，,占世界科学论文的比例从1987年的1.25%上升到4.38%，位于美、英、日、德、法之后，居世界第6位。,（1994年居第15位）,1991-2003年间，中国论文被引频次62万多次，名列世界第19位、亚洲第3位。,1997-2002年，中国论文数量平均增长19%，论文平均被引篇数平均增长19.4%。,1992-2003年，,中国在世界科学,TOP25,国家中综合排名第14位，材料科学名列世界第6位，数学第8位，化学第10位，物理学第13位。,3、文献计量评价法,但在微观层面上，例如在评价科研人员或某一个具体项目时，文献计量指标存在诸多局限性，如指标的单一性、学科间的不可比较性、科学价值的不可表征性等等,导致其客观性大打折扣。因此，仅依据定量数据得出评价结论，往往成为一种,“,Stupid Indicator,”。,利用文献计量指标评价科研产出能力和水平时，有一个系统误差问题，评价结果的误差与评价系统的尺度大小呈负相关关系，即系统的尺度越大，评价结果的误差就越小，反之，评价结果的误差就越大。,3、文献计量评价法,文献计量评价法较多应用于宏观层面（如国家间的比较）和中观层面（如同质机构间的比较）的科技评价。,评价某一个人（或某一个项目）的科研产出质量及影响，应以“同行评议”方法为主，文献计量指标仅作为参考指标。,4、经济计量评价法,经济计量评价法是基于投入,-,产出模型或生产函数模型对科技活动效率或效益进行评估的一种方法。包括：,成本效益法,：,成本、效益、净现值、收益率等指标。,生产功能法,：利用,资本、,劳动力,、研究经费支出来,测度科研活动,对,产品,附加价值的边际贡献,。,投入产出法：经济系统投入,-,产出的相互依存关系。,由于其产出指标主要采取生产要素和经济效益指标，,该方法一般仅适用于开发类研究活动或科技产业化的评价，不适合基础研究和应用研究。,4、经济计量评价法,针对宏观层面的基础研究和应用研究的绩效评估，有时可以采用投入产出统计指标来测度科研活动的投入产出效率，如单位投入产出的论文数、引文数、专利数、获奖数等，或产出单位论文数、引文数、专利数、获奖数所需的投入成本。,投入产出的国际比较（以英国为例）,以仅占世界1%的人口，英国的,R&D,经费支出占世界,R&D,经费支出总量的4.5%；英国的科学产出论文占世界科技论文总量的8%；英国科学家论文被引次数占世界科学论文被引用总数的9%；20世纪，英国科学家获奖占国际权威科学奖励的10%（至2000年，英国获诺贝尔自然科学奖人数达75名，居世界第二）；英国专利申请数占世界专利申请总数的3.4%；英国高技术出口额占世界高技术出口总额的8%。,结论：英国基础研究的投入-产出效益是世界上较高的，英国科学技术总体实力和水平在世界上处于前列，其研究与发展（,R&D）,一直保持相当高的水准。,投入产出的国际比较（举例）,我国科学研究的投入产出效率与发达国家相比有较大的差距。,中科院王志新院士对中科院与德国马普协会的比较研究表明（,1995,年数据）：马普协会有2900名科学家和6500名流动人员，每年科研经费11亿美元，每年发表,SCI,论文超过1万篇，,平均每篇论文投入10万美元,；而中科院有4万名科技人员和1万多名研究生，每年科研经费4亿美元，每年发表,SCI,论文2000篇，,平均每篇论文投入20万美元,，是德国马普协会的两倍。,5、定标比超法（,Bench Marking）,定标比超法是经济活动领域中应用最广、影响最大的竞争情报方法之一。,（美国施乐公司对日本公司竞争时最早使用）,最早将定标比超方法用于科学研究活动评价的是美国科学院科学、工程与公共政策委员会（,COSEPUP）。,1997,年和1998年美国科学院分别出版了两份研究报告：,美国数学研究国际定标比超,美国材料科学与工程研究的国际定标比超,5、定标比超法,开展学科领域的国际定标比超评价时,一般要回答三个问题:,（,1,）本国在该领域相对于其他国家和地区处于什么样的地位?,（,2,）影响本国在该领域的研究绩效是什么?,（,3,）基于现在的发展趋势,本国在近期和远期会处于什么样的相对位置?,定标比超法一般多应用于学科领域的国际比较及科研机构的诊断和战略性评价。,1992-2002年，我国部分学科篇论文平均引用率与世界水平比较,中科院化学研究所定标比超案例,1,、基本程序,选择追赶对象,确定追赶目标,制定行动方案,推动跨越发展,中科院化学研究所定标比超案例,2,、比超对象,比自己先进的同一领域国际一流科研机构,选择,3,个国外的著名化学研究所,日本分子研究所,马普高分子研究所,加拿大国家研究理事会,steacie,分子研究所,中科院化学研究所定标比超案例,3,、调研分析竞争情报,为确定战略目标和行动方案提供依据,研究人员情况,(,数量、结构、流动等,),，以及课题组的设立机制和规模,研究方向和重点，以及近年来的变化情况,论文发表情况,(,近年发表论文的情况、在高影响因子刊物发表情况、一些科学家发表论文情况分析,),，以及论文被引用情况分析,研究经费,研究设备情况,(,尤其是运行管理机制,),6、多指标综合评价法,基于评价目标和评价对象的特点，确定评价原则（评价准则），构建定性指标和定量指标相结合的递阶多层的指标体系及评价模型。,采取,Delphi,专家调查法和层次分析法（,AHP,），构建各层次指标权重判断矩阵，并计算各指标的权重赋值。,通过专家咨询、论证，确定各指标的评分标准和评分范围。,专门的评价小组依据评分标准和评分范围，对各项指标评分，经过加权总和，得出总平均分值,。,6、综合指标体系评价法,综合指标体系评价法结合了定性评价与定量评价的特点，其关键是,如何构建科学、合理的评价指标体系，如何对评价结果作合理的分析，如何正确有效地利用评价结果,。,综合评价法一般多应用于科研绩效评价。,五、主要国家科技评价的做法,1、美国的科技评价,（1）政府科技管理绩效评价,政府绩效与结果法案,（,GPRA）,（,1993,年）,要求联邦机构制定为期5年的战略规划以及分年度绩效规划，每三年进行一次修订，并通过绩效评价来检查年度绩效规划执行情况以及5年战略规划的实施效果，同时,绩效评价的结果直接与该机构的预算相联系,。,1、美国的科技评价,GPRA,目标指向：,公众、联邦行政管理机构、国会,NSTC,1996年发布评价基础科学，为评估基础科学建立一个执行框架。,评估模式：投入-产出模式 目标-结果模式,评估原则：,资助科学研究的联邦机构必须设计出适合于科学研究特点的评估策略，同时，还要适合于推动基础研究在实现国家总体发展目标中发挥作用。,1、美国的科技评价,评估方法：,对基础研究开展全面的综合绩效评估，应将,同行评议与其他多种评估手段结合起来,，如使用定量指标、定性指标、描述性文字、案例分析、国际比较、突出成绩的举例等。鉴于基础研究的长期性和积累性特点，评估内容不仅应涉及基础研究的近期直接产出，而且更应涉及其多方面的长期综合影响。,1、美国的科技评价,三个层次目标,国家目标、长期战略计划目标、年度绩效目标,NSF,作为,GPRA,的试点机构,1997年提交第一份5年战略规划（1997-2003财年），其后修订为2001-2006财年战略规划，1998年提交第一份年度绩效规划（1999财年），2000年提交第一份绩效评估报告（1999财年绩效报告）。此后每年提交新的年度规划和绩效报告。,NSF,绩效评估简表,被评估对象,评估频率,评估执行者,计划层次的评估,每年30%,由,NSF,外部专家组成的,COV,各局层次的评估,每年100%,由,NSF,外部专家组成的,AC,专项计划的评估（如,MRI、STC、GRF,等涉及,NSF,多个部门的活动）,各不相同,由,NSF,外部专家组成的,COV,或,NSF,委托的合同方,所有与,NSF,实施,GPRA,有关的活动,每周,NSF,内部高级管理层如政策局、,GPRA,执行理事会等,1、美国的科技评价,（2）NSF,的同行评议制度,评价标准,1981年，4条评价标准：研究能力；研究的内在价值；研究的效用和现实意义；对科学工程基础设施的影响。,1988年，评价标准由4条改为2条：,学术价值。,研究对促进本领域或相关领域知识发展的重要意义、研究工作的创造性和实施的可行性。,广泛影响。,促进教育、人力资源，加强科教基础设施,，,建立广泛的,学术网络及社会贡献等。,（2）NSF,的同行评议制度,评审专家库,评审系统的突出特点：多样性、代表性、动态性,NSF,中心电子专家库拥有,29.5,万名评议专家,。200,3,年，共有,5.4,万名专家担任通信评议或小组会审，其中,8000,名专家是第一次参加评议。,评审方式,通信评议,(,函评,),、评议评审,(,会评,),、函评,+,会评,评审结果,通讯评议专家意见、会审专家意见、项目官员意见十分重要，尽管评审结果也采用评分制（无分、较差、较好、好、很好、优秀），但大多集中在“很好”一级。,（2）NSF,的同行评议制度,申诉制度,申请人收到项目官员的说明材料 要求项目官员作附加说明,要求主任助理正式重审 申请人单位要求,NSF,副主任二次重审。,在过去的5年中，213项要求正式重审的被拒申请中有15项被最终审核通过,占,6.1%,。,如何处理“非共识”项目,1990年，设立探索性研究的小额资助（,SGER），,对各学科领域小型的、探索性的、高风险的研究项目给予支持。,项目官员可以在没有正式外部评审的情况下审批此类项目，或请个别专家进行评审。,（2）NSF,的同行评议制度,如何处理利益冲突,回避制度+科学家诚信制度,(,信用体系,),项目官员遵守相关法规,:,政策手册,、,利益冲突和行为伦理规范手册,；,申请人提供利益冲突的相关信息；,评议人签署“利益冲突与保密申明”（评议人与申请人所在机构,10,种关系；评议人与申请人之间,5,种直接关系；评议人与申请人之间,2,种间接关系）。,2、日本的科技评价,（,1,）基本情况,60年代初，建立科技审议会制度,。,80年代，设立技术评估分委员会。,1986年，科学技术会议政策委员会,编制,研究评价指南,。,1995年,，,颁布科学技术基本法,。,1996年,，,制定科学技术基本计划,。,1997年8月，日本科学技术会议审议通过国家研究开发评价实施办法指南,。提出了建立开放型研究评价体制的基本框架，成为新时期评价政府,R&D,活动的基本依据。,2001年11月，日本内阁总理大臣批准关于国家研究开发评价的大纲性指针,2、日本的科技评价,（2）,国家研究开发评价实施办法指南,共分为六个部分，包括：指南的作用与意义；适用范围；评价机构、研究人员、评价者的责任；评价方法和程序；,R&D,课题评价,（包括竞争性拨款资助的,R&D,课题，计划型,R&D,课题，国家特大型重要科技计划，一般,R&D,课题）；,R&D,机构评价,（包括国家研究机构、大学的研究机构、从事,R&D,的特殊法人，接受政府,R&D,资助的其他机构）,（2）,国家研究开发评价实施办法指南,评价的目的,（1）鼓励科研人员，积极发掘、发展、培育优秀的研发项目；（2）通过对,R&D,绩效的恰当评价，建立能够充分发挥研究人员创造力的、开放、灵活、具有竞争性的,R&D,环境；（3）适时地公布评价结果，使公众了解国家,R&D,的实际状况，支持政府按照科学技术基本计划向,R&D,投资；（4）通过评价结果的恰当反映，实现对预算、人才等资源的重点、高效配置，灵活、有效地利用有限资源。,评价方法与程序,采用由第三方进行的,外部评价方式,。,评价程序：确定评价对象，明确评价意图和目标，选派评价人员，确定评价时间，确定评价方法，评价结果的利用与公开。,（2）,国家研究开发评价实施办法指南,注意事项,对优秀点的积极评价（重点是意义、价值和实现程度）,注重质量评价（向国际水准看齐）,定量指标（如论文被引用数、专利使用情况等量化指标）,仅作为参考，评价者不能只依据这些指标做结论，应综合考察,R&D,活动数量和质量两个方面，并考虑各研发领域的学科特点等,。,针对,R&D,活动的不同性质，进行分类评价。（特别对基础研究评价不要有一刀切式的短视观点，急于求成。）,对于基础试验、调查工作，应根据其各自性质选用适当的评价方法。,注意,R&D,活动,与人类生活方式,、,社会和自然的协调,。,3、,英国基础研究评价,（1）英国基础研究双重资助体系,高等教育基金理事会,OST,下属,的七大研究理事会,（2）英国基础研究的评价重点,高等教育基金理事会群体评价（大学的系、研究小组、研究中心）,七大研究理事会研究计划和项目评价,大学、政府研究机构人员评价与考核,（3）英国大学研究质量的评价,RAE（Research Assessment Exercise）,基本情况,对所有英国大学的研究质量进行等级排名的研究评价活动，,每,4-5,年进行一次,，,评价由各专业评价小组采用,同行评议方式,进行,。,高等教育基金,理事,会根据各,大学,专业,研究水平,等级排名,来进行大学,研究经费,的拨款。,专业评价小组,2001年,RAE,共设各类专业评价小组60个，685个评价小组成员，并在社会公布。小组成员最多连任二届，小组组长最多连任三届。,评价材料,人员情况、主要人员详细情况、主要人员,代表性研究成果,（4项）、,研究生及授予学位、研究生获奖学金、研究环境、研究质量,（3）英国大学研究质量的评价,评价等级：共分七级,一半以上达到国际优秀水平，其余全部达国内优秀,近一半达到国际优秀水平，其余至少,90%,以上达国内优秀,至少,90%,以上达国内优秀水平，并有,10%,达国际优秀,2/3,以上达国内优秀水平，并有达国际领先的可能,一半以上达国内优秀水平,一半达国内优秀水平,没有或几乎没有（少于,10%,）达到国内优秀,（3）英国大学研究质量的评价,物理专业评价小组的评价指标（,case,）,研究产出,（,包括著作、论文等,）,；,在国内和国际会议上的特邀学术报告；,研究人员在国内与国际研究计划制定和相关研究委员会工作的介入程度；,获奖情况；,外部研究经费的获得、博士后数量，吸引高级学术权威的能力，如皇家学会院士、研究理事会高级会员等；,研究生和获研究学位的数量；,高级访问学者的来访频繁程度，特别是海外高级访问学者。,4、法国的科技评价,1985年，法国政府做出规定：在没有评价系统做保障之前，任何国家科技计划（项目）都不能启动。,法国科技评价体系大体分为三个层次：,以国会科学技术选择评价局为主的国会评估层次；,以国家研究评价委员会为主的政府评价层次；,科研机构内部的评价系统。,此外,具有科技评价功能的机构还有科研与技术高级理事会、总理府技术风险预防评议团、法国国家科技了望台、科技观测研究所、研究部研究司和国民教育部计划与发展司等,。,4、法国国家科研中心（,CNSR,）的评价活动,执行主体,国家科学研究委员会,（隶属科研中心），40个专业委员会和1个跨学科委员会，负责对实验室或科研单位的创建、重组和撤消，对科技人员的招聘、晋升与科研成效，以及经费和人员需求等进行评估。,评估对象,153,个直属实验室，,1082,个与高校共建的混合实验室，,174,个跨实验室研究单位。,评估周期,四年一次,4、法国国家科研中心（,CNSR,）的评价活动,评估委员会组成（广泛代表性）,如由6名专家组成的化学学部评估委员会：1名科研中心学部代表、1名大学或公共机构代表、1名国家委员会所属专业委员会代表、3名学术专家（其中至少1名外国专家）。,对直属和混合实验室的评估,实验室主任报告：四年期合同目标完成情况、组织措施、下四年计划和预期进展、存在的问题。,对直属和混合实验室的评估程序,实验室主任报告,四年期合同目标完成情况、组织措施、下四年计划和预期进展、存在的问题。,对实验室进行评审,与各研究小组座谈，评估专家鉴别该组在国家或国际竞争中的地位。,会见实验室理事会成员和科技,人员代表,听取该类人员意见、想法及对领导的评价,会见大学校长或公共机构负责人、地区代表,评估合同政策、预算、人员管理、与地区管理部门的关系、培训计划与继续教育、卫生与安全问题等,封闭式讨论,讨论内容先口头通知实验室，三周后评估报告提交各有关部门和机构。,4、法国国家科研中心的评价活动,评价结果的使用,科研中心1235个实验室或研究单位中，每4年将有25%的实验室或研究单位进行更新重组或关闭。国家委员会在确定实验室或研究单位的创建、重组和关闭中起决定性的作用。,5,、德国科研机构评价,德国的科研机构,马普学会、弗朗霍夫学会、赫尔姆霍兹协会、,莱布尼茨协会,评价情况,90,年代初开始建立规范的评价制度。,基本方法是同行专家评议。根据研究性质与研究水平的不同，外聘专家来自国外的比例不同。马普学会国外专家的比例最高达,60%,，莱布尼茨协会外国专家比例只占,30%,。,5,、德国科研机构评价,马普学会,共有,81,个研究所，涉及物理技术、生物医学、人文三个学科领域，致力于国际前沿与尖端的基础研究。约,12000,名雇员，,9000,名客座科学家和博士后。年经费约,12.5,亿欧元。,马普学会的评价,事前评价：新所成立、所长任命、研究项目与计划评价。,事后评价：每,2,年一次的研究所评价，每,6,年一次的同领域,研究所评价。,国家评价：每,5,年一次对马普学会整体的评价。,马普研究所评价程序,研究所提出咨询委员会,成员（专家）提议名单,马普主席确定专家名单,专家接受聘请,总部与研究所商定重要,时间节点,研究所完成状态报告,专家到实地考察,专家完成评价报告,研究所返回专家评价报告,最高规划委员会决策,马普研究所评价,状态报告,研究活动：战略、重点领域、出版物、青年科学家、客座科学家、与国外研究机构的合作交流。,管理：预算、第三方经费、人员结构、设备与工作环境,对外关系：教学活动，任职、获奖、学术头衔，与工商界、政府及社会的联系，特别事件及科普。,评价报告,国内外地位、研究成果与绩效、经费安排的合理性、研究所内外部合作；今后发展方向，研究室继续支持或关闭，研究所如何改变或重组。,结果：,1990,年以来，关闭,4,个研究所，另有,3,个研究所调整研究方向。评价结果不好的研究所将减少,25%,的拨款。,六、几点启示,1,、加强科技评价的制度化、法制化建设，树立正确的科技评价观。,2,、明确“为何评”、“评什么”、“如何评”、“如何用”。,3,、坚持实事求是、分类评价的原则。,4,、严格遵循有关制度、规则和程序，采取科学的评价方法。,5,、在实践中不断改进和完善同行评议制度。,六、几点启示,6,、微观评价要回归“价值评估”，避免重形式走过场、重数量轻质量的倾向。,7,、机构评价根据自身所处的发展阶段和需求确定相适应的评价模式（内部、外部、国际化），同行专家评议仍然是基本的方法。,8,、绩效评价采用“目标-结果”评价模式，重点针对资助和管理工作的整体绩效，避免导致科研活动的短期行为和浮躁风气。,9,、在建立评价专家信用制度的同时，还应加强全社会科学家的信用体系建设和创新文化建设。,10,、积极引入国际评价机制，提高评价工作的质量。,谢 谢！,