行业特色院校科研质量评价体系构建及验证——以6所样本院校为例.pdf

31云南科技管理2024 年第 1 期管理与交流收稿日期：2023-12-06基金项目：东华大学高等教育规划专项课题（GJGH2022009）。作者简介：马 骏（1990-），男，河南驻马店人，硕士，助理研究员，研究方向为科研管理、学科发展评估；*通信作者：许佳丽（1991-），女，上海松江人，硕士研究生，实验师，研究方向为实验室管理、科研管理。0 引言科研评价是科研管理工作的重要组成部分，合理、正面的科研评价体系有助于推动我国科学技术事业健康持续发展，有助于优化科技资源配置，有助于提高科研管理工作水平。自科技部、教育部等五部委联合印发关于改进科学技术评价工作的决定、科技部印发了科学技术评价办法（试行）以来，各部委陆续出台深化科技体制改革实施方案 国务院办公厅关于完善科技成果评价机制的指导意见等文件，旨在加快深化科技体制改革，引导科技评价正确方向，激发创新活力，实现高质量发展1。2020 年 9 月 11 日，习近平在主持召开科学家座谈会时强调要依靠改革激发科技创新活力，通过深化科技体制改革把巨大创新潜能有效释放出来，坚决破除“唯论文、唯职称、唯学历、唯奖项”，在“破四唯”的同时，如何高效、精确、客观地对研究与发展机构科研质量进行评价仍具有较大的研究意义。本研究从行业特色院校科研质量评价着手，提炼突出高质量科研的评价指标，力求构建科学客观的评价体系。1 研究现状近年来，国内学者针对高校科研评价展开了诸多研究，提出构建多维度的科研分类评价体系，构建多元化的科研评价主体，实施多层面的科研内涵评价，采用多向度的科研评价方法，健全多方位的科研评价管理制度等具体的行动策略。运用三阶段DEA 模型测算了 32 所样本高校科研绩效，并深入探究了环境变量对高校科研效率的差异性影响及其原因。从科研条件质量、科研过程质量和科研成果质量 3 个维度构建了一套高校科研质量评价指标体行业特色院校科研质量评价体系构建及验证以 6 所样本院校为例马 骏1，许佳丽2（1.东华大学科学技术研究院；2.东华大学材料科学与工程学院，上海 201620）摘 要：研究与发展机构科研质量评价对科学技术事业健康发展具有积极意义，是科研管理工作的重要组成部分，本研究从项目、人才、平台和成果 4 个维度遴选出 7 项反映高质量科研的评价指标、运用熵权法为指标赋权，构建了注重质量的新型科研质量评价体系，并以 6 所行业特色院校为样本对该体系进行了验证，评价结果客观，与事实吻合度高。关键词：科研质量；评价体系；熵权法中图分类号：G644 文献标志码：A 文章编号：1004-1168（2024）01-031-0632管理与交流云南科技管理2024 年第 1 期系及其相应的评价指标权集。还有学者从论文、人才、平台、团队等单一视角探究了科研评价体系的构建，运用自然指数并与 ESI 评价体系进行对比，从高水平论文产出等角度评估高校科研能力。从教学和科研维度构建“双一流”建设高校教学科研人才评价指标体系并搭出高校教学科研人才评价模型。针对高校科研人员利用扎根理论的质性研究方法形成多能力协同发展的人才能力分析框架。从知识生产模式转型视野下，探索构建开放多元的科研评价体系。通过上述文献调研，可以发现，目前针对高校科研质量评价体系的研究还较少，并且存在以下几个问题：第一，现有研究主要针对科研质量评价的评论和改革建议，停留在理论研究的文献较多，构建科研质量评价体系并探讨的研究内容较少；第二，已有的量化构建科研评价体系的研究对象多仅针对单一评价对象，如科研论文、科研人员团队等；第三，现有评价体系，多数指标仍旧从数量角度出发，并未突出对高质量科研的评价。本研究从上述 3 个问题入手，希望提出能够反映行业特色高等院校科研质量的评价指标，探寻一种客观的研究方法，构建更加完善的科研质量评价体系，为相关部门评价高校科研质量及高校考量自身发展提供参考。2 科研质量评价体系构建2.1科研质量评价指标的选取科研质量评价体系是一项复杂的科学工程，评价指标的选取，从根本上决定该体系评价的维度和深度，是构建科研质量评价体系的首要问题。科学技术评价方法第六章第三十四条指出研究与发展机构应以加强国家创新体系建设、建立现代研究与发展管理制度为导向，以机构的发展目标与定位、研究与发展能力、人才队伍建设、条件建设与服务水平、运行机制与创新环境建设以及科学技术产出绩效等内容为评价重点。根据办法指导，结合行业特色高校科研管理工作特点，本研究拟选择科研项目、人才队伍、硬件平台和成果绩效四个一级评价指标，与此同时，为了体现该体系注重对科研质量评价的深度，避免数量对评价结果的干扰，在设置二级评价指标时，并未直接采用样本院校相关科研数据，而是对数据通过提取关键信息的方式进行了进一步的挖掘。1）科研项目指标：国家自然科学基金和国家重点研发计划作为国家五大科技计划的重要组成部分，基金作为指标可以反映高校基础研究领域的科研水平，重点研发计划作为指标则反映出学校面向国家重大战略需求的承接能力。基金中面上项目较青年基金项目在研究深度和广度上均更能体现研究内容的含金量，传统科研质量评价体系指标经常选用国家自然科学基金、国家重点研发计划数量和经费总额作为评价指标，本研究出于对项目研究深度和重大项目承接能力的着重评价，减少学校科研体量带来的影响，在本研究中，基金指标选用面上项目占基金项目数比例作为二级评价指标 1，选取重大研究计划牵头项目经费占比学校科研经费作为二级评价指标 2。2）人才队伍指标：人才是科技创新的第一驱动力，高校人才队伍建设关系到科研竞争力的提升，教学科研人员体量一直是高校科技评价的重要指标之一，各个高校受历史发展、地域环境等影响，人员体量具有较大差异，为了避免上述情况对本研究考察科研质量的影响，本研究选取高级职称人员占比全校教职工数量作为二级评价指标 3；从高水平科技人才层面考虑，两院院士作为我国人才领域最高荣誉，杰青为国家自然科学基金资助体系中较为突出的人才计划，本研究选取专职教研人员中特定时间范围内新晋院士和新增杰青占比作为二级评价指标 4。3）硬件平台指标：各所高校积极围绕国际科技发展前沿和国家创新引领目标布局建设自己的科33云南科技管理2024 年第 1 期管理与交流研基地，科研基地按照主管部门可以分为国家级和省部级，在国家科技创新基地布局中，根据国家科技创新基地优化整合方案的梳理，国家重点实验室和国家工程研究中心分别代表科学研究和工程技术领域最高水平的国家级平台9。传统科研质量评价体系，常采用国家级基地和省部级基地数量作为评价指标，省部级科研基地由于各省、市科技发展水平和评定标准不同，本研究仅选取国家重点实验室和国家工程研究中心数量与专任科研人员人数比值作为评价硬件平台的二级指标 5。4）成果绩效指标：国家自然科学奖、国家技术发明奖、国家科技进步奖是国务院设立，奖励在科技进步活动中做出突出贡献的个人、组织的科学技术奖励，通常被称为“三大奖”，由于显示度较高，高校非常注重“三大奖”的申报，展示在优势研究领域的突出成果，本研究选取三大奖在特定时间获评数量与高校专任教研人员数量比值作为二级评价指标 6；实用性是科技工作的首要属性，习近平总书记在中国科学院第二十次院士大会上强调科技工作者要面向经济主战场，推动科研与生产实践相结合，专利作为科研产出的最广泛成果，本文选取授权专利中，发生转化的专利数量占据授权专利总数的比例作为考核指标 7。2.2运用熵权法确定各项指标权重确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：()=1111 （1）对各项指标进行标准化处理：=()()（2）根据矩阵标准值确定各科研质量评价指标熵值：=ln=1ln （3）其中=1 我们设定，若=0，则ln=0。根据指标的信息熵确定指标权重。=1jj （4）计算各样本高校科研质量评价结果=1 （5）（1）对各项指标进行标准化处理：确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：()=1111 （1）对各项指标进行标准化处理：=()()（2）根据矩阵标准值确定各科研质量评价指标熵值：=ln=1ln （3）其中=1 我们设定，若=0，则ln=0。根据指标的信息熵确定指标权重。=1jj （4）计算各样本高校科研质量评价结果=1 （5）（2）根据矩阵标准值确定各科研质量评价指标熵值：确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：()=1111 （1）对各项指标进行标准化处理：=()()（2）根据矩阵标准值确定各科研质量评价指标熵值：=ln=1ln （3）其中=1 我们设定，若=0，则ln=0。根据指标的信息熵确定指标权重。=1jj （4）计算各样本高校科研质量评价结果=1 （5）（3）其中 确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：()=1111 （1）对各项指标进行标准化处理：=()()（2）根据矩阵标准值确定各科研质量评价指标熵值：=ln=1ln （3）其中=1 我们设定，若=0，则ln=0。根据指标的信息熵确定指标权重。=1jj （4）计算各样本高校科研质量评价结果=1 （5）体系一级指标二级指标二级指标说明科研质量评价体系.科研项目1.国家自然科学基金指标（国家自然科学基金项目中面上项目占比）2.国家重点研发计划指标（学校科研经费中重点研发计划牵头项目经费占比）.人才队伍3.高级科研人员指标（专任教研人员中具有高级职称科研人员占比）4.高级人才指标（专任教研人员中新晋院士、新增杰青占比）.硬件平台5.国家级平台指标（人均国家级平台数量）.成果绩效6.国家奖指标（人均获国家奖励数量）7.成果转化指标（授权专利中发生成果转化比例）表 1科研质量评价指标列表34管理与交流云南科技管理2024 年第 1 期我们设定，若 确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：()=1111 （1）对各项指标进行标准化处理：=()()（2）根据矩阵标准值确定各科研质量评价指标熵值：=ln=1ln （3）其中=1 我们设定，若=0，则ln=0。根据指标的信息熵确定指标权重。=1jj （4）计算各样本高校科研质量评价结果=1 （5），则 确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：()=1111 （1）对各项指标进行标准化处理：=()()（2）根据矩阵标准值确定各科研质量评价指标熵值：=ln=1ln （3）其中=1 我们设定，若=0，则ln=0。根据指标的信息熵确定指标权重。=1jj （4）计算各样本高校科研质量评价结果=1 （5）。根据指标的信息熵确定指标权重。确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：()=1111 （1）对各项指标进行标准化处理：=()()（2）根据矩阵标准值确定各科研质量评价指标熵值：=ln=1ln （3）其中=1 我们设定，若=0，则ln=0。根据指标的信息熵确定指标权重。=1jj （4）计算各样本高校科研质量评价结果=1 （5）（4）计算各样本高校科研质量评价结果 确定 4 个一级指标和 7 项二级指标后，需要考虑各项指标的权值比重，为了避免赋权过程中可能引入的主观随意性，本研究运用客观赋权法确定各项指标权重。根据调研，常见客观赋权法有熵权法、标准离差法和 CRITIC 法，其中熵权法完全根据指标求出其权重的熵权，可以有效规避主观判断误差对权重的分析的影响，因此本研究选取熵权法作为基本研究方法。在本研究中：对样本选中的 m 所高校，选取 n 个评价指标构造科研质量评价指标矩阵：()=1111 （1）对各项指标进行标准化处理：=()()（2）根据矩阵标准值确定各科研质量评价指标熵值：=ln=1ln （3）其中=1 我们设定，若=0，则ln=0。根据指标的信息熵确定指标权重。=1jj （4）计算各样本高校科研质量评价结果=1 （5）（5）3 科研质量评价体系实例验证3.1构建样本高校科研质量评价指标矩阵为验证本研究构建的科研质量评价体系模型，本文调研了 2016-2019 年间各高校公开的部分科研数据，拟对 6 所行业特色院校科研质量进行评价，样本首先选取东华大学、天津工业大学、浙江理工大学、武汉纺织大学、西安工程大学 5 所具有鲜明纺织行业特色高等院校，其中东华大学拥有纺织科学与工程、材料科学与工程两个“双一流”建设学科，是以纺织、材料、设计为优势，特色鲜明的多科性、高水平大学，前 5 所高校作为同一行业高校进行评价结果的纵向对比；同时选取江南大学作为第六所样本高校，江南大学是拥有轻工技术与工程、食品科学与工程两个“双一流”建设学科的具有鲜明行业特色，近年来发展成综合性高校的代表，拟作为样本中的兄弟行业特色高校进行评价结果的横向对比。根据前期的调研和数据统计，计算制作六所样表 2样本高校科研质量评价指标矩阵表 3科研质量评价体系中各项指标信息熵表 4科研质量评价体系中各项指标权重样本高校.科研项目.人才队伍.硬件平台.成果绩效二级指标 1二级指标 2二级指标 3二级指标 4二级指标 5二级指标 6二级指标 7江南大学78.8457.472.372.7810029.1182.05东华大学96.296.8667.4468.410054.7234.73天津工业大学72.7305031.2506.2559.59浙江理工大学77.9129.0375.6938.46030.7791.83武汉纺织大学59.15057.14007.1479.2西安工程大学15.15037.59008.3340.45信息熵.科研项目.人才队伍.硬件平台.成果绩效二级指标 1二级指标 2二级指标 3二级指标 4二级指标 5二级指标 6二级指标 7e0.88780.55390.85990.73980.38690.64620.8066权重.科研项目.人才队伍.硬件平台.成果绩效二级指标 1二级指标 2二级指标 3二级指标 4二级指标 5二级指标 6二级指标 7W0.0360.1430.04490.08340.19660.11340.062据公式（4）计算出各项指标权重最后根据公式（5）计算出样本高校在本科研质量评价体系下各一级指标得分及总分35云南科技管理2024 年第 1 期管理与交流本高校的 7 项指标的科研质量评价指标矩阵所需要的基础数据，为了消除由于指标数据单位不同对分析造成的影响，基础数据均进行了百分制转化，如表 2 所示，其中指标 1 为 2016-2019 年国家自然科学基金数据，数据来源为国家自然基金委员会科学基金网络信息系统、共享服务网和基础研究知识库等开放数据，数据获取时间为 2020年 11 月下旬10，指标 2 为 2016-2017 年国家重点研发统计数据和高校科研经费统计数据，数据来源为科塔学术公开数据统计11，指标 3、4、5 源自样本高校官网简介公开数据，其中指标 4 统计时间区间为 2016-2019 年，指标 6 为 2016-2019 年科技部公开信息，指标 7 为 HimmPat 专利数据库中 2016-2019 年统计数据。从表 2 可以看到，在 7 项二级评价指标中，各样本高校得分差距明显，同时，各高校在不同领域表现也各有所长，各评价指标的重要性难以通过主观的方式进行确定，因此，采用传统的比较方法难以短时间对高校科研质量做出有效、精确的判断，需要借助科研质量评价体系，进行量化分析。3.2样本高校科研质量评价量化分析依据本研究构建的科研质量评价体系，对样本高校进行评价，首先，根据公式（3）计算各项指标的信息熵如表 3，据公式（4）计算出各项指标权重，最后根据公式（5）计算出样本高校在本科研质量评价体系下各一级指标得分及总分：通过本体系得出的最终评价结果得分表和柱状图可以看出，江南大学、东华大学作为“双一流”建设高校，在本研究选取的四个维度上均具有明显优势，尤其在硬件平台和科研项目领域在样本高校中占据“领头羊”地位；浙江理工大学在科研项目、人才队伍、成果绩效等方面和前两所高校差距并不算大，且在成果绩效方面较为突出，但在硬件平台方面落后；天津工业大学在人才队伍、成果绩效和科研项目也有不错表现。总的来说，本体系基本客观、真实、有效的反映出样本高校科研质量的基本情况。观察本评价体系选取的指标信息熵和权重信息，可以看出，在各项指标中，评选难度越大，参与级别越高，各高校评分间距越大，在最终评价结果中占权重越高，基本可以反映出本研究提出的高表 5样本高校科研质量评价得分表样本高校.科研项目.人才队伍.硬件平台.成果绩效总分江南大学11.04539.319119.65898.391248.4145东华大学17.31198.735419.65898.361754.068天津工业大学2.61544.853104.404511.873浙江理工大学6.95396.608709.18622.7485武汉纺织大学2.12732.567405.722110.4169西安工程大学0.54491.689103.45415.6881图 1样本高校科研质量评价一级指标得分图36管理与交流云南科技管理2024 年第 1 期校科研质量评价体系，实现了突出高校科研高水平、高质量评价的设计初衷。4 分析与结论科研质量评价，是提高研究与发展机构科研质量的有效途径和引领旗帜，对高校等研究与发展机构布局科研创新方向，培养科研人才队伍，搭建高端科技平台具有积极意义。研究与发展机构可以根据质量评价结果，集中力量发展自己优势的同时，查漏补缺，全面平衡发展；另一方面，相关部门可以借助科研质量评价结果，了解各机构、各地区科技发展水平，科学布局国家重大发展战略，引领科技发展方向。科研质量评价体系研究目前还不够成熟，也没有“放之四海而皆准”的评价标准，分类评价，因地制宜的评价才更加公平有效，本研究主要在以下几个方面进行了创新：第一，针对特定行业具有相似度的高校进行科研质量评价，尽量避免因为学校行业特色和学科布局引入的评价不公平因素；第二，在评价指标的选择上，从项目、人才、平台和成果4 个维度考量，力求均衡全面，另外在评价指标的选取过程中，规避直接使用数量类指标，而是通过对科研基础数据的信息挖掘进一步突出指标对科研质量深层次的评价，在应用于不同体量的机构科研质量评价中，具有积极意义；第三，评价指标的赋权，采用熵权法这一客观赋权法，由样本矩阵确定各指标权重，避免了评价的主观性和随意性。在实例验证过程中，选取纺织类高等院校做评价结果纵向对比的同时，引入兄弟行业特色代表院校做横向对比，研究结果表明本研究提出的科研质量评价体系科学、有效，与真实情况吻合度高。同时，本研究仍然处于初级探索阶段，提出的科研质量评价体系仍然存在不足之处，比如受研究条件的限制，选取的样本高校数量有限，选取的评价指标数量有限，提高样本数量和评价指标，采用本体系可以得出更加详实、客观、科学的评价结论，再比如选取的评价指标在突出科研质量方面仍有待继续研究和提炼，找出更多更能反映科研质量的评价指标有助于提高本研究体系的评价精准度。参考文献：1 国务院办公厅.国务院办公厅关于完善科技成果评价机制的指导意见（国办发 2021 26 号 EB/OL.2022-09-06.http:/ 刘梦星,张红霞.高校科研评价的问题、走向与改革策略 J.高 校 教 育 管 理,2021,15(01):117-124.DOI:10.13316/ki.jhem.20210106.013.3 李康,范跃进.“双一流”目标下一流大学科研效率评价 J/OL.科研管理:1-82022-09-08.http:/ 徐红,刘在洲,陈承.高校科研质量评价标准研究 J.高校教育管理,2016,10(05):57-62.DOI:10.13316/ki.jhem.20160829.012.5 杨倩倩,刘宪,马德章.自然指数对高校科研能力评估的意义与思考以南方科技大学为例 J.科研管理,2020,41(07):258-261.DOI:10.19571/ki.1000-2995.2020.07.027.6 孙峰.“双一流”建设背景下我国高校教学科研人才多维度评价体系构建探析：以华南理工大学为例 J.科技管理研究,2022,42(14):79-84.7 马腾,赵树宽.基于扎根理论的高校科研人才能力评价分析 J/OL.科 技 进步与对 策:1-82022-09-05.http:/ 李鹏虎.知识生产模式转型与高校科研评价改革 J.江苏高教,2020(10):16-21.DOI:10.13236/ki.jshe.2020.10.003.9 中华人民共和国中央人民政府.科技部财政部国家发展改革委关于印发 国家科技创新基地优化整合方案 的通知（国科发基2017250 号 EB/OL.2022-09-06.http:/ 科学基金网络系统 EB/ol.2020-11-22.https:/ 科 塔 学 术 EB/ol.2022-08-10.https:/