国内医学科技项目绩效评价研究现状与趋势分析.pdf

Statistics and Application 统计学与应用统计学与应用,2023,12(5),1238-1246 Published Online October 2023 in Hans.https:/www.hanspub.org/journal/sa https:/doi.org/10.12677/sa.2023.125126 文章引用文章引用:程婕,张翔.国内医学科技项目绩效评价研究现状与趋势分析J.统计学与应用,2023,12(5):1238-1246.DOI:10.12677/sa.2023.125126 国内国内医学科技项目绩效评价研究现状与医学科技项目绩效评价研究现状与 趋势分趋势分析析 程程 婕婕1，张，张 翔翔2*1上海交通大学医学院附属第六人民医院科教处，上海 2复旦大学附属眼耳鼻喉科医院科研科，上海 收稿日期：2023年9月8日；录用日期：2023年10月4日；发布日期：2023年10月11日 摘摘 要要 目的：通过对国内科研项目绩效评价领域研究现状的可视化分析，为进一步完善与发展医学科研项目目的：通过对国内科研项目绩效评价领域研究现状的可视化分析，为进一步完善与发展医学科研项目绩效评价提供参考。方法：使用中国知网绩效评价提供参考。方法：使用中国知网(CNKI)检索国内科研项目绩效评价领域检索国内科研项目绩效评价领域20132022年相关文年相关文献，导入献，导入CiteSpace6.2.R1软件绘制知识图谱，进行关键词共现及聚类、突现词分析、作者及机构合作软件绘制知识图谱，进行关键词共现及聚类、突现词分析、作者及机构合作网络分析，并从中重点讨论与医学相关的科研项目绩效评价的文献资料。结论：目前国内科研项目绩网络分析，并从中重点讨论与医学相关的科研项目绩效评价的文献资料。结论：目前国内科研项目绩效评价研究主题热点相对集中，研究侧重点有科研项目绩效评价体系的构建、绩效导向型科研效评价研究主题热点相对集中，研究侧重点有科研项目绩效评价体系的构建、绩效导向型科研经费评经费评价以及研究机构内控监督机制等，在全面分析科价以及研究机构内控监督机制等，在全面分析科技项目绩效评价技项目绩效评价现状的基础上，总结对于医学科技项现状的基础上，总结对于医学科技项目绩效评价的借鉴意义与启示：目绩效评价的借鉴意义与启示：1)在绩效评价体系方面，将医学领域特有的评价指标纳入评价体系，在绩效评价体系方面，将医学领域特有的评价指标纳入评价体系，构建更科学全面的绩效评价体系；构建更科学全面的绩效评价体系；2)在绩效评价方法方面，绩效目标为导向的分类评价将是未来的重在绩效评价方法方面，绩效目标为导向的分类评价将是未来的重要发展与研究方向要发展与研究方向；3)在绩效评价机制方面，进一步完善组织内部监督及风险控制机制，以更契合科在绩效评价机制方面，进一步完善组织内部监督及风险控制机制，以更契合科研管理机制改革的需要。研管理机制改革的需要。关键词关键词 CiteSpace，知识图谱知识图谱，文献计量学文献计量学，科研项目科研项目，绩效评价绩效评价，医学科研医学科研 Research Status and Trends Analysis on Performance Appraisal of Domestic Medical Scientific Research Projects Jie Cheng1,Xiang Zhang2*1Research and Education Department,Shanghai Sixth Peoples Hospital Affiliated to Shanghai Jiao Tong University School of Medicine,Shanghai 2Scientific Research Department,Eye and ENT Hospital of Fudan University,Shanghai *通讯作者。程婕，张翔 DOI:10.12677/sa.2023.125126 1239 统计学与应用 Received:Sep.8th,2023;accepted:Oct.4th,2023;published:Oct.11th,2023 Abstract Objective:The purpose of this study is to analyze the status in the field of performance evaluation of domestic scientific research projects,provide reference for further improvement and develop-ment of performance evaluation of medical scientific research projects.Methods:Studies on per-formance appraisal of scientific research projects were retrieved from China National Knowledge Infrastructure(CNKI)database between 2013 and 2022.CiteSpace 6.2.R1 software was used to analyze those authors,institutions and keywords.And it focused on the performance appraisal of medical scientific research projects.Conclusion:Currently,the research hotspots of domestic scien-tific research project performance evaluation are relatively concentrated,and the research focuses on the construction of performance evaluation systems for scientific research projects,perfor-mance-oriented scientific research funding evaluation,and internal control and supervision me-chanisms of research institutions.Based on a comprehensive analysis of the current status of scien-tific and technological project performance evaluation,the following are the reference significance and enlightenment for the performance evaluation of medical science and technology projects:1)In terms of performance evaluation system,the evaluation indicators unique to the medical field should be incorporated into the evaluation system to build a more scientific and comprehensive performance evaluation system;2)In terms of performance evaluation methods,performance goal-oriented classification evaluation will be an important development and research direction in the future;3)In terms of performance evaluation mechanism,further improve the internal su-pervision and risk control mechanism of the organization,so as to better meet the needs of the reform of scientific research management mechanism.Keywords CiteSpace,Knowledge Map,Bibliometrics,Scientific Research Projects,Performance Appraisal,Medical Research Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 科技项目绩效评价作为科研项目管理的重要环节，也是国家科技政策转型的核心之一。科技项目绩效评价是对科研项目进行的综合评估和判断，以评估研究成果、科研投入和研究质量等方面的表现1。2018 年 7 月，国务院2明确提出：强化科研项目绩效评价，实行科研项目绩效分类评价，加强项目关键环节考核，绩效评价结果作为项目调整、后续支持的重要依据。科技部3和国家自然科学基金委4陆续出台了相应的项目绩效管理办法，均要进一步推进科技项目绩效评价改革。各地方科技管理部门也相继出台科研项目绩效管理办法。医学领域科技项目有明显的学科特色，通常是为了解决医学领域的问题、改善临床实践和提升患者健康水平。医学科技项目绩效评价则更加专注于医学领域的特殊需求和目标，对其进行绩效评价的研究有其独特的意义。如何通过优化指标体系，科学公正地进行医学科技项目绩效评价，发展绩效导向的科研经费管理机制，促进落实创新驱动发展的国家战略是目前研究的关键问题。近年来，各界学者对于科技项目绩效评价的研究成果不断增多，目前关于科技项目绩效评价的研究主要集中在绩效评价指标体系、Open AccessOpen Access程婕，张翔 DOI:10.12677/sa.2023.125126 1240 统计学与应用 多维度绩效评价方法等方面5。尚无基于知识图谱系统分析医学科技项目绩效评价的研究进展、前沿等，及时分析与总结医学科技项目绩效评价的研究现状很有必要。CiteSpace 软件是文献计量学可视化软件，由陈超美6等研发，适用于对大量文献数据进行客观分析，生成直观的可视化知识图谱，显示关键词等的发展进程与网络联系。本研究基于中国知网(CNKI)数据库，通过应用 CiteSpace 6.2.R1 软件绘制知识图谱，通过对科技项目绩效评价的研究文献进行分析，呈现该领域的研究现状，结合医学学科的特点，进一步聚焦医学科技项目绩效评价的研究现状与趋势。2.资料与方法资料与方法 2.1.数据来源与检索方法数据来源与检索方法 在中国知网数据库中进行专业检索，检索式为 SU=(SU=“科技项目”OR SU=“科研项目”)AND SU=“绩效”AND(SU=“评估”OR SU=“评价”)，检索时间为 2013 年 1 月 1 日2022 年 12 月31 日，选择同义词扩展、中文文献。2.2.文献纳入与排除标准文献纳入与排除标准 纳入标准：与主题相关的学术期刊及学位论文。排除标准：会议文献、报纸、图书及成果。2.3.研究方法研究方法 1)应用 Micosoft Excel 2019 年版本软件统计年发文量，并绘制趋势图。2)应用 CiteSpace 6.2.R1 软件绘制知识图谱，将 CNKI 导出的文献记录通过 CiteSpace 软件转换为可统计格式，时间跨度选择 2013 年 1 月至 2022 年 12 月，Years Per Slice 设置为 1 年，g-index 设置为 k=25，Pruning sliced networks，依次选择节点类型为 Author、Institution、Keyword 绘制可视化知识图谱。3.结果结果 3.1.检索结果检索结果 检索记录共有 1199 条记录，剔除会议相关 8 条记录、报纸相关 10 条记录、图书相关 4 条记录以及成果相关 10 条记录，最终纳入 1167 条检索记录(见表 1)。在检索结果中增加“医学”或者“医院”关键词后，仅有 57 条记录。为了达到本研究的目的，后续分析将以 1167 条件检索记录作为分析对象，并对与医学相关的文献做特定分析。Table 1.Results of the searching in CNKI 表表 1.数据库检索结果 文献类型文献类型 数量数量 学术期刊 735 学位论文 432 会议 8 报纸 10 图书 4 成果 10 程婕，张翔 DOI:10.12677/sa.2023.125126 1241 统计学与应用 3.2.年发文量分析年发文量分析 科技项目绩效评价研究年发文量情况(见图 1)。由于 2022 年的发文可能存在收录不全，发文量分析仅对 2013 年2021 年的发文量绘制折线图。从图可以看出该研究方向发文量总体上近似线性增长，R2=0.748。Figure 1.Domestic trend of publications on performance appraisal of scientific research from 2013 to 2021 图图 1.国内科研项目绩效评价研究 2013 年2021 年发文量趋势图 3.3.关键词共现分析关键词共现分析 关键词是文献中提炼的核心词汇，可有效反映研究热点和作者的学术思想。通过关键词的聚类和共现分析，可直观反应科研项目绩效评价研究现状和热点。对关键词共现进行可视化分析，生成的知识图谱(见图 2)。生成的关键词个数，即节点为 398 个。节点圆圈越大代表出现的频次越大即中心性(centralizad)越高，一般认为中心性 0.1 代表该节点为中心节点，即有紫色外圈的节点，这些是具有高中介中心性的节点，代表在研究中较为重要且有较大的影响力。从图 2 可以看出本研究中比较重要的关键词为绩效评价(0.29)、科研经费(0.18)、高校(0.15)、科研项目(0.19)、指标体系(0.11)、绩效管理(0.1)和绩效评估(0.1)。Figure 2.The visuallization map of keywords co-incitation and clustering(n 18)图图 2.关键词共现及聚类的可视化分析的知识图谱(n 18)程婕，张翔 DOI:10.12677/sa.2023.125126 1242 统计学与应用 线条代表关键词的联系，只要关键词在同一篇文献中出现过，两者之间就会有一条连线，线条颜色和图中上方年份相对应。本研究生成的连线数为 585，网络密度为 0.0074。3.4.关键词聚类分析关键词聚类分析 在关键词共现的基础上选择“对数似然比(LLR)”算法进行聚类分析，关系紧密的关键词会聚在同一个聚类标签中。一般认为聚类模块值(Q 值)大于 0.3 代表聚类结构显著；聚类平均轮廓值(S 值)大于 0.7代表聚类合理可靠。从图中看出本研究聚类结果 Q 值=0.60(0.3)，S 值=0.88(0.7)，聚类结构显著且合理可靠，能够很好的反映出本研究领域文献的研究热点。标签数字越小，代表聚类包含的关键词越多，本研究领域共生成了 11 聚类(见表 2)。该结果显示研究关键词主要聚集在绩效评价、高校、科研经费等。其中“公立医院”作为重要的研究关键词出现，一定程度上了医学领域绩效评价的重要性。Table 2.The detail of keyword clustering 表表 2.关键词聚类情况表 聚类标签序号聚类标签序号 聚类标签关键词聚类标签关键词 聚类包含其他关键词聚类包含其他关键词#0 绩效管理(16.44)评价体系；(13.75)创新能力；(13.02)绩效管理；(10.75)科研院所；(9.44)科研项目#1 绩效评价(15.23)科学院；(12.85)重点研发计划；(11.91)国家重点研发计划；(11.85)科技投入；(10.75)间接费用#2 高校(12.68)内部控制；(12.35)经费管理；(10.75)高校科研；(9.97)经费使用；(9.84)科研经费管理#3 科研经费(13.75)完全契约理论；(12.51)事业单位；(12.51)财务管理；(12.15)放管服；(11.53)财务#4 绩效评估(11.85)高职院校；(11.85)医学科研；(10.75)现状；(10.75)中医药；(10)绩效评估#5 绩效(9.84)科研绩效；(9.17)创新绩效；(8.62)项目管理；(7.17)策略；(7.17)地方高校#6 科技项目(10.38)指标体系；(9)后评估；(8.15)指标；(7.75)基础研究；(7.63)项目#7 绩效审计(17.46)绩效审计；(14.34)绩效考核；(9.17)优化设计；(9)评价指标；(8.62)审计#8 公立医院(13.75)公立医院；(11.85)高等学校；(7.17)医院；(6.31)管理；(6)科研管理#9 影响因素(11.85)协同创新；(9.97)影响因素；(7.17)农业科技；(5.17)科技创新；(4.7)创新#10 研究(4.58)东方锅炉；(4.58)技术研发；(4.58)医学高校；(3.58)评价体系；(3.58)绩效评价体系 3.5.关键词突现分析关键词突现分析 突现词分析更适用于探索研究领域的发展趋势和研究演化动态。通过设置 CiteSpace 软件参数，得到10 个突现词共现(见图 3)。从结果中可以看出近年新出现的研究热点关键词为“放管服”、“预算管理”、“科研院所”和“内部控制”。3.6.作者合作网络分析作者合作网络分析 对研究作者合作网络进行可视化分析，共生成节点 298 个，线条 94，密度 0.0021。可以看到发文量程婕，张翔 DOI:10.12677/sa.2023.125126 1243 统计学与应用 排在四位的是付强(4 篇)、冯海燕(4 篇)、刘萌(3 篇)和刘静(3 篇)。根据普莱斯定律，核心作者最低发文量n=0.749 max1/2(max最高产作者的发文量)。根据本研究中 max为 1，计算得发文量 1 篇以上的作者是本研究领域的核心作者，共有 73 位。连线表示核心作者间的合作关系，并形成多个团队，连线较多表示合作紧密，连线较少表示缺乏合作(见图 4)。结果显示，关于科研项目绩效评价的合作研究较少。Figure 3.TOP 10 Keywords with the Strongest Citation Bursts(=0.9)图图 3.前十位关键词突现分析图(=0.9)Figure 4.The visuallization map of co-authorship(n 1)图图 4.研究作者共现图(n 1)3.7.研究机构合作网络分析研究机构合作网络分析 对研究机构进行可视化分析(见图 5)，生成的研究机构节点为 259，连线数位 22，密度为 0.001。节点代表研究机构，发文量排名前 4 的为华东师范大学(14 篇)、北京交通大学(10 篇)、上海交通大学(8 篇)和华中科技大学(6 篇)。节点之间的连线代表合作机构间的合作联系，从图中可以看出整体上研究机构散在分布，合作欠缺，即使是发文量大的研究机构也是缺乏外部合作的。程婕，张翔 DOI:10.12677/sa.2023.125126 1244 统计学与应用 Figure 5.The visuallization map of cooperation between institutions(n 1)图图 5.研究机构共现图(n 1)4.结论与展望结论与展望 4.1.研究概况研究概况 近 10 年研究者对科技项目绩效评价的研究热度持续上升，近似线性增长。2017 年2021 年呈快速增长，尤其是 2020 年明显突出。这和近年来国家不断出台优化科研管理提升科研绩效的措施密切相关。尤其是 2018 年国务院颁布关于优化科研管理提升科研绩效若干措施的通知，进一步明确了科研管理改革的方向，研究热点集中在放管服、预算管理和内部控制等关键词，和政策文件的精神相一致，都是在探索如何落实党中央、国务院关于推进科技领域“放管服”改革要求；如何建立高效的科研项目绩效评价机制，以调动科研人员的积极性和创新性。此外分析结果也显示，从事科研项目绩效评价研究的作者核心团队成员较少，散在分布，团队之间亦缺乏合作，研究机构主要集中在北京、上海的高校，但是缺乏合作，即使同城市间合作交流也是不足的，尚未形成稳定、长期的研究团队。4.2.研究热点和趋势分析研究热点和趋势分析 4.2.1.医学科技项目绩效评价体系构建医学科技项目绩效评价体系构建 从关键词聚类分析可以看出，本研究最突出的聚类就是绩效管理，其中主要的聚集的关键词是评价体系。指标、体系都是绩效评价的基本原则，有学者7建议构建面向“目标结果”的评价模型，科研项目绩效评估首先是评估科研项目是否达到预定目标，其次是评估项目实施成果对科研院所科技创新能力和国际影响力是否提升，归纳为目标和结果两大方面构建评价体系。还有学者8基于某系统科研项目进程的科研项目绩效完成水平曲线，对科研项目从投入和产出两个维度进行设计，且考虑了全局维度来测算单位资源的投入和产出，并增加效益维度指标。通过应用此评价体系后指出绩效评价是一项应全面、综合、可循环的系统性工作，而非简单地设置评价指标，在提升科研项目绩效评价精度和可信度的同时提升效率。还有学者9将数据包络分析法(data envelopment analysis,DEA)运用到了科研项目绩效评价中，认为 DEA 方法不仅能对科研项目绩效进行量化，还能给出量化的依据，让项目提高绩效有迹可循。在目前科研项目数量持续增加，科研管理绩效改革的大背景下，项目绩效标准化评价是科管学者们研究的热点，但是目前评价方法尚不完善，建立标准化的指标体系是绩效评价研究的重要热点和未来趋势8。医程婕，张翔 DOI:10.12677/sa.2023.125126 1245 统计学与应用 学科技项目绩效评价除了将学术贡献、学术影响力纳入评价体系以外，仍需在患者治疗效果、医疗质量、实际应用和临床转化、伦理和合规性等方面综合考量，从而更准确的评估科研项目的成果和价值。4.2.2.科研绩效为导向的分类评价科研绩效为导向的分类评价 由可视化分析可知，科研项目绩效评价近年来的突现词有“放管服”、“预算管理”。科研经费创新管理是近年来科技领域“放管服”改革的重要内容。自 2015 年国务院首次提出“放管服”改革方向以来，深化科研经费投入和管理改革是党中央作出的一项重大部署，各级相关部门进行了科研经费管理积极探索，创新推出了“包干制”的管理制度。随着这一制度的推出，很多学者都在探索科研经费“包干制”绩效预算的评价，以促进该制度的高效实施。有学者10认为，应将科研项目绩效与预算紧密结合，构建以科研项目绩效评价结果为导向的预算管理模式。同时提出应构建科研诚信数据库管理系统、打造基于部门协作的科研信息化管理平台和完善监督考核机制来完善公立医院科研经费“包干制”的配套措施。还有学者11研究认为我国科研经费管理模式已经从控制导向转型为绩效导向，绩效导向的科研经费管理模式有注重结果、分权管理、以人为本、鼓励节约和创新的优点。绩效导向型的科研经费管理制度也是近年的研究热点。包干制的实施，有助于减轻科研人员的压力，增强科研人员经费使用自主权。有助于将项目绩效考核向过程与结果相结合的考核转变。4.2.3.建立健全风险及内部控制机制建立健全风险及内部控制机制 目前国家及地方科研管理改革，贯彻落实中央的为科研人员“松绑”、“解绑”理念，着力构建以绩效为导向、符合创新规律、充满生机活力的科研管理新机制。项目过程管理中授予高校(研究机构)及项目负责人越来越多的自主权，如上海市今年 4 月 3 日发布的上海市财政科研项目专项经费管理办法12，极大的赋予了高校科研机构管理自主权，同时提出要求高校等科研机构健全科研绩效管理机制，强化绩效导向；完善监督管理机制，创新监督检查方式。随着高校等科研机构自主权扩大，势必会带来其内部控制管理的挑战，如何贯彻落实中央政策，如何走通走好科研绩效改革的“最后一公里”至关重要。现在各高校、研究型医院等研究机构都在积极探索研究，以求建立高效创新的内部控制管理机制13。有学者提出，既要签订绩效责任书，也必须在科研项目实施过程中进行有效沟通，积极探索绩效评价体系，积极应用绩效考评结果，充分发挥科研项目绩效考评激励约束作用14。在医学院校及医疗机构建立符合医学学科发展的内部管理机制仍道阻且长。4.3.本研究的不足本研究的不足 本研究只选取了 CNKI 的文献数据，可能存在片面和疏漏，特别是 2022 年的文献收录不完整。其次是可视化软件 CiteSpace 是基于关键词、研究作者和机构出现的频率进行统计分析，部分出现时间短，研究频率还不高的新颖热点词探测不到，但也可能是未来具有研究价值的。再次是专门开展医学科技项目绩效评价的研究本身较少。因此在今后的研究中需要进一步完善研究方法，一方面扩大数据来源，另一方面要对某个具体的热点词进行专门分析与特定研究。5.小结与展望小结与展望 综上所述，本研究应用 CiteSpace 6.2.R1 软件对近 10 年的科技项目绩效评价的研究概况和研究热点趋势进行可视化分析，结果显示科研项目研究绩效评价研究主题相对集中，也从中发现了对于医学科技项目绩效评价的部分研究。对于科研项目绩效评价的研究热点和趋势分析，可以指导医学科技项目绩效评价的研究，进一步丰富医学科研项目绩效评价的研究理论和方法。可视化分析过程中发现的问题，诸如核心成员较少，不同团队及研究机构之间缺乏合作等问题，同样也是医学科技项目绩效评价研究存在程婕，张翔 DOI:10.12677/sa.2023.125126 1246 统计学与应用 的突出问题。目前该方向研究侧重构建绩效评价体系、绩效导向型的科研经费评价研究以及注重完善高校等研究机构内控制度和监督管理机制研究。结合医学学科的特点，构建有医学学科特色的项目绩效评价体系是未来的研究方向之一。此外，医学科研项目绩效评价研究一方面需要进一步探索“放管服”“包干制”背景下的风险控制体系构建，另一方面需加强促进医学科研项目绩效评价研究领域内的学术交流与合作，促进不同机构和研究团队之间的交流合作，进一步提升研究协作能力和学术影响力。基金项目基金项目 上海市卫生健康委员会科研课题青年项目“基于绩效棱柱的医学科技项目绩效评价体系的建立”，项目编号：20194Y0414。参考文献参考文献 1 钟华,胥美美,倪萍,等.医学科研项目实施绩效评价框架设计研究J.医学信息学杂志,2022,43(1):2-8.2 国发201825 号关于优化科研管理提升科研绩效若干措施的通知EB/OL http:/ 国科办资2018107 号国家重点研发计划项目综合绩效评价工作规范(试行)的通知EB/OL.https:/ 国科金发财201931 号关于进一步完善科学基金项目和资金管理的通知EB/OL.https:/ 吴涛.我国医院科研绩效评估研究现状及思考J.卫生软科学,2022,36(9):46-50.6 Chen,C.(2006)CiteSpace II:Detecting and Visualizing Emerging Trends.Journal of the American Society for Infor-mation Science&Technology,57,359-377.https:/doi.org/10.1002/asi.20317 7 赵静,董亚娜.科研项目绩效考评体系建设研究J.行政事业资产与财务,2022(15):18-22.8 刘媛.高校科研项目绩效管理评价标准化体系建设研究J.大众标准化,2022(10):49-51.9 彭艳,邱宇.基于 DEA 的军队科研项目绩效评价研究J.海军工程大学学报,2022,34(3):102-107.10 邱英,林媛,金晓敏.基于绩效预算的公立医院科研经费“包干制”管理J.卫生经济研究,2022,39(1):87-89.11 陈小华,官如梦.绩效导向型科研经费管理模式的构建及其优化J.财政监督,2023(2):98-104.12 沪财发20234 号上海市财政科研项目专项经费管理办法EB/OL.https:/ 吴宇,岳初霁,景婧.高校二级科研管理体制构建的一点思考J.科研管理,2019,40(12):327-330.14 涂淑娟,黄厚生,王玲.“放管服”背景下的科研经费管理内部控制研究基于全面预算绩效管理J.会计之友,2020(12):77-83.