科学研究的颠覆性创新测度——相对颠覆性指数.pdf

情报学报 2023 年 9 月 第 42 卷 第 9 期Journal of the China Society for Scientific and Technical Information,Sept.2023,42(9):1052-1064科学研究的颠覆性创新测度相对颠覆性指数杨杰1，2，邓三鸿1，2，王昊1，2（1.南京大学信息管理学院，南京 210023；2.江苏省数据工程与知识服务重点实验室，南京 210023）摘要 在破“五唯”的背景下，科学研究的创新性测度尤为重要，创新性较高的论文往往会对既有研究领域的学科范式产生颠覆性影响，甚至开创新的范式。颠覆性指数是近几年被提出的可以直接测度论文颠覆性创新程度的计量指标，基于网络中论文节点的深层引用关系，在一定程度上破除了单一维度评价的缺点，引起了文献计量学、信息科学和网络科学等多领域学者的广泛关注。本文对颠覆性指数的最新研究进行了总结和拓展，深入剖析了指标局限性及因素，并提出了新的计量指标相对颠覆性指数（relative disruptive index，RDI），它在颠覆性指数的基础上，涵盖了引文网络的深层引用比例，在一定程度上解决了颠覆性指数分布不均匀、评价不一致的问题，能够对科学研究的颠覆性创新程度进行更为精确和客观的衡量。实证结果表明，颠覆性指数的参数量级不一致，相对颠覆性指数可以更有效地衡量科学研究的创新性，且相比于原始颠覆性指数以及Bornmann等学者提出的修正颠覆性指数（DI5）具有更佳的评价一致性，巩固性论文的相对颠覆性指数较低，创新性论文的相对颠覆性指数较高。关键词 科学计量；引文网络；创新性；颠覆性指数Measure of Disruptive Innovation in Science:Relative Disruptive Index(RDI)Yang Alex J.1,2,Deng Sanhong1,2 and Wang Hao1,2(1.School of Information Management,Nanjing University,Nanjing 210023;2.Jiangsu Key Laboratory of Data Engineering and Knowledge Service,Nanjing 210023)Abstract：Innovation serves as a propulsive impetus behind scientific advancement.Assessing the innovative merit of scientific research holds particular significance.Papers endowed with elevated levels of innovation often challenge and upend existing disciplinary paradigms within research fields.A newly introduced metric called disruptive index has emerged as a means of directly appraising the innovation encapsulated within papers.By leveraging the profound interplay of paper citations and the network of cited relationships,this index effectively surmounts the limitations associated with unidimensional evaluations.As a result,it has garnered considerable attention within the scientific metrology community.This study employed a comprehensive synthesis and expansion of the latest research pertaining to the disruptive index.It provides a profound analysis of the limitations and influencing factors associated with this index.Additionally,it proposes a novel metric called relative disruptive index(RDI),which builds upon the foundation laid by the disruptive index.By encompassing the deep quotation proportions derived from the citation network,the RDI strives to mitigate the issues stemming from the non-uniform distribution and inconsistent evaluation encountered within the realm of the disruptive index.Consequently,it 收稿日期：2022-09-16；修回日期：2022-12-16基金项目：国家社会科学基金项目“大数据环境下学术成果真实价值与影响的实时预测及长期评价研究”（19BTQ062）。作者简介：杨杰，男，2000年生，博士研究生，主要研究领域为科学计量、复杂网络、创新测度；邓三鸿，通信作者，男，1975年生，博士，教授，博士生导师，主要研究领域为领域知识图谱、科学计量、信息分析与科学评价，E-mail：；王昊，男，1981年生，博士，教授，博士生导师，主要研究领域为文本挖掘、知识图谱。DOI:10.3772/j.issn.1000-0135.2023.09.005第 9 期杨杰等：科学研究的颠覆性创新测度相对颠覆性指数engenders a more precise and objective means of gauging the innovation inherent within scientific research endeavors.Empirical results clearly demonstrate the inconsistency in parameter magnitudes across the disruptive index.Conversely,the relative disruptive index emerges as a more efficacious gauge of research innovation compared to the original disruptive index and DI5.It is confirmed that the RDI exhibits superior consistency in evaluation,yielding a lower relative subversion index for papers that build upon previous work and higher relative subversion index for papers that embody groundbreaking innovation.Keywords:scientometrics;citation network;innovation;disruption indices0引 言科学并不是像一次函数一样平滑地发展，开创性的科学研究才是推动社会进步的最大助力1，开创性的研究通常具备高度的颠覆性（disruption）2。近年来，学者们通过 莱顿宣言3和 旧金山宣言4对传统计量指标提出批判，并呼吁创新测度的相关指标。2020年，教育部、科技部等在 关于规范高等学校 SCI论文相关指标使用 树立正确评价导向的若干意见5中指出，在科研评价中，要突出创新的质量和贡献。对科学研究的创新性进行准确的测度是新时代下情报学和科学计量学的一项重要任务6。科学和技术可以被描述为一种动态发展的复杂网络7，颠覆性创新的研究则体现为科学或技术网络结构中对既有范式的破坏8。颠覆性指数（disruption index，DI）是 Funk 等9于 2017 年提出的新指标，基于专利技术的深层网络结构计算其创新性，具体表现为专利的颠覆性影响分布，即该专利是否较大程度地影响了所在领域的技术范式。2019年，Wu 等10将颠覆性指数拓展至文献计量领域，并基于大样本的实证研究证明了颠覆性指数的有效性和可靠性，如诺贝尔奖得主代表性成果的颠覆性指数具有较高的正值，而巩固性研究的颠覆性指数往往为较低的正值甚至是负值。2023 年，Park 等2基于颠覆性指数的测度，发现当代科学似乎正在陷入“颠覆性停滞”的陷阱，即科学和技术的平均颠覆性正在逐渐下降。近年来，颠覆性指数在文献计量学11、信息科学12和网络科学13等多个领域得到了广泛应用，而其局限性主要在于缺乏测度一致性和区分度14-15。Leydesdorff 等16学者基于实证提出了 DI*、DI5等一系列改进指标，以缓解 DI测度不一致、分布不均匀等问题14，但这些指标依然存在较大的改进空间。本文在颠覆性指数最新研究的基础上进行总结和改进，深入剖析了颠覆性指数测度不一致的表现及因素，并提出一种全新的计量指标相对颠覆性指数（relative disruptive index，RDI），最后基于Web of Science（WoS）数据库的引文数据进行实证检验，将颠覆性指数与相对颠覆性指数的结果进行对比分析。研究结果表明，颠覆性指数的局限性体现在对不同参考文献数量的论文测度时出现异质性，原因体现在参数量级不一致，相对颠覆性指数在一定程度上解决了这些问题，能够更好地测度科学研究的颠覆性创新程度。1相关研究1.1科学研究的创新性科学进步的创新驱动因素一般是复杂且罕见的，因此，科学研究创新性的测度存在着较大的障碍17。现有的创新性测量方式一般是基于 Koestler提出的“新颖的概念或方法结合”思路18，Fleming19、Boudreau 等20以及 Packalen 等21分别基于这种思路研究了期刊、专利和论文的创新性，Uzzi等22提 出 了 基 于 参 考 文 献 的 期 刊 组 合 罕 见 程 度（atypical）的创新性计算方法，Boyack 等23基于标准偏差（standard deviation，Std Dev）对该方法进行改进并验证了其有效性；Wang 等24利用类似的方法，但是仅选取期刊的首次组合作为创新性评判依据；Uddin 等25基于关键词的组合罕见程度来衡量研究的创新性；Fontana 等26基于论文的参考文献学科分类的新颖性组合或跨学科程度来测度其创新性；Azoulay 等27基于出版物的 MeSH（medical subject headings）主题词重组比例来衡量其创新性；罗卓然等28将组合创新应用到学术词汇文本，提出基于语义相似度的创新性指标。Shi 等29将论文主题映射为多层嵌入网络，并以此计算论文主题的不常见组合模式来表征其创新性。尽管创新性的研究在同行评议的过程中会面临较大阻碍20，但是其往往能够取得更大的长期影响力26。从理论基础来看，现有的创新性测度指标主要1053第 42 卷情 报 学 报是基于论文主题新颖的或者不常见的组合模式，属于事前测度（ex ante）指标，虽然其不同于论文被引量30、扩散速度31、影响广度32等事后测度（ex post）指标，但均属于单一维度的评价指标。除创新性外，传统的引文指标主要包括数量、合作、主题和影响，其测度维度也较为单一33；而对于科学创新性这一复杂要素，则应当基于引文网络中的多维度深层次关系进行测度31。1.2颠覆性指数1.2.1DI颠覆性指数的理论基础源自 Popper 的科学发展理论34和 Kuhn 的范式变革理论35，即常规科学会在当前范式下解决未知的问题，而颠覆性科学不同于常规科学，颠覆性科学会在一定程度上突破既有范式的局限，产生新的范式、学科或领域。在引文网络的视角下，可以将论文节点的前向引用节点视作其知识基础，而将后向被引节点视作知识流动和影响36，那么对于具备颠覆性创新特征的论文，其后继节点会较小程度地依赖于该论文本身的知识基础，而直接建立在该论文创立的“新范式”下，由此，颠覆性的概念可以定量地反映为引文网络中论文被引模式的一种分布13,37。Funk 等9基于专利引用网络提出了颠覆性指数指标，用于衡量某一专利是发展还是颠覆了现有的技术趋势。Wu 等10进一步提出了引文网络中的颠覆性指数，在引文网络中，某一核心论文（focal paper，FP）的颠覆性指数定义为DI=NF-NBNF+NB+NR(1)其中，NB代表引用了 FP，并且引用了 FP 参考文献至少一次的论文数量；NF代表引用了 FP，但没有引用 FP 参考文献的论文数量；NR代表没有引用FP，但引用了FP参考文献至少一次的论文数量。Azoulay38对颠覆性指数有一直观的解释：对于某一核心文章 FP 而言，如果许多引用 FP 的论文也同时引用了 FP 的大部分参考文献，那么 FP 可以被视为巩固了其学科范式；反之，如果 FP 的未来引文并不承认 FP 的参考文献，那么其可以视为颠覆了其学科领域的研究范式，甚至开创了新的领域。1.2.2DInBornmann 等39认为仅引用了 FP 的一篇参考文献可能是一些特殊引用行为导致的，为了更准确地评估 FP 的引文文献与被引文献之间的紧密关系，给参数NB增加了引文数量的最低门槛n：DIn=NF-NnBNF+NnB+NR(2)NnB=|B|cited publication n|(3)显然，DI1完全等价于 DI。在 n 值较大时，可以看作提高了NB的引文门槛，Bornmann 等39认为这样可以在一定程度上减少无目的性引用的影响，并通过实证检验出DI5具有较好的检验结果。1.2.3其他拓展及局限Leydesdorff 等16对颠覆性指数进行了改进，提出了两个新指标DI*和DI#，并认为DI*可以更为直接地测度 FP 对原有学科范式的颠覆程度，而DI#则更偏向于测度 FP 在多大程度上继承或发展了之前的研究，从而能以更细的粒度评价文章的创新性和巩固性。Zhou 等40将颠覆性指数和 PageRank 算法相结合，提出了 DPRank 模型，并基于美国物理学会（American Physical Society，APS）数据验证了其测度有效性。Liu 等41结合多维索引系统，对涵盖多学科的多源数据进行了融合式颠覆性技术挖掘。Wang 等12在颠覆性指数的基础上，结合 MeSH主题表提出了知识实体层次的创新性测度方法。Yang等13将颠覆性指数拓展为复杂网络的重要节点测度指标，发现颠覆性指数识别出的关键节点与传统指标的结果差异显著。颠覆性指数的主要局限性在于测度的缺乏有效性15、一致性14和区分度16，现有研究主要是对颠覆性指数进行拓展，而颠覆性指数的测度不一致性和不均匀性问题一直没有得到有效的解决，较大程度上限制了该指标的应用范围。颠覆性指数局限性的一个体现是，衡量参考文献数量不同的论文时缺乏一致性14。本文的创新之处在于，发现并深入分析了颠覆性指数的局限性，提出新的指标以有效测度科学研究的颠覆性创新。2方法论2.1相对颠覆性指数颠覆性指数最早于 2017 年被 Funk 等9提出，2019 年 Wu 等10的研究结果在 Nature 发布之后，引发了科学计量学界的广泛讨论。新的计量指标往往存在许多待完善之处，作为衡量论文颠覆性创新程度的计量指标，DI和DIn均存在较大的局限性：可1054第 9 期杨杰等：科学研究的颠覆性创新测度相对颠覆性指数能受到不规范引用或无目的性引用的影响42。例如，FP 的被引文献 A 和 B，A 引用了 FP 参考文献 1 篇，B 引用了 FP 参考文献 10 篇，A 可能是无目的性引用，但 A 和 B 均被计算进了颠覆性指数的分子中。DI和DIn在计算NB等指标时均使用引文的绝对数量，如在DI5的公式中，N5B代表引用了论文 FP，并且引用了 FP 参考文献至少 5 次的论文数量；参考文献较少的论文的DIn可能较大，而参考文献较多的论文的DIn往往很小，不同的参考文献数量在一定程度上会降低DIn结果的一致性43。同时，由于DI5采用自然数 5 作为阈值，在计算参考文献数量少于 5 篇的文章时，DI5的参数N5B无实际意义。DI和DIn均存在参数量级不一致的问题（详见3.3节）。目前对颠覆性指数的改进中，均没有涉及NR值，而NR本身会导致诸多问题：在实际计算颠覆性指数的过程中，NR的值往往较大，甚至出现颠覆性指数参数量级不一致的问题（详见 3.3 节），从而导致其分布非常密集（多数文章的颠覆性指数都非常接近 0），不利于比较不同文章的创新性。当一篇论文引用了多篇高被引文章时，其“参考文献总被引”很大，由于NR的影响，其颠覆性指数会非常接近0（详见3.3节）。NR受FP参考文献数量的影响较大，不同论文的参考文献数量不一致，也会降低颠覆性指数计算结果的一致性。为解决以上问题，借鉴 Bornmann 等44对参数NB的改进思路。与其不同的是，本文同时对NB和NR设定门槛，并且采用百分比值的方法设定门槛值，用于消除FP参考文献数量对结果的影响。RDIpn=NF-NpnBNF+NpnB+NpnR(4)threshold=(FP)cited publication n%(5)NpnB=|B|cited publication threshold|(6)NpnR=|R|cited publication threshold|(7)其中，NpnB代表引用了 FP，并且引用了 FP 至少 n%的参考文献的论文数量；NF代表引用了 FP，但没有引用 FP 参考文献的论文数量；NpnR代表没有引用 FP，但 引 用 了 FP 至 少 n%的 参 考 文 献 的 论 文数量。2.2网络结构关系在引文网络中，论文节点存在着前向引用链接和后向被引链接，分别表示其知识基础和知识流动。将引文网络一篇核心节点论文 FP 的引用、被引用以及更深层的引用网络关系描绘出来，如图 1所示。图 1a 展示了颠覆性指数DI的引文网络关系，中间节点代表该网络中的核心论文 FP，右侧节点（ah）代表 FP 的被引文献，左侧节点（il）代表FP 的参考文献；FP 与其参考文献的引用关系、FP与其被引文献的引用关系均以有向实线表示，FP的参考文献与 FP 的被引文献之间的引用关系以有向虚线表示，将 FP 的被引文献划分为三大类别：NB、NF和NR，以此计算DI。当实际运用此指标时，NB中仅引用了 FP 的一篇参考文献可能是一些特殊引用行为导致的，修正指数DIn通过设定一个引用量阈值来解决这个问题。与DIn方法类似，RDI也是设定了引用量阈值，不同之处在于RDI采用了相图1DI和RDI的引文网络结构关系1055第 42 卷情 报 学 报对值而非绝对值。鉴于不同文章的参考文献数量差异可能较大，采用相对值可以有效地拓展测度范围，并保持测度一致性。图 1b展示了相对颠覆性指数RDI的引文网络关系，假设某 FP 有 20 篇参考文献，若设定阈值为10%，则只有引用了 FP 至少 2 篇参考文献的论文才被算入相关参数。论文 a 和论文 b 均没有引用论文FP，论文 a 引用了 FP 的 2 篇参考文献 i 和 j，论文 b只引用了 FP 的 1 篇参考文献 i，则论文 a 被计算入Np10R，而论文 b 不被计算入Np10R；同理，在同样阈值下，论文 d 被计算入Np10B，而论文 c和论文 e不被计算入Np10B；NF的计算与DI、DIn的计算方法完全相同。3实证检视3.1数据搜集与处理对于引文网络中某一核心节点论文 FP，选择Web of Science 核心合集数据库，通过标题或 DOI（digital object unique identifier）进行检索，基于以下操作可以获取NF、NB、NpnB和NpnR的值，根据式(1)式(7)计算出DI、DI5、RDI等指标。（1）以纯文本文件格式导出论文 FP 的全记录与引用的参考文献，并记录下该论文的DOI。（2）进入论文 FP 的被引文献页面，选择全部文献并按照相同格式导出。（3）进入论文 FP 的参考文献页面，对于每一篇参考文献Cn均进入其被引文献页面，选择全部文献并按照相同格式导出。（4）基于 Python-3.9.2 自定程序，计算出相应指标。实证部分聚焦于 Scientometrics 期刊的被引量最高的 101篇论文，鲁棒性检验（3.5节）则对发表于Scientometrics 期刊上的全部研究论文进行分析。此外，为了保证足够的引文窗口，本文仅对发表于2010年（含）之前的研究论文进行分析。3.2阈值与引文窗口相对颠覆性指数的一个重要参数是阈值，不同的阈值选择下论文的相对颠覆性指数RDI分布如图2a 所示。其中，当阈值为 1%时，相对颠覆性指数分布可以近似地看作颠覆性指数DI的分布（绝大部分论文的参考文献数量少于 100）；当阈值大于5%时，不同类型论文的相对颠覆性指数分布出现明显变化。本文选取 13%为阈值，这是因为在该阈值下不同参考文献数量的论文有着较为接近的分布，从而可以认为该阈值下颠覆性指数的分布受参考文献数量的影响较小。引文窗口是科学计量指标的重要内容30。Bornmann 等45对颠覆性指数的引文窗口进行了初步探索，得出颠覆性指数需要 5 年以上的引文窗口。本文以高被引论文为视角，对DI、DI5、RDI的引文图2阈值与引文窗口（彩图请见https:/）1056第 9 期杨杰等：科学研究的颠覆性创新测度相对颠覆性指数窗口做进一步探讨，图 2b 展示了数据中被引量最高的 9 篇论文在不同引文窗口下DI、DI5、RDI的值。其中，DI在 5 年的引文窗口后趋于稳定，这与现有研究结论保持一致45，但是DI5和RDI可能需要 8 年以上的引文窗口才会趋于稳定，综合考虑本文的样本数据，选取 10 年为引文窗口，即在计算某论文 FP 的相关指标时，仅考虑 FP 发表 10 年之内（包含FP发表前）的论文。值得注意的是，尽管本文选取了出现明显差异的分界点作为阈值（13%）和引文窗口（10 年），但是更高的阈值和更长的引文窗口并非不合适，不同的阈值和引文窗口导致相对颠覆性指数呈现的差异有待未来进一步探索。3.3统计与分布DI、DI5与RDI的总体统计如表 1 所示，这 3 种指标的值域均是-1,1。已有研究表明10，当一篇文章颠覆性指数为较高的正值时，通常代表这是一篇创新性的文章，颠覆性指数的值越接近 1，说明它对原有学科范式的颠覆程度越高，如获得诺贝尔奖研究的颠覆性指数位于所有样本前 2%的水平；反之，若一篇文章颠覆性指数接近 0 甚至为负值，说明它可能是一篇巩固性研究或者综述类文章。从总体分布来看，大部分样本论文的颠覆性指数平均值非常接近 0，而相对颠覆性指数有着明显更高的平均值（0.191）。相对颠覆性指数的标准差（0.221）比颠覆性指数的标准差（0.117）更大，对于值域相同的指标，较大的方差会为其带来更好的区分度。因 3 个指标的偏度均是正值，故其分布相对于正态分布右偏，DI的偏度（4.779）和DI5的偏度（4.107）均较大，呈现明显右偏；RDI的偏度（1.123）较小，偏移幅度不大。结合峰度指标和百分位数，样本论文的DI集中在区间-0.02,0.12，分布很不均匀且异常陡峭（峰度为 28.062）；DI5集中在 区 间 0,0.06，分 布 不 均 匀 且 陡 峭（峰 度 为20.416）；RDI集中在区间-0.05,0.30，分布均匀且平缓（峰度为0.864）。结合颠覆性指数和相对颠覆性指数的公式，表1 反映出颠覆性指数的一个重要问题：参数量级的不一致性。NR（均值 6192，标准差 24376，范围7,218315）的量级远远大于NB（均值66，标准差86，范围1,530）和NF（均值 55，标准差 141，范围0,1277），参数量级不一致性是导致颠覆性指数测度不一致和不均匀的主要原因之一。相对颠覆性指数中的Np13R则与公式中的其他参数处于同一量级，这在一定程度上证明了相对颠覆性指数解决了参数量级不一致性的问题。DI、DI5与RDI的分布与相关关系如图 3 所示，根据 FP 论文的参考文献数量划分出 4 个类型。从分布来看（位于对角线的 3 个子图），DI和DI5的分布呈现明显的异质性，无论是巩固性最强的论文（颠覆性指数最低，位于分布图最左侧）还是颠覆性最高的论文（颠覆性指数最高，位于分布图最右侧），都仅包含了参考文献数量小于 20 的论文，而其他类型的论文则集中分布在 0 附近，非常不利于其颠覆性的测度与比较，这很可能是源 自 公 式 本 身 的 缺 陷。在 相 对 颠 覆 性 指 数RDI下，4 种类型论文均呈现了接近正态的分布，因此，可以认为，相对颠覆性指数能够从不同参考文献数量的论文中测度出高巩固性论文和高颠覆性论文。从 3个指标的相关关系来看，DI、DI5与RDI之间的皮尔逊相关系数均非常显著，因此，其都能有表1高被引论文颠覆性指数统计分布指标DIDI5RDINBNFNRNB5Np13BNp13R均值0.0200.0620.19166556192719250标准差0.1170.1260.22186141243761134468偏度4.7794.1071.123388245峰度28.06220.4160.86413717261429最小值-0.171-0.005-0.14810700725%-0.0170.0050.0491816378025950%-0.0020.0190.118422814653811075%0.0120.0610.282775942721018224最大值0.8040.8440.82053012772183155720734081057第 42 卷情 报 学 报效衡量论文的颠覆性，但是不同于DI和DI5之间的高度线性相关关系（0.9233），RDI与DI之间的线性相关系数仅为 0.5151，说明它是一个相对较为独立的指标。颠覆性指数及相对颠覆性指数分布的散点图和箱线图如图 4 所示，分别统计不同参考文献数量的4种论文集合的DI、DI5与RDI分布。从散点图（图4a、图4c和图4e）可以看出，不同参考文献数量论文集合的颠覆性指数的分布呈现明显差异，而不同参考文献数量论文集合的相对颠覆性指数分布更为均匀和一致。尤其是对于参考文献数量较多的论文，DI和DI5分布非常集中且接近0，而RDI的分布仍然较为均匀。从箱线图（图4b、图4d和图4f）可以看出，随着 FP 参考文献数量的增加，颠覆性指数的分布愈加集中且接近 0，这是因为它在计算参数NB和NR时均以 1 为阈值，对参考文献数量大于 20 的论文进行计算时，颠覆性指数的分布会过于集中，难以进行有区分度的测度，并且对于不同参考文献数量的论文存在着测度不一致的问题。DI5通过设定固定阈值为 5，在一定范围内缓解了这个问题，参考文献数量处于 2140 区间论文的DI5取得了与 020 区间论文较为一致的分布。但是DI5依然存在一定的问题：一方面，DI5无法对文献数量小于 5 的 FP 进行有实际意义的指标计算与测度；另一方面，在参考文献数量大于 40 的时候，依然会出现指标值的分布过于集中、缺乏区分度、测度不一致等问题。RDI在 4 个区间的参考文献数量上均有着较为均匀和一致的分布，尤其对于参考文献数量很大的论文（大于 40）也能进行相应的指标计算与测度。从RDI散点图可以看出，参考文献数量处于 4160区间的论文中有 2篇相对颠覆性指数大于 0.4，参考文献数量处于 61 及以上区间的论文中有 2 篇相对颠覆性指数大于 0.2，因此，相对颠覆性指数能实现从参考文献数量较大的论文集中识别出颠覆性高的论文，且其在不同参考文献数量论文集合上的测度效应具备高度一致性。综上所示，相对颠覆性指数具有以下优势：受图3论文的DI、DI5与RDI相关性及分布（彩图请见https:/）*表示p0.001。1058第 9 期杨杰等：科学研究的颠覆性创新测度相对颠覆性指数论文参考文献数量的影响小，不同参考文献数量的论文有较为一致的RDI值分布。相对颠覆性指数的标准差更大，且偏度绝对值更小，分布更为均匀，能够对不同论文的颠覆性进行有区分度的测度。相对颠覆性指数可以从参考文献数量较大的论文集中识别出颠覆性高的论文。相对颠覆性指数与颠覆性指数的皮尔逊相关性非常显著，可以有效地衡量文章的颠覆性。相对颠覆性指数与颠覆性指数的线性相关系数不是很高，可以视作一个独立的指标。3.4收敛有效性为探讨相对颠覆性指数是否能够对研究的颠覆性创新程度做出真实测度，需要做进一步的研究。指标的收敛有效性（convergent validity）属于结构效度（construct validity）的一种，通常体现为指标在理论与实证的相关程度，而科学计量学相关指标的收敛有效性一般会基于人工检视（manual inspection）进行39。为证明相对颠覆性指数能够识别出高度颠覆性或高度巩固性的论文，本文对相对颠覆性指数排在前10名、后10名的论文依次进行人工检视。图4论文的DI、DI5、RDI与被引量及参考文献数量分布1059第 42 卷情 报 学 报由表 2 可知，相对颠覆性指数排名最高的 10 篇论文具有较高的创新性，有多篇论文是本领域的开创性研究论文，这些论文的作者均是科学计量学领域的泰斗级学者，其中多位荣膺“普赖斯奖”。具体如下：van Eck 等46发明了科学计量学分析与可视化的重要工具 VOSviewer，是科学计量学领域的一篇重要开创性论文；Larsen 等47发现 SCI（Science Citation Index）和 SSCI（Social Science Citation Index）的文献在计算机科学和工程科学等前沿领域的覆盖率非常低，并指出基于 SCI和 SSCI的评价指标问题，研究结论具备较高的创新价值和颠覆性；Narin 等48是研究国际合作的一篇早期重要论文，对未来的国际合作研究产生了深远影响；Moed等49创立了全新数据库以整合荷兰的全部论文，属于地域性的创新性研究。Schubert 等50首次以文献计量学的视角深入研究了国际合作，是科学计量学领域早期的一篇开创性论文；Weingart51深入探讨了文献计量指标对科学系统的影响，为后续计量指标的作用机制研究奠定了重要基础；Glnzel等52首次较大规模地研究了巴西的引文模式概况、发展趋势以及国际合作情况，属于地域性创新性研究。Glnzel等53创新性地提出了自然科学与社会科学之间的层次结构，是主题分类领域的一篇重要开创性论文；van Raan54分析了文献计量学方法在评估科学研究和监测科学发展方面的潜力和局限性，是文献计量学领域早期的一篇开创性论文；Katz等55创新性地提出了引文与科学合作中的一种非常重要的标定模型；van Raan56深入探讨了科学计量与机构评价，创新性地提出了技术和方法问题及解决方案，是科学计量学领域的一篇重要创新性论文。总体而言，相对颠覆性指数最高的 10篇论文均具备较高的颠覆性和开创性。然而，这种开创性可能局限于某一细分领域或地域（国家或地区），因此，未来需进一步分析、处理，才能筛选出最具开创性的论文。除此以外，由表 2 可以发现，限制颠覆性指数DI测度有效性的一个重要因素“参考文献总被引”会显著影响颠覆性指数DI。以相对颠覆性指数RDI排名第一和第二的论文为例，两者的参考文献总被引分别高达 8912 和 10139，导致DI指标分母非常大，从而得出接近 0 的颠覆性指数DI；而对于参考文献数量总被引少于 100 的论文，颠覆性指数DI与相对颠覆性指数RDI高度一致，这也从一个方面证明了相对颠覆性指数RDI的优势。样本中相对颠覆性指数排名最低的 10篇论文具备较低的创新性，通常表现为典型的巩固性研究、发展性研究或非原创性研究（derivative research），如表 3 所示。相对颠覆性指数排名后 10 位的论文中有 8 篇是基于 h-index 的继承研究：Egghe57的研究在 h-index 的基础上提出了 g-index，van Raan58的研究是基于 h-index 的实证，Batista 等59的研究提出了互补指数 h(t)，Glnzel60的研究初步阐述了 h-index的数学内涵，Egghe 等61的研究是将 h-index 拓展为信息学的一般框架，Iglesias等62的研究是将不同领域学者的 h-index 纳入同一个量表比较，Braun 等63的研究是阐释 h-index在期刊评价领域的应用以及小规模实证，Sidiropoulos 等64的研究指出了 h-index的部分缺点并做了改进。这 8 篇论文是对 h-index 的进一步阐释、改进和实证，属于典型的巩固性研究，相对颠覆性指数均为负值。而 h-index论文本身的相对颠覆性指数为 0.694，处于研究样本前 10%的水平，具有极高的开创性。表2相对颠覆性指数排名前10篇论文文献来源46474850515253545556论文作者，发表年van Eck等，2010Larsen等，2010Narin等，1991Schubert等，1990Weingart，2005Glnzel等，2006Glnzel等，2003van Raan，1996Katz等，1997van Raan，2005总被引量2813452300136289207248254227445参考文献数量3753482931425928参考文献总被引892110139866119491847772961552314DI0.0820.0170.8040.0130.0230.0220.5030.0030.0120.032DI50.1280.0250.8440.0390.0450.0480.5600.1030.0640.062RDI0.8200.8060.8040.6490.6440.6380.5030.5000.4760.4371060第 9 期杨杰等：科学研究的颠覆性创新测度相对颠覆性指数在剩下的 2 篇研究中，Beaver65在 Katz 等66的研究基础上，进一步总结了科研合作的发展、现状和未来展望，属于巩固性较强的综述研究；Meyer等67对 Braun等68的研究进行了数据的拓展和改进，属于非常典型的巩固性研究。值得注意的是，在巩固性论文的测度中，颠覆性指数DI与相对颠覆性指数RDI呈现较高的一致性，表 3中全部论文的颠覆性指数DI也位居样本的后 10%，说明相对颠覆性指数RDI的相对优势并不能在测度巩固性论文中得到体现。基于收敛有效性分析，可以认为相对颠覆性指数能够对论文的颠覆性创新水平进行有效的直接测度。一般而言，颠覆性创新水平较高的论文相对颠覆性指数为较大的正值，开创性论文的相对颠覆性指数接近1；创新性水平较低的论文相对颠覆性指数为接近 0 甚至为负值，巩固性研究论文的相对颠覆性指数往往会很低。此外，还发现颠覆性指数DI无法有效地测度一些“参考文献被引量”较高的开创性论文，相对颠覆性指数RDI在一定程度上解决了这个问题。3.5 鲁棒性检验高被引论文仅占据了全部论文的小部分，为进一步分析相对颠覆性指数的测度有效性，对发表于 Scientometrics 期刊上的全部研究论文（文章类型为