多源异构数据视角下的学术评价：内涵、进展与展望.pdf

科 技 情 报 研 究SCIENTIFIC INFORMATION RESEARCH第5卷第4期Vol.5No.42023年10月Oct.2023收稿日期：2023-04-27修回日期：2023-06-16基金项目：国家社科基金项目“大数据环境下学术成果真实价值与影响的实时预测及长期评价研究”（编号：19BTQ062）作者简介：邓三鸿（ORCID：0000-0002-6910-3935），男，1975 年生，博士，教授，博士生导师，主要研究方向：知识图谱、科学计量、信息分析与科学评价，E-mail：；杨杰，男，2000 年生，博士研究生，主要研究方向：科学计量、学术评价、信息分析，E-mail：；王昊（ORCID：0000-0002-0131-0823），男，1981 年生，博士，教授，博士生导师，主要研究方向：文本挖掘，知识图谱，E-mail：；沈健威，男，1985 年生，大学本科，高级工程师，主要研究方向：大数据应用与管理，E-mail：。多源异构数据视角下的学术评价：内涵、进展与展望邓三鸿1杨杰1王昊1沈健威21.南京大学信息管理学院，南京 2100232.江苏省质量和标准化研究院，南京 210023摘要：目的/意义 综合多源异构数据的学术评价与科学计量方法逐渐发展成为领域热点，目前对于多源异构数据视角下的学术评价缺乏系统的理论探讨。方法/过程 针对多源异构数据利用不充分、研究方法不妥当、研究目标不明确等问题，文章梳理多源异构数据视角下的学术评价发展状况、厘清领域内涵及外延、分析领域前沿和热点。结果/结论 研究发现，在多源异构数据视角下，学术评价领域呈现出数据维度增加、数据粒度细化、评价指标复杂化等趋势。多源异构数据视角下的学术评价内涵界定、现状分析与未来展望，对于澄清领域认知、辨析相关概念、明确研究路径与方法论基础，以及构建中国特色的学术评价体系有着重大意义。关键词：学术评价；科学计量；多源异构数据中图分类号：G203文献识别码：A文章编号：2096-7144（2023）04-0042-15DOI：10.19809/ki.kjqbyj.2023.04.0041引言学术评价是科研活动的重要环节，在科学知识信息传播方面有着重大影响，同时，由于它能反映研究质量与研究水平，通常也与学术资源配置挂钩。学术评价在推动科技创新和社会进步方面发挥着重要作用，受到国家相关部门的高度重视，我国先后出台关于深化项目评审、人才评价、机构评估的意见1关于优化科研管理提升科研绩效若干措施的通知2关于开展清理“唯论文、唯职称、唯学历、唯奖项”专项行动的通知3以及 关于规范高等学校 SCI论文相关指标使用树立正确评价导向的若干意见4等政策，以期优化学术评价方法、合理分配学术资源，引导构建具有中国特色的全方面学术评价体系。随着以数据为导向的科学研究第四范式的出现，学术评价领域迎来新的发展。在“开放获取”运动的背景下，越来越多的数据融入学术评价领域，这些数422023年10月据呈现出多源异构的特征。因此，开展多源异构数据视角下的学术评价进展梳理与理论探讨尤为重要。数据的多源异构一般表现为数据来源、数据结构、存储模式、数据标准、平台及应用的多样性。随着大数据、人工智能、复杂网络和数据科学的发展，多源异构数据的融合与应用被广泛研究，学术评价领域也出现了基于多源异构数据视角的探索。多源异构数据视角下的学术评价拓展主要分为两大类型：基于多源数据的学术评价新指标，以及基于异构数据抽取的学术评价新方法。目前，学术评价普遍存在对多源异构数据的利用不充分、研究方法不科学、研究目标不明确等问题。本文首先对学术评价的历史沿革及内涵特征进行分析探讨，总结多源异构数据视角下的学术评价新框架及研究热点。然后，从“基于多源数据的学术评价新指标”以及“基于异构数据抽取的学术评价新方法”两大维度出发，对多源异构数据视角下的学术评价发展进行系统梳理与总结。最后，对多源异构数据视角下的学术评价进行展望。2多源异构数据视角下的学术评价内涵及发展2.1学术评价的历史沿革及内涵特征学术评价起源于同行评议和专家评价。同行评议的历史可以追溯到 1665 年英国皇家协会设立的Philosophical Transactions 期刊。从 1752年起，该协会开始邀请与期刊领域相关的学者，为文章提供建议和审查，这被认为是学术期刊的首个同行评议制度5。同行评议可以划分为“单盲”（Single-blind）评审制度和“双盲”（Double-blind）评审制度，“单盲”评审制度中作者不知道评审人的信息，“双盲”评审制度中作者和评审人互不知道对方的信息。随着学术规范的完善，同行评议逐渐发展成为学术论文发表的必要程序。开放同行评议（OPEN PEER REVIEW）是在互联网平台兴起的新定性学术评价方法，且更具效率和透明度6，但目前仍处于起步阶段，待进一步发展和研究。传统的学术评价也受到了一些批评，如PAULSON 等7认为同行评议制度不能保证评审人对论文的主题完全了解，SILER 等8认为专家评价和同行评议难以识别具有创新性的论文。定量的学术评价起源于文献计量学，OTLET P是首位使用文献计量方法进行学术评价的学者9，他在 1934 年出版的文章 Traite de Documentation 中使用了该方法，但直到 35 年后，文献计量学才被PRITCHARD 正式定义10。GARFIELD11提出影响因子（Impact Factor，IF），并创立科学引文索引（SCI），从此引文分析成为评价期刊质量的重要标准12。近年来，定量学术评价指标不断被提出，HIRSCH13于2005 年提出了 H-index，用于学者、期刊和地区等维度的评价。NOORDEN 在 2016 年提出了 CiteScore，拓展了引文时间窗口14，目前已成为 Scopus 对出版物评价的主要指标之一15。在机构预算紧张、竞争激烈的当下，基于引文数量的评价指标在大学排名、学术期刊评估、同行评议等方面均发挥着重要的作用16-17。然而，过度强调引文数量和论文数量也会导致学术不端等诸多问题。如影响因子的结果难以跨学科比较，且受自引影响较大，受到了广泛的批评18。H指数等评价指标也被认为导致了学术马太效应，不利于学术创新，受到了部分学者的反对和批评19。学术评价是历史性的评价，常常发生在学术共同体之间，它也可被视作是学术群体之间的社会舆论20。学术评价的客体是作者、期刊、机构和地区等学术实体；主体一般是其他学术实体，通常为客体的学术共同体。学术评价的方法通常包括同行评议、专家评价等定性方法，基于文献计量指标的定量方法，或二者相结合的综合评价方法。邓三鸿杨杰王昊，等：多源异构数据视角下的学术评价：内涵、进展与展望43科 技 情 报 研 究第5卷第4期苏新宁等21指出，学术评价可以分为 3 个层面：第一层是基于计量指标对学术实体的评价；第二层是探索学术研究规律、学科特征及关系、研究热点及领域；第三层在此基础上探索未来发展趋势，引领科学研究。综上所述，本文将学术评价的内涵界定为：采用同行评议、专家评价以及文献计量等评价方法，对作者、期刊、机构和地区等学术实体在科学发展理论或实践影响程度等方面进行科学客观的度量，从而促进学术活动健康发展、推动学术继承与创新，最终对社会进步与科技创新产生贡献。2.2多源异构数据视角下的学术评价新框架针对二元对立的定性和定量评价存在的“六化”问题，叶继元22提出了形式评价、内容评价和效用评价的“三位一体”框架，结合多源异构数据构建了专家评审与学术共同体相关数据库，全评价体系是定性学术评价与定量学术评价的有机结合，也是建设中国哲学社会科学特色评价的一个重大突破23。在异构、多源和海量的数据背景下，邱均平等24提出并拓展了“五计学”的评价框架，并将数据科学与计量学结合，提出了“数据计量学”的概念和内容体系25，融合了数据与计量两大范式，是多源异构数据视角下学术评价领域极具前景的发展方向。苏新宁等217-9、邓三鸿等26、张宝隆等27和闫晓慧等28在既有评价范式和 CSSCI 的基础上，综合多源异构数据、网络影响力和社会影响力评价方法，探索出了人文社科多层次评价法、组合赋权法评价法、差异性视角下的期刊区分度以及研究创新度测度等，可用于论文、期刊、学科、高校等多层次的评价，从而形成中国人文社科领域的评价新框架。除以上较为成熟的框架以外，张琳等29探索的交叉学科评价体系、赵蓉英等30探索的学术话语权评价框架、王贤文等31探索的动态复合评价模式、罗卓然等32探索的结合深度学习方法的创新评价方法，以及杨思洛等33探索的结合社交媒体数据多维测度指标等，都是基于多源异构数据视角下的学术评价新框架的研究和探讨。未来的学术评价应当综合这些框架体系，逐步构建形成健康完整的评价生态。2.3多源异构数据视角下的学术评价热点在 CNKI上检索含有“多源”“异构”等关键词，并包含“文献计量”或“学术评价”的文献，剔除停用词后基于 VOSViewer-1.6.18 进行关键词共现分析，结果如图1所示。多源异构视角下的学术评价以科学计量和信息计量为主体，在社会媒体数据、期刊开放获取、专利文献、政策文献、网络分析方法和人工智能技术的驱动下，呈现出多元化的发展趋势。一方面，基于多源数据产生了替代计量和网络计量等新的评价指标；另一方面，随着人工智能、深度学习和数据科学等方法的引入，可通过异构数据的抽取实现学术评价的客体维度补充。因此，本文将从两大角度出发，分别对基于多源数据的学术评价新指标，以及基于异构数据抽取的学术评价新方法的相关研究进行系统地梳理，以探究多源异构视角下学术评价的发展状况。3基于多源数据的学术评价新指标多源数据反映了数据来源的多样性和丰富性。学术交流和知识共享的载体不仅局限于学术论文，还包括社交媒体数据、专利文献数据和政策文本数据等。在信息时代下，各种类型的文献呈现出爆炸式增长，基于多源数据网络分析的评价指标是一种面向未来的学科拓展思路。3.1基于社交媒体数据的评价指标近年来，基于社交媒体数据的科学计量与学术评价迅速发展，并成为了研究热点，社交媒体数据计量与评价领域中的部分代表性研究，见表1。442023年10月邓三鸿杨杰王昊，等：多源异构数据视角下的学术评价：内涵、进展与展望2010 年，PRIEM 等34基于社交媒体数据提出了全新的信息计量指标Altmetrics。社交媒体数据涵盖了社交网络、书评、博客、微博、维基百科和数据分享35，也有部分学者将会议记录和日程36、聚合新闻服务及用户评论37作为社交媒体数据。此后，基于Altmetrics 的评价方法陆续被提出，如 ADIE 等38提出Altmetric score，ALHOORI 等39提出期刊社会影响力因子，以及 THOMA 等40提出社交媒体计量指数。随着 Altmetrics 的补充与拓展，社交媒体数据如今已经成 为 了 学 术 评 价 领 域 不 可 忽 略 的 数 据 来 源。BORNMANN41认为随着对社交媒体数据的不断强调和更广泛地使用，将会对文献计量学领域产生重大图1 多源异构数据视角下的学术评价热点领域类别替代计量学：Altmetrics的提出Altmetrics的代表性数据源基于Altmetrics的拓展指标相关领域社交网络、书评、博客、微博、维基百科和数据分享会议记录和日程数据聚合新闻服务及用户评论数据Altmetric score期刊社会影响力因子社交媒体计量指数代表性学者PRIME J等GU F等ROWLANDS I等TENOPIR C等ADIE E等ALHOORI H等THOMA B等年份2010201120112013201320142014表1 社交媒体数据计量与评价领域的部分代表性研究45科 技 情 报 研 究第5卷第4期变革。社交媒体可以提高学术交流的透明度以及加速学术的传播42，相关学者提出利用社交网络数据对学术社会影响力进行评价43。Altmetrics 在取得较大的成果和影响力的同时，也受到了一些批判。首先，Altmetrics 在评价一致性、评价效率、评价专业性、可信程度等方面尚有改进空间44。其次，Altmetrics 在与同行评议的结合方面也有待提高45。同行评议作为学术评价的重要环节之一，可以提供更加专业、全面和深入的评价。因此，未来的研究可以探讨如何将 Altmetrics 与同行评议相结合，以更好地评价学术成果。为此，我们认为融合社交媒体数据的学术评价应注意以下几个问题：一是，为提高评价一致性，可以尝试建立统一的数据收集和处理标准，以确保不同来源的数据质量和可靠性。此外，通过加权或归一化方法综合多个来源的数据，也可以降低评价结果的不一致性。二是，为提高评价效率，可以借助现有的计算机技术和算法，如分布式计算、机器学习等，对大量的社交媒体数据进行高效处理和分析。此外，还可以利用自然语言处理技术，对社交媒体中的文本内容进行深入挖掘，以提取更有价值的信息。三是，为提高评价专业性，可以考虑在评价过程中引入领域专家的意见，以消除非专业性信息的干扰。同时，可以研究如何将领域专家的评价与社交媒体数据相结合，以实现更全面、准确的学术评价。四是，为提高可信程度，可以设计和实施相应的数据验证机制，以检测和剔除潜在的恶意操纵或虚假信息。此外，通过对比分析不同来源的数据，也可以提高评价结果的可信度。五是，为促进 Altmetrics 与同行评议的结合，未来可以探索建立一个综合评价体系，将社交媒体数据、同行评议以及其他相关数据进行整合，以实现对学术成果的全面评价。此外，可以研究如何利用社交媒体数据辅助同行评议，例如挖掘潜在的评审专家、发现学术热点等。3.2基于多源数据网络分析的评价指标Web of Science、Google Scholar、Scopus 等数据库为学者提供了广泛的文献数据，从多源数据中抽取节点，以引用关系作为链接，形成了巨大的引文网络。网络分析方法可针对学术期刊文献、会议文献、专利文献、政策文献以及社交媒体数据等多源数据进行深入的评价探索。基于多源数据网络分析的学术评价领域代表性研究，见表2。表2 基于多源数据网络分析的学术评价领域代表性研究领域类别提出网络计量学：Webmetrics引文网络的社群研究多源数据在引文网络中的应用引文网络中的评价指标基于引文网络的创新评价指标相关领域提出复杂网络的社群总结社群在引文分析中的作用特征因子（Eigenfactor）学术迹（Academic Trace）RCR（Relative Citation Ratio）颠覆性指数（Disruption Index）文献网络中颠覆性指数网络多维度评价指标改进颠覆性指数X指数学者ALMIND T C等NEWMAN M E JFONTOURA C LVAN-ECK N J等BERGSTROM C T等YE F Y等HUTCHINS B I等FUNK R J等WU L等BU Y等LEYDESDORFF L等LATHABAI H H等年份199720032011201420082014201620172019202120212021ALMIND 等46提出了网络计量学（Webmetrics），引发了基于引文网络评价的热潮，引文网络类似于复杂网络，具有无标度、小世界等特征。NEWMAN等47提出了复杂网络中的社群，FONTOURA48总结了462023年10月邓三鸿杨杰王昊，等：多源异构数据视角下的学术评价：内涵、进展与展望其在引文分析中的应用。随着多源数据的融入，引文网络中的合作关系、共被引、关键词共现等现象得到广 泛 研 究49。BERGSTROM 等50提 出 了 特 征 因 子（Eigenfactor），它是网络中一种类似PageRank算法的评价指标，通过复杂的迭代算法计算引文网络中论文的影响力。YE 等51基于学术矩阵提出了学术迹（Academic Trace），用于评价学者、机构或地区的科研水平。HUTCHINS 等52基于引文网络构建了 RCR（Relative Citation Ratio），可以在引文网络中识别出共被引聚类簇，以评价专利或论文的影响力。在多源数据的视角下，网络计量新指标通常将拓展数据来源和评价方法细化结合。FUNK 等53在专利文献中提出了颠覆性指数（Disruption Index），基于多层次的引用网络分布衡量某一专利是发展还是颠覆了现有的技术趋势。WU 等54将其拓展到科学文献领域，并提出文献网络中颠覆性指数。BU等55将颠覆性指数分解为多个评价维度：引文数量、引文深度、引文广度、引文独立性。LEYDESDORFF 等56对颠覆性指数进行了实证和改进，充分证明了该指数的有效性。LATHABAI57基于 NLP技术和网络分析方法提出了拓展维度的 X 指数，用以评价机构的学术水平，它包含 2 个评价部分：核心能力和主题研究水平。核心能力反映其在某学科的研究广度，主题研究水平反映其在特定主题的研究深度。基于多源数据网络分析的评价指标为学术评价提供了新的视角和方法。然而在实际应用中，这些评价指标仍存在一些挑战和不足之处。首先，多源数据网络分析的评价指标面临数据质量和可靠性的问题，不同数据源之间可能存在数据重复、缺失或不一致的情况，这将影响评价指标的准确性。其次，多源数据网络分析的评价指标在有效性和稳定性方面存在挑战。由于多源数据的复杂性和动态性，评价指标可能受到不同因素的影响，不可避免地导致评价结果的波动。为此，基于多源数据网络分析的学术评价可以从以下几个方面来进行完善。在数据处理阶段，应该关注数据质量和可靠性问题，通过数据清洗、去重、缺失值处理等方法，提高数据质量。此外，可以尝试构建统一的数据模型，以整合不同来源的数据，提高评价的一致性。在评价指标的设计和改进过程中，应关注指标的有效性和稳定性。例如，可以尝试引入权重因子，以平衡不同数据源的影响；或者采用融合算法，结合多个评价指标，提高评价结果的稳定性。同时，未来的评价模式应结合同行评议和多源数据的量化评价，以实现更全面、准确的学术评价。同行评议可以提供更专业、深入的评价意见，而多源数据的量化评价可以补充更多维度的信息。因此，可以尝试探索如何将同行评议与多源数据网络分析相结合，以构建完整的评价生态。4基于异构数据抽取的学术评价新方法信息时代带来的数据不规范性进一步加剧，为学术评价带来了机遇与挑战。基于异构数据抽取的学术评价拓展一般是将既有评价指标作为预测变量，从异构数据中挖掘出文献特征的外部特征和内部特征。传统的学术评价一般仅基于文献外部特征，文献的内部特征通常具有更细的挖掘粒度。随着“开放获取”运动的兴起，全文本数据较以往更易获取，不少学者开始研究文献的内部特征，对异构数据的深层内容以及深层动机进行抽取，以拓展评价维度。4.1异构数据下的深层内容抽取词、公式、图表以及结构目录等是文献内容的重要组成部分，但由于这些深层内容难以直接获取，且相关数据源难以获取或长期处于缺失状态，传统的47科 技 情 报 研 究第5卷第4期学术评价指标鲜有涉及。在“开放获取”运动的背景下，大量可用于学术评价的异构数据得以获取，基于异构数据的深层内容抽取也在人工智能的助力下逐渐发展起来，相关代表性研究，见表3。类别词抽取语义抽取/实体识别结构/目录/元数据抽取图表抽取方法或模型基于字典或规则Google BERT模型Encoder-Decoder机制分类和排序模式语义建模与计算（系统）核支持向量机SVMBiLSTM-CRF和BiGRU-HAN模型无监督算法RCNN方法Seed-Guided Topic（STM）模型远程监督神经网络模型知识抽取系统对象期刊论文全文本期刊论文全文本期刊论文全文本期刊论文全文本会议或期刊论文标题专利和论文全文本专利文献全文本会议和社交媒体文章不同科学出版物的文献不同科学出版物的文献PDF文档不同科学出版物的文献学者SODERLAND S陆伟等YANG L等姜艺等KONDO T等NANBA H等CHEN L等DOUCET A等SAFDER I等LI C等SIEGEL N等AL-ZAIDY R A等年份199920202019202120092010202020172018201620182017表3 异构数据下的深层内容抽取代表性研究早期 SODERLAND58基于字典或规则的方法对期刊论文进行了小规模的词抽取，但随着文献数量的大幅增长，传统的词抽取方法难以满足科研需求。近年来，深度学习尤其是预训练模型的迅速发展，使得大规模实现词汇粒度的文献内容抽取成为可能，已有学者基于Google BERT模型59、Encoder-Decoder机制60和分类和排序模式61对期刊论文的文本词汇的自动抽取进行了研究。随着专利文献、会议论文、图书和社交媒体数据为主的异构数据融入学术评价的范畴，内容抽取出现了新进展。KONDO等62基于语义建模与计算方法构建了词识别系统，对不同类型学术文献的词语义进行了抽取和分类。NANBA 等63基于 SVM 技术对专利文本以及学术文本内容语义进行了识别。CHEN 等64利用BiLSTM-CRF 和 BiGRU-HAN 模型对专利文献的信息进行实体识别和语义关系提取。DOUCET等65采用无监督算法对会议和社交媒体文章的结构和目录进行了抽取。SAFDER 等66基于 RCNN 方法从不同科学出版物中提取特定元数据。LI等67利用机器学习方法对各种文献的图表进行了抽取，SIEGEL 等68使用远程监督神经网络模型从 PDF 文档中提取图表。AL-ZAIDY 等69基于知识抽取系统提取柱状图等特定类型的图表数据。深层内容抽取在学术评价中具有重要意义，它为评价指标提供了丰富的信息来源。然而，在实际应用中，异构数据下的深层内容抽取仍面临一些挑战。首先，异构数据的多样性和复杂性增加了深层内容抽取的难度。不同类型的数据具有不同的结构和表达方式，需要针对性地设计抽取方法和技术。此外，数据质量和可靠性问题也会影响深层内容抽取的准确性和有效性。其次，深层内容抽取的算法和技术仍有待进一步改进。虽然已有许多研究采用了深度学习、预训练模型等先进技术，但在某些复杂场景下，深层内容抽取的准确性和鲁棒性仍有待提高。要解决这些挑战，促进异构数据下的深层内容抽取研究，需要重视以下几个问题。首先，要重视异构数据的多样性和复杂性问题，并尝试提出通用性更强、适应性更好的抽取方法。例如，可以考虑采用迁移学习、元学习等技术，以提高抽取方法在不同数据源和场景下的适用性。482023年10月邓三鸿杨杰王昊，等：多源异构数据视角下的学术评价：内涵、进展与展望其次，在深层内容抽取的相关算法和技术研究中，应适当关注准确性和鲁棒性问题。可以尝试采用多模型融合、强化学习等技术，以提高抽取结果的准确性。同时，可以研究对抗性训练、模型压缩等方法，以提高模型的鲁棒性。同时，为了提高深层内容抽取的实用性和应用价值，应关注其在学术评价中的具体应用场景。可以尝试探索如何将深层内容抽取的结果与其他评价指标相结合，以实现更全面、准确的学术评价。4.2异构数据下的深层动机抽取学术论文的引用是定量学术评价的主要方法介质之一，传统学术评价指标一般赋予所有引用相同的权重，但引用往往出于不同动机，GARFIELD70将引用动机划分为15个类别，BROOKS71总结出7大引文目的。在多源异构数据开放获取的背景下，引用目的、极性与语义提取为学术评价提供了新的拓展方向。异构数据下的深层动机抽取的部分代表性研究，见表4。TEUFEL72提出引文的论证区域概念，为引文内容的自动识别做了铺垫。HUANG 等73将 Word2Vec模型和CNN模型结合，以识别引文极性和引文目的，从而更真实地评价高被引论文的影响力。DING 等74基于 NLP 技术分析了文献文本中的引文分布情况。WAN 等75构建了自动引文权重计算的框架，用机器学习和回归的方法赋予不同引文相应的权重。EBRAHIMY等76在规范性、信息性和识别性3个层次上，基于机器学习方法建立了分析引用一致性的工具，能够对作者的引用动机进行识别和分类。陆伟等77对 LDA 主题模型的相关文献的引文内容标注框架进行了探索。AN等78利用深度学习方法，对引文位置、前后文内容和逻辑层次进行分析，并基于引文逻辑层次分析出了高被引作者的不同学术特征。目前对于异构数据的深层内容和深层动机抽取仍然处于探索阶段，研究以小规模实证为主，尚未完全融入成熟的评价体系中。具体面临的挑战包括：当前的引文动机抽取方法仍需要在算法和技术上进行改进，可以尝试采用更先进的深度学习模型，以提高引文动机抽取的准确性和鲁棒性。在异构数据下进行深层动机抽取时，如何有效地融合不同类型的数据源是一个重要挑战，可以探讨更有效的数据融合方法，以提高引文动机抽取的综合性能。当前的深层动机抽取研究主要集中在英文文献，可以拓展到中文领域和跨领域应用，以实现更广泛的学术评价。为了更好地评估深层动机抽取的有效性，有必要建立一套完整的评价指标和标准，这将有助于推动该领域的发展和应用。深层动机抽取在实际应用场景中的应用还有待加强，可以探讨如何将深层动机抽取的结果与其他评价指标相结合，以实现更全面、准确的学术评价。未来随着人工智能和语义网络进一步发展，有望建立完整、高效、科学、系统的提取模式，并成为学术评价生态的重要组成部分。类别提出引文论证区域的概念引文极性和引文目的识别引文分布情况识别自动引文权重计算框架引用动机识别和分类引文内容标注框架引文逻辑层次分析方法或模型Word2Vec模型和CNN模型NLP技术机器学习和回归方法机器学习方法深度学习方法学者TEUFEL S等HUANG H等DING Y等WAN X等EBRAHIMY S等陆伟等AN J等年份1999202120132014201420142017表4 异构数据下的深层动机抽取部分代表性研究49科 技 情 报 研 究第5卷第4期5总结与展望在多源异构数据视角下，学术评价产生了许多新趋势：一是数据维度的增加，以社交媒体数据和网络数据为主的多源数据逐渐融入学术评价领域，与数据科学、人工智能、云计算和语义计算等方法相结合，引发了网络计量学、替代计量学和数据计量学的迅速发展，拓展了评价的深度和广度。二是数据和信息来源的粒度细化，一方面，异构数据本身具备更复杂的数据层次，从而能够挖掘更细的粒度；另一方面，在深度学习的助力下，全文本数据、词、公式、图表、目录和引用动机等深层数据被提取，并广泛应用于学术评价。三是评价体系的复杂化，在多源异构数据背景下，学术评价的方法、主体和客体都得到了拓展，单一维度的评价已然成为过去式，新的学术评价体系一般基于细粒度数据或深层引证网络，考虑多样化和创新性的方法，将定量评价方法与定性评价方法有机结合，逐渐发展为完整的评价生态。总体看来，尽管在多源异构数据的支撑下，学术评价相关研究取得了明显进展，但目前依然存在过度量化、方法运用不当以及唯引文量等诸多问题。未来基于多源异构数据的学术评价，应该从评价侧重点、评价方法拓展、评价生态构建和保持中国特色 4个方面进行探索。5.1注重创新和未来发展论文的创新价值评价是当下的研究热点，但目前仍然缺乏一种有效的、认可度高的手段评价论文的创新性。结合多源异构数据，综合评价论文的创新价值，仍是本领域亟需解决的一大难题，也是解决“破五唯”问题的关键所在。学术评价的最终目的是促进科学进步和社会发展，因此，学术评价要兼顾未来科学发展方向。根据科学发展的一般规律进行推导，学术评价的结果可以用于预测未来的方向和趋势。未来在人工智能、语义网络和多源异构数据融合的助力下，学术评价很可能将产生新的范式，即通过学术评价预测未来学科的发展趋势。5.2合理运用大数据与深度学习大数据时代下，基于社交网络的学术评价、基于网络分析的学术评价以及基于全文本分析的学术评价逐渐兴起。在面对海量数据进行学术评价研究的同时，也要注意到大数据的缺点，如数据欺骗性、资源利用率低等。适当且合理地运用大数据的优势，将会给学术评价的发展带来巨大的动力。深度学习的快速发展为学术评价带来了新的驱动力，但也有部分学者盲目将其应用于学术评价各个领域，难以产出具备现实意义的成果。目前深度学习在学术评价的应用集中在文本内容的抽取、识别、特征分析以及引用极性和语义分析等方面，且以小规模实证为主。未来应当结合数据挖掘、语义网络、云计算以及认知计算方法，追求更加高效、科学、系统的方式，并从不同维度探索深度学习在学术评价领域的新应用前景。5.3建设多元评价生态体系面向未来的学术评价应该是多元的，将定量评价和定性评价相结合，并逐渐构建一个完整的评价系统和模式。如 ZHAO 等79提出的“数智人”评价体系，以多源异构数据客观表征，以人工智能技术全面认知，以领域专家经验智慧深入揭示，融合数据、智能、专家和决策，是对未来智能化学术评价成熟模式的一种有效探索。面向未来的评价生态应当将专家思维和数据逻辑相结合，综合利用数据科学、深度学习、语义计算和云计算等技术，深度融合定性评价和定量评价等方法，科学探讨不同学科评价的方式与权重，综合提升学术评价的效率和效果。5.4坚持中国特色的学术评价新模式未来学术评价体系的构建要结合中国科学研究502023年10月邓三鸿杨杰王昊，等：多源异构数据视角下的学术评价：内涵、进展与展望的具体国情，打造出具有中国特色的全面科学评价体系。具体而言，未来的学术评价要紧密结合国家的发展战略和社会需求，利用学术评价为国家和社会的重大问题提供解决方案。同时，基于学术评价的过程和结果，发现新的社会需求并转化政策导向，从而引导科研人员从事相关研究。最终，学术评价将发展成为国家战略发展和社会科学进步的新驱动力。总之，多源异构数据视角下的学术评价未来发展将会呈现多元化、深度化和智能化的趋势，需要注重创新、合理运用技术、建设多元评价生态体系、坚持中国特色的学术评价新模式，同时关注伦理道德问题、培育跨学科交叉研究以及加强国际合作与交流。这将有助于实现学术评价的长足进步，并推动科学研究和社会发展。参考文献：1 中共中央办公厅，国务院办公厅 关于深化项目评审、人才评价、机构评估改革的意见EB/OL.（2018-07-03）2019-04-18.https：/ 国务院 关于优化科研管理提升科研绩效若干措施的通知EB/OL.（2018-07-18）2019-04-18.https：/ 科技部，教育部，人力资源社会保障部，中科院，工程院 关于开展清理“唯论文、唯职称、唯学历、唯奖项”专项行动的通知EB/OL.（2018-10-15）2019-04-15.https：/ 中华人民共和国中央人民政府.教育部 科技部印发 关于规范高等学校SCI论文相关指标使用 树立正确评价导向的若干意见 的通知EB/OL.（2020-02-18）2020-08-10.https：/ SPIER R.The history of the peer-review processJ.Trends in Biotechnology，2002，20（08）：357-358.6 BESANCON L，PEIFFER-SMADJA N，SEGALAS C，et al.Open science saves lives：Lessons from theCOVID-19 pandemicJ.Medical Research Methodology，2020，21（01）：117.7 PAULSON E J，ALEXANDER J，ARMSTRONG S.Peer review re-viewed：Investigating the juxtaposition ofcomposition students eye movements and peer-review processesJ.Research in the Teaching of English，2007，41（03）：304-335.8 SILER K，LEE K，BERO L.Measuring the effectiveness of scientific gatekeepingJ.Proceedings of theNational Academy of Sciences，2015，112（02）：360-365.9 WILSON C S.InformetricsJ.Annual Review Of Information Science and Technology，1999，34：107-247.10 PRITCHARD A.Statistical bibliography or bibliometrics?J.Journal of Documentation，1969，25：348-349.11 GARFILED E.Citation analysis as a tool in journal evaluationJ.Science，1972，178（4060）：471-479.12 GARFIELD E.How can impact factors be improved?J.British Medical Journal，1996，313（7054）：411-413.13 HIRSCH J E.An index to quantify an individuals scientific research outputJ.Proceedings of the51科 技 情 报 研 究第5卷第4期National Academy of Sciences of the United States of America，2005，102（46）：16569-16572.14 VAN N R.Controversial impact factor gets a heavyweight rivalJ.Nature，2016，540（7633）：325-326.15 ATAYERO A，POPOOLA S I.Citation analytics：data exploration and comparative analyses of CiteScoresof open access and subscription-based publications indexed in Scopus（2014-2016）J.Data in Brief，2018，19：198-213.16 BERGER J M，BAKER C M.Bibliometrics：An OverviewJ.RGUHS Journal of Pharmaceutical Sciences，2014，4（03）：81-92.17 GUNASHEKAR S，WOODING S，GUTHRIE S.How do NIHR peer review panels use bibliometricinformation to support their decisions?J.Scientometrics：An International Journal for All QuantitativeAspects of the Science of Science Policy，2017，112（03）：1813-1835.18 QUINDOS G.Confusing the confused：thoughts on impact factor，h（irsch）index，Q value，and othercofactors that influence the researchers happinessJ.Revista Iberoamericana De Micologia，2009，26（02）：97-102.19 CONROY G.Whats wrong with the H-index，according to its inventorEB/OL.Nature Index，2020，24.20 王浩斌.学术共同体、学术期刊与学术评价之内在逻辑解读J.中国社会科学评价，2015（03）：69-81，126-127.21 苏新宁，王东波.学术评价相关问题与思考J.信