采用学术大数据辅助初审策略研究.pdf

XUESHU CHUBAN YU CHUANBO2022 年,第 1 卷 第 1 辑(总第 1 辑)Vol.1 No.1,2022(Sum No.1)学术评价与版权伦理收稿日期:2022-05-24基金项目:中国高校科技期刊研究会专项基金课题(CUJS2021-039);基本科研业务费资助项目(06910004)作者简介:王霞,北京科技大学期刊中心编辑,E-mail:wangxia 。欢迎按以下格式引用:王霞,季淑娟,蒋伟,等.采用学术大数据辅助初审策略研究J.学术出版与传播,2022,1(1):335-342.采用学术大数据辅助初审策略研究王 霞1,季淑娟1,蒋 伟1,王维朗2,曹 兵1,黄冬华1(1.北京科技大学 期刊中心,北京 100083;2.重庆大学 期刊社,重庆 400044)【摘要】目前中国科技期刊发展迅速,高起点新刊层出不穷,老牌科技期刊面临巨大挑战。要提高期刊学术影响力除了加大对知名学者的约稿外,从体量庞大的自由来稿,从中筛选优质稿件对于提高期刊影响力有着重要作用。本文以工程科学学报为例,采用数据分析的方法,通过利用 Scival 科研分析平台、CNKI 数据库和自然科学基金数据库,对自由来稿的核心作者(第一作者或通信作者)的学术大数据进行分析,以期筛选出高水平论文。分析结果表明:收录的文章核心作者的平均学科归一化影响力(FWCI)超过 1.4,省部级及以上基金论文比为 88.6%,学术产出量在 Scopus 和 CNKI 数据库中分别为48.9 和13.7,篇均被引分别为8.3 和2.7,作者的 h和 h5 指数分别为 17 和 10。其中,31.4%的文章核心作者在统计期间未在 CNKI 收录的期刊中发表论文,表明国内新评价体系正在发挥作用,高质量稿件外流的情况正在改善,国内期刊在各种新技术的加持下可以挖掘更高水平学者,可进一步提高期刊的学术质量和国内外影响力。【关键词】科技期刊;初审;学者画像;基金论文;Scival;FWCIPreliminary review strategy based on the acadmic dataWANG Xia1,JI Shujuan1,JIANG Wei1,WANG Weilang2,CAO Bing1,HUANG Donghua1(1.Journals Publishing Center,University of Science and Technology Beijing,Beijing 100083,P.R.China;2.Journal Editorial Department,Chongqing University,Chongqing 400044,P.R.China)Abstract Nowadays many scientific journals in China develop very fast and many high-starting new journals have been founded it is an large challenge for the old journals.To improve journals impact beside the solicitation with the famous scholastic precisely select natural contribution by data digging is an another important way.Data analysis was used in this paper and Chinese Journal of Engineering was taken as an example the key author first author or corresponding author of the natural contribution was analyzed by Scival CNKI and NSFC national natural 533XUESHU CHUBAN YU CHUANBOscience foundation of China data.According to the data analysis the average field-weighted citation impact FWCI values of the key author is beyond 1.4 the scholarly outputs in Scopus and CNKI are 48.9 and 13.7 respectively citations per publication are 8.3 and 2.7 respectively.The h-index and h5-index are 17 and 10 respectively.More over 31.4%key authors have no paper been indexed in CNKI database during the studied period.The new evaluation system is working and the outflow of high-quality manuscripts is improving.This is benefit for the Chinese journals.Therefore we should use scientific methods to discover more high impact authors and further improve the journals quality.Key words scientific journal preliminary review of manuscripts scholar portrayal fund-sponsored papers scival FWCI中图分类号:G237.5;G232.1 文献标志码:A从 2019 年 8 月中国科协、中宣部等部门联合印发关于深化改革 培育世界一流科技期刊的意见到 9 月中国科协、财政部等部门机构联合下发通知和启动实施中国科技期刊卓越行动计划,再到 11 月公布中国科技期刊卓越行动计划入选名单,这一系列紧锣密鼓的举措,是国家根据战略需要对科技期刊发展进行的顶层设计,是为摆脱期刊多而不强局面、争取国际期刊话语权的重要部署。政策话语的生成,为学术期刊发展迎来了大好机遇。卓越计划领军期刊项目在支持稿源方面的部署主要是加强与国际顶级科研机构的联络,强化科研进展跟踪与选题组稿、约稿。稿源是期刊的基石,优质稿源至关重要,必须进行严格筛查1,处于编校流程始端的初审工作对稿件质量的把关更为重要。关于稿件质量把关,学者们更多关注外审专家的审稿流程,并探讨了同行评议的现状和现存在的问题2。期刊初审主要有三种方式:编委初审(主编初审);编辑初审;编辑+编委初审。新创办的期刊大多专业性强,一般以约稿为主,采用编委初审模式,即由主编或者副主编进行初审,可保证稿件的学术质量;为弥补编辑初审在学术方面的欠缺,部分期刊采用编辑+学者初审模式1-2,即先由编辑基于刊文范围、出版模式等方面进行把关,再由学者进行学术把关。中国学术期刊一般采用编辑初审模式,此种模式往往更偏重于出版模式的把关,尤其综合性期刊。根据中国科技期刊发展蓝皮书,中国学者在 SCI发文量已居世界第一,国内期刊的投稿量也处于井喷式发展趋势,期刊投稿量与刊载量之比多大于101。由于编辑人员有限,初审编辑尤其是综合性期刊的初审编辑需全面掌握学科学术前沿,在不借助任何手段的情况下,对稿件学术水平进行精确把握难度较大。初审编辑如果仅从出版模式进行稿件筛选,然后再进行专家外审,易导致最终录用稿件率极低且整体稿件质量参差不齐,造成专家人力资源浪费和审稿周期时间线拉长。为节约专家资源和缩短作者等待时间,很多期刊初审退稿率控制在 60%以上。目前关于初审工作的研究,一般为定性研究3-8。如对不同类型稿件初审的注意事项9,从办刊宗旨、文章结构、参考文献、创新性、真实性、规范性,以及一致性等方面对稿件初审进行了分析10。工程科学学报创刊于 1955 年,是教育部主管、北京科技大学主办的学术类科技期刊,主要刊载矿物、冶金、材料、环境、自动化、计算机等工学领域具有创新意义或有较大应用价值的高水平研究论文。本刊一年自由投稿量超过 1 000 篇,如何在如此大体量的自由来稿中筛选出高水平的稿件是进一步提高期刊质量的重要环节。为准确地从众多自由来稿中筛选出高质量的稿件,从多维度对工程科学学报进行分析,以期为编辑力量有限的综合性期刊在初审阶段提高初审把关水平提供借鉴和参考。633王 霞,等 采用学术大数据辅助初审策略研究一、稿件基本筛查情况 工程科学学报年投稿量 1 300 篇左右,年载文量仅为 180 篇,退稿率为 86%左右。稿件初审基本筛查包括政治审查、学术不端行为检测、论文内容是否与刊发方向一致、论文基本格式是否符合本刊要求、参考文献质量等。一是稿件初审需要核查是否存在政治敏感词汇,虽然科技论文涉及政治性问题不多,但也不能掉以轻心。例如在稿件处理中有关矿场位置的地图标注不规范问题等。二是对论文学术不端行为进行检测。学术不端行为既影响科学的健康发展,也对整个社会信用体系构成危害。2019年的中国科技期刊卓越行动计划实施方案就“重点期刊”和“梯队期刊”支持方向中要求加强出版伦理道德规范与科研诚信建设,明确对学术诚信建设方向进行资金支持。三是刊文方向的筛查。工程科学学报刊文方向比较广,主要包括矿物、冶金、材料、环境、自动化、计算机等,因此稿件内容要符合专业范围。四是论文结构是否完整。涉及题目、中英文摘要、前言、实验方法、内容、研究结果、结论以及参考文献等。论文完整性体现了作者对文章的重视及其学术的严谨性。五是参考文献的审查,文献整体是否过于陈旧,引用文献的质量水平如何。六是查看文内图表是否完备且有足够的数据支撑。最后需要对文章的内容及创新性进行初判:(1)是否具有学术性:部分稿件仅仅是对实验的一个简单描述,更像是实验报告而非学术论文;(2)文章研究意义和创新性描述:科技发展成果需要应用实践,要进行产业转化,服务于国家重大战略,服务于民生工程,为社会作贡献。因此文章应该有明确的意义阐述和创新性说明。部分作者很喜欢用“关于此方向的研究还不多见”等描述方法来阐述创新性,反之此种描述也可能说明这个方向并不是一个有很有意义的研究内容。二、基于数据挖掘的稿件筛查 大数据和人工智能技术不断发展,作为科学技术信息传播主力军的科技期刊,应尽快在科技信息传播的各个环节高效应用大数据和人工智能技术11。张福颖和倪东鸿8通过比较由主编编委拟定约稿对象而组织的专刊和通过采用大数据挖掘方式组织的专刊,发现通过大数据挖掘方式组织的专刊影响力水平远远高于同期期刊的平均水平,而通过传统模式组织的稿件影响力仅与平均水平持平或者略高。因此基于数据挖掘可以对稿件质量进行全面把关,主要从文章基金项目、作者画像等方面进行。(一)基金项目的考察新时代,我国对科技发展和人才培养的投入越来越大,设立了多项国家级科研基金(包括国家科技重大专项、国家自然科学基金项目、国家重点研发计划等),各省市也会设立支持科技发展和人才培养的科研项目。国家科技重大专项主要聚焦国家重大战略产品和产业化目标,解决国际社会长期以来对我国发展“卡脖子“问题;国家自然科学基金项目主要资助基础研究和科学前沿探索,支持人才和团队建设和增强源头科技发展;国家重点研发计划主要资助涉及国计民生的重大社会公益性研究,以及事关产业核心竞争力、整体创新能力和国家安全相关的重大科学技术问题。基金项目都是组织专家对申请内容的科学性、前沿性、应用性等进行认真评估,经过严格筛选而资助的,研究内容符合国家战略布局领域,处于国际、国内领先地位。课题主持人及其成员学术资质和实验设备及项目管理等也都进行了审核,申请人大多是具有较高声望的专家或年富力强的青年科研工作者。在基金项目实施过程中,管理部门还会进行跟踪调研与评估,所以基金资助项目的成果往往代表着一个领域内的新动向和核心所在,而且有较大的难度和较高的水准,所产出的学术论文自然也是国际、国内较为领先的12。2021733XUESHU CHUBAN YU CHUANBO年中国科学技术信息研究所发布的中国百篇最具影响国际学术论文,也是通过是否获得重大基金和项目支持来体现其论文创新性的。因此,基金项目是评价文章学术水平的一个重要方面。在实际工作中经常发现投稿作者唯“基金”的情况,为了确定基金项目的准确性,中国口腔颌面外科杂志上海口腔医学北京医学等医学类期刊已经明确要求作者在投稿时需提供基金证明。科技论文基金项目的审查主要从以下两个方面:项目是否与文章方向一致;基金项目是否为作者本人项目。在工作实践中,笔者发现基金使用不当行为主要有如下几种情形:文章作者不包含基金申请人;基金研究方向与文章研究方向截然不同,甚至出现工程技术类文章标注的是医学部基金项目等情况。(二)基于作者画像的稿件筛查1.作者画像构建用户画像的概念最早由交互设计之父艾伦库伯(Alan Cooper)提出,将其定义为“真实数据的虚拟代表”10-11,在互联网领域主要以真实用户群体的静态属性和动态属性数据为基础抽象提炼具有显著特征的用户模型。传统的用户画像一般通过手工收集,随着互联网行业高速发展,逐渐转变为计算机自动抽取构建12。开放网络中学术数据越来越丰富,各数据库基于海量学术数据建立学者画像,可以对学者学术水平及其影响力进行评估和预测12-13。文献产出量反应了一个学者的学术产生体量。体量大的学者,尤其是近 5 年学术产出多的学者,其学术活跃度高。论文总被引频次是考核年度内所有文献的总被引数,反映学者的总体影响力。论文篇均被引是指平均单篇文章被引次数,考察的是作者的学术平均影响力(但是值得注意的是,学者的研究方向并不单一,因此在考察篇均影响力的时候应该就考察文献方向进行数据收集)。h 指数是指若学者至少有 n 篇文章引用不低于 n,则该学者的 h 指数为 n。同样为了考察学者的近期活跃度,h5(近 5 年的h 指数)则应该作为考察重点。工程科学学报作为一本综合性的期刊,涉及学科较多,不同学科之间无法直接进行指标比较,因此应采用 FWCI。该指标将目标文献的引用数量与同行业、同出版年、同类型的文献的平均值进行比较,数值以 1 为分界线,1 说明目标文献引用情况高于相似文献平均值,1说明引用情况低于相似文献引用平均值,该指标消除了对学科、时间和文献类型的影响。热度值是用最近 2 年的即时指标代表当前的研究热度,即时指标涉及三个参数指标:(1)近 2 年所发表的文献在当年被引用的次数;(2)近 2 年所发表文献在 Scopus 数据库中的浏览次数;(3)近 2 年所发表文献期刊的CiteScore 值。最高热度值为 100,数值越高说明热度越高。2.数据库选择对于作者画像的考察主要依据 CNKI 数据库、Scopus 数据库和 SciVal 分析平台。平台选择依据主要有:工程科学学报作为一本中文期刊需要同时关注国内国外数据库的情况,CNKI 作为国内最有影响力的科技期刊收录数据库之一;Scopus 数据库收录了 5 000 多家出版社中 2.4 万多种期刊,文献量达到 7 500 万篇。2018 年 Scopus 中国学术委员会成立,目前,Scopus 中收录的高水平中国期刊已超过 800种,其中中国科技期刊卓越行动计划的“领军期刊”和“重点期刊”已全部收录,“梯队期刊”收录 86%。因此该数据库对国内学科期刊分析具有更广的宽度。作为一本具有一定国际影响力的中文期刊,且被Scopus 数据库收录,在 WOS 和 Scopus 的选择上显然具有更大广度的 Scopus 更加合适。底层数据来源于 Scopus 数据库的科研分析平台 SciVal,该平台可以分析学者的学术研究水平、研究热点等。学者画像仅考察论文的第一作者或者通信作者,以两者中影响力更大者为研究对象,考察时间段主要为 2018-2022 年。CNKI 考察的主要指标为研究对象作为第一作者或者通信作者的论文产出量和篇均被引量;833王 霞,等 采用学术大数据辅助初审策略研究SciVal 考察的主要指标为文献产出量、篇均被引、h 和 h5 指数、学科归一化影响力(Field-weighted Citation Impact,FWCI)、热度值。3.实例操作及问题解决 将 CNKI 数据库的检索条件设置为“第一作者”(“通信作者”)和“作者单位”,充分避免了挂名作者或者非主要贡献者的影响。考察 2018 年至今的文献,通过排除非相关文献,列出总文献产出量和篇均被引量。例如,部分学者除了发表科研论文,还发表教改论文,则应只考察科研方向的文献;还要查看投稿文献方向与历史考察文献方向是否一致问题。作者总文献量不低,篇均引用较好,但是发现其投稿研究方向与其影响力较高的历史文献不符,此种情况要额外进行考量。Scopus 数据库的数据分析相对比较困难。通过对作者和归属机构进行查询,检索结果如图 1 所示。此时检索的结果往往不只一条,部分同名作者会有几条甚至几十条的学者档案,如何从中准确地筛选出正确的学者是比较关键的,需要逐条分析学者档案,从中筛查出正确作者,作者画像如图 2 所示。作者确定可从以下几方面进行:作者研究方向(topics)需与文章主题相似,差异较大可排除;研究相似方向不易排除,需进一步查找作者官方学术信息,根据其工作、教育经历及学科背景来查看;通过查看历史文献是否含有文章共同作者来进行核查,如果未检测到与待初审稿件具有相同的共同作者则一般不能轻易做为目标对象。通过以上操作可准确地筛选出学者档案信息,可将信息导入至 Scival 分析平台进行学术分析,如图 3 和图 4 所示。图 1 作者姓名和归属机构搜索结果展示通过图 3 概览信息可知,在考察时间范围内作者的学术产出量、篇均被引、学科均一化影响因子以及 h 和 h5 指数;通过图4 可以了解作者的历史研究主题,如 Scopus 数据库文献,基于直接引用分析可聚类成 96 000 个研究主题,可再利用相同的直接引用算法将高于设定阈值的研究主题进一步聚类为1 500 个高级别研究主题集。从图 4 还可以查看该研究主题在全球的热度值。933XUESHU CHUBAN YU CHUANBO图 2 学者档案图例图 3 SciVal 作者概览图 4 研究主题043王 霞,等 采用学术大数据辅助初审策略研究2021 年,笔者初审稿件量为 1 292 篇,而本刊年载文量为 180 篇,采用上文所述方法,通过对稿件多维度考察,可对部分具有代表性实例进行分析。如表 1 所示,学科分类按照稿件中图分类号给出。稿件编号 13 可以看出作者中文发文极少,Scopus 学科均一化影响因子均超过 1;虽然 2 号稿件的热度值并不是很高,但是其学术产出量和 h5 指数均较高,因此在该学科学术文章质量较高;3 号文章虽然学术产出量和篇均被引均较少,但是初始发文量从 2012 年开始,则属于年轻学者;4 号作者稿件篇均被引为10,其 Scopus 文献最早在 2018 年,有 4 类文献热度均大于 99,且研究方向均为热点方向;5 号作者的FWCI 达到2.31,说明该作者的整体文献影响力较大,属于高影响力学者;6 号作者 FWCI 也超过1,说明该作者稿件平均水平是高于该学科平均水平,且平均影响因子达到 9.2,考虑该文章没有项目基金支持,进一步核查发现作者仅在2003 年和2013 年申请过国家自然科学基金,且作者发文高峰期为19962008 年。表 1 多维度筛查稿件实例稿件编号学科分类FWCI2018 至今学术产量/篇篇均被引/次 h/h5基金 热度备注1悬索桥1.70118.14/3重点研发98CNKI 无2金属材料1.15307.713/11多项83CNKI 极少3电解质电池1.0794.46/4省级科研基金98CNKI 无,首次发文在 2012 年4机器人0.8128、55.9、1011/6 刚结题+重大专项 99.5首次发文在 2018 年,4 个主方向热度值均大于 995矿山2.3163、1212.1、5.5828/16有97本刊历史发文影响力较高6竖炉法1.3010、19.2、016/5无(Scopus 非贡献作者)主题词均不一致,国家自然科学基金记录2003 年和 2013 年,19962008年为发文高峰期 注:和后数值为 CNKI 数据库中的数值,缺省状态为无。通过统计已收录自由投稿(2021 年 5 月 9 日2021 年 12 月 31 日),其各指标平均值如表 2 所示。其中,录用稿件的第一作者或者通信作者的平均 FWCI 值均高于全球平均水平,接近 1.5。2018 年至今学术平均产出量在 Scopus 数据库中为 48.9 篇,在 CNKI 数据库中为 13.7 篇,篇均被引 Scopus 为 8.3篇,CNKI 为 2.7 篇,h 和 h5 指数分别为 17 和 10。收录的 35 篇文章中,11 篇文章核心作者在 CNKI 中以第一作者或者通信作者发布文章数为 0,国家级基金项目为 24 篇,省部级项目为 3 篇,未标注基金项目为 6 篇,其中 4 篇经过核实均有相关自然科技基金项目,省部级及以上基金项目占比为 88.6%。表 2 已收录自由投稿各项指标平均值(2021 年 5 月 9 日2021 年 12 月 31 日)FWCI学术产出量/篇篇均被引/次ScopusCNKIScopusCNKIhh5基金项目 国家级省部级其他无1.41548.913.78.32.7171024322+4 注:表示35 篇文章中 11 篇文章的核心作者在 CNKI 数据库学术产出量为 0,因此平均值中仅为 24 篇文章的均值。三、结语与讨论 期刊发展依赖于稿件质量情况,在“人工智能+大数据”双驱动不断加速的今天,充分利用大数据进行高质量稿件挖掘是稿件质量把关的重要措施。通过在工程科学学报初审环节引入大数据,录用稿143XUESHU CHUBAN YU CHUANBO件总体水平得到提升,核心作者 FWCI 值超过 1,并达到 1.415,其中实际非基金稿件仅占 5.7%。在学术产出高速增长的当代,期刊年投稿量远远大于期刊年刊载量,对于中国大多数无法实现编委模式初审的期刊,尤其是较综合性期刊,将大数据引入初审环节,可以有效克服编辑初审的学术局限性,对稿件学术质量进行衡量和预测。除了初审过程,在组约稿件过程中,将学术数据引入到编辑出版过程将起着更为积极有效的作用。2020 年 SCI 数据库中中国作者发文数位列第全球 1,占全球 SCI 论文总数的 25.85%,而中国的 SCI期刊的发文数仅占全球总数的 1.45%14-15。由此可见中国的高水平文章严重外流。但从工程科学学报近一年的稿件来看,许多原来只选择国外期刊进行投稿的作者,在新科研评价体系引导下开始有意识地选择国内较高水平中文期刊进行投稿,说明中国对国外评价体系的依赖度有所降低,自我评价体系的建立已经初见成效。以国外评价体系为标杆,中国期刊的展示度不够,因此国内期刊发展应该抓住时机,通过学术大数据等先进手段进行高影响力学者挖掘,吸引优质稿件回流。采用大数据协助编辑初审也存在一定弊端。首先,数据库中对学者学术资源的统计可能存在一定误差,导致对数据使用存在偏差;其次,通过学者学术大数据只能表明该学者的整体学术水平,并不能代表当前文章的学术价值;最后,通过引用量平均的文章,其学术水平也存在局限性。因此,要提高编辑自身学术水平,或者要求学者专家进行学术质量把关。参考文献:1徐军,陈禾,张敏.提升科技期刊国际影响力的策略与实践 以 Friction 为例J.中国科技期刊研究,2018,29(8):853-859.2王瑞.科技期刊稿件送审的现状、挑战与对策J.中国科技期刊研究,2021,32(12):1519-1526.3叶文娟,余茜,杜新征.初审在科技期刊编辑工作中的重要性 以水生生物学报为例J.编辑学报,2016,28(S1):101-103.4李明敏,蔡斐.Chinese Journal of Aeronautics论文审稿新助力 编委初审J.编辑学报,2017,29(3):271-274.5杨莉娟.科技期刊编辑初审的重要性及工作措施研究J.传播与版权,2022(1):44-46.6陆宜新.科技学术期刊青年编辑初审工作要做到“1234”J.编辑学报,2019,31(1):106-108.7蒋学东,涂鹏,阳丽霞.数据挖掘与智能筛选视角下的科技期刊选题策划J.出版科学,2020,28(1):36-41.8张福颖,倪东鸿.数据挖掘助力科技期刊选题策划 以大气科学学报为例J.编辑学报,2021,33(1):107-110.9陈秋怡,刘海波.科研基金资助投入与高水平国际论文产出研究 基于六国 SCI 论文的实证分析J.中国科技论坛,2018(1):158-163.10李微.一种用于描述学者画像的信息抽取系统D.南京:东南大学,2020.11Analysys 易观.这样构建的用户画像!想不懂你的用户都难EB/OL.(2021-04-21)2022-01-16.https: Altmetrics 的开源软件学术影响力评价研究J.中国图书馆学报,2017,43(2):80-95.13袁莎,唐杰,顾晓韬.开放互联网中的学者画像技术综述J.计算机研究与发展,2018,55(9):1903-1919.14任静.基于学术画像的学者机构匹配D.大连:大连理工大学,2020.15中国科技期刊发展蓝皮书(2021)编写组.中国科技期刊发展蓝皮书(2021)开放科学环境下的学术出版专题内容简介J.中国科技期刊研究,2021,32(12):1477-1480.(责任编辑 崔守奎)243