人工智能辅助同行评议的技术潜力、应用领域与伦理隐忧.pdf

专题：AIGC 技术赋能下的出版业与人才培养21人工智能辅助同行评议的技术潜力、应用领域与 伦理隐忧*1徐亦舒，查欣雨安徽大学新闻传播学院，230601，合肥摘要：同行评议是科学研究中重要的质量控制机制，但传统同行评议在发展过程中面临着来自效率与公平等方面的挑战。人工智能（AI）作为一种新兴的技术手段，具备对传统同行评议所产生的问题进行优化与改善的潜力。通过对AI辅助同行评议的相关案例与研究成果进行分析，梳理AI在同行评议中的技术潜力、应用领域以及可能引发的伦理风险和挑战，本文认为，AI辅助同行评议是一种有前景的技术探索，但在实际操作过程中，为了确保AI辅助同行评议的科学性、公正性和可信性，也需要在数据质量、人机协作、伦理规范等方面进行充分的考量和平衡，以期突破传统同行评议的瓶颈。关键词：同行评议；人工智能；智能化转型；质量控制D O l:10.3969/j.issn.2097-1869.2023.03.0 04文献标识码：A本文著录格式：徐亦舒,查欣雨.人工智能辅助同行评议的技术潜力、应用领域与伦理隐忧J.数字出版研究,2023,2(3):21-27.*基金项目：安徽省教育厅人文社会科学研究重点项目“安徽省融媒体 新闻+模式探索与创新路径研究”（项目编号：2022AH050057）。0引言同行评议（Peer Review）是判断稿件质量、保护编辑，以避免学术成果重复、证明科研成果学术贡献、维护科学共同体声誉和信誉、应对学科专业细化的要求以及提升科学交流质量，同时能够有效促进学术生产与学术出版的良性运作和整体科学知识创新1。自1665年英国皇家学会官方刊物哲学汇刊 首次采用同行评议作为审稿方法开始，到二战后国家管理科学的模式确立，同行评议得到进一步发展并形成一种封闭审稿机制。目前同行评议已经成为世界范围内科学组织管理的主要运行机制，是专家系统地以判断标准进行内容质量评价的重要制度，也是控制科研成果质量的有力保证2。但传统同行评议（Traditional Peer Review，TPR）模式也因模式不完善、不透明、主观偏见以及周期长等问题而不断被诟病。传统同行评议基本遵循一个相对固定的流程与标准对科研成果进行质量控制：通常会选择23位同行专家担任评议人，对相关科研成果从创新性、科学性、完整性等多个维度进行质量把关，并提出相应的评审意见；评议一般采取匿名的形式进行，即作者与评议专家彼此间不直接进行沟通；编辑等承担联系作者与评议专家的工作。同行评议作为科学学术共同体内部的评判和关键决策程序，基本上是基于一定的评判标准对科学工作进行系统性的“定性评价”，呈现出高度专业化和相对主观化的特征，整体对专家经验存在高度依赖性3。其主观性结果也是造成同行评议本身的公平性、有效性等问题的重要原因。此外，学术投稿、科研项目申报等数量与日俱增，学术研究的专业细分化以及跨学科学术研究日益同时出现，也加剧了传统同行评议制度的现实运作困境。20世纪90年代以来，大众对于科学研究的关22数字出版研究2023 年第 3 期 注日益提升，科学研究伦理问题被普遍讨论，科学研究迅速发展，科研成果数量不断增多，诸多要素叠加，造成科学面临着“走向社会”的压力，原本相对封闭的科学自治结构被迫向社会敞开。信息技术的快速发展在为同行评议“走向社会”奠定技术基础的同时也打开了实践空间，以在线审稿系统、预印本仓储（E-print Repository）工具arXiv为代表的开放获取（Open Access）和开放同行评议（Open Peer Review）以及人工智能（Artificial Intelligence，AI）辅助同行评议等，从不同维度，如组织形式、流程设计、过程管理等，对传统同行评议进行重塑甚至颠覆4。AI技术快速迭代升级，尤其是2023年年初以来诸如ChatGPT等AI辅助工具展现出超乎想象的实际应用效果，引发各行各业的广泛关注。对于学术出版等相关领域而言，AI技术的介入，尤其是对AI辅助同行评议（AI-assisted Peer Review）的探索，将为突破传统人工评议的瓶颈，以人机协同的方式提升评议的效率与质量、优化评议流程以及提升评议效率提供潜力。基于对国内外AI辅助同行评议的相关研究与实践案例进行考察，尝试从AI在同行评议中的技术潜力、发展方向以及潜在的伦理风险与挑战等方面对AI辅助同行评议的探索进行回顾与反思，以期为提升我国学术出版质量、加快该领域的数字化与智能化提供参考。需要特别说明的是，本文所讨论的同行评议指的是一种抽象的科学共同体对于科研成果进行质量判断与控制的实践，而非特定的、针对科研工作者个体的评议行为。1AI辅助同行评议的技术潜力2022年7月，施普林格自然（Springer Nature）宣布推出一项AI引导的新服务自然科研智讯（Nature Research Intelligence）。该服务包含三种产品，即自然策略报告（Nature Strategy Report）、自然指数（Nature Index）以及自然引航（Nature Navigator），以协助科研决策者制定数据驱动的战略，发现研究与合作的机会，并更好地理解有关最新研究趋势的真知灼见，进而指导战略决策、吸引资助和开展前沿研究，以此来造福社会。正如施普林格自然的负责人Niels Peter Thomas所说，AI“不仅有助于我们创造新的知识，也有助于我们更好地阅读和理解现有的内容”。而AI与出版的融合，尤其是以AI技术赋能学术出版是近年来国内外学术出版相关研究与实践领域研究探索的重要内容之一。尽管目前相关领域尚处于探索与起步阶段，但机器学习（Machine Learning，ML）、自然语言处理（Natural Language Processing，NLP）以及自动化算法匹配等创新技术展现出巨大技术潜力，已经开始逐步改变同行评议的面貌。1.1NLP赋予文本可读性NLP是AI的重要分支，其目的是利用计算机对自然语言进行智能化处理。基础的NLP技术主要围绕语言的不同层级展开，包括音位（语言的发音模式）、形态（字、字母如何构成单词、单词的形态变化）、词汇（单词之间的关系）、句法（单词如何形成句子）、语义（语言表述对应的意思）、语用（不同语境中的语义解释）、篇章（句子如何组合成段落）七个层级。这些基本的NLP技术经常被运用到下游的多种NLP任务中，如机器翻译、对话、问答、文档摘要等。依靠NLP技术让机器能够理解人类语言，用自然语言的方式与人类交流，最终实现“智能”。从2023年年初ChatGPT等这类AIGC应用给人类带来的强烈震撼中可以印证，借由NLP技术，AI已经能够理解并生成人类的语言5。NLP对AI辅助同行评议发展至关重要，因为AI参与同行评议的一个关键性技术前提就是能够有效理解文本数据（不同领域的科研成果内容），即需要具备文本可读性（Readability）6。有关可读性公式（Readability Formulas）和认知指数（Cognitive Indices）的研究也显示，NLP是进行文本质量评估的有效工具。研究者在NLP技术的帮助下，利用从特定的医学领域提取的特征，如领域信息量和类别等，最终帮助文章进行自动且有效的专题：AIGC 技术赋能下的出版业与人才培养23分类7。再比如，有研究者使用NLP技术从评审内容、评审相关性、评审覆盖率、评审语气、评审数量和是否剽窃他人评审意见六个方面帮助审稿人提高评审质量8。但是，我们也需要清醒地认识到科研成果是极其复杂的文本，对其进行质量判断是一项极具挑战性的工作，依然有很多挑战需要应对。比如：如何制定判断标准？如何应对学术语言的千变万化？如何设计综合性的判断指标？等等。1.2AI算法促进评议流程高效化同行评议在全球学术出版领域被普遍接纳，并成为其中关键性环节与科研成果质量把关程序。此外，随着科学研究的快速发展，科研成果数量与学术论文数量都随之高速增长，学术研究的生产量能超出了学术同行评议的供给量9，导致同行评议压力剧增以及科研成果发表周期被拉长。这就使得在同行评议中引入AI作为评议工具和手段，以人机协同的方式来提高评议的信度和效度成为可能。其中一个重要探索领域就是通过数据统计以及相关实验算法分析来提升同行评议整体效率，而AI算法在其中发挥着重要作用。所谓AI算法是一系列计算机指令组成的程序，相较于一般算法，它的特殊之处在于能够模仿人类在解决问题时所表现出来的智能行为，进而推动特定问题的解决10。比如，Mrowinski等分析了 塞尔维亚化学学会杂志（Journal of the Serbian Chemical Society）运用自然启发进化算法笛卡儿遗传规划(Cartesian Genetic Programming），在保持相同数量审稿人的情况下只消耗了原本70%的评议时长11；江虎军等对我国国家自然科学基金(National Natural Science Foundation of China，NSFC)评审过程中的同行评议专家智能指派项目进行分析，发现同行评议智能化完全可行，并且随着相关工作的完善，其质量会进一步提升12。AI算法不仅能够辅助同行评议提升效率，同时通过不断重复过程，能够逐步建立起一套质量判断的新指标，进而提升评议的科学性。但目前来看，AI辅助同行评议在算法设计、算法对于科学研究情境的识别以及算法合理性的规制等方面都尚处于起步阶段。最后，无论NLP技术还是AI算法的加入，AI辅助同行评议的重要意义在于对传统同行评议流程的标准化和自动化进行改造，而这也是AI从“辅助”同行评议向深度“参与”同行评议，以及更深入地嵌入并逐步发挥主体性功能的重要体现。2AI辅助同行评议的应用领域传统的同行评议在使用计算机设备时大多只是将其作为平台性工具来进行评议信息检索和存取等活动，而在AI辅助同行评议中，AI将作为行动者在初审、送审和评审阶段都发挥特定的作用。基于科研成果同行评议的独特性，AI在其中的运用呈现逐步深入的特征，主要集中在来稿审查、审稿人智能匹配以及学术影响力预测等方面。2.1AI辅助来稿审查无论学术期刊来稿，还是科研项目申报投标亦或是学位论文盲审，来稿审查是同行评议首要也是最基本的评议环节。一般而言，来稿审查主要涵盖了结构合理性审查、统计数据审查以及学术不端检测等。具体来说，文本挖掘技术、关键词扫描技术以及基于NLP技术的内容剽窃检测算法等前沿技术的运用，使得AI可以对科研成果的结构合理性、统计数据以及学术不端状况进行有效审查。其中，学术不端智能检测功能是AI辅助同行评议功能开发与应用得最早、最普遍，以及相对发展成熟的领域。比如，全球最大的学术出版商爱思唯尔（Elsevier）在2015年就开发了线上审稿与编辑系统Evise，系统会自动与反剽窃软件进行关联，检测文章是否存在抄袭情况。我国的知网学术不端检测平台通过对文本、公式、表格等进行检测，得出文献相似度等总结性分析材料。此外，与之相似的还有万方数据的文献相似性检测服务、维普论文检测系统以及美国的CrossCheck等等。2.2AI辅助审稿人智能推荐审稿人智能推荐是AI辅助同行评议的另一项24数字出版研究2023 年第 3 期 重要应用，主要是通过AI推荐算法在特定数据库中筛选出最佳审稿人。具体来说，审稿人推荐算法一般包括对象匹配和约束条件两个部分13，通常是在给定的多重约束条件下通过作者共现网络来进行审稿人智能匹配。审稿人的匹配与推荐过程能够通过智能算法快速完成，从而有效提升审稿人推荐效率。相关研究表明，相较于人工审稿人指派，智能审稿人推荐与指派能够更有效、更充分地利用所有符合约束条件的评议专家资源，同时也能够更为精准地进行专家回避等，有效缓解评审专家超负荷评审问题12。相关实践显示，AI指派审稿人的效率约为人工指派的285倍14，从而大大节约了人工送审成本。我国各项科学基金项目管理机构早就开始尝试运用AI技术辅助项目评审。比如，国家自然科学基金就引入评审专家AI指派系统，利用NLP技术抓取在线学术文献数据库和科学家个人网页，搜集潜在评审专家信息，再通过语义分析比较项目申报书与潜在评审专家在研究方向上的契合度，同时考量专家的学术信誉数据，最终筛选出合适的审稿人14。但是，尽管通过设计对象匹配和约束条件两种算法可在短时间内筛选出符合条件的人员，但是由于地域或跨学科等约束条件无法进行择优排序，导致推荐出来的人员可能并非现实中的最佳人选，仍需要人工进行最终把关。此外，受限于专家库以及日益普遍的跨专业研究带来的挑战，目前相关基金项目的同行评议智能指派依然有待进一步完善。2.3AI辅助学术影响力预测学术影响力是科学研究评价的一个极为关键的指标，因此对其进行有效预测是同行评议的重中之重，也是评价学者、机构、期刊、国家等学术实体影响力的基础工作15。截至目前，国内外学界在学术影响力的评判上并无统一标准，只能借被引频次等间接指标来推测。通常而言，AI辅助科研成果影响力预测是借助ML技术，通过挖掘数据的潜在规律来实现学术影响力预测功能，由此识别具有高影响力的科研成果。这对于科学研究管理者预测学科领域发展方向、研究主题以及推介重点研究成果等具有指导意义。根据现有的实践经验来看，常用于预测论文、学者等学术影响力的ML方法主要有 NN、SVM、Markov 模型以及 XGBoost等14。目前，比较知名的实践包括丹麦的UNSILO运用NLP与ML技术提炼论文的结论和观点，形成内容总结16；美国的MBI通过建构预测模型来推测审核稿件的未来被引频次等17。尽管从目前的状况来看，AI辅助学术影响力预测还存在诸多局限性，学术影响力预测也成为目前AI辅助同行评议最难以取代人工的部分，但无疑这是未来AI辅助同行评议最具价值和发展前景的领域和方向。3AI辅助同行评议的伦理隐患随着AI参与同行评议实践日益普遍化和程度不断深化，一些附着于AI技术的问题以及AI参与到同行评议之中后带来的全新伦理问题等开始逐渐显现。其中，最令人担忧和受到关注的就是效率与公平之间的冲突等伦理问题，在实践中具体体现为“数据中心”的运作逻辑、智能技术对“人的主体性”的剥离以及人机协同评议对传统学术伦理造成的冲击等方面。3.1“数据中心主义”的科学隐患AI的三大基础分别是算法、算力及数据，其中数据是AI模型训练的前提。从AI辅助同行评议的基本场景与流程中也可以发现，其运行的基础之一就是大量现有科研成果资料、行业数据、人口数据、同行专家信息等多种类型数据资料。得益于越来越普遍的科研数据共享与科研成果开放，利用海量专业科研数据训练专业的AI模型成为可能。但随着AI介入同行评议程度不断加深，对于AI模型的智能程度也提出更高的要求，尤其是在AI参与到对科研成果的实质性内容的深层评估时，用于AI模型训练的数据质量，尤其是数据的多样性、公正性以及真实性，将直接影响到AI参与同行评议的专题：AIGC 技术赋能下的出版业与人才培养25公正、准确以及科学性。“数据中心”的运作逻辑也给AI辅助同行评议埋下了隐患，比如延续社会性偏见、数据虚假等。具体来说，这些海量的科研数据集本身在时间、语言以及地域等方面就可能存在巨大的不平衡，而这种不平衡必然会造成训练出来的AI模型带有一定程度的偏见。这种偏见一方面可能延续了传统社会性偏见（比如性别、地域、年龄等），另一方面可能在学术评议中进一步强化目前互联网环境下涌现的种种偏见。比如，数字鸿沟导致对“数字贫困”群体的忽视，这种对数字边缘群体的偏见就会日积月累传递到学术研究中。此外，如何有效杜绝大量网络虚假信息对同行评议AI模型的侵袭也将是一大挑战。3.2“人的主体性”受到挑战的风险就目前AI辅助同行评议的现状来看，其发展尚处于初级阶段，即对科学成果评判与管理的主体依然是人类，AI介入其中的程度还相对有限，或者说AI尚未成为同行评议的主导者。其原因在于同行评议流程和文本结构尚未在学界统一，尤其是在学术影响力分析层面，评价标准未统一、涉及领域复杂、课题新颖无参考数据等问题可能导致现阶段的AI无法进行量化处理，只能成为人工评议的“助手”而不是“替身”18。随着AI智能化程度与整体算力不断提升，AI参与同行评议的技术潜力与能力也将会得到快速释放。不久的将来，AI参与同行评议的广度与深度将会全面加强，甚至出现AI辅助同行评议的“ChatGPT”或“iPhone”。这不免在同行评议领域引发关于AI的经典担忧：智能机器是否会取代人？也就是，AI是否会剥夺人对科学成果质量把关、价值判断以及管理等方面的主体性？对于这些担忧，首先需要明确和达成共识的是：AI辅助人类是未来社会各行各业发展的必然趋势，也必将成为人们的生活与工作常态。同时，在科研成果评议上，AI目前无法完全取代人类。在此基础上，我们再去思考科研成果判断与管理当中可能面临的“人的主体性”被剥夺的问题，我们要做的并不是去拒绝或者有意弱化AI对同行评议的辅助，而是需要加强其学习能力，不断完善数据库和算法模型，改变单一的程序性能，使之能够在繁琐、复杂、新颖的真实环境下做出适当的判断和选择。同时，人类应致力于在认知能力上取得与科技相匹配的进步，以实现在同行评议领域的“AI赋能”，进而去规避“AI支配”。3.3对传统学术伦理形成冲击随着AI在科学研究领域的应用日益广泛，科学研究伦理层面的问题开始被触及，比如AI创造的知识产权、智能造假、智能剽窃等。2023年1月，巴黎政治大学因其学生大量使用ChatGPT做作业而向其学生和教师发送电子邮件，要求禁止使用ChatGPT等AI工具，并颁布“AI禁令”19。长久以来，“围绕着技术跨越的哲学反思是异常复杂的，也是险象环生的，往往需要人有更多的审慎”20。从AI辅助同行评议逐步发展为AI参与同行评议，如何建立起基于AI的科研伦理也必然成为必须面对的新的伦理问题。在当下的数据时代，AI作为一个崭新的领域出现，将智能辅助作为新元素融入数字文明时代，并成为类似于互联网的一种大众默认功能。目前，AI辅助在学术影响力分析和审稿人筛选中仍处于研发状态，未能进行大规模应用。并且由于涉及知识产权问题，评议专家库以及论文库能否收集完整也需要各方共同努力，政府部门应出面协商，软硬件技术提供高质量保障，确保评议相关者利益不受损害，从而在AI逐步嵌入的过程中形成和完善基于“AI赋能”的科学成果管理与质量判断的科学伦理体系。4结语科学技术发展是推动社会进步的关键动力，而做好科研成果质量控制是推动科学发展与成果转化的关键环节。传统同行评议从首次尝试到逐步探索并制度化，再到全球范围内得到推广，历经数百年发展至今，在公平与效率等方面都面临着日益增大的26数字出版研究2023 年第 3 期 调适与创新压力。AI辅助同行评议在提升同行评议效率、简化同行评议流程、缩短科研成果发表周期、科学指派审稿专家以及预测科研成果影响力等方面都具有重要价值，能够有效提升同行评议的科学性。AI技术契合了同行评议社会化改革的发展方向，能够应用于同行评议的全过程和多领域。通过对AI辅助同行评议实践的检视发现，学术机构运用数据库进行检索和审查科研成果已经相当普遍，但是，目前AI辅助同行评议的整体层次尚待提升。同时，我们也需要注意不应当过度依赖AI而忽视人的作用，否则可能会导致“AI辅助”同行评议变成“AI支配”同行评议。在此过程中也需要警惕AI自身的算法问题，以及由此产生的科学成果质量判断上的伦理挑战，尤其是可能会造成新的公平困境。如何协调AI与科研成果管理之间的关系，如何理顺科研管理与算法治理之间的关系，是未来AI辅助乃至赋能同行评议需要进一步探讨的问题。作者简介徐亦舒，男，安徽大学新闻传播学院讲师、编辑出版学系出版智库研究员。研究方向：数字出版、政治传播。查欣雨，女，安徽大学新闻传播学院硕士研究生。研究方向：数字文化、政治传播。参考文献1 刘红,胡新和.学术期刊同行评审的发展、方式及挑战J.中国科技期刊研究,2005,16(5):605-608.2 张彤,周云霞,蔡斐,等.学术期刊同行评议的历史演进J.中国科技期刊研究,2019,30(6):588-595.3 付伟棠.我国学术期刊同行评议研究综述J.中国科技期刊研究,2019,30(8):819-826.4 WALKER R,DA SILVA P R.Emerging trends in peer review:A surveyJ.Frontiers in neuroscience,2015(9):169.5 RUSSELL S J.Artificial intelligence a modern approachM.New York:Pearson Education Inc,2010.6 CHECCO A,BRACCIALE L,LORETI P,et al.AI-assisted peer reviewJ.Humanities and Social Sciences Communications,2021,8(1):1-11.7 COZZA V,PETROCCHI M,SPOGNARDI A.A matter of words:NLP for quality evaluation o f W i k i p e d ia m e d i c a l a r t i c l e s C/Web Engineering:16th International Conference,ICWE 2016,Lugano,Switzerland.Proceedings 16.Springer International Publishing,2016:448-456.8 RAMACHANDRAN L,GEHRINGER E F,YADAV R K.Automated assessment of the quality of peer reviews using natural language processing techniquesJ.International Journal of Artificial Intelligence in Education,2017,(27):534-581.9 KOVANIS M,PORCHER R,RAVAUD P,et al.The global burden of journal peer review in the biomedical literature:Strong imbalance in the colle c tive enter pr is eJ.PloS One,2016,11(11):e0166387.10 燕晓婕.人工智能时代行政决策的法治化进路J.哈尔滨师范大学社会科学学报,2020,11(1):37-40.11 MROWINSKI M J,FRONCZAK P,RONCZAK A,et al.Intelligence in peer review:How can evolutionary computation support journal editors?J.PLoS One,2017,12(9):e0184711.12 江虎军,郝艳妮,徐岩英,等.国家自然科学基金项目同 行 评议的智能 化探讨J.中国 科 学基金,2019,33(2):149-153.13 PRICE S,FLACH P A.Computational support for academic peer reviewJ.Communications of the ACM,2017,60(3):70-79.14 张彤,尹欢,苏磊,等.人工智能辅助学术同行评议的应用及分类J.中国科技期刊研究,2021,32(1):65-74.15 白晓梅.基于社会网络分析的学术影响力评估与预测 D.大连:大连理工大学,2017.16 董文杰,李苑.科技期刊智能出版工具:UNSILO平台J.中国科技期刊研究,2020,31(6):702709.专题：AIGC 技术赋能下的出版业与人才培养2717 HEAVEN D.AI peer reviewers unleashed to ease publishing grind J.Nature,2018,563(7733):609-610.18 陈锐,王文玉.司法人工智能与人类法官的角色定位辨析J/OL.重庆大学学报(社会科学版),2021:1-162023-06-12.网络首发.19 界面新闻.巴黎政治大学禁用ChatGPT以防抄袭EB/OL.(2023-01-28)2023-06-12.https:/ 杜骏飞.何以为人？AI兴起与数字化人类J.南京社会科学,2023(3):76-85.Te ch n ica l P o te n tia l,A p p lica tio n F ie ld s a n d E th ica l C o n ce rn s o f A I-A ssiste d P e e r R e v ie wXU Yishu,ZHA XinyuSch o o lo fJo u rn alism an d C o m m u n icatio n,A n h u iU n ive rsity,230601,H e fei,C h in aA b stra c t:Pe er review is an im p o rtant q uality co ntro l m e chanism fo r scientific research,b u t trad itio nal p e er review faces challen g es fro m efficien c y an d fairn ess in th e d evelo p m ent p ro cess.A s an em erg in g te chn o lo g y,artificial intellig en ce(A I)has th e p o tential to o p tim ize trad itio nal p e er review.By analyzin g re le van t c ase s an d re se arch re su lts o f A I-assiste d p e e r re vie w,th e te ch n ic al p o te n tial,ap p lic atio n field s,an d p o ssib le ethical risks an d challen g es that m ayb e trig g ere d b y AI in p e er review w ere so rte d o u t.A I-assiste d p e e r review is a p ro m isin g te ch n o lo g ical e xp lo ratio n,b u t to e n su re th e scie ntificity,fairn ess an d cre d ib ility,it is also n e cessary to fu lly co nsid er an d b alan ce d ata q uality,hu m an-m achin e co llab o ratio n,an d ethical n o rm s in th e ac tual o p eratio n p ro cess,w ith a view to b reakin g thro u g h th e b o ttlen e ck o f trad itio nal p e er review.K e y w o rd s:Pe er review;A rtificial intellig en ce;Intellig ent transfo rm atio n;Q uality co ntro l