众包在证据合成中的实践应用...民科学项目中的众包应用为例_李晓.pdf

2023年第35卷第2期众包在证据合成中的实践应用研究以 Cochrane Crowd 公民科学项目中的众包应用为例李晓1,2，曲建升1,2,3*，寇蕾蕾4（1.中国科学院西北生态环境资源研究院，兰州730000；2.中国科学院大学 经济与管理学院图书情报与档案管理系，北京100049；3.中国科学院成都文献情报中心，成都610041；4.兰州大学 青藏高原人文环境研究中心，兰州730000）摘要：目的/意义证据生成的及时性对于循证决策至关重要，而目前证据合成的效率通常不能满足决策者的需求。众包被认为是一种可以提高证据合成生产效率的潜在方法。本研究以 Cochrane Crowd 公民科学项目中的众包应用为例，总结众包在证据合成中的实践应用。方法/过程采用文献调研、网络调查、案例分析等方法，从众包者、志愿者、众包任务、Cochrane Crowd 平台、质量评估 5 个维度分析了众包在 Cochrane Crowd 公民科学项目中的应用机制。结果/结论通过设置明确目标、激励措施、清晰任务，提供全面培训和适当的质量控制机制，可以应用众包为证据合成输出高质量结果。为未来针对不同领域证据合成中应用众包以及在证据合成的不同阶段使用众包的进一步研究提供参考。关键词：证据合成；众包；Cochrane Crowd；循证研究中图分类号：G254文献标识码：A文章编号：1002-1248（2023）02-0095-12引用本文：李晓,曲建升,寇蕾蕾.众包在证据合成中的实践应用研究以 Cochrane Crowd 公民科学项目中的众包应用为例J.农业图书情报学报,2022,35(2):95-104.收稿日期：2023-01-21基金项目：中国科学院战略性先导科技专项（A 类）“丝路环境科技态势监测分析与知识集成服务”（XDA2010030802）作者简介：李晓（1983-），博士研究生，中国科学院西北生态环境资源研究院，研究方向为循证方法、知识发现与知识组织。寇蕾蕾（1991-），博士，助理研究员，兰州大学青藏高原人文环境研究中心，研究方向为知识发现与知识组织、数字人文、青藏高原人文环境研究*通信作者：曲建升（1973-），博士，教授，研究员，博士生导师，中国科学院大学，研究方向为战略情报分析、情报咨询与知识挖掘。Email：DOI：10.13998/ki.issn1002-1248.23-00901引言循 证 决 策（Evidence-Informed Decision-Making）是弥补研究与政策之间差距的一种手段1，而证据合成（Evidence Synthesis）已经成为很多领域循证决策的重要工具。对现有证据的准确、简洁和无偏见的合成是学术界为政策制定者或任何决策者提供的最有价值的贡献之一2。然而伴随着人类研究的广度和深度大约每9年翻一番3，进行证据合成是资源密集型的，尤其是针对复杂问题的科学知识进行合成，因为解决方案往往分布于数以万计的个体研究中。有研究表明单一的证据合成需要花费研究团队18个月到3年不等的时间4,5，这阻碍了政策的需求驱动周期，特别是对于需要答案应用实践952023年第35卷第2期才能作出相关资源分配的决策。学术界在不断探索使用创新技术来提高证据合成生产效率，一些学者研究了通过机器学习、自然语言处理、文本挖掘等技术来提高效率6，一些学者研究了应用众包等公民科学方法来降低成本、缩短时间7-13，本研究主要关注众包在证据合成中的实践应用情况。Cochrane是致力于健康领域证据生产的国际知名非营利组织，主要制作基于随机对照试验（RCT）的系统评价。虽然Cochrane主要为医学领域生产证据，但其开发的证据合成方法、指南、工具随后被其他领域借鉴和参考，因此Cochrane已经成为证据合成领域的先驱者和引领者。Cochrane14较早在证据合成中使用了众包，并于2016年推出基于众包模式的Cochrane Crowd公民科学平台15。目前，对在证据合成中应用众包的研究和实践尚处于起步阶段，对Cochrane Crowd项目中众包的应用机制进行全方位分析，将为在证据合成中使用众包提供一定的参考和启发，从而促进证据合成生产效率的提高，为循证决策提供及时而有力的科学信息。证据合成涉及到对同一研究问题的多个研究的信息组合，遵循透明性、客观性、可重复性原则，在特定时间点提取特定问题的已知信息以形成总结和理解16。证据合成中最早使用且最常使用的方法是系统评价，该方法最开始被应用于健康领域（已成为该领域的黄金标准，基于随机对照试验的系统评价被视为最高级别证据），随后被其他学科广泛采用。为响应政策制定者以及其他利益相关者对信息类型和时效性的需求，更多的证据合成方法被开发和应用，包括范围评价、系统图、快速评价、实时系统评价、系统评价再评价等。其他证据合成方法主要建立在系统评价方法基础之上，因此这些方法的流程大致相同，它们之间的区别主要体现在每个步骤的具体操作上。证据合成的流程可以归纳为7个步骤：提出研究问题并形成协议；文献搜索；资格筛选；数据提取；质量评估；合成数据；汇总证据并形成报告。众包能够利用大量在线人群在更大范围内收集、分析或处理数据，在提升生产能力、效率及节约成本等方面具有优势，因而被认为是一种可以提高证据合成生产效率的潜在方法。理论上，人群可以为证据合成的各个阶段作出贡献。在搜索阶段，由于通常要检索多个书目数据库以及灰色文献来源，可以由每名参与者负责1个数据库，从而提高效率；在资格筛选阶段，参与者可以基于研究纳入/排除标准，对引文或全文作出纳入或排除的决策；在数据提取阶段，参与者可以帮助提取关于样本、干预措施、结果等特征信息；在质量评估阶段，参与者可以帮助评估偏倚风险、研究质量等；在合成阶段，参与者可以将数据输入到元分析软件中、进行元分析；在汇总证据、报告结果阶段，参与者可以编写报告和更新结论。但是在实践中，人们往往聚焦于将众包应用于证据合成中最耗费资源的阶段，正如HADDAWAY等所言，“最耗时的程序应该被视为方法和技术发展的重要领域，以提高效率”4。通过调研已发表的关于证据合成中资源使用情况的文献，表明在证据合成步骤中，资格筛选、数据提取和质量评估最为耗费资源4,17。另外这些步骤所需的时间与检索结果数量、需要识别的全文数量、纳入研究数量有着密切的关系。国外学者已经对在证据合成中使用众包开展了一些可行性研究和实践应用，在这些研究与实践中，人群主要是参与了一个特定阶段，而不是完整的过程。大部分研究对在资格筛选阶段应用众包展开研究7,9-11,13,18-21，个别研究对在数据提取阶段和质量评估阶段应用众包展开研究8,12。在证据合成众包的实践应用方面，规模最大、实施情况良好的是由Cochrane组织发起的基于众包模式的Cochrane Crowd公民科学项目。自2014年以来，Cochrane一直使用众包为CENTRAL数据库有效识别健康证据，并于2016年5月推出了Cochrane Crowd公民科学平台，面向全球招募志愿者帮助对健康决策所需的研究进行分类。迄今为止（2023年3月10日），已有来自全球180个国家或地区的29 004名贡献者，对将近800万条记录进行了分类。该项目没有让志愿者 执 行 系 统 评 价 的 所 有 步 骤，而 是 专 注 于 研 究 识别基于标题和摘要确定文献是否满足特定类型的研究设计（如随机对照试验）。该项目中，识别证据的方式从传统的基于同行评议的孤立模式转变为充分利DOI：10.13998/ki.issn1002-1248.23-0090应用实践962023年第35卷第2期用众多人员的协同模式，代表了寻找和管理研究信息方式的重要转变，证实了众包在证据合成中可以发挥非常实际的作用22。本研究采用文献调研、网络调查、案例分析的方法，以众包在Cochrane Crowd项目中的应用机制为例，总结众包在证据合成中的实践应用，以期为中国各个学科领域在证据合成中应用众包、提高证据生成效率提供借鉴和参考。2众包在Cochrane Crowd中的应用机制在科学领域，学者纷纷提到了众包的维度，分别有一个维度，如NAKATSU等基于任务特征将众包分类为：合同聘用、分布式问题解决（附加/集合协调）、新创意生成、协作（互惠协调）23；两个维度，如PRPIC等提出了众包的两个维度：内容（客观/主观）和贡献（聚合/过滤）24；3个维度，如ESTELL S-AROLAS等确定了众包的8个特点，可分为三大类：人群（谁、做什么，以及得到什么回报），发起者（谁、从人群中得到什么回报），过程（过程类型、呼吁类型、使用的媒介）25；4个维度，如HOSSEINI通过对计算机科学、商业和管理、医学、环境科学和社会学等领域众包相关文献的分析，发现构成了整个众包运作的四大维度或支柱：人群、众包者（发起者）、众包任务、众包平台26；ZHAO等认为众包有4个基本维度：提供者（一般人群或特定群体）、所有权（公共/私人物品）、模式（集体、竞争或合作)、动机和激励（内在/外在）27：6个维度，如PEDERSEN等提出了众包的6个要素：问题、过程、治理、人（问题所有者、个人或群体）、技术和结果28。本文在HOSSEINI等构建的众包运作的4个维度基础上，增加了一个维度“质量评估”，将从众包者（发起者）、志愿者（人群）、众包任务、CochraneCrowd平台（众包平台）、质量评估五个维度来分析众包在CochraneCrowd中的应用机制。2.1众包者众包者即众包发起者，也称为请求者，可以是个人、机构、组织或公司。在Cochrane Crowd项目中，众包者有两种类型：Cochrane组织和Cochrane系统评价作者团队，前者为该项目的发起者，也是项目的主要服务对象，后者为该项目推出Screen4Me服务后出现的发起者。（1）Cochrane组织。Cochrane是由研究人员、专业人员、患者、护理人员以及对健康研究感兴趣的其他人员共同组成的全球性非营利组织，旨在收集和分析健康领域现有最佳证据并生成系统评价，以帮助人们对健康和卫生保健作出明智决策，其工作被公认为是高质量、可靠信息的国际黄金标准。Cochrane主要制作基于随机对照试验的系统评价，内容涉及健康服务和健康政策研究，Cochrane评价由于严格性、客观性，在证据中享受较高的声誉。为了提高系统评价生成效率，Cochrane构建了对照试验中心数据库（CEN-TRAL），该数据库专门收集随机和半随机对照试验报告（RCTs和qRCTs）。Cochrane组织发起众包的目的是通过人群的集体努力，为CENTRAL数据库识别来自于E、CINAHL（护理学数据库）、Clini-calTrials.gov（美国临床试验注册中心）和WHO ICTRP（世卫组织国际临床试验注册平台）等数据库的随机和半随机对照试验研究（RCT和qRCT）。（2）Cochrane系统评价作者团队。该项目于2019年推出了Screen4Me服务，来自15个Cochrane评价小组的60多个系统评价团队已经使用了该服务19。该服务由3个组件构成：已知评估服务、RCT分类器服务以及Cochrane Crowd众包服务。Cochrane系统评价作者团队使用Screen4Me的流程为：将特定主题系统评价的待筛选记录上传至平台后，首先通过已知评估服务与平台中已由人群筛选过的记录进行匹配，然后再通过RCT分类器服务对其余记录进行RCT与非RCT的识别，最后对潜在的RCT记录通过众包服务由志愿者帮助进一步识别。一些试点研究表明，志愿者不仅可以识别潜在的RCT，还可以根据纳入标准评估RCT及其他类型研究是否与评价主题相关19-21，同时在这些任务中，需要单独开发定制培训模块。?李晓，曲建升，寇蕾蕾众包在证据合成中的实践应用研究以 Cochrane Crowd 公民科学项目中的众包应用为例972023年第35卷第2期2.2志愿者Cochrane Crowd对所有人开放，只需要使用姓名和电子邮箱地址进行注册和登录。Cochrane作为证据合成的知名国际组织为Cochrane Crowd提供了良好的志愿者基础，而Cochrane Crowd平台与该组织的其他IT基础设施集成在一起，也为志愿者参与其活动提供了便利。调查显示该项目志愿者的参与动机主要有利他主义（如帮助Cochrane）、技能提升（如学习相关知识）、实现自我价值等。Cochrane Crowd为志愿者设计了绿、棕、银、金、紫五色里程碑徽章，分别代表完成训练任务、100个分类、500个分类、1 000个分类以及出类拔萃（至少1 000个分类且精度很高），完成任务时相应徽章将出现在任务界面，以此激励志愿者完成更多的分类任务。另外，平台为每位志愿者提供了“众包活动总结”，可以看到自己参加学习活动或任务的历史记录。根据任务完成情况，参与者被分为3个级别：普通筛选者、专家筛选者和解析者。每名志愿者都从普通筛选者开始，当以非常高的准确度完成1 000个分类（其中不确定分类的比例非常低）时可以升级为专家筛选者。专家筛选者所做的分类被赋予更大的权重，因而由专家筛选者筛选的记录需要较少的决策便可获得分类结果。解析者是具有出色筛选绩效的志愿者，当其他筛选者对记录的分类发生分歧或记录被分类为不确定时由解析者对这些记录作出最终决策，通常需要获得全文才能决定。由于所需专业水平较高，解析者通常人数较少。2.3众包任务为了提升人群参与度、鼓励人群参与，CochraneCrowd没有限制志愿者的加入资格，允许没有任何健康研究经验的个体参与。为了使志愿者能顺利执行众包任务，采取了通过多途径提高志愿者的认知水平同时降低任务执行难度的策略。具体表现在精心设计了以任务为中心的学习活动、任务访问方式、培训模块和反馈机制等，并对众包任务本身进行了科学的类型划分和设计。2.3.1学习活动提供了关键概念、理解研究设计和介绍CONSORT（报告临床试验的统一标准）等学习活动，旨在帮助志愿者学习相关知识。关键概念部分需要完成7个小模块，掌握公平试验的一些关键概念；研究设计模块介绍了健康领域研究人员主要使用的一些研究设计类型；CONSORT模块旨在介绍CONSORT的标题和摘要，讲授研究人员开展随机对照试验时所报告的信息。2.3.2任务访问方式由于志愿者具有不同经验水平，因此设计了3种任务访问方式：直接进入任务、新人途径和学生途径。直接进入任务适合具有领域知识和专业经验的志愿者，新人途径适合对健康研究和循证医学比较陌生的志愿者，学生途径适合正在学习健康领域相关知识并希望对循证医学有更多了解的志愿者。当选择直接进入任务时，界面中会呈现所有的学习活动和任务类型，志愿者可以任选其一。新人途径和学生途径分别由一系列学习活动和任务依据循序渐进原则按照一定的顺序组合在一起，志愿者只能依次参加，如表1所示。2.3.3培训模式和反馈机制每类型任务都有简短的格式相同的培训模块支持，该模块由不同数量的交互式培训记录组成（如RCT和CT识别中有20条培训记录，ICTRP识别任务中有7条培训记录），在志愿者对记录作出分类选择后都有及时的反馈及引导。这些记录反映了志愿者在实时任务中可能遇到的情况、使其了解每个特定任务的基本内途径类别 学习活动和任务的名称及顺序 新人途径 关键概念、CT 识别、理解研究设计、介绍 CONSORT、RCT 识别 学生途径 关键概念、CT 识别、RCT 识别、Screen4Me、理解研究设计、介绍 CONSORT 表1新人途径和学生途径Table 1 Newcomers pathway and students pathwayDOI：10.13998/ki.issn1002-1248.23-0090应用实践982023年第35卷第2期图2 ICTRP识别任务示例Fig.2 ICTRP identification task容并通过反馈机制指导志愿者应如何完成。对于随机试验识别任务，在完成培训记录后可以直接执行任务，对于COVID研究识别任务，培训部分由学习和评估两部分组成，完成培训记录后还需要进行评估，正确率达到7条记录（共10条）时才可以执行任务，否则需要重复学习直到评估合格。2.3.4任务类型Cochrane Crowd中的众包任务可以分为三大类：主流任务、扩展任务和试点任务，各大类任务下又包括具体的任务类型，一些任务只有在志愿者完成100条RCT识 别 记 录 才 可 用，任 务 详 情 如 表2所 示。Cochrane Crowd按照“页面”组织任务，每页中显示一条记录（由一篇文献的标题和摘要组成）以及3个标签：RCT/qRCT、Reject（拒绝）或Unsure（不 确定），用户通过选择其中一个标签对记录进行分类，完成选择后才能继续下一条记录。主流任务为根据文献的标题和摘要识别随机对照试验（RCT）。需要志愿者识别的记录来源主要有4个：E、CINAHL、ClinicalTrials.gov和WHOICTRP，不同来源的记录格式有所区别，识别难度也不尽相同。主流任务依据记录格式又细分为3类任务：RCT识别、CT识别和ICTRP识别。RCT识别任务在用户界面中显示每篇文献的标题和摘要或仅标题（图1），CT识别和ICTRP识别任务在界面中显示一组结构化字段、信息更加清晰（图2），对初学者比较友好和容易，被正确识别的可能性更高。图1 RCT识别任务示例Fig.1 RCT identification task任务分类 任务名称 任务描述 任务难度 任务可用条件 RCT 识别 帮助从 E、CINAH 等文献数据库获取的记录中找到随机和半随机试验报告 中等 无 CT 识别 帮助从 ClinicalTrials.gov(美国临床试验注册中心)获取的记录中找到随机和半随机试验 基础 无 主流任务 ICTRP 识别 帮助从 WHO ICTRP 国际临床试验注册平台获取的记录中找到随机和半随机试验 基础 无 Screen4Me 帮助特定主题的 Cochrane 评价识别随机对照试验 不确定 完成 100 条 RCT 识别记录 COVID Quest 帮助查找和描述关于 COVID-19 的研究 较难 无 扩展任务 COVID Quest Lite 帮助查找关于 COVID-19 的研究 中等 无 PICO 提取 帮助描述随机试验的人群、干预措施、对照组和结果 较难 无 DTA 识别 帮助查找诊断测试准确性研究 较难 完成 100 条 RCT 识别记录 试点任务 表获取 绘制研究论文的关键表格 基础 完成 100 条 RCT 识别记录 表2任务类型详细情况Table 2 Details about task types李晓，曲建升，寇蕾蕾众包在证据合成中的实践应用研究以 Cochrane Crowd 公民科学项目中的众包应用为例992023年第35卷第2期扩展任务包括Screen4Me、COVIDQuest和COVIDQuestLite。Cochrane为应对新型冠状病毒（COVID-19）大流行、方便研究人员和临床医生找到相关研究，创建了重要的开放获取资源Cochrane COVID-19研究登记册29，因此发起了COVID Quest和COVID Quest Lite任务，旨在通过志愿者快速识别与COVID-19相关的研究并为其分配一些标签。试点任务包括PICO提取、DTA识别和表获取。试点任务的目的有两种：一种是希望成为Cochrane流程的核心部分；另一种是进行可行性测试。2.4 Cochrane Crowd平台众包平台一般具有以下几个特征：具有与人群交互的功能、具有与众包者交互的功能、具备任务相关设施、具备平台相关设施。任务相关设施是指众包平台提供的关于众包任务的设施，平台相关设施是众包平台提供的关于众包平台本身的设施26。CochraneCrowd平台除了拥有常见的众包平台功能外，在任务相关设施和平台相关设施方面具有自己的特色。2.4.1任务相关设施该平台提供了“人群一致性算法”机制来聚合众包任务结果。具体为：每条记录需要4个连续且相同的分类才能被最终决策，当连续链被打破或出现不确定选择时，需要由经验丰富的解析者进行最后决策。另外，该平台上还使用了高亮显示功能标记标题或摘要的关键部分，辅助筛选者作出分类决定：红色高亮显示用于标记可能出现在不太相关记录中的单词，黄色高亮显示用于标记可能出现在相关研究中的关键词，蓝色高亮显示用于标记摘要中的方法部分。2.4.2平台相关设施Cochrane Crowd的特色平台相关设施为基于机器学 习 的RCT分 类 器。Cochrane RCT分 类 器 使 用Cochrane Crowd人群数据集进行训练，用于从大型记录集中去除“噪声”，它能够提供记录为RCT的概率值，据此可以删除非常明显的非RCT记录，从而可以减少志愿者工作量并提高研究识别效率。相关研究显示，RCT分类器能够排除60%80%不相关记录，同时保持超过99%的召回率30。图3展示了RCT分类器在证据识别中的作用：灰色区域代表从PubMed/MED-LINE、E、CINAHL、ClinicalTrials.gov和WHO ICTRP等数据库检索出的记录，蓝色区域代表经过分类器识别后获得的潜在RCT记录，同时也是将要被众包筛选的部分，绿色区域代表经过人群筛选后被确认为RCT的记录，在分类器识别过程中可能会遗漏少量合格RCT，但比例非常低、在可接受范围内。RCT分类器现已构成了证据管道的一部分，部署在Cochrane的集成工作流中。2.5质量评估Cochrane Crowd成功组织了一个在线社区，吸引了近3万名志愿者无偿帮助筛选文献，已完成了数量可观的研究识别任务，并具备可持续发展能力。一些评估显示Cochrane Crowd中任务识别的准确性非常高，人群敏感性为99.1%，特异性为99%，需要解析者识别的记录不到20%18。虽然其主流任务是帮助识别特定类型研究设计的文献（RCT），但随后几项研究还评估了让志愿者根据纳入标准对特定主题系统评价所需的相关文献进行识别19-21，均具有良好的人群敏感性和特异性，尽管个体志愿者执行每篇摘要分类的时间要多于专家，但群体的并行工作机制足以抵消个体效率，因此人群完成任务花费的时间也远远低于作者团队。3 Cochrane Crowd中的众包应用对证据合成众包的启示本文从众包者、人群、众包任务、众包平台、质图3 RCT分类器的作用Fig.3 The role of RCT classifier?DOI：10.13998/ki.issn1002-1248.23-0090应用实践1002023年第35卷第2期量评估5个维度对众包在Cochrane Crowd公民科学项目中的应用机制进行了分析。虽然目前对在证据合成中应用众包的研究仍处于起步阶段，但一些试验研究以及Cochrane Crowd的成功运行证明了在提高证据合成效率的方法中众包是一种有潜力的模式。CochraneCrowd中的众包机制在以下几个方面为在证据合成中使用众包带来启示。3.1质量控制机制Cochrane Crowd以任务为中心，设计了丰富的学习活动、多样化的任务访问方式、交互式定制培训模块和反馈机制，提高了志愿者正确执行任务的可能性；同时在平台层面提供一致性算法聚合人群分类结果，进一步提高了记录被正确分类的可能性。在证据合成中应用众包时，众包者必须制定适当的流程、为参与者提供全面的培训以确保资格筛选、数据提取等众包活动符合所需的高质量标准。3.2平台易用性Cochrane Crowd具有良好的交互功能、完善的任务与平台相关设施。在考察系统、网站或平台的友好性设置时，通常会使用易用性这一衡量交互式系统的重要指标。从设计角度来看，Cochrane Crowd平台注册简单、用户界面友好、导航面板易于操作，总体上遵循了简单易用的原则，从而能够减轻志愿者的参与负担。另外平台使用了突出显示功能，能够将志愿者的注意力引导到关键短语或单词上，帮助他们作出分类决定。目前在循证科学领域，自主开发的众包平台除了Cochrane Crowd，还有东安大略儿童医院（CHEO）研究所开发的InsightScope9。这两个平台目前只能由平台开发团队以及特定人员发布任务，适用范围非常有限，亟待开发通用的证据合成众包平台，能够被各个领域需要使用众包的证据合成作者团队使用。3.3人机协作方式Cochrane Crowd通过人群的共同努力以前所未有的规模生成了大型、高质量数据集，为机器学习分类器提供了训练素材。随着人群筛选更多记录，RCT分类器可以变得更加准确；随着分类器变得更加准确，它能够更高效地删除明显不是RCT的记录，从而使人群专注于需要人类智能的分类任务上，这是人机协作、相辅相成的很好示例。机器学习分类器通常需要从由专业人员生成的黄金标准分类中学习，在证据合成中使用这种分类器的最大缺点是缺乏训练数据，而众包可以作为生成这类数据的潜在方式。4结语众包是提高证据合成效率、缩短制作周期的有效方法。通过全面的参与者培训、适当的质量控制机制，可能输出高质量的众包结果并满足证据合成“黄金标准”。为了激励用户参与并促进其持续参与，应该为参与者提供明确的目标、清晰的任务和及时的反馈或奖励。在证据合成中引入众包的兴趣和活动正在迅速增长，随着不同学科的研究人员在证据合成项目中使用众包，促进众包的新工具和平台也需要被进一步开发。未来应该对在不同领域证据合成中应用众包以及在证据合成的不同阶段使用众包展开进一步研究。参考文献：1LITTELL J H.Conceptual and practical classification of researchreviews and other evidence synthesis productsJ.Campbell system-atic reviews,2018,14(1):1-21.2DONNELLY C A,BOYD I,CAMPBELL P,et al.Four principles tomake evidence synthesis more useful for policyZ.Nature Publish-ing Group,2018.3BORNMANN L,MUTZ R.Growth rates of modern science:A bib-liometric analysis based on the number of publications and citedreferencesJ.Journal of the association for information science andtechnology,2015,66(11):2215-2222.4HADDAWAY N R,WESTGATE M J.Predicting the time neededfor environmental systematic reviews and systematic mapsJ.Con-servation biology,2019,33(2):434-443.李晓，曲建升，寇蕾蕾众包在证据合成中的实践应用研究以 Cochrane Crowd 公民科学项目中的众包应用为例1012023年第35卷第2期5CHALMERS I,BRACKEN M B,DJULBEGOVIC B,et al.How toincrease value and reduce waste when research priorities are setJ.The lancet,2014,383(9912):156-165.6TSAFNAT G,GLASZIOU P,CHOONG M K,et al.Systematic re-view automation technologiesJ.Systematic reviews,2014,3(1):1-15.7BROWN A W,ALLISON D B.Using crowdsourcing to evaluatepublished scientific literature:Methods and exampleJ.PLoS one,2014,9(7):e100647.8SUN Y,CHENG P,WANG S,et al.Crowdsourcing information ex-traction for biomedical systematic reviewsJ.arXiv preprint arXiv:1609.01017,2016.9NAMA N,ILIRIANI K,XIA M Y,et al.A pilot validation study ofcrowdsourcing systematic reviews:Update of a searchable databaseof pediatric clinical trials of high-dose vitamin DJ.Translationalpediatrics,2017,6(1):18.10 NAMA N,SAMPSON M,BARROWMAN N,et al.Crowdsourcingthe citation screening process for systematic reviews:ValidationstudyJ.Journal of medical Internet research,2019,21(4):e12953.11 MORTENSEN M L,ADAM G P,TRIKALINOS T A,et al.An explo-ration of crowdsourcing citation screening for systematic reviewsJ.Research synthesis methods,2017,8(3):366-386.12 PIANTA M J,MAKRAI E,VERSPOOR K M,et al.Crowdsourcingcritical appraisal of research evidence(CrowdCARE)was found tobe a valid approach to assessing clinical research qualityJ.Journalof clinical epidemiology,2018,104:8-14.13 BUJOLD M,GRANIKOV V,SHERIF R E,et al.Crowdsourcing amixed systematic review on a complex topic and a heterogeneouspopulation:Lessons learnedJ.Education for information,2018,34(4):293-300.14 Cochrane.About usEB/OL.2022-09-04.https:/www.cochrane.org/about-us.15 Cochrane Collaboration.Cochrane Crowd EB/OL.2022-06-18.https:/community.cochrane.org/help/tools-and-software/cochrane-crowd.16尚宏利,张思洁,魏志鹏,等.循证数字人文证据整合的基本框架与具体流程研究J.农业图书情报学报,2022,34(11):38-47.SHANG H L,ZHANG S J,WEI Z P,et.al.Evidence integrationframework of evidence-based digital humanitiesJ.Journal of libraryand information science in agriculture,2022,34(11):38-47.17 PHAM B,BAGHERI E,RIOS P,et al.Improving the conduct ofsystematic reviews:A process mining perspective J.Journal ofclinical epidemiology,2018,103:101-111.18 NOEL-STORR A,DOOLEY G,ELLIOTT J,et al.An evaluation ofCochrane Crowd found that crowdsourcing produced accurate re-sults in identifying randomized trialsJ.Journal of clinical epidemi-ology,2021,133:130-139.19 NOEL-STORR A,DOOLEY G,AFFENGRUBER L,et al.Citationscreening using crowdsourcing and machine learning produced accu-rate results:Evaluation of Cochranes modified Screen4Me serviceJ.Journal of clinical epidemiology,2021,130:23-31.20 NOEL-STORR A,GARTLEHNER G,DOOLEY G,et al.Crowd-sourcing the identification of studies for COVID-19-relatedCochrane Rapid ReviewsJ.Research synthesis methods,2022,13(5):585-594.21 NOEL-STORR A H,REDMOND P,LAM G,et al.Crowdsourcingcitation-screening in a mixed-studies systematic review:A feasibil-ity studyJ.BMC medical research methodology,2021,21(1):1-10.22 THOMAS J,NOEL-STORR A,MARSHALL I,et al.Living system-atic reviews:2.Combining human and machine effortJ.Journal ofclinical epidemiology,2017,91:31-37.23 NAKATSU R T,GROSSMAN E B,IACOVOU C L.A taxonomy ofcrowdsourcing based on task complexityJ.Journal information sci-ence,2014,40(6):823-834.24 PRPIC J,SHUKLA P P,KIETZMANN J H,et al.How to work acrowd:Developing crowd capital through crowdsourcingJ.Businesshorizons,2015,58(1):77-85.25Towards an integrated crowdsourcing definitionJ.Journal informa-tion science,2012,38(2):189-200.26HOSSEINI M,PHALP K,TAYLOR J,et al.The four Pillars ofcrowdsourcing:A reference modelC/2014 IEEE Eighth Interna-tional Conference on Research Challenges in Information Science(RCIS).Piscataway,NJ,USA:IEEE,2014:1-12.ESTELLS-AROLAS E,GONZLEZ-LADRN-DE-G