心理学研究中预注册的现状、挑战与建议.pdf

心理科学进展 2024,Vol.32,No.5,715727 2024 中国科学院心理研究所 Advances in Psychological Science https:/doi.org/10.3724/SP.J.1042.2024.00715 715 研究方法(Research Method)心理学研究中预注册的现状、挑战与建议 赵加伟1,2 夏 涛3 胡传鹏4(1北京师范大学认知神经科学与学习国家重点实验室,北京 100875)(2中国人民大学统计学院,北京 100872)(3香港大学心理学系,香港 999077)(4南京师范大学心理学院,南京 210024)摘 要 心理学研究者采用预注册的新型研究实践以应对出版偏倚等问题,包括未经同行评审的预注册、经过同行评审的注册报告和注册重复报告。诸多主流国际期刊采纳了注册报告,预注册平台和模板也趋于成熟。但预注册和注册报告也存在争议,为检验其效果,研究者对预注册与注册报告进行了元研究,结果发现注册报告有助于解决出版偏倚和提升研究整体质量;而未经同行评审的预注册则达不到类似的效果。采纳预注册与注册报告,提高研究的可重复性、开放性与严谨性,需要研究人员、学术机构与出版机构的共同努力。关键词 预注册,注册报告,注册重复报告,可重复性,开放科学 分类号 B841 1 引言 可重复性(Reproducibility)是评估研究结果是 否科 学 可 靠的 重要 标 准之 一(Open Science Collaboration,2015;Platt,1964;Schmidt,2009)。自 Ioannidis(2005)指出“大量已发表的研究可能是错的”之后,2011 年由于数据造假、经典实验重复失败等重大事件的广泛传播,可重复性逐渐成为 心 理 学 领 域 关 注 的 热 点 话 题(胡 传 鹏 等,2016)。此后大量的直接重复实验发现,一些重要的研究结论无法得到重复(Klein et al.,2014;Klein et al.,2018;Open Science Collaboration,2015)。针对可重复性危机,研究人员从学术研究全周期(提出明确假设、研究设计、采集数据、分析数据、解释结果到文章发表)角度,对其成因进行了众多反思。可重复性危机可能的原因包括如下(可见图1)：低统计功效(Low Statistical Power)(Button et al.,2013;Sedlmeier&Gigerenzer,1992)、p-Hacking(Simmons et al.,2011)、HARKing(Hypothesizing After the Results are Known)(Kerr,收稿日期:2023-09-04 通信作者:胡传鹏,E-mail: 1998)、出版偏倚(Publication Bias)(Fanelli,2010;Franco et al.,2014)、缺乏数据共享(Wicherts et al.,2011;Wicherts et al.,2006)和缺乏重复(Makel et al.,2012)。在以上诸多原因中,出版偏倚不仅与论文发表直接相关,而且通过当前的评估体系间接地影响到研究的全流程,因此备受研究者的关注。出版偏倚指的是在论文发表中,期刊编辑与审稿人均偏好阳性结果的倾向。为从发表端解决出版偏倚及其相关的问题,研究者建议在实验开始之前,将研究计划进行公开登记注册,后续实验和结果分析过程中严格地按照预注册内容实施。这一做法来源于医学中临床试验的注册,但又有不同,被称为预注册(Pre-registration)。预注册不仅能够避免出版偏倚的问题,也能够在一定程度上避免和解决 p-Hacking、HARKing 和低统计功效等问题(Chambers,2019;Nosek&Lakens,2014;Nosek&Lindsay,2018;Soderberg et al.,2021;Wagenmakers&Dutilh,2016)。首先,预注册有助于减少出版偏倚。如前所述,阳性和显著的研究结果更容易被发表,而阴性或非显著的结果则往往被忽视(Franco et al.,2014),在心理学中尤其严重(Fanelli,2010)。出版 716 心 理 科 学 进 展 第 32 卷 图 1 可疑的研究实践(Questionable Research Practices)(改编自:Munaf et al.,2017)偏倚对科学有多方面的负面影响：(1)由于大部分发表的研究是显著和阳性的,已发表论文所呈现的结果是对真实科研结果的不完整代表;(2)由于期刊和审稿人偏好阳性结果,研究者可能进行自我审查,很少将阴性结果整理成完整的文章,因而减少对阴性结果的探索和进一步挖掘(Franco et al.,2014),有错失重要科学发现的风险;(3)在当前“不发表就出局”的文化下,研究者可能会通过 p-Hacking,HARKing,甚至造假来让结果“变得”显著,进一步增加了文献中的假阳性率。注册报告(Registered Reports,RRs,见后文中与预注册的区别)在获得结果前已经被原则上接受(In-principle Acceptance,IPA),只要研究项目按照既定计划进行,则该研究大概率被接收,避免了结果对是否发表的影响,从而有利于减少出版偏倚对科学研究过程的影响。其次,预注册可减少 p-Hacking 和 HARKing的可能性。如上所述,研究者可能为了得到阳性结果而对数据进行“塑形”,即 p-Hacking。如,研究者可能通过数据筛选、统计测试和多次比较等方法让结果“变得”显著(John et al.,2012;Simmons et al.,2011)。HARKing 则是指在完成数据分析后,根据结果提出假设,并将其当作看到数据前的假设进行呈现(Kerr,1998),使其结果看起来是支持其研究假设的。在预注册中,研究者在数据收集和分析前已经公开其研究假设、数据采集和分析计划,从而降低上述两种可疑实践的概率。最后,预注册也可能会加强研究本身在方法上的严谨性(Chambers,2013)。由于预注册需要有完整的方案,因此会迫使研究者在收集数据前对研究问题、研究假设和预期进行严格的审视,研究者需要投入更多的时间和精力思考其方案,因此可能增强其方法的严谨性。例如,可重复性危机后,小样本量会导致统计功效不足的消极后果为主流学界所重视(如 Button et al.,2013),预注册中通常要说明样本量的合理性,这将有助于提高研究的统计功效。此外,注册报告中的透明化意味着研究者可能需要将实验材料、分析代码、原始数据等提交并准备好公开共享(Soderberg et al.,2021)。这意味着研究者要为公开数据做准备。为了避免其他研究者在公开的数据中找到问题而带来的声誉上的损失,研究者可能会更加严谨地检查数据,提高研究严谨性。总之,预注册带来的公开与透明也将推动研究严谨性的提升。除了以上这些优势,预注册也更加合乎科学研究的伦理要求。公开的预注册不仅确保了研究的合法合规、透明与可溯源,同时减少重复实验和避免不必要的人体实验,以充分尊重和保护被试的相关权益(Gliklich et al.,2014)。因此,预注册实践受到了研究者的推荐,越来越多的学术期刊和组织开始鼓励预注册(Chambers,2013,2019;Hardwicke&Ioannidis,2018;Mellor et al.,2019;Nature Editorial,2023;Nosek&Lindsay,2018;Simmons et al.,2021)。但这一实践较为新颖,且与传统的研究实践有较大的区别,也引起不少研究者的质疑与反对(Pham&Oh,2021;Szollosi et al.,2020)。预注册自 2013 年起,已经有 10 年历史,积累了不少实证数据,使得我们能够更客观评估这些新型实践带来的影响。有鉴于此,本文首先介绍了预注册的三种类型、预注册的步骤和注册报告的评审流程。同时回顾了预注册现状、争议、挑战及对其的实证评估,并在此基础上对预注册这种新形式进行展望。第 5 期 赵加伟 等:心理学研究中预注册的现状、挑战与建议 717 2 预注册 2.1 预注册类型 广义上预注册包括三种类型：狭义上的预注册、注册报告和注册重复报告(Registered Replication Reports,RRR),三者都与研究项目的注册过程有关(Lindsay et al.,2016),但它们在目的和时间上有所不同。狭义上的预注册,又称未经审核的预注册(Unreviewed Pre-registration),即在收集数据之前的研究方案不被同行评审。在进行研究之前,作者尽可能详细地描述研究计划(包括研究问题、假设、方法及分析方法等),并将这些计划保存在带有时间戳、不可编辑的档案中。该档案可以在后续的投稿过程中与评审人、编辑和其他研究人员共享。注册报告,又称审核的预注册(Reviewed Pre-registration),即在收集数据之前,由同行评审根据研究问题和方法进行审查。注册报告是期刊的一种文章类型(Nature Editorial,2023),作者在收集数据之前向目标期刊提交详细的研究计划,由期刊组织对研究计划进行评审。如果研究问题与方法通过了编辑与审稿人的评审,则期刊可以决定在原则上接受该研究。当研究者依照研究计划完成数据收集和分析与文章撰写后,期刊再次对完整稿件进行审稿,在是否遵循研究计划的基础上决定是否正式接受论文(见 2.3 注册报告的审稿流程)。截止目前,超过 300 种期刊采用注册报告出版的形式(见 www.cos.io/initiatives/registered-reports)。注册报告的一个最新发展是 2021 年出现的“注 册 报告 中 的 同 行 社 区(Peer Community In Registered Reports,PCI-RR)”。在这种新型的注册报告中,作者可以将研究计划提交给 PCI-RR 这个社区进行评审,而不是某个特定的期刊。社区的推荐人(Recommender)将与传统期刊编辑一样,寻找审稿人并根据审稿人的意见决定是否推荐该研究方案。如果被推荐,那么作者可以继续进行数据收集,并撰写完整稿件。完成稿件撰写后,作者从认可 PCI-RR 推荐的期刊中选择合适的期刊进行发表,该期刊将不再对注册报告进行评审。PCI-RR 既保留了注册报告中的同行评审过程,也给了作者更大的自由度。此外,PCI-RR 根据作者是否有查看数据的情况,对注册报告进行了分级,使得对已有数据的再次分析也被纳入到注册报告的范围。因此 PCI-RR 也被称为注册报告 2.0(Feldman,2022)。注册重复报告是一种特殊的注册报告,目的在于直接重复先前发表的一个或多个原始研究的结果,尤其是有重大影响的结果。与注册报告相同,重复注册报告方案在数据收集前需经过同行评审和接受。为了保证重复注册报告结果的稳定性,作者可以在研究方案原则上被期刊接受后,招募更多的团队共同进行重复研究,所有参与的团队均需遵循相同的注册计划,所有数据将整合后共同发表。当前,注册重复报告由心理科学展望(Perspectives on Psychological Science)期刊提出,是 ManyLabs 项目(Klein et al.,2014;Klein et al.,2018)和 心 理 科 学 加 速 器(Psychological Science Accelerator,PSA)进行重复研究时主要形式(Jones et al.,2021)。总之,狭义上的预注册是指在数据收集开始前对研究进行注册的过程,而注册报告和注册重复报告则需要由特定期刊或平台对预注册方案进行评审并决定是否在原则上接受,是一种新型出版类型。注册报告通常需要公开预注册过程,而预注册却不一定要选定期刊或平台进行评审。预注册、注册报告和注册重复报告之间的关联与区别见图 2。2.2 预注册的内容与流程 对一项未来的研究进行预注册,作者需要将研究计划提交到相应的注册平台或机构。根据注册平台和研究类型的不同,在预注册的过程需要提供的信息也会有所差异,随着预注册的成熟,已经形成了诸多关于预注册的模板。通常,各个预注册模版中包括基本的研究信息、设计方案、抽样计划、变量设置和分析计划等内容。下面以开放科学框架(Open Science Framework,OSF)在线平台预注册为例进行模版简要说明(Mellor et al.,2019),预注册模版大纲内容可见图 3A,详细模版说明与填写步骤图文介绍可见在线补充材料(www.osf.io/ju2sx)。718 心 理 科 学 进 展 第 32 卷 图 2 预注册、注册报告与注册重复报告之间的关联与区别(改编自:Chambers,2017)图 3 预注册模版和注册报告评审流程。(A)OSF 平台预注册模版内容;(B)注册报告提交和评审流程(改编自:Chambers et al.,2014)第 5 期 赵加伟 等:心理学研究中预注册的现状、挑战与建议 719 研究信息部分包括标题、作者、研究概述和研究假设。设计方案部分需描述研究的类型、盲法(Blinding)及设计细节,这部分需界定研究类型：干预实验(包括随机对照实验)、观察性研究(包括调查、自然实验)、元分析或其它类型的研究。抽样计划部分需说明数据收集程序、样本数量及终止数据收集规则。变量设置部分需描述将在验证性分析计划中使用的所有变量(包括操作变量和测量变量)、变量水平及操纵方式。分析计划部分包括统计模型、推断标准、数据排除、缺失数据及探索性分析。除以上内容,如果预注册中需要补充额外信息,比如参考文献、其它相关工作等,这些都可以描述在预注册中。其它预注册模版的描述和网址可见表 1,比如“预见”心理学预注册平台模版、定性研究的预注册模板、fMRI 研究的预注册模板等。表 1 预注册模版简介与网址 序号 名称 描述 网址 1 OSF 预注册 OSF 标准、全面及通用的预注册模版。www.osf.io/preprints/metaarxiv/epgjd 2 AsPredicted 预注册 AsPredicted 平台的预注册模版。www.osf.io/fnsb6 3“预见”心理学预注册 支持心理学中英文预注册,包含预注册简洁模板、通用模板、质性研究模板和量化研究模板。 4 PRP-QUANT 预注册 美国心理学会(APA)、英国心理学会(BPS)和德国心理学会(DGPs)联合制定的心理学预注册定量模版。doi.org/10.23668/psycharchives.4584 5 定性预注册 注册定性研究的模版。www.osf.io/w4ac2 6 fMRI 预注册 fMRI 研究项目的预注册模版,并提供fMRI 预注册常见困难的指导建议。www.osf.io/e4wqj 7 EEG ERP 预注册 脑电研究项目的预注册模版,研究人员可以使用和/或调整模版内容,使其更具有适用性。www.osf.io/preprints/metaarxiv/4nvpt 8 fNIRS 预注册 fNIRS 研究项目的预注册模版,该指南重点关注 fNIRS 的具体要求,包括 CW设计项目、基于任务研究等。doi.org/10.1117/1.NPh.10.2.023515 9 社会心理学预注册 预注册一项研究报告,概述假设、方法和分析计划。www.osf.io/ce3hr 10 广义系统综述 预注册系统综述和元分析的研究项目。www.osf.io/preprints/metaarxiv/3nbea 11 二手数据预注册 使用现有数据集进行预注册研究项目。www.osf.io/jqxfz 12 认知模型(模型应用)使用认知模型作为测量工具来测试有关认知模型参数假设的研究项目。 13 开放式注册 注册带有研究时间戳快照的项目摘要,如注册已完成项目的数据或材料。www.osf.io/haadc 14 OSF 标准数据收集前注册 是否已收集或查看数据以及其它相关评论,如预分析计划作为文档上传到 OSF。www.osf.io/9j6d7 15 重复方法：预注册 注册一项重复研究,包含一系列有关原始研究的问题。www.osf.io/4jd46 16 重复方法：已完成 完成重复研究后,注册重复研究并提出有关重复结果的问题。www.osf.io/9rp6j 17 注册报告协议预注册 在注册报告期刊“原则上接受”后进行注册协议。www.osf.io/gm36s 18 开放式统计实验室和项目层 适合缺乏预注册研究经验的研究人员。www.osf.io/fjy79 720 心 理 科 学 进 展 第 32 卷 预注册方案在平台上完成提交后,即被保存为静态网页存档,并打上时间戳,作者无法对已经提交的内容进行修改。但根据平台的功能设置,研究者可能可以更新或者撤回预注册。此外,根据平台的功能设置和作者的选择,提交的预注册方案可以立即公开,也可以在保密一段时间后再自动公开。2.3 注册报告评审流程 如前所述,注册报告获知结果前进行同行评审,是假设演绎式科研的最佳范式(Chambers et al.,2014)。与传统研究不同,注册报告出版格式将传 统 的 同 行 评 审 一 分 为 二(Chambers,2019;Chambers et al.,2014)。在第一阶段,作者需要提交初始稿件,稿件内容包括引言、方法、拟定的分析流程,以及任何让研究计划变得更具有可操作性的预实验数据(Pilot Data)和对预实验数据的分析。编辑和审稿人对提交的研究方案进行评审,主要检查其研究问题的科学或应用价值以及研究方法的适切性和严谨性。第一阶段审稿后可能被拒稿。如果审稿人和编辑认为研究计划能够被原则上接受或者修改后原则上接受,则作者根据评审意见对研究计划进行修改,直到被原则上 接 受(Chambers,2013,2019;Hardwicke&Ioannidis,2018;Nosek&Lakens,2014)。这意味着只要作者按照批准的方案进行研究,期刊承诺发表最终论文。在第二阶段,作者根据原方案完成研究后,需要提交完整稿件,期刊再次邀请原来的审稿人对稿件进行评审。稿件涵盖先前初始稿件中的引言、方法及数据分析计划,完成研究后的结果和讨论。结果部分需要包括预注册方案中的验证性分析结果。值得注意的是,结果中可以增加探索性分析结果,但此部分需要明确标注。本阶段的审稿中,审稿人主要评估研究过程是否按照计划进行(如有偏离,偏离是否合理)、结果推断是否准确、讨论是否合理等。完整稿件通过同行评审后,则无论研究结果是否显著,稿件都会被期刊接收和发表(Chambers,2013)。注册报告两阶段审稿流程与细节见图 3B。3 预注册发展态势、争议与挑战 3.1 预注册的发展态势 在医学临床试验开始前的注册具有强制性(de Angelis et al.,2004),注册报告则是心理学家将这种做法移植于期刊发表的出版形式创新(Simmons et al.,2021;Spitzer&Mueller,2021)。Wagenmakers 等(2011)率先在个人网站上发布预注册文档。此外,也有研究者通过公开邮件来公开预注 册 文 件。2012 年,注 册 报 告 首 次 被 提 出(Chambers&Tzavella,2022)。紧接着,Cortex 杂志邀请 Chambers 成为推动注册报告这一新型文章类型的主编,于 2013 年成为第一个正式提供注册报告的期刊(Chambers,2013)。为鼓励研究人员进行开放科学实践,Psychological Science 杂志在2014 年创新性地为文章提供预注册、开放数据及开放材料的徽章(Eich,2014)。同时,开放科学运动也积极推荐预注册和注册报告。例如,2015 年 6月,86 家期刊和 26 个组织签署透明度和公开性促进 指 南(Transparency and Openness Promotion Guidelines),该指南提出包括预注册在内的透明度、开放和可重复的标准用于对学术期刊和组织进行评估(Nosek et al.,2015)。在这一大背景下,更多的平台开始提供预注册,如 OSF、AsPredicted、PROSPERO、Foreknowledge、ZPID 等(见表 2)。这些平台的出现和持续改进,极大地推动了预注册的实践。根据 OSF 官网提供的注册数据信息显示,全球开放科学实践快速增长。在预注册总数方面,从2012年的仅有38个注册数量增加到1万例,用了 5 年(2017 年累计预注册 12090 例)(Nosek&Lindsay,2018)。而到 2020 年,3 年时间累积预注册突破 5 万例*。两年后,预注册增长非常惊人,2022年OSF上注册量超过10万例(Pfeiffer&Call,2022)。在一项抽样调查中,44%的心理学研究人员表示自己预注册过一个假设或分析(Christensen et al.,2019)。在接受注册报告的期刊数量上,已超过300 种期刊支持注册报告*,其中心理学期刊有Psychological Science、Developmental Psychology、Journal of Experimental Social Psychology、Collabra:Psychology 等。Nature 旗下与心理学相关的期刊 Nature Human Behavior、Nature Communications 均已接收注册报告。自 2023 年起Nature 正刊也开始接受这种新的出版形式,旨在 *OSF 预注册总数数据来源：https:/www.cos.io/timeline*注册报告期刊信息来源：www.cos.io/initiatives/registered-reports 第 5 期 赵加伟 等:心理学研究中预注册的现状、挑战与建议 721 表 2 注册平台特点与适用领域 注册平台 特点 适用领域 网址 OSF(Open Science Framework)可用于共享数据、研究工作流程和开放评审;提供某些项目的公共和私人访问选项;支持多样化的研究类型,如实验研究、观察研究、调查研究等;提供与第三方服务的嵌入式集成;具有良好的团队协作功能。多学科 多领域 www.osf.io AsPredicted 建立相对简单,适合快速预注册;可以创建私有项目或公开项目;支持多种预注册模板;必须在提交数据之前进行预注册;可以更改预注册计划,但必须提供更改说明。多学科 多领域 www.aspredicted.org PROSPERO 收录前瞻性注册的系统综述数据库;优先注册 COVID-19方案;仅接受未开始数据收集前的注册方案;不建议进行小型综述或其它培训练习的注册方案。多学科 多领域 www.crd.york.ac.uk/prospero Foreknowledge“预见”心理学预注册平台;提供中英文 4 种预注册模版：心理学预注册简洁模板、心理学预注册通用模板、心理学质性研究预注册模板和心理学量化研究预注册模板。心理学领域 ZPID 莱布尼茨心理学研究所提供的开放心理学预注册平台;每个预注册均会分配带有时间戳的 DOI 并支持引用;提供信息检索、研究计划、数据收集、存档及出版相关服务。心理学领域 prereg-psych.org/index.php/rrp REES(Registry of Efficacy and Effectiveness Studies)教育及相关领域因果推理研究的数据库;注册方案包括 8个部分;支持一系列研究设计,包括随机实验、准实验设计、断点回归设计和单例设计;支持内容检索和导出功能。教育学领域 sreereg.icpsr.umich.edu/sreereg ClinicalTrials.gov 注册临床试验、干预措施和科学机构信息;提供公共可访问的搜索、结果和其它信息;提交预注册的试验必须遵循美国食品和药物管理局(FDA)和国际委员会(ICH)的规定和法规。医学和 临床研究 www.clinicaltrials.gov ISRCTN(International Standard Randomised Controlled Trial Number)WHO 和 ICMJE 认可的临床试验注册中心;接受所有临床研究;数据库中的所有研究记录都可以免费访问和搜索;预注册必须遵循国际标准,如 CONSORT。医学和 临床研究 AEA(American Economic Association)RCT Registry 针对经济学领域的研究,如经济政策评估、行为经济学、发展经济学等;强调随机对照试验(RCT)设计;允许存储公开的 RCT 相关的附件,如文章、数据和代码等。经济学 领域研究 www.socialscienceregistry.org EGAP(Evidence in Governance and Politics)针对影响全球发展的政策问题,如政策评估、政治经济学、政治心理学等;鼓励开放性原则的强制性;鼓励大规模、多中心试验。政策和 政治研究 www.egap.org RIDIE(Registry for International Development Impact Evaluations)针对国际发展影响评估的研究;注册所有实验和准实验研究,而不仅仅是 RCT;重点关注低收入和中等收入国家的评估;遵循国际发展评估的最佳实践和标准,如世界银行的影响评估组指南。国际发展影响评估的研究 www.ridie.3ieimpact.org 鼓 励 严 谨 性 和 可 重 复 性 的 科 学 研 究(Nature Editorial,2023)。由此可见,开放科学正在成为全球共识,预注册在心理学以及其他专业领域逐渐被 广 大 研 究 人 员 认 可 与 实 践(Simmons et al.,2021)。3.2 预注册的争议与挑战 预注册作为一种新的论文发表实践,自提出之日起就受到关注,既有坚定的支持者,也引发了许多批评(Pham&Oh,2021;Szollosi et al.,2020)。这些批评大致上可以分成两类：基于误解的批评与真正的挑战,见 Chambers 和 Tzavella(2022)的表 1。基于对预注册的误解而提出的批评又可以分成两类。第一类是对预注册实践的误解;第二类722 心 理 科 学 进 展 第 32 卷 是对预注册拟解决问题的误解。对预注册实践的误解中,影响力最大的一个是认为预注册降低了研究的灵活性(Chambers,2019)。对没有预注册经验的心理学研究者的调查发现,54.26%的回应者担心预注册灵活性低(Spitzer&Mueller,2021)。主要的误解在于：研究者误认为预注册完成后所有的内容均不能进行修改和更新,从而认为这种实践会约束了研究者进行探索的可能性。实际上,预注册或注册报告均未限制研究者的灵活性与创新性,也不否定探索性研究的价值与意义。预注册真正提倡的是区分验证性与探索性研究(Nosek et al.,2019)。例如,在开展实验前,研究者有着明确的研究假设,完成数据收集后,分析数据直接去验证研究假设是否得到支持。这种模式属于验证性研究。但也有可能,研究者还想对数据进行进一步探索,去检验一些看到数据后所产生的新想法,这部分数据分析属于探索性的。注册报告或预注册并不禁止研究者进行探索性分析,只是要求将探索性分析得到的结果与验证性结果区分开来,或者对探索性分析得到的结果进行再次注册,继续进行新的验证性研究(Chambers,2019)。要鼓励研究者的探索性研究,需要重视探索性研究,而非将其包装为验证性的结果。因此,部分期刊引入“探索性报告”的新文章类别,作为注册报告的补充,如 Cortex(McIntosh,2017)。对预注册拟解决问题的误解也存在广泛的影响。有研究者认为,预注册无法解决造假的问题。通常被提及的情景是：研究者在收集完数据并且分析数据之后,再进行预注册。这种误解之处在于,预注册并非为了解决造假问题而产生,而是为了避免出版偏倚对科学论文的消极影响。要解决造假的问题,需要更具有强制约束力的措施。从某种程度上讲,预注册所带来的研究过程的透明性,实质有助于揭发学术失信行为,但这是其副产品而非其目的。另一个对预注册的误解在于假定预注册为了有效地解决可重复性问题而产生。尽管预注册在很大程度上减少了可疑的研究实践(Chambers,2019;Nosek&Lakens,2014;Soderberg et al.,2021),但是可重复性问题的解决并非单靠预注册能解决的,还需要其它措施和实践(见 Nosek et al.,2022)。还有一些批评者则指出了预注册本身面临的挑战。一个明显挑战在于预注册比传统形式更为耗费时间(Allen&Mehler,2019;Simmons et al.,2021;Spitzer&Mueller,2021)。对于研究生或博士生来说尤其如此,因为他们在校学习的时长有限。由于预注册将大量的时间提前在数据收集之前的阶段,而当前的研究训练并未让研究者对这种方式做好准备,因此,这是当前预注册和注册报告进行推广的真实障碍(Allen&Mehler,2019)。当审稿人不理解注册报告这种形式时,第一阶段的审稿过程还可能变得更加漫长。这一挑战将学术共同体与单个研究者的利益对立起来,因为对于学术共同体作为一个整体来说,注册报告可能意味着更有效的时间与资源的投入。在传统模式中,一篇论文可能经过多次拒稿后才会被发表,每次拒稿均意味着编辑和数位审稿人的审稿时间投入。且由于数据已经收集,实验设计中的缺陷无法在审稿中纠正,因此实验设计的缺陷也浪费了资源。但在注册报告中,通常第一阶段审稿时审稿人和编辑会对设计进行反馈,避免有缺陷的实验计划的实施,减少资源的浪费。且根据认知神经科学期刊 Cortex 数据显示,注册报告在第一阶段审稿中的接收率在 90%左右,这是常规文章的两倍多;第二阶段的接收率为100%,没有退稿(Chambers,2019)。因而,相比传统出版方式,注册报告让学术共同体的时间与资源得以更有效地利用,但对于个体研究者来说,却需要比传统研究实践更长的准备时间。如何将学术共同体的利益与每个参与其中的个体研究者的利益进行匹配,是预注册和注册报告面临的重大的挑战。从目前来看,比较有效的做法是进行更多的培训与提供更完善的模板,减少预注册的时间成本,或者进行团队协作,由团队的不同成员分别负责不同项目中的环节。4 预注册的有效性 心理学中预注册与注册报告的已有近 10 年的历史,且有大量的预注册和注册报告发表,使研究者有机会检验预注册的有效性。Conry-Murray 等(2022)通过对研究者、专业领域的从业者和本科生进行调查,让他们对不同的研究总结进行可信度评分,结果发现当呈现的研究总结中提到预注册时,不同群体的被试均给出更高的可信度评分。这个结果显示,预注册可以增加人们对研究的信任。但是预注册和注册报告是否真正第 5 期 赵加伟 等:心理学研究中预注册的现状、挑战与建议 723 地减少了出版偏倚以及其他可疑的研究实践(如HARKing、p-Hacking 等),还需要从实证角度进行验证。对不同领域 127 篇的注册报告研究进行分析发现,在 296 项假设中有 60.5%没有得到数据的支持,这个比例是传统文章的 5 倍(Allen&Mehler,2019)。而在心理学领域,有研究者发现,仅 44%的注册报告证实研究假设,传统文章则高达 96%(Scheel et al.,2021)。这些结果表明,预注册和注册报告确实减少了阳性结果的比例,可能减少了出版偏倚的影响。注册报告也有助于提升研究的质量(Spitzer&Mueller,2021)。有研究者邀请 353 名专家对已发表的注册报告和传统模式的论文从 19 项特征(如新颖性、创新性和严谨性等)进行评分,结果发现注册报告在每个指标上都优于非预注册(Soderberg et al.,2021),尤其是在方法严谨性和整体文章质量这两个方面。对无评审的预注册的实证研究则表明,预注册的质量参差不齐。van den Akker 等(2023)对 459项预注册及其对应的发表论文进行了比较,发现52%的预注册中的研究假设在发表时被忽略,57%的发表论文中增加了新的研究假设,18%的发表论文中对假设的方向进行了修改。但是没有足够的证据表明增加假设或者修改的假设比那些未报告的假设更有可能是显著的。van den Akker 等(2023)比较了美国开放科学中心的预注册挑战中的 193 项心理学研究,并未发现预注册的研究有更低的阳性结果、更小的效应量或者更少的统计错误。但确实发现预注册的研究中,更多的做了统计检验力分析并且通常有更大的样本量。此外,预注册的研究与未预注册的研究在发表周期或者影响力上也没有区别。无评审的预注册研究之所以未表现出注册报告的优势,有可能是因为审稿人或者编辑未对预注册与论文稿件进行比较,Syed(2023)对 PLOS One 上 201 篇有预注册稿件的审稿过程进行分析后发现,只有 18%的审稿人/编辑提及预注册,5%的审稿人/编辑会访问预注册链接,3%的审稿人/编辑会讨论预注册与稿件之间的关系。总之,已有的研究发现,注册报告作为由编辑与审稿人共同把关的预注册形式,从实证数据来看,一定程度上减小出版偏倚的影响,同时也加强了研究的质量。但是没有同行评审的预注册则并未达到应有的效果,其中一个重要的原因可能在于编辑与审稿人较少地与预注册方案进行比较。5 预注册未来发展方向与建议 在对可重复性问题的反思中,研究者意识到了出版偏倚等问题的危害,并提出预注册和注册报告来解决其中的部分问题。这一解决方案一直被误解并饱受争议。但从实践来看,在研究者和审稿人的共同努力下,注册报告及其新形式 PCI-RR 能够实现预注册所预期的目的。与之相反,无评审的预注册,则可能流于形式主义。当审稿人和编辑不对比正式稿件与预注册方案之间的异同时,无论在心理学(Macnamara&Burgoyne,2023;Syed,2023),还是在医学临床试验(Jones et al.,2015)中,预注册的作用都会失效。如何推进预注册在未来的发展中发挥更积极的作用,需要研究人员、学术机构及出版机构三方共同努力。5.1 研究人员 研究人员需要传播、认识与尝试预注册,了解其价值和优势,意识到透明度和可重复性对科研的重要性。研究者可以将预注册的重复实验纳入心理学课程,加强学生对于可重复性危机的理解,从而培养下一代研究者对新形式的接受度(胡传鹏,2019)。研究者在有条件的情况下,也可以尝试注册报告等形式,避免本领域重要的阴性结果因为出版偏倚而被埋没(Baxter&Burwell,2017)。从国际心理学界来看,心理学研究者是积极践行预注册的先锋(Nosek&Lindsay,2018),国内同行在未来也可能处于领先位置。其次,研究人员未来可通过研讨会等方式,提高自己的预注册技能与知识,更好地设计和执行研究(Nosek et al.,2018)。同时,积极参与对预注册实践这种新形式的改进,从而塑造未来的科研出版形式。例如,加入开放科学社区或开放科学中文社区(Jin et al.,2023),与其他研究人员交流经验和分享最佳实践。当研究者作为审稿人与编辑时,仔细审阅注册文档,对比其与正式稿件的差异,不仅能给作者提供相关的专业意见,也能监督预注册的执行程度,增强研究的透明度。5.2 学术机构 学术机构未来可以为研究人员提供更多的支持和资源,帮助他们正确地进行预注册。比如国内 正 在 建 立 的“预 见”心 理 学 预 注 册 平 台724 心 理 科 学 进 展 第 32 卷 (Foreknowledge),从预注册到预印本(Preprint)支持全过程开放。同时,制定相应的政策和规定,