密集追踪研究中测验信度的估计：多层结构和动态特性的视角.pdf

心理科学进展 2024,Vol.32,No.4,700714 2024 中国科学院心理研究所 Advances in Psychological Science https:/doi.org/10.3724/SP.J.1042.2024.00700 700 研究方法(Research Method)密集追踪研究中测验信度的估计：多层结构和动态特性的视角*罗晓慧 刘红云(北京师范大学心理学部,应用实验心理北京市重点实验室,心理学国家级实验教学示范中心(北京师范大学),北京 100875)摘 要 随着密集追踪研究在心理学等社会科学领域的广泛运用,密集追踪情境中测验信度的估计也受到越来越多研究者的关注。早期沿用横断研究中信度估计思想或基于概化理论的信度估计方法存在诸多局限,并不适用于密集追踪的情境。针对密集追踪数据的多层结构和动态特性这两大特点,可基于多层验证性因子分析、动态因子分析和动态结构方程模型估计密集追踪研究中测验的信度。通过实证数据的演示与比较,讨论三种估计方法的特点和适用情境。未来研究可基于其它密集追踪模型探讨测验信度的估计,也应重视测验信度的检验与报告。关键词 密集追踪研究,信度,多层结构,动态特性,动态结构方程模型 分类号 B841 1 引言 近年来,密集追踪研究(intensive longitudinal study)在心理学、教育学和管理学等社会科学领域中得到了越来越广泛的运用(Mielniczuk,2023;Hamaker&Wichers,2017;Zhou et al.,2021)。这类研究通常采用日记法、经验取样法和生态瞬时评估等方法(Bolger et al.,2003;Bolger&Laurenceau,2013;Shiffman et al.,2008)收集个体在自然情境中多个时间点的数据(如,20 个时间点以上;Collins,2006),相比于传统的回顾性调查和实验室研究,具有低回忆偏差和高生态效度等优势(Bolger et al.,2003;Shiffman et al.,2008;Trull&Ebner-Priemer,2013)。更重要的是,次数较多且频率较高的密集追踪数据能更精细地捕捉到个体的行为和状态随时间的变化,帮助研究者更深入地探索变量的动态变化过程和变量间的相互作用机 收稿日期:2023-08-29*国家自然科学基金项目(32071091)。通信作者:刘红云,E-mail: 制(郑舒方 等,2021;Hamaker&Wichers,2017;Zhou et al.,2021)。虽然密集追踪研究能帮助研究者探索和回答更丰富的研究问题,但它也带来了许多研究方法上的挑战(Hamaker&Wichers,2017),密集追踪情境中变量的测量和测验的评估就是其中之一(Mielniczuk,2023)。以往有大量密集追踪研究采用自我报告的方式测量个体在日常情境中的行为和状态。研究者们通常通过从相应变量的特质测验中选取一道或几道题目并进行一定的改编(如,加入“今天”或“从上次填答至今”等时间提示)来测量该变量的动态变化过程。然而,大部分这类研究都没有对研究所用测验的信度等心理测量学属性进行合理、充分的评估(Stone et al.,2023)。Brose等人(2020)综述了 20052017 年 9 月发表在Emotion 杂志的 50 篇情绪相关密集追踪研究的文章并发现,有 29 篇文章报告了测验的信度,其中仅 10 篇文章明确提到信度的估计基于个体内水平的变异。而在 Trull 和 Ebner-Priemer(2020)对20122018 年发表在心理病理学主要期刊的 63 篇密集追踪研究文章的综述中,仅 30%的文章报告第 4 期 罗晓慧 等:密集追踪研究中测验信度的估计：多层结构和动态特性的视角 701 了研究所用测验的心理测量学信息(如信度和效度)。此外,Horstmann 和 Ziegler(2020)对 24 篇关于人格状态的密集追踪研究的梳理发现,大部分研究仅通过将人格特质测验中的题目或形容词转换到状态情境来测量人格的动态变化,而并未预先检验这些测验的信效度,且这些研究中最常见的信度估计方法是先计算每个个体每道题目在所有时刻的平均分,再对整个群体计算题目间一致性作为测验信度的估计。然而,这种方法无法体现人格状态分数的可靠性,并不适用于密集追踪的情境(Horstmann&Ziegler,2020)。考虑到测验信度的评估是数据分析和结果报告的关键步骤,也是衡量研究结果可靠性的重要依据(叶宝娟 等,2012;Scherer&Teo,2020),有必要针对密集追踪研究的数据特点,提出并采用适宜的信度估计方法。对密集追踪情境中测验信度估计的早期探索主要分为两类。一类研究沿用横断研究中的信度估计思想,先对密集追踪数据进行聚合或拆分将其转化为类似横断数据的模式,再采用横断研究中常用的信度估计指标(如,系数)估计密集追踪研究中的测验信度。具体来说,这类研究的信度估计方法包括以下 3 种(Nezlek,2017)：(1)先对每个个体每道题目的所有时刻的分数进行聚合(如,求平均分),再利用这些聚合分数计算测验信度;(2)先将数据按不同时刻进行拆分,再对每个时刻所有个体所有题目的数据分别计算测验信度及其算术平均值;(3)先将数据按不同个体进行拆分,再对每个个体所有题目所有时刻的数据分别计算测验信度及其算术平均值。然而,这些方法都存在一定的局限。比如,第一种方法得到的信度体现的是个体差异分数的可靠性,而非个体动态变化分数的可靠性;第二种方法没有考虑到计算不同时刻的测验信度时用到的被试群体并不相同,得到的多个时刻的测验信度不宜合并;第三种方法忽视了同一个体在不同时刻的作答之间的相互依赖性,这与信度计算中的观测独立性前提假设相违背。综上,这些方法都不适用于密集追踪情境中测验信度的估计。另一类研究基于概化理论(generalizability theory;Cronbach et al.,1963)提出密集追踪研究中测验信度的估计方法。具体来说,这类研究首先通过确定研究中的测量侧面(facet)来考察测量误差的主要来源,然后采用方差分析估计得到归因 于各个测量侧面及其交互作用的方差成分,并基于此计算不同含义的信度。比如,Cranford 等人(2006)认为密集追踪研究中观测分数的变异可以归因于个体、时间和题目这三个测量侧面。随后,他们基于对各个侧面的固定或随机效应的不同假设提出了多种信度计算公式。后续的研究者还将这一方法拓展运用于更多测量侧面的密集追踪情境,并提出了相应的信度计算方法(Schnbrodt et al,2021)。然而,基于概化理论的信度估计方法也存在不足(Scherer&Teo,2020)。比如,这类方法需要满足因子载荷在个体间相等、误差方差随时间不变等较强的假设,而实际数据很难满足这些假设,这就可能导致信度的估计并不准确(Lane&Shrout,2010)。因此,基于概化理论的信度估计方法也不适用于密集追踪的情境,以往研究也建议不要将基于概化理论的信度估计方法应用于追踪研究中(叶宝娟 等,2012)。随着对密集追踪研究认识的不断深化,研究者开始更有针对性地基于密集追踪数据的特点,提出更适用于密集追踪情境的信度估计方法。研究者关注的密集追踪数据的特点主要包括其多层结构和动态特性(Hamaker&Wichers,2017;Lafit et al.,2021)。密集追踪数据的多层结构通常是指密集追踪的多次重复测量(第一水平)嵌套于个体(第二水平)的数据结构;密集追踪数据的动态特性则是指邻近时间点的观测结果并非相互独立,而是存在一定的关联。聚焦于密集追踪数据的上述两大特点,密集追踪情境中测验信度的估计方法也有了新的进展。为了帮助对密集追踪研究感兴趣的研究者更好地了解这类研究中测验信度的估计方法,本文将从密集追踪数据的两大特点(即多层结构和动态特性)出发,首先分别介绍聚焦于多层结构的信度估计方法(基于多层验证性因子分析)和聚焦于动态特性的信度估计方法(基于动态因子分析),然后重点介绍整合了密集追踪数据的多层结构和动态特性的信度估计方法(基于动态结构方程模型)。随后,在实证数据中对这三种信度估计方法进行演示与比较。最后,总结讨论上述三种信度估计方法的特点和适用情境,对相关实践应用提供建议。2 聚焦多层结构的信度估计方法 基 于 多 层 验 证 性 因 子 分 析(multilevel confirmatory factor analysis,MCFA;Geldhof et al.,702 心 理 科 学 进 展 第 32 卷 2014)的信度估计方法聚焦于密集追踪数据的多层结构,在个体内和个体间水平分别估计测验信度,现已广泛运用于发展(Eltanamly et al.,2023;Xu&Zheng,2022)、教育(Hausen et al.,2023;Neubauer et al.,2022)、社会(Di Sarno et al.,2020;Koval et al.,2019)、临床健康(Gerstberger et al.,2023;van der Tuin et al.,2023;Wright et al.,2017)、组织管理(Reis et al.,2016;Schmitt et al.,2017)等心理学领域的密集追踪研究中。基于多层验证性因子分析的信度估计方法对单维和多维测量结构的情况均适用,本文以单维测量结构的情况为例,多维测量结构的情况可参见以往相关研究(Di Sarno et al.,2020;Neubauer et al.,2022;Wright et al.,2017)。当个体内和个体间水平均为单维测量结构时(如图 1),多层验证性因子分析首先将个体 i 的题目 j 在第 t 个测量时间点的观测分数jtiY(j=1,2,q;t=1,2,T;i=1,2,n)分解为个体间成分(jiY)和个体内成分()wjtiY)：()wjtijijtiYYY(1)图 1 多层验证性因子分析模型图 注：本图参考了 Geldhof 等人(2014)补充材料中的图 1。随后,个体内成分被进一步分解为个体内水平的真分数()wjtiS)和误差(jti)：()()wwjtijtijtiYS(2)其中,tiS是个体i在第t个测量时间点的潜在状态因子;()wj是题目 j 在个体内水平的因子载荷,对所有个体相等且不随时间变化;jti是个体 i 的题目 j 在第 t 个测量时间点的随机测量误差(random measurement error),假 设 服 从 正 态 分 布(即,2(0,)jtijN),各个题目的随机测量误差的协方差为零(即,0,()jtij ticovjj)。个体间成分则被进一步分解为截距(j)、个体间水平的真分数()BjiT)和误差(ji)：()BjijjijiYT(3)其中,j是题目j的截距;iT是个体i的潜在特质因子;()Bj是题目 j 在个体间水平的因子载荷;ji是个体 i 的题目 j 的测量误差,假设服从正态分布(即,2(0,)jjiN),各个题目的测量误差的协方差为零(即,(,)0,jij icovjj)。基于上述模型,可以计算各个题目和各个维度在个体内和个体间水平的信度。在个体内水平,定义某个题目的个体内信度为该题由潜在状态因子解释的变异与该题状态成分的变异之比,各个维度的个体内信度为该维度内各题由潜在状态因子解释的总变异与该维度内各题状态成分的总变异之比。将潜在状态因子的方差固定为 1,可以得到各个题目()wjRel)和各个维度()wRel)的个体内信度分别为：()2()()2()()()wjwjwjjtiRelvar(4)2()1()2()11()qwjjwqqwjjtijjRelvar(5)类似地,在个体间水平,定义某个题目的个体间信度为该题由潜在特质因子解释的变异与该题特质成分的变异之比,各个维度的个体间信度为该维度内各题由潜在特质因子解释的总变异与该维度内各题特质成分的总变异之比。将潜在特质因子的方差固定为1,可以得到各个题目()BjRel)和各个维度()BRel)的个体间信度分别为：()2()()2()()()BjBjBjjiRelvar(6)第 4 期 罗晓慧 等:密集追踪研究中测验信度的估计：多层结构和动态特性的视角 703 2()1()2()11()qBjjBqqBjjijjRelvar(7)虽然基于多层验证性因子分析的信度估计方法是密集追踪研究中常用的信度估计方法,但它也存在一定的局限性。比如,这一方法假设各个题目的因子载荷和残差方差对所有个体都相等,故只能得到对个体内水平信度的一个整体评估。然而,这一假设在实际研究中可能并不成立,密集追踪研究中测验信度很可能存在个体间差异(Hu et al.,2016)。此外,基于多层验证性因子分析的信度估计方法没有考虑密集追踪数据中连续观测点之间的时序关系,即忽视了密集追踪数据的动态特性,这可能会影响密集追踪研究中的信度估计结果的准确性。3 聚焦动态特性的信度估计方法 基于动态因子分析(dynamic factor analysis,DFA)的信度估计方法是密集追踪研究中另一种重要的信度估计方法。动态因子分析最初由Molenaar(1985)提出,它在P技术因子分析(P-technique factor analysis;Cattell et al.,1947)的基础上进一步融入时间序列分析,可以对不同的个体建立不同的模型以考察个体特定(person-specific)的动态过程。后来,有研究者将这一方法应 用 于 密 集 追 踪 研 究 中 的 信 度 估 计(Fuller-Tyszkiewicz et al.,2017;Lane&Shrout,2010)。这一信度估计方法能通过考虑变量的自回归过程,体现密集追踪数据的动态特性;还能基于每个个体的数据建立模型,估计个体特定信度,帮助研究者更好地了解不同个体在某个测验信度上的个体间差异。基于动态因子分析的信度估计方法对每个个体分别建立动态因子模型并计算个体特定信度。类似上述,基于动态因子分析的信度估计方法对单维和多维测量结构的情况均适用,本文以单维测量结构的情况为例(多维的情况可参见Fuller-Tyszkiewicz等人(2017)的研究)。个体i的动态因子模型可以分为测量部分和结构部分(如图2)。测量部分的表达式为：jtijijitijtiYF(8)其中,jtiY是个体i的题目j在第t个测量时间点的观测分数(j=1,2,q;t=1,2,T;i=1,2,n);ji是个体i的题目j的截距;tiF是个体i在第t个测量时间点的潜在因子;ji是个体i的题目j的因子载荷;jti是个体i的题目j在第t个测量时间点的测量误差,假设服从正态分布(即,2(0,)jtijiN),各个题目的测量误差的协方差为零(即,(,)0,jtijticovjj)。图 2 个体 i 的动态因子模型 在结构部分,假设潜在因子满足一阶自回归过程,则结构部分可表示为：-1,tiititiFF(9)其中,i是个体特定的自回归效应(autoregressive effect),也被称为惯性(inertia)或滞留效应(carry-over effect),描述了前一个时间点的潜在因子水平对当前时间点的潜在因子水平的影响;ti是个体i的潜在因子在第t个测量时间点的动态误差(dynamic error),假设服从正态分布(即,tiN 2(0,)i)。基于上述模型,可以计算每个个体的各个题目和各个维度的信度。定义某个题目的个体特定信度为该题由潜在因子解释的变异与该题的总变异之比,各个维度的个体特定信度为该维度内各题由潜在因子解释的总变异与该维度内各题总变异之比。个体i的题目j的个体特定信度(jiRel)和各个维度的个体特定信度(iRel)分别为：704 心 理 科 学 进 展 第 32 卷 ()()()jitijijitijtivarFRelvarFvar(10)21211()()()qjitijiqqjitijtijjvar FRelvar Fvar(11)其中,()jitivarF是可以由潜在因子解释的变异,等于潜在因子的方差()tivar F)与因子载荷的平方(2ji)的乘积;()jtivar是不可以由潜在因子解释的变异,即测量误差的变异(即,2ji)。由公式(9)可知,潜在因子的方差(满足下式：2-1,()()()tiititivar Fvar Fvar(12)基于一阶自回归过程的弱平稳假设(weak stationarity assumption),潜在因子的方差随时间不变(即,-1,()()titivar Fvar F),故可将公式(12)改写为公式(13)：22()1itiivar F(13)虽然基于动态因子分析的信度估计方法能估计个体特定信度,还能体现密集追踪数据的动态特性,但它也有一些不足。首先,动态因子分析混淆了观测分数的特质成分(即个体的某一构念在多次观测中的一般水平)和状态成分(即个体的某一构念的某次观测相对其一般水平的偏离),这可能会导致个体特定信度的估计结果有偏差。其次,这种方法忽视了个体间水平的测量结构,无法估计个体间水平的测验信度。此外,仅利用单一个体的重复测量信息而不考虑其他个体或整个群体的信息可能会导致某些个体模型难以收敛,进而无法估计某些个体的信度(可参见Fuller-Tyszkiewicz等人(2017)的研究结果或本文的实证示例)。4 整合多层结构和动态特性的信度估计方法 基于多层验证性因子分析和基于动态因子分析的信度估计方法都只关注了密集追踪数据的部分特点,而Asparouhov等人(2018)提出的动态结构方程模型(dynamic structural equation modeling,DSEM)则为密集追踪数据的多层结构和动态特性的整合提供可能。动态结构方程模型综合了多层模型、时间序列模型和结构方程模型的优势(McNeish&Hamaker,2020)。它能在个体内和个体间水平分别建立因子模型,考虑变量在不同水平的测量结构,以体现密集追踪数据的多层结构;它还能在个体内水平构建变量的自回归过程,考虑连续观测点之间的时间依赖性,以体现密集追踪数据的动态特性。此外,动态结构方程模型采用贝叶斯估计法,相比于传统的多层模型(采用极大似然估计)可以更灵活地估计参数的随机效应(如参数的个体间差异;McNeish&Hamaker,2020;Muthn&Asparouhov,2012),可以像动态因子模型一样估计得到个体特定信度,故也有研究者将其 视 为 动 态 因 子 模 型 在 多 层 情 况 下 的 拓 展(Asparouhov et al.,2018)。总之,动态结构方程模型能同时体现密集追踪数据的多层结构和动态特性,还能考察测验信度的个体差异,有助于研究者更好地估计和理解密集追踪研究中的信度(Xiao et al.,2023)。类似上述的两种方法,基于动态结构方程模型的信度估计方法对单维和多维测量结构的情况均适用,本文以单维测量结构的情况为例(多维的情况可参见Xiao等人(2023)的研究)。对于单维测量结构的构念,常见的两水平动态结构方程模型(two-level DSEM;如图3)首先将观测分数分解为个体间成分(即特质成分)和个体内成分(即状态成分)：()wjtijijtiYYY(14)其中,jtiY是个体i的题目j在第t个测量时间点的观测分数(j=1,2,q;t=1,2,T;i=1,2,n);jiY是个体i的题目j在所有测量时间点的潜均值(即个体间成分),代表变量的特质水平;()wjtiY是个体i的题目j在第t个测量时间点的观测分数与该个体在该题目上潜均值的偏离值(即个体内成分),代表变量的状态水平。然后,对观测分数的个体内成分建立个体内模型(如图3左下部分),包括测量部分和结构部分。在测量部分,个体内成分被进一步分解：个体内：()()wwjtijitijtiYS(15)其中,tiS是个体i在第t个测量时间点的潜在状态因子;()wji是个体i的题目j在个体内水平的因子载荷,在个体间随机估计,假设随时间不变;jti是个体i的题目j在第t个测量时间点的随机测量误差,假设服从正态分布(即,2(0,)jtijiN),各 第 4 期 罗晓慧 等:密集追踪研究中测验信度的估计：多层结构和动态特性的视角 705 图 3 两水平动态结构方程模型 注：实心圆点代表估计该参数的随机效应,即其个体间差异。本图参考了 Xiao 等人(2023)文章中的图 1。个题目的随机测量误差的方差在个体间随机估计,题目间协方差为零(即,(,)0,jtij ticovjj)。在结构部分,假设潜在状态因子满足一阶自回归过程,公式如下：个体内：-1,tiititiSS(16)其中,i是个体特定的自回归效应;ti是个体i的潜在状态因子在第t个测量时间点的动态误差,假设服从正态分布(即,2(0,)tiiN)。随后,对观测分数的个体间成分建立个体间模型(如图3右下部分),包括测量部分和随机效应部分。在测量部分,个体间成分被进一步分解：个体间：()BjijjijiYT(17)其中,j是题目j的截距;iT是个体i的潜在特质因子;()Bj是题目j在个体间水平的因子载荷;ji是个体i的题目j的测量误差,假设服从正态分布(即,2(0,)jjiN),各个题目的测量误差 的协方差为零(即,(,)0,jij icovjj)。在随机效应部分,个体内水平的因子载荷()wji)、随机测量误差方差的自然对数(2ln()ji)、自回归效应(i)和动态误差方差的自然对数(2ln()i)都被分解为固定部分()wj、j、和)和随机部分(jiu、ji、ie和i)：()()wwjijjiu(18)2ln()jijji(19)iie(20)2ln()ii(21)这些个体特定参数的固定部分表示该参数在所有个体间的均值,随机部分表示某一个体对这一均值的偏离值。假设每个参数的随机部分都满足正态分布(即,2(0,)jjiuuN、2(0,)jjiN、2(0,)ieeN和2(0,)iN)。值得说明的是,对 随机测量误差方差和动态误差方差取自然对数,主要是为了确保估计得到的每个个体的随机测量误差方差和动态误差方差均为正值。此外,对这些误差方差取自然对数还有助于基于多元正态分布,考察这些误差方差的随机对数与其它有随机效应的参数(如个体均值或自回归效应)的相关关系(Hamaker et al.,2018)。基于上述模型,可以计算各个题目和各个维度在个体内和个体间水平的信度。在个体内水平,定义某个题目的个体特定信度为该题由潜在状态因子解释的变异与该题状态成分的变异之比,各个维度的个体特定信度为该维度内各题由潜在状态因子解释的总变异与该维度内各题状态成分的总变异之比。个体i的题目j的个体特定信度()wjiRel)706 心 理 科 学 进 展 第 32 卷 和各个维度的个体特定信度()wiRel)分别为：()()()()()()wjitiwjiwjitijtivarSRelvarSvar(22)2()1()2()11()()()qwjitijwiqqwjitijtijjvar SRelvar Svar(23)其中,()()wjitivarS是可以由潜在状态因子解释的变异,等于潜在状态因子的方差()tivar S)与个体内 水 平 的 因 子 载 荷 的 平 方()2()wji)的 乘 积;()jtivar是不可以由潜在状态因子解释的变异,即随机测量误差的变异(即,2ji)。值得注意的是,潜在状态因子的方差的计算公式与动态因子模型中潜在因子的方差相同,即：22()1itiivar S(24)此外,通过整合所有个体在各个题目和各个维度的个体特定信度可以分别得到各个题目和各个维度的个体内信度,即描述个体内水平信度的整体指标(具体计算方法见本文的实证示例)。在个体间水平,定义某个题目的个体间信度为该题由潜在特质因子解释的变异与该题特质成分的变异之比,各个维度的个体间信度为该维度内各题由潜在特质因子解释的总变异与该维度内各题特质成分的总变异之比。题目j的个体间信度()BjRel)和各个维度的个体间信度()BRel)分别为：()()()()()()BjiBjBjijivarTRelvarTvar(25)2()1()2()11()()()qBjijBqqBjijijjvar TRelvar Tvar(26)其中,()()BjivarT是可以由潜在特质因子解释的变异,等于潜在特质因子的方差()ivar T)与个体间水平的因子载荷的平方()2()Bj)的乘积;()jivar是不可以由潜在特质因子解释的变异,即测量误差的变异(即,2j)。5 实证应用 5.1 实证数据与分析方法 本节将在实证数据中演示如何基于多层验证性因子分析、动态因子分析和动态结构方程模型估计密集追踪研究中各个题目和维度的信度(以单维测验为例,维度信度即为测验信度,Mplus语句和R代码见https:/osf.io/n2gw7/)。实证数据为252名女大学生连续34天报告的日常拖延数据。参考以往研究对日常拖延的测量(Khnel et al.,2016;Khnel et al.,2022;Maier et al.,2021;van Eerde&Venus,2018),本研究在Tuckman(1991)的拖延量表中加入“今天”的时间提示(如,“今天,我不必要地拖延完成工作,即使是重要的工作”)来测量个体的每日拖延情况。本测验共包括6道题,被试需要在每晚睡前从1(“完全不同意”)到7(“完全同意”)对每道题进行评分。最终,被试的平均填答率为94.89%。基于多层验证性因子分析的信度估计可在Mplus中完成。采用稳健极大似然估计(Mplus对两水平模型的默认估计方法)得到多层验证性因子分析模型的参数估计值。同时,根据公式(4)(7),运用Mplus中的MODEL CONSTRAINT语句,直接得到个体内和个体间水平各个题目和整个测验的信度估计值和标准误。基于动态因子分析的信度估计需要在R中调用Mplus完成。具体来说,运用R中的MplusAutomation包(Hallquist&Wiley,2018)调用Mplus,将每个个体的日常拖延数据分别拟合动态因子模型。采用贝叶斯估计法(固定迭代次数为10000次,根据Hamaker等人(2018)的建议,通过PSR和各参数的轨迹图(trace plot)判断模型此时是否收敛,下同)得到各个个体的动态因子模型的参数估计值,并运用SAVEDATA语句保存计算个体特定信度所需的参数后验分布(由200个可信值(plausible values)组成)。随后,根据公式(10)和(11),在R中计算得到每个个体各个题目和整个测验的个体特定信度的后验分布(由200个可信值组成),后验分布的中位数为该个体的某个题目或整个测验的个体特定信度的点估计,基于所有个体的个体特定信度的点估计可以得到该题目或测验的个体特定信度的分布。基于动态结构方程模型的信度估计需要同时运用Mplus和R完成。在Mplus中,采用贝叶斯 第 4 期 罗晓慧 等:密集追踪研究中测验信度的估计：多层结构和动态特性的视角 707 估计法(固定迭代次数为10000次)得到动态结构方程模型的参数估计值。同时,根据公式(25)和(26),运用MODEL CONSTRAINT语句直接得到个体间水平各个题目和整个测验的信度估计值和95%贝叶斯可信区间的上、下限。为了估计个体特定信度,首先在Mplus中运用SAVEDATA语句保存计算个体特定信度所需的参数后验分布(由200个可信值组成)。随后,根据公式(22)和(23),在R中计算得到每个个体各个题目和整个测验的个体特定信度的后验分布(由200个可信值组成)。类似基于动态因子分析的信度估计法,可以得到每个个体的某个题目或整个测验的个体特定信度的点估计,以及该题目或测验的个体特定信度的分布。基于动态因子分析或动态结构方程模型估计信度时,除了估计每个个体的个体特定信度,还可以估计得到个体内信度。个体内信度可以作为个体内水平的信度的整体描述,可与基于多层验证性因子分析得到的个体内信度进行比较。为了得到各个题目或整个测验的个体内信度,用SAVEDATA语句保存计算个体特定信度所需的参数后验分布(由200个可信值组成)后,先计算每次迭代中每个个体各个题目和整个测验的个体特定信度(每个个体各个题目和整个测验分别可计算得到200个个体特定信度),然后对所有个体求平均,得到该题目或测验的个体内信度的后验分布(由200个个体内信度组成),后验分布的中位数为个体内信度的点估计,2.5%和97.5%分位数分别为个体内信度的95%贝叶斯可信区间的上、下限。此外,值得说明的是,在基于动态因子分析和基于动态结构方程模型计算信度时,某些个体的某些迭代结果中潜在(状态)因子方差的估计值可能为负。为了排除这些有问题的迭代结果对信度估计的影响,我们参考Xiao等人(2023)的做法,将相应迭代中的个体特定信度替换为缺失值,即不纳入最终对信度的计算。5.2 结果与讨论 三种方法估计的各个题目和整个测验的个体间信度和个体内信度如表1所示。对于整个测验的信度,基于多层验证性因子分析和基于动态结构方程模型得到的个体间信度的估计值相近,个体内信度的估计值相差相对较大,且都低于基于动态因子分析得到的个体内信度。对于各个题目的信度,三种方法的信度估计结果也存在差异。其中,基于多层验证性因子分析和基于动态结构方程模型得到的各个题目的个体间和个体内信度都相对接近,但基于动态因子分析得到的各个题目的个体内信度都高于基于动态结构方程模型得到的结果。值得注意的是,在基于动态因子分析的信度估计过程中,有145人的动态因子模型无法拟合(因为该个体估计的方差协方差矩阵不正定等),故信度估计结果仅基于模型拟合的107人(42.46%)的数据。这可能表明上述对基于动态因子分析与基于其它方法估计得到的信度结果的比较存在问题,因为两者所依据的样本并不相同,研究者应谨慎解读相关结果。更重要的是,这也提醒研究者基于动态因子分析的信度估计方法可能在拟合某些个体模型时存在困难甚至无法成功拟合,相应的个体特定信度无法估计,个体内信度的估计结果也可能存在偏差。此外,比较各个题目的信度估计结果发现,题目2(“今天,我推迟做出艰难的决定”)在三种信度估计方法中均呈现出最低的个体间和个体内信度。进一步考察基于动态因子分析和动态结构方程模型得到的个体特定信度的分布(见表2)发 表 1 三种方法的个体间信度和个体内信度 题目 基于多层验证性因子分析 基于动态因子分析a基于动态结构方程模型 个体间信度 个体内信度 个体内信度 个体间信度 个体内信度 题目 1 0.954 0.929,0.979 0.511 0.047,0.5500.649 0.566,0.7040.973 0.961,0.985 0.514 0.500,0.528题目 2 0.731 0.631,0.831 0.305 0.266,0.3440.472 0.365,0.5560.851 0.802,0.900 0.329 0.311,0.343题目 3 0.905 0.864,0.946 0.689 0.654,0.7240.753 0.677,0.7960.930 0.908,0.952 0.677 0.658,0.687题目 4 0.903 0.854,0.952 0.689 0.644,0.7340.733 0.657,0.7830.948 0.930,0.966 0.682 0.667,0.694题目 5 0.946 0.922,0.970 0.623 0.586,0.6600.747 0.657,0.7880.966 0.952,0.980 0.599 0.585,0.609题目 6 0.963 0.939,0.987 0.652 0.615,0.6890.747 0.670,0.7920.990 0.982,0.998 0.618 0.603,0.629测验 0.982 0.976,0.988 0.892 0.882,0.9020.919 0.890,0.9370.990 0.988,0.992 0.847 0.840,0.852注：中括号内为各参数的 95%(贝叶斯)可信区间的上、下限。a动态因子分析中,145 人的模型无法拟合,个体内信度基于剩余 107 人(42.46%)的模型参数估计结果。708 心 理 科 学 进 展 第 32 卷 表 2 基于动态因子分析和动态结构方程模型的个体特定信度的分布 题目 基于动态因子分析a 基于动态结构方程模型 最小值 最大值 中位数 均值 标准差 最小值最大值 中位数 均值 标准差题目 1 0.027 0.978 0.655 0.648 0.172 0.041 0.994 0.534 0.515 0.204题目 2 0.047 1.000 0.474 0.471 0.262 0.034 0.984 0.290 0.329 0.204题目 3 0.014 1.000 0.782 0.753 0.178 0.032 0.999 0.724 0.676 0.236题目 4 0.110 1.000 0.795 0.737 0.205 0.030 0.999 0.745 0.683 0.238题目 5 0.219 1.000 0.760 0.746 0.148 0.055 0.999 0.641 0.599 0.238题目 6 0.144 1.000 0.770 0.745 0.157 0.056 0.999 0.638 0.619 0.214测验 0.651 1.000 0.931 0.919 0.055 0.296 0.976 0.891 0.847 0.123注：a动态因子分析中,145 人的模型无法拟合,分布描述基于剩余 107 人(42.46%)的个体特定信度。现,在两种可以估计个体特定信度的方法中,题目2的个体特定信度组成的分布的中位数和均值都明显低于其它题目,这意味着题目2在测量拖延的状态成分时与其它题目的内部一致性较低。结合题目2的内容进行分析可以为此提供可能的解释。在Tuckman(1991)的原量表中,题目2用于评估个体推迟做出艰难决定的一般倾向。而本研究在题目2中加入了“今天”的时间提示,并用其测量个体每天在多大程度上有推迟做出艰难决定的情况。但值得注意的是,个体并不一定每天都会面临艰难的决定。因此,个体有时可能会对这道题的表述感到困惑或难以作答,故题目2和其它题目的一致性也较低。6 讨论 6.1 三种方法的比较分析 为了帮助研究者更好地了解并选择合适的信度估计方法,本文对可用于密集追踪情境的三种方法的不同特点和主要局限进行归纳总结(见表3)。一方面,从数据适配度、可估的信度和估计方法这三个维度来看,基于动态结构方程模型的信度估计方法整合了基于多层验证性因子分析和基于动态因子分析的优势,能充分体现密集追踪数据的多层结构和动态特性,又能在每个个体、个体内和个体间水平分别估计信度,还能采用贝叶斯估计法更灵活地估计模型参数的随机效应,进而考察个体差异相关的问题。但另一方面,从软件需求和运行耗时这两个维度来看,基于动态结构方程模型的信度估计方法需要用到Mplus和其它统计软件(如,R)估计信度,且由于模型相对复杂,程序运行所需时间也较长。相比之下,基于多层验证性因子分析的信度估计方法只需Mplus即可完成,语句简明,结果直接,运行高效,在简便性方面存在优势。此外,表3还梳理了三种方法的主要局限。考虑到各种方法的特点和局限,本文对不同方法的适用情境提出建议,并整理提出信度估计方法的选择策略流程图(见图4)。首先,若研究者 表 3 三种信度估计方法的比较 比较维度 基于多层验证性因子分析 基于动态因子分析 基于动态结构方程模型 数据适配度 体现密集追踪数据的多层结构 体现密集追踪数据的动态特性 体现密集追踪数据的多层结构和动态特性 可估的信度 个体内信度和个体间信度 个体特定