高维多样本Behrens-Fisher问题的投影检验.pdf

Advances in Applied Mathematics 应用数学进展应用数学进展,2023,12(8),3611-3618 Published Online August 2023 in Hans.https:/www.hanspub.org/journal/aam https:/doi.org/10.12677/aam.2023.128359 文章引用文章引用:于伟豪.高维多样本 Behrens-Fisher 问题的投影检验J.应用数学进展,2023,12(8):3611-3618.DOI:10.12677/aam.2023.128359 高维多样本高维多样本Behrens-Fisher问题的投影检验问题的投影检验 于伟豪于伟豪 青岛大学，数学与统计学院，山东 青岛 收稿日期：2023年7月18日；录用日期：2023年8月8日；发布日期：2023年8月17日 摘摘 要要 本文主要考虑多个高维总体均值向量是否相等的热点问题，大部分现有方法往往局限于同方差假设下，本文主要考虑多个高维总体均值向量是否相等的热点问题，大部分现有方法往往局限于同方差假设下，但在实际问题中该假设很难得到保证。利用但在实际问题中该假设很难得到保证。利用Scheffe变换我们将多组样本构造成一组的新向量，并提出了变换我们将多组样本构造成一组的新向量，并提出了一种投影检验方法以及它的渐进分布类似空间符号检验。该方法利用权函数和样本分割方法减少功效损一种投影检验方法以及它的渐进分布类似空间符号检验。该方法利用权函数和样本分割方法减少功效损失和保持独立性，并基于最优势得出最优投影方向和权函数，且可以推广到部分非正态分布。最后，我失和保持独立性，并基于最优势得出最优投影方向和权函数，且可以推广到部分非正态分布。最后，我们进行蒙特卡洛实验验证它在有限样本下的检验效率，结果表明新检验在高相关性和一定非正态性假设们进行蒙特卡洛实验验证它在有限样本下的检验效率，结果表明新检验在高相关性和一定非正态性假设下优于已有测试。下优于已有测试。关键词关键词 Behrens-Fisher问题，异方差，高维，投影检验问题，异方差，高维，投影检验 High-Dimensional Multiple-Samples Projection Tests for the Behrens-Fisher Problem Weihao Yu School of Mathematics and Statistics,Qingdao University,Qingdao Shandong Received:Jul.18th,2023;accepted:Aug.8th,2023;published:Aug.17th,2023 Abstract This paper mainly considers the hot topic of whether multiple high-dimensional population means are equal.Most of the existing methods are often limited to the homoskedasticity hypothe-sis,which is difficult to be guaranteed in practice.By Scheffes transformation,we transform mul-tiple samples to a group of new vectors,and propose a projection test and its asymptotic distribu-于伟豪 DOI:10.12677/aam.2023.128359 3612 应用数学进展 tion similar to the spatial sign test.This method uses weight function and sample-splitting strategy to reduce power loss and maintain independence,and give the optimal projection direction and weight function based on the optimal power,furthermore it can apply to some non-normal distri-butions.Finally,we conduct Monte Carlo simulations to examine the finite sample performance,and the results show that the new test outperforms the existing test under high correlation and some non-normal assumptions.Keywords Behrens-Fisher Problem,Heteroskedasticity,High-Dimensional,Projection Test Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 随着现代科技的飞速发展，在许多科学领域多样本高维数据以前所未有的速度不断产生，如基因DNA 序列研究和生物医学成像等。在这些情况下，收集到的数据的特征数量通常超过样本量，这对经典统计学理论提出了根本挑战。因此，许多学者在对数据均值的研究中提出了新方法。当样本总体只有两个时，1最先指出 Hotelling T2检验的不足，并提出了一种基于迹关系的渐进正态统计量。2推广上述方法构造出适合检验两样本 Behrens-Fisher 问题的 u 统计量，但是它们对非对角矩阵很敏感，3又将空间符号检验的思想融入其中。4则提出了一种加权的双样本检验，选择恰当权矩阵实现统计量的渐近正态性去解决异方差问题。当存在两个以上样本组时，5提出了基于著名 Scheffe 变换的 L2范数统计量。6将2的双样本检验方法推广到多样本 4 阶矩有限的椭球分布情形，7也将2推广到多样本异方差情形，并给出渐进方差的合理估计。8利用阈值化和数据变换证明了精度矩阵估计对检测边界的影响，提出了一种针对稀疏信号的强大检验。9研究了双向 MANOVA 问题并推广到更广泛假设下，10在广义线性模型下，提出一种混合卡方近似的检验统计量。上述测试均在高维空间上直接构造检验统计量，且在特定场景下非常强大，但大部分不能充分利用相关性信息，对协方差的迹施加各种限制。基于投影的测试是一类有效融合相关信息和降维的方法。11提出了一种随机投影程序，旨在在低维空间中使用 Hotelling T2检验。12发现在尖协方差模型中，最优投影空间是主子空间的正交补空间，基于不同阶给出相应的渐进统计量。13证明投影平均技术可以定义一个稳健的双样本均值检验。14采用岭估计法将自适应投影思想应用于 Hotelling T2检验，并推导出基于功率最优的一维投影方向。15提出了一种投影加权符号检验来解决高维检验问题，得益于使用样本分裂思想和一个正权函数，它能够显著控制第一类错误概率。16提出一种高维响应线性模型中回归系数矩阵的投影检验方法，并给出投影矩阵最优维数的上界。本文的其余部分结构如下：在第 2 节中，我们利用 Scheffe 变换构造新样本组，利用投影矩阵在低维空间中进行参数的显著性检验，并提出检验统计量及其渐近分布；在第 3 节中，我们通过模拟试验确定检验中参数的取值并验证所提检验方法在不同设置下的第一类和第二类错误概率；最后一节对文章进行总结和讨论。2.多总体异方差数据的显著性检验多总体异方差数据的显著性检验 在本章中，我们提出了一种正态假设下的多总体异方差数据均值向量是否相等的检验方法。首先，Open AccessOpen Access于伟豪 DOI:10.12677/aam.2023.128359 3613 应用数学进展 利用 Scheffe 变换，将原始数据拉直成新向量，利用权重函数和空间符号函数抵消部分效率损失；通过投影矩阵投影到低维空间下构造检验统计量并推导出渐近分布，最后利用数值模拟的方法说明提出方法的优越性。2.1.模型构建模型构建 我们考虑以下问题：假设一共有()3k k 组 p 维独立样本，(),ijpiixN，1,ik=，1,ijn=，ipn，不失一般性有1knn。这个方法利用每组的前1n个样本信息，易证jz之间是独立同正态分布的且()()()()()TTTTT121231,newkkk=，()()()()()()12121211211 121 1111121111,kkkkk kk kknewkkkk kkk kkccccccccc=其中 11111,.,.,.,.0,.ababaaabcdbbbbnnac bdnnnac bdncnbcnnbd acn+=当当当他当其 则目标转换一个多重比较问题，检验新的均值参数是否为 0。虽然转换要耗费一定时间，但单样本问题更方便建模。17提出了一种空间符号函数()()0iiiiUxxx I x=，其中ix来自一个 p 维标准正态分布，且它在部分非正态分布假设下也有较好表现。不难求得()0iE U=，()1ipVar UIp=，它的模只与维度高低有关，于伟豪 DOI:10.12677/aam.2023.128359 3614 应用数学进展 另外与方向向量独立。这要求我们构造一个满足T1new=的pp阶满秩矩阵，利用 SVD 分解我们可以得到其中一个代数解1 2new=。早先检验在高维情形不适应的一种表现是第一类错误概率远小于显著性水平，为控制该误差我们引入一个正的权函数()K，它能在0H成立时不容易接受原假设。记投影样本()()jjjVKzUz=，此时维度 p 远大于1n。我们考虑投影思想将样本投到低维空间再检验，设矩阵()0.51kkp lA与投影样本独立，其中 l 是一个较小的正整数，则(1)可改为()()TT01:0 vs :0jjHE A VHE A V=。(4)假设(4)与假设(1)虽不完全等价，但在势最大化的框架下寻找最优投影矩阵可以极大减少误差。基于(2)与(3)的结论，构造以下检验变量：()()()112TTT11112jTn k kp E KzV A A AA V=，其中11njjVV=。当下列假设成立时，1T渐进服从自由度为 1 的卡方分布，当计算值大于上100%分位点时我们不接受原假设。假设 1：当,n p趋近无穷时，()0,1iinbn，()1pOn=，1,ik=，1kiinn=。假设 2：当维度足够大时，()8,new jE存在，其中(),new jjnewz=。假设 3：存在一个特定的正数 M，对任意常数0t，权函数满足()()()K xtK xK xMt+充分大时。假设 1 是多样本检验的必备条件，它确保每组样本大小不会差距太大，而且强调每组前1n个样本也不会有太多信息损失，我们不在此讨论超高维情形。假设 2 保证高阶泰勒展开的有效性，即使它会变成1 的高阶无穷小量，它大约是()4112kkp的同阶无穷小量。权函数在“大 p 小 n”情形下可以显著提高检验效率，许多函数满足该条件，例如幂函数、指数函数等。我们的检验对协方差的要求十分宽松，不需要低相关性假设。基于以上假设，我们可以得到当()()11,jlAE VK tt=时1T有最大势，而且投影方向是“oracle”最优投影方向。2.2.检验统计量检验统计量 注意到拉直向量维度远大于样本量，在估计逆矩阵的时候受14启发，采用岭估计()11newSSD=+，其中 S 为样本协方差矩阵，SD为 S 中对角元素构成的矩阵，为调节参数。越大则估计越接近对角矩阵，且样本量越大则应越小，此时估计1 2new=。在模型构建中投影矩阵与V相等是才最有优势，这与假设两者独立冲突。18提出一种类似交叉验证的样本分割方法，记分割参数()0,1表示分割比例，利用1n样本寻找投影方向，剩余样本构造检验统计量(表示四舍五入变换)。我们将投影样本数据集随机分成1S和2S，仅利用1S中的信息完成全数据集的中心标准化，这样能保证2S中的样本依旧能保证独立同分布，并获得投影方向的估计111jjVSAVn=，其中()jjjVUzz=。所有参数该取何值将在 3.1 节研究。则检验统计量为()()()()112TTT1111 12jtnnk kp EzV A A AA V=，(5)于伟豪 DOI:10.12677/aam.2023.128359 3615 应用数学进展 此时2111jjVSVVnn=。由于逐个变量估计产生的累积误差效应，导致检验统计量的方差远远大于理论值，不再是渐进21分布。利用上述结论和中心极限定理，将(5)式修正为()()2T1112nnA Vt=，其中2是低维空间下样本方差的无偏估计，因此1t也是渐进21分布，所有模拟均基于该统计量。最后，基于建模过程可以将它推广到混合正态分布(一种椭球分布)：(),MN ，它的密度函数可以写为()()()2,1,ppff +，其中(),pf是一个多元正态分布的密度函数。除了混合正态分布，得益于一系列控制显著性水平的技巧，发现它在独立组件模型下也有较好表现。该模型可写为：ijijiXR=+，其中是一个正定矩阵，ijR满足均值为 0，方差为 p 阶单位矩阵，所以每一个组件()1,ijgRgp=是相互独立的。当ijgR的四阶矩和T的最大和最小特征值均为有限非 0 值时，我们的检验统计量仍然有效。3.仿真模拟仿真模拟 在本节中，我们将通过蒙特卡罗模拟研究提出检验的性能。设置名义显著性水平为 0.05，所有模拟结果均来自于 100 个独立重复实验取平均。在第 3.1 节中，构建模拟设置并基于最优势讨论不同分割参数和调节参数的影响，并给出了建议取值；在第 3.2 节中，在不同设置下研究了我们的方法和一个知名检验之间的 I 类误差和 II 类误差比较，并从正态分布推广到其他分布。3.1.试验设置及确定参数试验设置及确定参数 简单起见，我们设定一共有 3 组数据。首先假定()()123,200,50,70,100p n n n=，1和2均为 0 向量，3前 100 维均为 v，其余元素均为 0，显然0v=就能模拟第一类错误。对于协方差矩阵，考虑以下三种情况：独立结构2pI=、自相关结构,iji j=和复合对称结构()T1 11p ppI=+，其中第二种和第三种类型蕴含变量相关性的信息，在本小节中取为 0.4、0.5、0.6 分别对应1、2、3的结构。先考虑分割参数，此时依据经验固定调节参数0.51n=，利用网格搜索在0.1,0.9的范围内每隔 0.05 取一次值，画出图像见图 1。由上图可知，不论 v 取 0.1 还是 0.2，大体趋势一样，但在右图两侧相同间隔内势的变化幅度相对更大。不同的值对势的影响较大，最大值集中在区间(0.4,0.6)内，所有的曲线都近似一种凸对称的函数形式。某些异常点存在一些小波动是可能是模拟误差造成的，故不必在意。考虑到两部分集合的作用，我们更希望构造出来的检验统计量准确些，即2S中含有较多样本，所以取0.4=。随后考虑调节参数的选择，令1n=，其中()0,1，因为假定与1n呈负相关关系。其余设置均与分割参数相同，得到图 2。我们发现每条曲线的波动都是相对温和的，没有明显的变化趋势，在独立结构下甚至为一条直线，与图 1 截然不同。因此取任意值都可以，本文设置0.5=。基于以上结论再进行模拟比较，记新检验统计量为 T1，7提出的推广异方差统计量为 TH。我们设定参数组合()123,p n n n为(200,50,70,100)和(400,100,120,150)。在局部备则假设下，固定0.2v=，此时3中有 25%或 50%的元素非 0，可以看成稠密信号下的检验。情形的设定同上文作为正态假设下的对比；情形和情形来自混合正态，取0.8,5=，协方差设置同和；情形中ijgR来自33t，情形中来自242 2，选取公共1pI=，T20.05 1 10.95p ppI=+，T20.1 1 10.9p ppI=+。随着维度的于伟豪 DOI:10.12677/aam.2023.128359 3616 应用数学进展 不断增加，变量的相关性也会增加。Figure 1.Power functions under different values of splitting parameter 图图 1.不同分割参数取值下的势函数 Figure 2.Power functions under different values of tau 图图 2.不同 tau 值下的势函数 于伟豪 DOI:10.12677/aam.2023.128359 3617 应用数学进展 3.2.试验结果及分析试验结果及分析 我们将情形下的不同方法的 I 类错误和 II 类错误结果收录在表 1 中，Table 1.Empirical size and power comparison of T1 and TH under different settings 表表 1.不同设置下 T1 和 TH 的经验检验水平和势的比较 情形(200,50,70,100)(400,100,120,150)检验水平 势 检验水平 势 T1 TH T1 TH T1 TH T1 TH 0.04 0.03 0.98 1.00 0.04 0.04 0.99 1.00 0.07 0.09 0.82 1.00 0.06 0.05 0.93 1.00 0.07 0.06 0.81 0.36 0.03 0.04 0.99 0.20 0.07 0.05 0.81 0.97 0.04 0.06 0.88 1.00 0.06 0.14 0.53 0.26 0.05 0.08 0.94 0.13 0.07 0.06 0.51 0.18 0.08 0.03 0.82 0.05 0.07 0.07 0.37 0.16 0.05 0.09 0.64 0.16 由上表可知在正态分布情况下，两种方法都接近名义显著性水平，在变量独立或者有低相关性，TH较好但 T1 也能接近 TH 的检验效率，在高相关性下 TH 效率损失严重。在混合正态分布中，两个方法都有一定效率损失，且在低维下 TH 的检验水平甚至达到 0.14，其余结论类似，在高相关性下 T1 表现良好。在独立组件模型中，虽然在低维卡方分布组件下 T1 检验效果只有 0.37，但其他模拟效果大致可以。左右表格对比，虽然高维下只有 25%的非 0 元素，但检验效率更高，这可能是与 Scheffe 变换密切相关，较大的样本量可以保证更准确地估计出均值向量，从而统计量更加拟合卡方 1 分布。综上所述，新提出的拥有更广泛的适用场景，但当协方差矩阵为单位矩阵或相关信息有限时，如情形、和下，建议不要使用投影方法降维，因为所有信息都是不可忽略的。4.总结和讨论总结和讨论 在本文中，我们提出了一种适用于有不同协方差矩阵的高维多样本的均值检验。数值结果表明，对于高相关性条件和部分非正态分布假设，新方法的效率优于现有的一些方法，而在低相关结构和正态假设下，新方法的性能与 TH 方法接近。我们主要关注的是维度和样本量以同阶速率趋于无穷，当以指数速率发散计算成本过高，而且第一类错误难以控制。未来可能的扩展是在统计量中加入一个纠偏项，从而抵消部分超高维数据带来的估计误差。样本分割策略虽然简单好用，由第三节的分析可知构造统计量的样本仅一半多一点，另外也有一些文章采用遍历寻找投影方向，但大幅增加了计算成本，到目前仍无其他更有效方法去处理投影问题。致致 谢谢 作者感谢主编、编委会和匿名审稿人提出许多宝贵意见，这些意见促进文章有重大改进。作者对撰写文章时提供帮助的师生表示感谢。参考文献参考文献 1 Bai,Z.and Saranadasa,H.(1996)Effect of High Dimension:By an Example of A Two Sample Problem.Statistica Si-于伟豪 DOI:10.12677/aam.2023.128359 3618 应用数学进展 nica,6,311-329.2 Chen,S.X.and Qin,Y.L.(2010)A Two-Sample Test for High-Dimensional Data with Applications to Gene-Set Test-ing.The Annals of Statistics,38,808-835.https:/doi.org/10.1214/09-AOS716 3 Chakraborty,A.and Chaudhuri,P.(2017)Tests for High-Dimensional Data Based on Means,Spatial Signs and Spatial Ranks.The Annals of Statistics,45,771-799.https:/doi.org/10.1214/16-AOS1467 4 Katayama,S.and Kano,Y.(2014)A New Test on High-Dimensional Mean Vector without Any Assumption on Popu-lation Covariance Matrix.Communications in Statistics-Theory and Methods,43,5290-5304.https:/doi.org/10.1080/03610926.2012.717663 5 Zhang,J.and Xu,J.(2009)On the k-Sample Behrens-Fisher Problem for High-Dimensional Data.Science in China Series A:Mathematics,52,1285-1304.https:/doi.org/10.1007/s11425-009-0091-x 6 Yamada,T.and Himeno,T.(2015)Testing Homogeneity of Mean Vectors under Heteroscedasticity in High-Dimension.Journal of Multivariate Analysis,139,7-27.https:/doi.org/10.1016/j.jmva.2015.02.005 7 Hu,J.,Bai,Z.,Wang,C.and Wang,W.(2017)On Testing the Equality of High Dimensional Mean Vectors with Un-equal Covariance Matrices.Annals of the Institute of Statistical Mathematics,69,365-387.https:/doi.org/10.1007/s10463-015-0543-8 8 Chen,S.X.,Li,J.and Zhong,P.S.(2019)Two-Sample and ANOVA Tests for High Dimensional Means.The Annals of Statistics,47,1443-1474.https:/doi.org/10.1214/18-AOS1720 9 Watanabe,H.,Hyodo,M.and Nakagawa,S.(2020)Two-Way MANOVA with Unequal Cell Sizes and Unequal Cell Covariance Matrices in High-Dimensional Settings.Journal of Multivariate Analysis,179,Article ID:104625.https:/doi.org/10.1016/j.jmva.2020.104625 10 Zhang,J.T.,Zhou,B.and Guo,J.(2022)Linear Hypothesis Testing in High-Dimensional Heteroscedastic One-Way MANOVA:A Normal Reference L2-Norm Based Test.Journal of Multivariate Analysis,187,Article ID:104816.https:/doi.org/10.1016/j.jmva.2021.104816 11 Lopes,M.E.,Jacob,L.J.and Wainwright,M.J.(2015)A More Powerful Two-Sample Test in High Dimensions Using Random Projection.12 Wang,R.and Xu,X.(2018)On Two-Sample Mean Tests under Spiked Covariances.Journal of Multivariate Analysis,167,225-249.https:/doi.org/10.1016/j.jmva.2018.05.004 13 Kim,I.,Balakrishnan,S.and Wasserman,L.(2020)Robust Multivariate Nonparametric Tests via Projection Averag-ing.The Annals of Statistics,48,3417-3441.https:/doi.org/10.1214/19-AOS1936 14 Huang,Y.(2015)Projection Test for High-Dimensional Mean Vectors with Optimal Direction.Ph.D.Thesis,The Pennsylvania State University at University Park,State College.15 Chen,H.,Zou,C.L.and Li,R.Z.(2022)Projection-Based High-Dimensional Sign Test.Acta Mathematica Sini-ca-English Series,38,683-708.https:/doi.org/10.1007/s10114-022-0435-9 16 Li,R.and L.C.(2022)Linear Hypothesis Testing in Linear Models with High-Dimensional Responses.Journal of the American Statistical Association,117,1738-1750.https:/doi.org/10.1080/01621459.2021.1884561 17 Fang,K.,Kotz,S.and Ng,K.(1990)Symmetric Multivariate and Related Distributions.Chapman and Hall,London.https:/doi.org/10.1007/978-1-4899-2937-2 18 Wasserman,L.and Roeder,K.(2009)High Dimensional Variable Selection.The Annals of Statistics,37,2178-2201.https:/doi.org/10.1214/08-AOS646