全最小二乘法在威布尔分布参数估计中的应用_曹慧荣.pdf

第 43 卷 第 2 期 高 师 理 科 学 刊 Vol.43 No.2 2023 年 2 月 Journal of Science of Teachers College and University Feb.2023 文章编号：1007-9831（2023）02-0006-05 全最小二乘法在威布尔分布参数估计中的应用 曹慧荣（廊坊师范学院 理学院，河北 廊坊 065000）摘要：针对使用普通最小二乘法估计威布尔分布参数时结果不唯一的情况，给出了全最小二乘准则下威布尔分布的参数估计方法，通过分析和计算机模拟发现，在全最小二乘准则下得到的参数估计更接近真实值 关键词：最小二乘；全最小二乘；威布尔分布；参数估计 中图分类号：O212 文献标识码：A doi：10.3969/j.issn.1007-9831.2023.02.002 Application of total least squares in parameters estimation of Weibull distribution CAO Huirong（School of Science，Langfang Teacher College，Langfang 065000，China）AbstractAbstract：In view of the fact that the result of estimating the parameters of Weibull distribution using the ordinary least square method is not unique，the parameters estimation method of Weibull distribution based on total least square criterion is givenThrough analysis and computer simulation，it is found that the parameters estimation under the total least square criterion is closer to the true parameters values.Key wordsKey words：least square；total least square；Weibull distribution；parameter estimation 1 引言及预备知识 威布尔分布（Weibull distribution）是可靠性领域使用最广泛的模型，被广泛应用于各种寿命试验的数据处理在应用威布尔分布解决实际问题时，往往需要对分布进行参数估计常用的估计方法有普通矩 法1、概率权重法2、L-矩法3、最大似然估计法4-5、核密度法6-7、借助于粒子群（PSO）8和差分演化（DE）9的智能优化方法、贝叶斯方法10、灰色模型法11-12、最小二乘法13-15等其中大部分方法没有解析解，需要求解非线性方程组或多元函数最大值点，最小二乘法由于计算简单、有解析解且无初值依赖性而得到广泛应用二参数威布尔分布参数估计最小二乘法的原理是将分布函数线性化，用经验分布函数代替分布函数，转化为一元线性回归方程，通过回归系数估计威布尔分布的参数自变量的不同选择会导致一元线性模型不同，从而会导致估计参数不唯一，而使用全最小二乘准则16可以克服这个缺点 本文介绍了二参数威布尔分布的累积分布函数线性化方法，通过计算机模拟验证了不同的线性化模型得到的参数估计是不同的采用全最小二乘准则可以得到唯一的参数估计值，通过计算机模拟发现全最小二乘准则下得到的参数估计值更接近真实值讨论了三参数威布尔分布的参数估计，先使用相关系数法确定位置参数，再用全最小二乘法估计其余个参数 定义101595 设连续型随机变量T的分布函数为 收稿日期：2022-07-08 基金项目：2023 年度河北省高等学校科学研究项目（ZC2023009）；廊坊市教育大数据分析重点实验室项目（2021）作者简介：曹慧荣（1975-），女，山东嘉祥人，副教授，硕士，从事数据分析和统计计算研究E-mail： 第 2 期 曹慧荣：全最小二乘法在威布尔分布参数估计中的应用 7 ()1e,0tF tt-|=-（1）则称T服从参数为，的三参数威布尔分布，记为()Weibull,T，称0为尺度参数，0为形状参数，0为位置参数 当0=时，称T服从参数为0，0的二参数威布尔分布，记为()Weibull,T，对应的分布函数为()1e,0tF tt-|=-（2）2 二参数威布尔分布的参数估计 2.1 线性化模型 设12nttt为一组由小到大排序的样本容量为n的样本值，则由式（2）可知 ()1expiitF t=-|（3）式（3）可变形为()()()1ln lnlnln1iitF t=-|-（4）2.1.1 Y关于X线性回归方法 用()iF t的经验分布函数近似()iF t，这里取()()0.30.4iniiF tFtn-=+(1,2,in=)，再令()1ln ln1iniyFt=|-，()lniixt=，()lnA=-，B=，则式（4）对应的线性回归模型为 (1,2,)iiiyABxin=+=（5）由线性模型的普通最小二乘估计方法，通过求()21niiiyABx=-+的最小值点可得线性模型的最小二乘参数估计为 AyBx=-，()()1211nniiiiiBxx yxx-=-|（6）得到回归系数,AB后，则有二参数威布尔分布的参数估计为 B=，expAB=-|（7）2.1.2 X关于Y线性回归方法 式（4）也可变形为 ()()()11lnln lnln1iitF t=+|-（8）若()1ln ln1iniyFt=|-，()lniixt=，()lnC=，1D=，则式（8）对应的线性回归模型为 (1,2,)iiixCDyin=+=（9）由线性模型的普通最小二乘估计方法，通过求()21niiixCDy=-+的最小值点可得线性模型的最小二乘参数估计为 CxD y=-，()()1211nniiiiiDyy xyy-=-|（10）得到回归系数,CD后，则有二参数威布尔分布的参数估计13304为 8 高 师 理 科 学 刊 第 43 卷 ()exp C=，1D-=（11）对于同样的样本，采用Y关于X线性回归方法和X关于Y线性回归方法得到二参数威布尔分布的参数估计不同，结果不唯一 这是因为普通的最小二乘准则下是求使 y轴方向上的残差平方和()21niiiyABx=-+取最小值的,AB，而自变量和因变量互换后是求使 x轴方向上的残差平方和()21niiixCDy=-+取最小值的,CD，故得到线性回归直线和的参数估计不同而在全最小二乘准则下，是求使点(),(1,2,)iixyin=到拟合直线的垂直残差平方和()22111niiiyABxB=-+取最小值的,AB，自变量和因变量互换后不改变回归直线 2.1.3 基于全最小二乘的正交线性回归方法 对于线性模型（5），按照全最小二乘准则，求()2211(,)1niiiT AByABxB=-+的最小值点(),AB作为参数估计17，有 AyBx=-，21Bbb=-+（12）式中：()()()()12211112nnniiiiiiibxxyyxxyy-=-|；B中号依赖于样本值(),(1,2,)iixyin=的分布，若样本协方差大于 0，则取“+”，若小于 0，则取“-”.根据(),iixy的实际意义，,iixy是正相关，协方差大于 0，故可知B中取“+”，即21Bbb=-+由于全最小二乘准则下，x与y在平面上的拟合关系式唯一确定，所以参数，的估计可用式（7）或（11），二者的数值相同 2.2 计算机模拟结果 采用计算机模拟的方法，针对取不同样本个数10,20n=，50,100，考察 3 种方法的拟合效果 产生服从5=，2=的容量为n的随机数，取中位秩公式估计样本的经验分布函数()0.30.4niiF tn-=+，随机模拟 100 次，参数估计的平均值和标准差见表 1 表 1 不同准则和不同样本容量下参数估计，的平均值（标准差）式（7）式（11）全最小二乘准则 样本数 010 5.180 9（0.938 5）1.821 8（0.476 2）5.055 5（0.923 5）1.980 0（0.524 7）5.082 2（0.928 7）1.946 1（0.526 8）020 5.064 8（0.599 4）1.893 3（0.353 8）4.987 7（0.590 5）2.002 2（0.394 2）5.004 3（0.592 7）1.980 1（0.392 0）050 5.033 7（0.402 3）1.974 8（0.288 4）4.985 8（0.391 8）2.033 4（0.295 9）4.996 0（0.393 4）2.021 1（0.297 2）100 5.070 9（0.280 1）1.920 3（0.193 1）5.040 0（0.274 2）1.953 7（0.185 4）5.046 9（0.274 9）1.949 0（0.188 1）由表 1 可以看出，对于参数5=，按普通最小二乘准则由式（7）得到的结果偏大，由式（11）得到的结果偏小，按全最小二乘准则得到的参数估计介于两者之间，更接近真实值对于参数2=，按普通最小二乘准则由式（7）得到的结果偏小，由式（11）得到的结果偏大，与文献18中的最小二乘估计不满足相合性的结论是一致的按全最小二乘准则得到参数估计值后，根据选用的模型，将回归系数代入式（7）或式（11）得的结果相同，且介于普通最小二乘准则得到的 2 个数值之间，更接近真实值 进一步观察标准差可以发现，随着样本容量n的增加，标准差变小，当参数真值5=，2=时，的估计值标准差较大，的估计值标准差较小 3 三参数威布尔分布的参数估计 3.1 线性化模型 设12nttt为一组由小到大排序的样本容量为n的样本值，则由式（1），有 第 2 期 曹慧荣：全最小二乘法在威布尔分布参数估计中的应用 9 ()1expiitF t-=-|（13）式（13）可以变形为()()1ln lnlnln1()iitF t=-|-（14）或等价地变形为 ()()()11lnln lnln1iitF t-=+|-（15）由于线性回归只能确定 2 个参数，因此还需要寻找其他约束条件 不妨设()lniixt=-，()1ln ln1iniyF t=|-，考虑到参数的实际意义，需要满足10t，又由于ix和iy满足线性关系，故可以在()10,t内搜索，取能使ix和iy的相关系数()()()()12211iiinnniiiiyyxxrxxyy=-=-达到最大值的作为的估计求出参数的估计后，再用全最小二乘法求出参数，的估计，3.2 数值模拟结果 由于参数，的估计，已经在前面比较过，这里给出不同样本容量n下，先用相关系数最大估计出，再用全最小二乘估计和的数值模拟结果令5=，10=，=1，随机模拟 100 次，得到参数估计值的平均值和标准差（见表 2）表 2 不同样本容量下参数估计，的平均值（标准差）样本数 平均值 标准差 平均值 标准差 平均值 标准差 020 4.141 7 1.919 6 7.777 1 3.999 32 1.843 1 1.883 7 050 4.617 8 1.616 2 8.930 2 3.429 20 1.374 8 1.587 9 100 4.936 4 1.224 0 9.703 3 2.600 60 1.066 4 1.209 1 200 4.946 7 1.052 2 9.792 4 2.188 00 1.053 2 1.049 4 由表 2 可以看出，在平均的意义下，尺度参数和形状参数的估计值偏小，而位置参数的估计值偏大，但是随着样本容量n的增加，它们都越来越接近真值这是因为当尺度参数和形状参数较大时，产生的随机变量的模拟值分布很广，线性化后模型公式（14）和公式（15）中的误差不严格服从零均值正态分布，这时按正态分布假设得到线性模型参数估计是有偏的另外，当样本容量n较小时，离群值对参数估计的结果影响较大测试使用稳健的线性模型参数估计后，情况略有改善，但总体还是有偏的，主要原因是对未知参数的估计修正不够准确，实际计算中可以根据样本容量对的估计进行适当修正 对参数真值取其他值时进行模拟，发现当形状参数较小时，参数估计的值比较精确，较大时，得到的参数估计平均值与真值偏差较大 4 结语 本文使用全最小二乘准则代替普通最小二乘准则进行威布尔参数的估计，理论分析和计算机模拟表明，在全最小二乘准则下得到的结果更加准确三参数威布尔参数估计问题比预想的复杂很多，这里首10 高 师 理 科 学 刊 第 43 卷 先用相关系数法确定位置参数，但在样本容量较小、尺度参数和形状参数较大时，参数估计难以满足无偏性，这些现象需要进一步深入研究 对三参数威布尔分布的参数估计问题，通过数值模拟与最大似然估计和矩估计法进行了比较，发现本文方法计算量小，不受初值敏感性困扰，参数估计与真值的偏差并不大，目前是一种不错的可行方法，可为进一步改进参数估计提供基础当样本值较小时，为提高参数估计的稳健性，也可用稳健的全最小二乘方法19-20克服离群值的影响 取得样本数据后，也可以先进行是否服从威布尔的非参数检验（如 K-S 检验），如果不服从威布尔分布，就不宜用威布尔分布强行拟合，需要考虑用其他的分布进行研究 参考文献：1 Lehman E HShapes，Moments and Estimators of the Weibull distributionJTransactions of IEEE on Reliability，1963，12（3）：32-38 2 Greenwood J A，Landwehr J M，Matalas N C，et alProbability weighted moments：Definition and relation to parameters of several distributions expressable in inverse formJ Water Resources Research，1979，15（5）：1049-1054 3 Vogel R M，Fennessey N ML moment diagrams should replace product moment diagramsJWater Resources Research，1993，29（6）：1745-1752 4 Balakrishnan N，Kateri MOn the maximum likelihood estimation of parameters of Weibull distribution based on complete and censored dataJStatistics&Probability Letters，2008，78（17）：2971-2975 5 Chen W，Xie M，Wu MModified maximum likelihood estimator of scale parameter using moving extremes ranked set samplingJCommunications in Statistics-Simulation and Computation，2016，45（6）：2232-2240 6 Markovic D，Jukic D，Bensic MNonlinear weighted least squares estimation of a three-parameter Weibull density with a nonparametric startJ Journal of Computational and Applied Mathematics，2009，28（1）：304-312 7 Kang Y J，Noh Y，Lim O KKernel density estimation with bounded dataJStructural and Multidisciplinary Optimization，2018，57（1）：95-113 8 Carneiro T C，Melo S P，Carvalho P C M，et alParticle Swarm Optimization method for estimation of Weibull parameters：A case study for the Brazilian northeast regionJRenewable Energy，2016，86（2）：751-759 9 Orkcu H H，Aksoy E，Dogan M I Estimating the parameters of3p-Weibull distribution through differential evolutionJApplied Mathematics&Computation Elsevier，2015，251：211-224 10 Keller M，Popelin A L，Bousquet N，et alNonparametric estimation of the probability of detection of flaws in an industrial component，from destructive and nondestructive testing data，using approximate Bayesian computationJRisk Analysis，2015，35（9）：1595-1610 11 Aghmasheh R，Rashtchi V，Rahimpour EGray box modeling of power transformer windings for transient studiesJIEEE Transactions on Power Delivery，2017，32（5）：2350-2359 12 Talafuse T P，Pohl E ASmall sample reliability growth modeling using a grey systems modelJQuality Engineering，2017，29（3）：455-467 13 Soman K P，Misra K BA least square estimation of three parameters of a Weibull distributionJMicroelectronics Reliability，1992，32（3）：303-305 14 Ahmad K EModified weighted least-squares estimators for the three-parameter Weibull distributionJApplied Mathematics Letters，1994，7（5）：53-56 15 George FA comparison of shape and scale estimators of the two-parameter Weibull distributionJJournal of Modern Applied Statistical Methods，2014，13（1）：23-35 16 Markovsky I，Van Huffel SOverview of total least-squares methodsJSignal Processing，2007，87（10）：2283-2302 17 Petras I，Bednarova DTotal Least Squares Approach to Modeling：A Matlab ToolboxJActa Montanistica Slovaca，2010，15（2）：158-170 18 Zhang L F，Xie M，Tang L CA study of two estimation approaches for parameters of Weibull distribution based on WPPJReliability Engineering&System Safety，2007，92（3）：360-368 19 Mahboub V，Amiri-Simkooei A R，Sharifi M AIteratively reweighted total least squares：a robust estimation in errors-in-variables modelsJEmpire Survey Review，2013，45（329）：92-99 20 Schaffrin B，Lee I，Felus Y，et alTotal least-squares（TLS）for geodetic straight-line and plane adjustmentJBollettino Di Geodesia E Scienze Affini，2006，65：141-168