进阶回归分析.pptx

Quan_reg21常見涉及誤差變異之問題若誤差項不符合變異數相同的假說，則可能產生異值變異(heteroskedasticity）的問題若誤差項不符合獨立的假設，則可能產生自我相關(autocorrelation)的問題，即誤差項與前期的誤差相關如何發現上述問題？最快的方法是觀察殘差圖，再以統計檢定確定如何修正？對異值變異採用WLS法，對自我相關資料採用AR(1)模式第四章 進階迴歸分析Quan_reg22殘差圖種類:t化殘差的順序圖,盒形圖,及常態機率圖。對Y、對X的殘差圖。以殘差或t化殘差為縱軸的分散圖，或殘差的分佈圖，稱為殘差圖。t-化殘差(Studentresidual)：以MSE為標準差，將ei標準化得到的值，在常態情況下其值應介於-3與3之間殘差圖Quan_reg23社區相館例之殘差常態機率圖(符合迴歸假設)社區相館例之殘差圖:95%在此範圍Quan_reg241.非直線模式對X殘差圖呈曲線2.變異數非固定值對X殘差圖呈梯形3.離群值存在對X殘差圖,及殘差盒形圖出現離群值殘差圖分析偏離情況殘差圖形狀範例5.誤差項非常態性殘差的常態機率圖偏離直線4.誤差項的不獨立殘差順序圖分群呈現(如：時間序列資料)fig4fig3fig2fig1fig5Quan_reg25fig1fig2資料散佈圖殘差圖ei=0Quan_reg26fig4fig3殘差圖資料散佈圖Quan_reg27殘差圖殘差機率圖fig5資料散佈圖Quan_reg28第一節 GLS 與 OLSYt=0+1X1t+.+kXkt+ttNID(0,2)廣義的變異數矩陣：根據上列變異數矩陣得到的最小平方估計量稱為廣義最小平方法(generalized least square method),簡稱為 GLSCov(i,j)Var(i)Quan_reg29獨立時變異數矩陣：ij=0,forij同值時變異數：ii2=2假設誤差項是獨立且同變異數時，之前在假設是獨立且同變異數之下的最小平方估計量稱為一般最小平方法(ordirnary least square method),簡稱為 OLSQuan_reg210第二節 異值變異迴歸分析時，資料違背同變異性，稱為異值變異(Heteroskedasticity)觀察對x 之殘差圖呈現喇叭形時，可能有異值變異，即標準差與x 相關也可以由下列三種檢定法檢定資料是否存在異值變異：WhitetestBreusch-Pagan/GodfreytestGoldfeld-QuandttestQuan_reg211Whitetest原理說明：誤差項可能會跟X或X平方相關所以利用誤差項變異數和以上相關的變數進行迴歸分析，若判定係數(R2)很高時，表示具有異值變異。White證明nR2服從自由度q的卡方分配，q=(k-1)(k+2)/2以卡方檢定執行Quan_reg212Test of First and SecondTest of First and SecondMoment SpecificationMoment SpecificationDFDFChi-SquareChi-SquarePrChiSqPrChiSq54.870.4316SAS tipAnalysisRegressionLinearStatistics Diagnostics Heteroscedasticity test社區相館例之Whitetest報表:Test of First and SecondTest of First and SecondMoment SpecificationMoment SpecificationDFDFChi-SquareChi-SquarePrChiSqPrChiSq211.990.0025年齡血壓關係例之Whitetest報表:未違背同值變異違背同值變異Quan_reg213異值變異迴歸式的估計方法加權最小平方法（WLS）說明：Yt=0+1X1t+t,var(t)=Zt2Zt是Xt，或是Xt的函數變異數與Zt成正比，則以1/Zt為權重註：權重的觀念是：對變化小的個案，加權重，對變化大的個案，加權輕，這將使迴歸式的估計較精確。Quan_reg214原理:求得i，使下式達到最小的方法稱為加權最小平方法(WLS)矩陣解:NormalEquation:(XWX)bw=XWY估計量:bw=(XWX)-1XWY共變異矩陣:bw=(XWX)-1XWYQuan_reg215實作:1.先以不加權最小平方配適迴歸模式。2.由殘差圖判斷誤差變異數隨何變數正變，可能是下列情況之一。然後決定wt值。也可能是分段增加或減少3.以wt加權得到WLS迴歸模式。4.進一步測試模式適合性及其它。喇叭形梯形狹形SAS tip將 wt資料輸入為 relative weight 變數Quan_reg216Root MSE0.18918R-Square0.5005Dependent Mean74.87714Adj R-Sq0.4908Coeff Var0.25266Parameter EstimatesVariableLabelDFParameterEstimateStandardErrortValuePr|t|InterceptIntercept155.831042.7809320.08.0001ageage10.588830.081587.22ChiSq22.520.2838Root MSE8.14575R-Square0.4077Dependent Mean79.11111Adj R-Sq0.3963Coeff Var10.29659Parameter EstimatesVariableLabelDFParameterEstimateStandardErrortValuePr|t|InterceptIntercept156.156933.9936714.06.0001ageage10.580030.096955.98ChiSq211.990.0025(OLS法報表)(WLS法報表,X-2為加權)Quan_reg217第三節 自我相關探討誤差項之間的相關性不為零的情形ij0,forij就是變異數矩陣中，非對角線元素不為零的狀況Quan_reg218使用迴歸來分析時間序列資料時，誤差項可能依時間先後有相關性，此稱為自相關現象(autocorrelation)，此種資料違背獨立性的情況，會表現在殘差圖上，需修正模式。【例】X：產品年銷售量(salec)，Y：某公司的年銷售量R2=0.999(此圖顯示殘差明顯違背獨立性假設)Quan_reg219Lag為s之自相關係數迴歸模式的自我相關(autocorrelation)是指誤差項前後期彼此相關定義：自相關共變異數：s階自相關係數：注意：Quan_reg220資料的自相關現象對迴歸分析結果產生下列現象：1.係數的估計量仍為不偏，但無法達到最小變異數。2.MSE低估真實的誤差變異數。3.s.e.bk低估係數之標準差。4.t-test，F-test，及confidenceinterval無法再直接應用。Quan_reg221一階自相關first-orderautocorrelation：連續二資料間的相關性，即t與t-1間之相關性與位置無關，1=cor(t,t-1)forallt如何檢測出一階自相關？1.觀察殘差圖2.Durbin-Watson檢定(t與t-1間相關，將反應在et與et-1間)Quan_reg222Durbin-Watson統計量：自相關的檢定-Durbin-WatsonTest註：1、D2(1-r1)，0D42、SAS之regression/linear或Timeseries/Reg.w.Autoregressiveerror提供D-W值3、檢定法則：依據n,p,查出dL,及dU,Quan_reg223101=010決策1.DdU,時，不拒絕H03.dL,DdU,時，無法定論，(需要更多資料)n152025303540455060dL.051.081.21.291.351.41.441.481.51.55dU.051.361.411.451.491.521.541.571.591.620dLdU24-dU4-dL4臨界值Quan_reg224負的自相關檢定H0：1=0，H1：101.(4-D)dU,時，不拒絕H03.dL,(4-D)0，0D2，r10，2D|t|InterceptIntercept18.420661.146067.35.0001saleCsaleC15.665850.04643122.024-dL,有負自相關現象，雖然R2值很高，得到的迴歸訊息是不正確的，需要修正模式。(dL=1.2.dU=1.36)Quan_reg227為一階自相關係數，代表自相關程度之大小。AR(1)Model:Yt=0+1xt+t,t=1,2,nt=t-1+ut,|t|Variable LabelIntercept18.42071.14617.35.0001saleC15.66590.0464122.02|t|Intercept18.97390.842410.65.0001saleC15.64310.0342164.96.0001Estimates of Autoregressive ParametersLagCoefficientStandard ErrortValue10.5416570.2038752.66