资源描述
Poisson回归,主要内容,一、二项分布与,Poisson,分布,二、广义线性模型,三、,Poisson,回归,四、,Poisson,回归的,SAS,分析,五、,Poisson,回归需注意的统计问题,二项分布,指在只会产生两种可能结果(如“阳性”或“阴性”)的,n,次独立试验中,当每次试验的“阳性”概率保持不变时,,出现“阳性”的次数,X=0,,,1,,,2,,,,,n,的一种概率分布。,n,为试验次数,,为,“,阳性,”概率。,表示从,n,个不同元素中每次取出,x,个不同元素的组合,二项分布,二项分布的条件:,每次,试验只会发生两种对立的结果之一,两种互斥结果的概率之和恒等于,1,;,每次试验产生某种结果(如“阳性”)的概率,固定不变;,各次试验是互相独立的,即任何一次试验结果的出现不会影响其它试验结果出现的概率。,二项分布,二项分布举例:,假定某疫苗的不良事件发生率是,10%,,现在有,3,个人接种了该疫苗,可能会出现的各种结局的概率是多少?,二项分布,3,个人中,,k,个人出现不良事件的概率为,:,二项分布,二项分布的概率分布:,在,n,次独立试验中,令,x,表示事件,A,发生的次数,则随机变量,x,所有可能的取值为,0,、,1,、,2,、,,其概率函数为:,两个参数:,n,为试验次数,,为事件发生,率。,二项分布,二项分布的性质:,平均数,=n,标准差,二项分布,Poisson,分布,Poisson,分布主要用于描述单位时间、面积、体积等单位内稀有事件个数的相对频率。,Poisson,随机变量,x,的分布是:,一个参数,0,,是一常数,Poisson,分布,Poisson,分布的条件:,试验是在给定的时间、面积、体积等单位内发生的事件次数;,事件发生在给定的时间,、面积、,体积等单位内的概率对每一单位都是相同的;,发生在一个时间、面积、体积等单位的事件与发生在其它单位的事件是互相独立的,Poisson,分布,Poisson,分布的条件示意图:,Poisson,分布,Poisson,分布举例:,为监测饮用水的污染情况,某疾控中心对一社区的饮用水进行检测,下面是每毫升饮用水的细菌数,试分析该结果是否服从,Poisson,分布,Poisson,分布,data,aa;,input x f;,cards;,0 243,1 120,2 31,3 6,;,proc,means,mean var;,freq f;,var x;,run,;,Poisson,分布,计算,Poisson,分布,=1,=2,=3,=4,Poisson,分布,=5,=6,负二项分布,负二项分布,Negative Binominal Distribution(NB):,负二项分布常用于度量某事件发生前所需要的时间长度,如顾客一直排队直到得到服务的时间,设备到失效的时间等,其结果与二项分布一样,为两类:发生和不发生但描述的不是发生的次数,而是直至发生时实验的次数,负二项分布,负二项分布的性质:,均值,方差,很明显看出,负二项分布的均值小于方差,负二项分布,负二项分布与,Poisson,分布的关系:,Poisson,分布中,设定,是常数,当,不是常数,而是一个随机变量,且服从,分布时,此时复合,Poisson,分布就是负二项分布,负二项分布中的,是变化的,换句话说,个体事件发生的概率不等,有的出现的概率大,有的出现概率小,从而导致方差变大。,实际意义也就是说,不同地区、时间等发生的概率不等,有的发生概率高,有的发生概率低,可能存在一定的聚集性。,负二项分布,负二项分布常用于:,描述生物的聚集性,如钉螺在土壤的分布、昆虫的空间分布等;医学上描述传染性疾病的分布和致病生物的分布。,需要注意:,描述的事件发生率应比较低,其“单位”应足够大,负二项分布,离散参数(,dispersion parameter,),:,NB,分布的均数与方差:,令 ,则,x,的均数为:,方差为:,将,k,-1,称为离散参数,当,k,-1,趋于,0,时,负二项分布退化为,Poisson,分布,负二项分布,广义线性模型,广义线性模型“广”在什么地方?,主要是“广”在因变量上。,广义线性模型是一般线性模型的推广,一般线性模型中的因变量只能是定量变量,广义线性模型则拓宽了这一范围,因变量不再仅限于定量变量,还可以是诸如二项分布、,Poisson,分布、负二项分布等非定量变量。,广义线性模型,广义线性模型(,Generalized Linear Model,),其中,等式右边是自变量,x,1,,,x,2,,,x,m,,可以是一个,也可以是多个,形式可以是分类的,也可以是定量的。,等式左边是一个联接函数,通过指定联接函数及数据分布,广义线性模型可转化成相应的具体模型。,广义线性模型,常用的联接函数,分布,联接函数,数学表达式,模型,正态分布,恒等函数,g,(,),=,线性回归模型,二项分布,Logit,函数,g,(,)=,ln(,/1-,),l,ogistic,回归模型,Poisson,分布,对数,g,(,)=,ln(,),Poisson,回归模型,广义线性模型,当指定分布为正态(,normal,)分布,且联接函数直接就是,时,广义线性模型就成了多重线性回归模型。,当指定分布为二项(,binomial,)分布,指定联接函数为,logit(,),即,时,广义线性模型就是,logistic,回归模型。,当指定分布为,Poisson,分布,联接函数为,log(,),时,广义线性模型就转化成,Poisson,回归模型。,当指定分布为负二项(,negative binomial,)分布,联接函数为,log(,),时,广义线性模型就转化为负二项回归。,广义线性模型更进一步地将多重线性回归、,logistic,回归、,Poisson,回归、负二项回归等统一起来,Poisson,回归,模型,Poisson,回归常用于单位时间或单位空间内某稀有事件发生数的影响因素分析,医学中有不少现象均符合这种条件,尤其在肿瘤队列研究中,,,如对浅表性胃炎病人长期随访一段时间后的胃癌发生数。,这种数据也称之为事件数资料(,count data,)。其特征就是发生数能够一个一个地清点(,counting,),不能有小数点。,Poisson,回归,模型,Poisson,回归模型的表达形式为:,系数,i,表示,x,i,每增加一个单位,,log(,),的变动,或者说,x,i,每增加一个单位,,对,产生,e,i,的效应,Poisson,回归,模型,Poisson,回归的应用条件:,线性:因变量的对数与自变量呈线性关系,独立性:各观测之间相互独立,方差等于均值:各自变量水平上的因变量的方差与均值相等,Poisson,回归,模型,Poisson,回归,模型,参数检验:,(,1,),Wald,检验,:,检验回归系数是否为零,。,其检验假设为:,H,0,:,j,=0,H,1,:,j,0,Poisson,回归,模型,参数检验:,(,2,)似然比检验(,likelihood ratio test,),比较两个嵌套模型的对数似然值,似然比统计量服从,2,分布,其自由度为两个模型自变量数的差值,根据,2,值和相应的自由度可计算出,P,值,Poisson,回归,模型,模型评价:,Pearson,2,比较期望值和观测值的差别,y,i,表示不同自变量组合水平下的观测数,,i,表示期望数,,V,(,i,),表示方差,Poisson,回归,模型,模型评价:,Deviance,比较饱和模型和现有模型的差别,L,s,表示现有模型,,L,f,表示饱和模型,饱和模型解释了模型系统部分的所有变动,反映一种理想状态。,Deviance,值越小,现有模型与饱和模型的偏差越小,拟合效果越好。,Poisson,回归,模型,Poisson,回归,模型,模型诊断:,多重共线性(,multi-collinearity,),容忍度,(tolerance),:小于,0.1,时,可能存在共线性,方差扩大因子,(variance inflation factor,VIF),:大于,10,时,可能存在共线性,分类资料最好不用条件指数,Poisson,回归,模型,模型诊断:,异常点诊断,离群点,(outliers),:因变量预测值与实际值差别较大。,诊断指标:,Pearson,残差、,Deviance,残差,杠杆点,(high leverage points),:自变量远离其它值。,诊断指标:杠杆值,h,i,强影响点,(influential points),:对模型估计影响较大。,诊断指标:,DFBETA,,,Cook,距离(,Cooks Distance,),Poisson,回归,模型,Poisson,回归,模型,广义线性模型在,SAS,中可通过,proc genmod,命令实现。其常用语句有:,Proc genmod;,Class,分类变量,;,Model,因变量,=,自变量,;,Weight,变量:,Run;,Poisson,回归,模型,Model,语句常用的选项有:,指定分布和联接函数的选项,Dist=,该选项指定数据分布,常用的分布有:,binomial,(二项分布,默认联接为,logit,)、,poisson,(,Poisson,分布,默认联接为,log,)、,negbin,(负二项分布,默认联接为,log,)、,normal,(正态分布,默认联接为,identity,)、,multinomial,(多项分布,默认联接为,cumlogit,,即累积,logit,),Link=,该选项指定与分布对应的联接函数,常用的有:,logit,(对应二项分布)、,log,(对应,Poisson,分布和负二项分布)、,identity,(对应正态分布)、,cumlogit,(对应多项分布,用于多分类,logit,模型),Poisson,回归,模型,Model,语句常用的选项:,结果输出选项,Type1,给出似然比的,1,型分析结果,,1,型分析结果跟各变量进入模型的顺序有关。模型中每一个自变量的结果仅仅校正了在它之前进入模型的变量,而在它之后进入模型的变量则没有校正,Type3,给出似然比的,3,型分析结果,,3,型分析结果跟各变量进入模型的顺序无关。模型中每一个自变量的结果都是校正了所有其它变量的结果,不管是在它之前进入模型还是在它之后进入模型,Poisson,回归,模型,Model,语句常用的选项:,结果输出选项,Pred,输出预测值,Residuals,输出各种残差,包括,Pearson,残差、,Deviance,残差等,diagnostics,输出杠杆值、强影响点诊断等结果,Offset,指定一个位移变量,该选项在,Poisson,回归中比较有用,它类似于指定一个分母(即观察的总人数或总人年)。由于,Poisson,回归的因变量是,log,形式,因此位移变量通常指定总人数或总人年的对数。,Poisson,回归,模型,Class,语句与,logistic,回归中的,class,语句相似,也可以通过,param=,和,ref=,这两个选项产生虚拟变量,并根据,ref=,的指定确定参照组。,Param=,指定分类变量的参数估计方法,一般指定,param=reference,Ref=,可指定,ref=first,、,ref=last,或,ref=,“某类别赋值”,以指定参照组,Poisson,回归,模型,例,1:,某肿瘤医院为探索幽门螺杆菌及不同胃黏膜病变对胃癌的影响,在某地随机抽取了,3400,名居民,检测他们的幽门螺杆菌感染状况以及胃黏膜病变情况,并对他们的胃癌发病情况进行随访。随访,7,年后,共发现,59,例胃癌,欲分析幽门螺杆菌、基础胃黏膜病变对胃癌发生的影响。,病变,幽门螺杆菌阴性,幽门螺杆菌阳性,人数,发病数,发病率(,%,),人数,发病数,发病率(,%,),Sg/Cag,981,1,0.102,1010,6,0.594,Im,230,5,2.174,604,20,3.311,Dys,97,6,6.186,287,21,7.317,合计,1308,12,0.917,1901,47,2.472,Poisson,回归,模型,DATA example10_2;,INPUT hp path c n;,ln=log(n);,/*,产生一个新变量,ln,,其值为例数,n,的对数,作为后面,model,语句中的位移变量,*/,CARDS;,011981,025230,03697,1161010,1220604,1321287,;,PROC GENMOD;,CLASS path(param=ref ref=first);,MODEL c=hp path/dist=poisson link=log offset=ln type1 type3;,/*dist,指定分布为,Poisson,分布,,link,指定联接函数为,log,,,type1,和,type3,输出似然比的,1,型和,3,型结果。,Offset,选项非常关键,它起到一个分母的作用,因为因变量只是指定了胃癌发生数,c,,因此通过,offset,选项设定一个位移变量。由于指定的联接函数为对数形式,因此位移变量不是直接用总例数,而是总例数的对数,*/,RUN;,Poisson,回归,模型,Deviance,和,Pearson,2,值分别为,1.1535,和,1.0455,,我们可根据相应的自由度,DF,求得对应的,P,值分别为,0.5617,和,0.5929,,远远大于,0.05,,提示模型拟合较好。,Poisson,回归,模型,SAS 9.3,结果中增加了,AIC,、,AICC,、,BIC,等模型评价指标,Poisson,回归,模型,Wald,检验结果,,hp,的影响无统计学意义(,P=,0.1370,),,path,的影响有统计学意义。,Poisson,回归,模型,似然比检验,分别给出了型和型的结果。,型和型的结果,不同,说明了什么?,Poisson,回归,中的过离散问题,例,2,:某研究观察马蹄蟹壳宽(,wcat,)与居住周围同伴数(,satell,)的关系,将壳宽从,23-30cm,分了,8,组,每组例数如下:,Poisson,回归,中的过离散问题,PROC,GENMOD,;,CLASS wcat(param=ref ref=first);,MODEL satell=wcat/dist=poisson link=log;,RUN,;,该语句没有加,offset,选项,为什么?,Poisson,回归,中的过离散问题,偏差和,Pearson,卡方大于,1,,提示可能存在过离散,Log likelihood,是校正了,scale,指定值的结果,,full log likelihood,没有校正,scale,指定值,Poisson,回归,中的过离散问题,参数估计结果,Poisson,回归,中的过离散问题,计算均值和方差:,Poisson,回归,中的过离散问题,方法一:利用过离散因子,进行校正,PROC,GENMOD,;,CLASS path(param=ref ref=first);,MODEL c=hp path/dist=poisson link=log scale=pearson;,RUN,;,Poisson,回归,中的过离散问题,参数估计结果,Poisson,回归,中的过离散问题,方法二:利用负二项回归进行拟合,PROC,GENMOD,;,CLASS wcat(param=ref ref=first);,MODEL satell=wcat/dist=,negbin,link=log;,RUN,;,Poisson,回归,中的过离散问题,负二项回归拟合效果,Poisson,回归,中的过离散问题,负二项回归的参数估计,Poisson,回归,中的过离散问题,负二项回归与,Poisson,回归的比较,(,1,)离散度,1.0875,与,0,的比较,(,2,)负二项回归与,Poisson,回归的模型拟合优度指标比较,作者:冯国双,
展开阅读全文