logistics回归最优尺度回归决策树培训课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,logistics回归最优尺度回归决策树,*,logistics回归最优尺度回归决策树,2,1,2,3,4,5,决策树,方法比较,最优尺度回归,统计描述,Logistics,回归,Outline,统计描述,统计描述,QQ,图可看出血小板取自然对数后数据分布更趋于正态分布，更为平稳。,统计描述,与四分位数值的距离超过,1.5,倍四分位间距的为离群值，以,o,表示；超过,3,倍的则为极值，用,*,表示。,血小板取自然对数后明显减弱了异常值的影响,统计描述,年龄、收缩压、舒张压、,ln,血小板 箱式图中均没有明显极端值,年龄,舒张压,收缩压,统计描述,Ln,血小板,统计描述,Logistics,回归,logistics,单因素分析结果,Logistics,回归,多因素分析结果（单因素有意义）,多因素分析结果（逐步回归）,激素对预防迟发型脑损伤的保护性作用最大，即使用激素后脑损伤的发生风险会下降至原先的,e,-9.9882,Logistics,回归,Logistics,回归,/*,将结果直接输出到一个,word,文档中,*/,/*logistic,多因素*,/,ods,rtf,file,=,multi.rtf,;,proc,logistic,data,=anli,descending,plots,=,roc,(,id,=prob);,class,var2(,ref,=,1,)var7(,ref,=,0,)var8(,ref,=,0,),var9(,ref,=,0,)var10(,ref,=,0,)var11(,ref,=,1,),var12(,ref,=,0,)var13(,ref,=,0,)var14(,ref,=,0,),/,param,=reference;,/*,为分类变量设置参考水平*,/,model,y=var4 var5 var9 var11 var13 var16,/,stb,risklimits,（,selection,=stepwise,sle,=,0.1,sls,=,01,details,）,rsquare,；,/*,得到标准化系数；置信区间；逐步回归每一步的系数细节；,R,2,*,/,run,;,ods,rtf,close,;,最优尺度回归,在分析数据时，当遇到自变量为分类变量的情况，比如收入级别、学历等，我们通常的处理方法是直接将各个类别定义取值为等距连续整数。比如将收入的高、中、低分别定义为,1,、,2,、,3,，但是这意味着这三个水平之间的差距是相等的或者说它们对因变量的数值影响程度是均匀的，显然这种假设是有些草率的，基于此的分析有时会得出很不合理的结论。而最优尺度回归可以解决这一问题，它可以,将人为设置的分类变量进一步优化,，,找出更加合理的分类首先，我们先把原始数据中的进行了处理，即将,0,1,变量定义为,1,2,。,最优尺度回归,SPSS操作步骤,最优尺度回归,模型的系数及其显著性。,最优尺度回归,偏相关系数,最优尺度回归,量化转换图,由意识程度的转换图（右图）可以看出,2,、,3,两个等级被赋予了相同的量化评分，在后续的分析中，这两个级别就被合并分析了。,最优尺度回归,模型综述,（,1,）由分析结果“系数”表可知，最终的的模型为：,Y,（迟发型脑病）,=0.165*,激素,-0.407*,舒张压,-0.293*ln,血小板,（,2,）由分析结果的“模型摘要”表，可知模型的拟合优度效果一般，调整后的,R,2,为,0.551,ANOVA,”表明模型的整体非常显著，,P,值小于,0.001,，模型具有统计学意义。,（,3,）由分析结果“相关性和容错”表重要性分析表明，舒张压、血小板的自然对数和激素对结局影响较大，其余变量对结局的影响作用很小。,（,4,）虽然，在此模型中意识程度的对结局的影响不显著，但是把意识程度设为有序变量，进行相应变换，则改变了变量的初始差异，这也体现了最优尺度变换的优势。,最优尺度回归,去除异常值的模型,R,方较大，拟合效果较好。,决策树,决策树法（,decision tree-based method,）是通过一系列,if-then,的逻辑（分枝）关系，形成一套分层规则，将所有可能发生的结局的概率分布用树形图来表达，生成决策树，从而达到对研究对象进行精确预测或正确分类的目的。,根据因变量类型，决策树可分为分类树和回归树两大类。,基本结构：根、叶、分支,决策树,基本思想：与方差分析中的变异分解极为相近，将总研究人群通过某些特征（自变量）分成数个相对同质的亚人群。采用自顶向下的方法，在决策树的内部结点进行属性值的比较并根据不同属性值判断从该节点向下的分支，在树的叶节点得到结论。,决策树生成算法分成两个步骤：,树的生成 开始，数据都在根节点,递归的进行数据分片,树的修剪 去掉一些可能是噪音或者异常的数据（相当于逐步回归中的向后筛选法，既从树的末端剪去多余的枝叶，又能保证树包含足够的信息）,决策树,决策树的算法：,CHAID,：发展最早，使用卡方检验作为树分类的基本方法。只适用于分类自变量。,CRT,：按照预测误差最小化的原理，一次按照将总体划分为多个子样本。适用范围较广，原理简单。,QUEST,：对,CHAID,的改进，可适用于任何类型的自变量，在变量选择上基本无偏，但原理较难理解。,剪枝方法：,成本,复杂性测量,决策树,该案例中进行模型设定时应考虑的问题：,（,1,）舒张压和收缩压明显为高相关性变量，同时纳入这两个变量可能会在树模型中过于强调血压的作用，因此仅纳入舒张压。,（,2,）算法中,CHAID,方法不太适合连续型自变量，,QUEST,原理相对较难，而,CRT,原理简单，根据本案例的分析目的，首选,CRT,。,（,3,）可要求树模型同时输出对候选自变量的重要性分析，以验证,logistics,模型的变量筛选结果是否正确。,（,4,）树模型在结构上对样本进行反复拆分，对样本量要求较高。但本案例,201,例样本太少，因此我们尽量放宽拟合条件，暂时不考虑剪枝问题。,决策树,SPSS,操作步骤,决策树,决策树模型,分析结果,舒张压作为对预测效果改进最大的自变量被首先用于拆分节点，按照舒张压是否大于或等于,8,，总样本被分成较低的,36,例（节点,1,）和较高的,165,例（节点,2,）；在节点,2,中按,ln,血小板是否小于等于,4.52,进行了第二次拆分，分为较低的,18,例和较高的,147,例。,决策树,按照树模型进行预测，得到风险估计及其,标准误。上面的分析结果说明现在大约有,7.5%,的案例会被错分。,分类预测效果及预测准确率如,右图所示，其预测准确率为,92.5%,当前树模型的构建过程中候选自变量的重要性。,重要性排在前三位的为舒张压、,Ln,血小板和激素，与,logistics,回归结果一致。,决策树,决策树,决策树,YES,NO,YES,NO,方法比较,方法,R,2,预测准确率,优点,缺点,Logistics,回归（,SAS,）,0.769,95.7%,得到,OR,值；,分析性能稳健，不容易发生过度拟合；,应用广泛,自变量与,logit,（,p,）要求线性，条件较为严格,最优尺度回归（,SPSS,）,0.551,-,可对分类变量进行选择定义，选择最优分类尺度,自变量为数值型变量时不宜选用此方法,决策树（,SPSS,）,-,92.5%,直观形象；,揭示自变量重要程度；,克服共线性问题；,可提示自变量中的交互项,结果不稳定；,样本量要求较高,The End,Thanks,