2019医学数据处理及回归分析..ppt

数据处理及回归分析数据处理及回归分析几种常见的数据处理方法 线性回归分析目 录1 1 列表法列表法 -三线式表格三线式表格一、几种常见的数据处理方法一、几种常见的数据处理方法表格的基本结构：通常由表头、项目栏和数据栏组成表格的基本结构：通常由表头、项目栏和数据栏组成表表 头头:表格的编号、名称。表格的编号、名称。项目栏项目栏 ：相关物理量，单位等。：相关物理量，单位等。数据栏：记录测量数据。数据栏：记录测量数据。三线式表格三线式表格三线式表格三线式表格无边框的表格，只由三条横线组成。分别是：无边框的表格，只由三条横线组成。分别是：起始线：起始线：表格序号和名称应写在起始线上方。表格序号和名称应写在起始线上方。分隔线：分隔线：用来分隔项目栏和数据栏。用来分隔项目栏和数据栏。终止线：终止线：数据到此为止。数据到此为止。列表的要求是：列表的要求是：（1）简明。）简明。（2）标明物理量的意义，注明单位及数量级。）标明物理量的意义，注明单位及数量级。（3）正确反映测量结果的有效数字。）正确反映测量结果的有效数字。2 2 图解图示法图解图示法 图示法可以形象、直观地显示出物理量之间图示法可以形象、直观地显示出物理量之间的函数关系，也可以得出某些物理参数，因此它是的函数关系，也可以得出某些物理参数，因此它是一种重要的数据处理方法。作图时要先整理出数据一种重要的数据处理方法。作图时要先整理出数据表格，并要用表格，并要用坐标纸坐标纸作图。作图。图解法是将实验测量数据按其对应关系在坐图解法是将实验测量数据按其对应关系在坐标纸上描绘出一条光滑的曲线。此曲线可以显示标纸上描绘出一条光滑的曲线。此曲线可以显示出物理量间的关系。出物理量间的关系。作图要求：作图要求：坐标轴坐标轴 ：一般以自变量为：一般以自变量为X X轴轴,应变量为应变量为Y Y轴。并画出坐轴。并画出坐标轴，用箭头标明坐标轴方向，写上物理量名称或符号、标轴，用箭头标明坐标轴方向，写上物理量名称或符号、单位。单位。定标尺：标明坐标纸上的一小格代表的大小。定标尺：标明坐标纸上的一小格代表的大小。描点：清晰准确地标出实验数据点。描点：清晰准确地标出实验数据点。选坐标纸选坐标纸 ：选择合适的坐标纸：选择合适的坐标纸,包括类型和大小。包括类型和大小。连线：用直尺、曲线板等把数据点连成直线或光滑曲线。连线：用直尺、曲线板等把数据点连成直线或光滑曲线。连线时应该使数据点均匀分布在图线两边。连线时应该使数据点均匀分布在图线两边。标上图名。标上图名。I(mA)U(V)8.004.0020.0016.0012.0018.0014.0010.006.002.000 02.004.006.008.0010.001.003.005.007.009.00电阻伏安特性曲线图电阻伏安特性曲线图A(1.00,2.76)B(7.00,18.58)由图上由图上A、B两点可得被测电阻两点可得被测电阻R为：为：作者：作者：xxxx图名图名图名图名作图者姓名作图者姓名作图者姓名作图者姓名n(nm)1.6500500.0700.01.67001.66001.70001.69001.6800600.0400.0玻璃材料色散曲线图玻璃材料色散曲线图图图1曲线太粗，不曲线太粗，不均匀，不光滑均匀，不光滑。应该用直尺、曲应该用直尺、曲线板等工具把实线板等工具把实验点连成光滑、验点连成光滑、均匀的细实线。均匀的细实线。错在哪里？错在哪里？n(nm)1.6500500.0700.01.67001.66001.70001.69001.6800600.0400.0玻璃材料色散曲线图玻璃材料色散曲线图I(mA)U(V)0 02.008.004.0020.0016.0012.0018.0014.0010.006.002.001.003.00电学元件伏安特性曲线图电学元件伏安特性曲线图横轴坐标分度选取横轴坐标分度选取不当。不当。横轴以横轴以3 cm 代代表表1 V，使作图和读图都使作图和读图都很困难。实际在选择坐标很困难。实际在选择坐标分度值时，应既满足有效分度值时，应既满足有效数字的要求又便于作图和数字的要求又便于作图和读图，读图，一般以一般以1 mm 代代表的量值是表的量值是10的整数的整数次幂或是其次幂或是其2倍或倍或5倍。倍。错在哪里？错在哪里？I(mA)U(V)o o1.002.003.004.008.004.0020.0016.0012.0018.0014.0010.006.002.00电学元件伏安特性曲线电学元件伏安特性曲线定容气体压强温度曲线定容气体压强温度曲线1.20001.60000.80000.4000图图3P(105Pa)t()60.00140.00100.00o120.0080.0040.0020.00图纸使用不当图纸使用不当。实际作图时，实际作图时，坐标原点的读坐标原点的读数可以不从零数可以不从零开始开始。错在哪里？错在哪里？物理实验中心定容气体压强温度曲线定容气体压强温度曲线1.00001.15001.20001.10001.0500 P(105Pa)50.0090.0070.0020.0080.0060.0040.0030.00t()图解法图解法 根根据据已已有有图图线线，采采用用解解析析方方法法得得出出物物理理量量之之间间的的函函数数关关系，这种由图线求经验公式的方法称为图解法系，这种由图线求经验公式的方法称为图解法。斜率计算及不确定度斜率计算及不确定度曲线的改直曲线的改直在实际工作中，许多物理量之间的关系并不都是线性的，在实际工作中，许多物理量之间的关系并不都是线性的，但仍可通过适当的变换而成为线性关系，即把曲线变换成但仍可通过适当的变换而成为线性关系，即把曲线变换成直线，这种方法叫做曲线改直。作这样的变换不仅是由于直线，这种方法叫做曲线改直。作这样的变换不仅是由于直线容易描绘，更重要的是直线的斜率和截距所包含的物直线容易描绘，更重要的是直线的斜率和截距所包含的物理内涵是我们所需要的，例如：理内涵是我们所需要的，例如：（1），式中，式中a，b为常量，可变换成为常量，可变换成的线性函数斜率为的线性函数斜率为b，截距为，截距为lga。（2），式中，式中a，b为常量，可变换成为常量，可变换成的线性函数，斜率为的线性函数，斜率为lgb，截距为，截距为lga。（3）PV=C，式中，式中C为常量，可变换成为常量，可变换成P=C(1/V)，P是是1/V的线性函数，斜率为的线性函数，斜率为C。（4），式中，式中p为常量，可变换成为常量，可变换成的线性函数，斜率为的线性函数，斜率为。（5），式中，式中a，b为常量，可变换成为常量，可变换成的线性函数，斜率为的线性函数，斜率为a，截距，截距为为b。目的：在数据处理过程中，能把所目的：在数据处理过程中，能把所有的数据都用上，这样可以使误有的数据都用上，这样可以使误差小一点。差小一点。3 3 逐差法逐差法 砝码质量(Kg)弹簧伸长位(cm)0.00 x0 1.00 x1 2.00 x2 3.00 x3 4.00 x4 5.00 x5 6.00 x6 7.00 x7例：测量每增加例：测量每增加1kg，弹簧的平均伸长量？弹簧的平均伸长量？测量弹簧的倔强系数数据表测量弹簧的倔强系数数据表逐项逐差法处理逐项逐差法处理这样这样,弹簧的平均伸长量为弹簧的平均伸长量为:这样处理的缺点在哪里？这样处理的缺点在哪里？跳项逐差法处理跳项逐差法处理首先把数据分为两组首先把数据分为两组 然后计算每增加然后计算每增加4kg，弹簧的伸长量，弹簧的伸长量，最后算出每增加最后算出每增加1kg，弹簧的平均伸长量。，弹簧的平均伸长量。不确定度？不确定度？优点：充分利用数据，达到多次测量以减小误差优点：充分利用数据，达到多次测量以减小误差的效果。的效果。适用条件适用条件因变量和自变量之间为线性关系。因变量和自变量之间为线性关系。自变量是等量变化自变量是等量变化。4最小二乘法最小二乘法二、回归分析二、回归分析1相关与回归相关与回归客观世界中普遍存在着变量间的关系，而客观世界中普遍存在着变量间的关系，而变量间的关系一般可分为两类：变量间的关系一般可分为两类：确确定性关定性关系和非确定性关系。系和非确定性关系。确定性关系：变量间的函数关系。确定性关系：变量间的函数关系。非确定性关系：不能用函数来表示的变量间关系，非确定性关系：不能用函数来表示的变量间关系，也称为相关关系或统计关系。也称为相关关系或统计关系。身高与体重；血压与年龄；树高与生长时间；商品的销售量与单价 相关关系：对于两个变量，当自变量取值一定是，相关关系：对于两个变量，当自变量取值一定是，因变量的取值带有一定随机性的两个变量之间的因变量的取值带有一定随机性的两个变量之间的关系关系2回归分析回归分析（1）确定变量之间数量关系的可能形式，并）确定变量之间数量关系的可能形式，并用一个数学模型来表示这种关系形式用一个数学模型来表示这种关系形式（2）X是非随机变量或随机变量，是非随机变量或随机变量，Y是随机是随机变量，对变量，对X的每一确定值的每一确定值都有都有Y的一个确的一个确定分布与之对应。定分布与之对应。一个自变量一个自变量两个及两个以上自变量两个及两个以上自变量回归分析回归分析多元回归多元回归一元回归一元回归线性线性回归回归非线性非线性回归回归线性线性回归回归非线性非线性回归回归3 3 相关分析和回归分析的区别与联系相关分析和回归分析的区别与联系 1.1.联系联系 二者具有共同的研究对象，而且在具体应用二者具有共同的研究对象，而且在具体应用时，常常必须互相补充。相关分析需要依靠回归时，常常必须互相补充。相关分析需要依靠回归分析来表明现象数量相关的具体形式，而回归分分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相析则需要依靠相关分析来表明现象数量变化的相关程度。只有当变量之间存在着高度相关时，进关程度。只有当变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。行回归分析寻求其相关的具体形式才有意义。2.2.区别区别 （1 1）相关分析研究变量之间相关的方向和程度，相关分析研究变量之间相关的方向和程度，但不能指出变量间相互关系的具体形式，也无法从但不能指出变量间相互关系的具体形式，也无法从一个变量的变化来推测另一个变量的变化情况。一个变量的变化来推测另一个变量的变化情况。回归分析则研究变量之间相互关系的具体形式，回归分析则研究变量之间相互关系的具体形式，它对具有相关关系的变量之间的数量联系进行测定，它对具有相关关系的变量之间的数量联系进行测定，确定一个相关的数学方程式，根据这个数学方程式确定一个相关的数学方程式，根据这个数学方程式可以从已知量来推测未知量，从而为估算和预测提可以从已知量来推测未知量，从而为估算和预测提供一个重要的方法。供一个重要的方法。（2 2）相关分析可以不必确定变量中哪）相关分析可以不必确定变量中哪个是自变量，哪个是因变量，其所涉及的个是自变量，哪个是因变量，其所涉及的变量可以都是随机变量。而回归分析则必变量可以都是随机变量。而回归分析则必须事先研究确定具有相关关系的变量中哪须事先研究确定具有相关关系的变量中哪个为自变量，哪个为因变量。个为自变量，哪个为因变量。4.回归分析主要解决的问题回归分析主要解决的问题：从一组数据出发，确定这些变量之间的数从一组数据出发，确定这些变量之间的数学表达式学表达式回归方程或经验公式。回归方程或经验公式。对回归方程的可信程度进行统计检验，并对回归方程的可信程度进行统计检验，并从影响某一特定变量的诸多变量中找出哪从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著。些变量的影响显著，哪些不显著。利用所求的关系式，根据一个或几个变量利用所求的关系式，根据一个或几个变量的值，预测或控制另一个变量的值，并要的值，预测或控制另一个变量的值，并要知道这种预测或控制可达到的精密度。知道这种预测或控制可达到的精密度。5回归分析的基本过程回归分析的基本过程1 1、在定性和定量分析的基础上确定变量间、在定性和定量分析的基础上确定变量间的相关关系。的相关关系。2 2、建立回归分析模型。、建立回归分析模型。3 3、对模型中的参数求解。、对模型中的参数求解。4 4、对回归模型的显著性进行检验。、对回归模型的显著性进行检验。5 5、回归模型的修正和改进。、回归模型的修正和改进。6 6 回归模型的建立回归模型的建立（1 1）一元线性回归模型）一元线性回归模型 假假定定因因变变量量y主主要要受受自自变变量量x的的影影响响，它它们之间的简单线性回归模型如下们之间的简单线性回归模型如下 ：为参数，为参数，为随机误差项。为随机误差项。y是是x的线性函数部分加上误差项的线性函数部分加上误差项线性部分反映了由于线性部分反映了由于x的变化而引起的变化而引起y的变化的变化 对于误差项，在回归分析中有如下假设：对于误差项，在回归分析中有如下假设：（1 1）误差项是随机变量，它的期望值为）误差项是随机变量，它的期望值为0 0；（2 2）对于所有的）对于所有的x值，误差项的方差值，误差项的方差 为为常数；常数；（3 3）误差项之间相互独立，即与一个值相）误差项之间相互独立，即与一个值相联系的误差对与另一个值相联系的误差没有联系的误差对与另一个值相联系的误差没有影响；影响；（4 4）随机误差项服从正态分布。）随机误差项服从正态分布。7 7一元线性回归方程一元线性回归方程 描述描述y的均值的均值或期望或期望与与 x的关系的方程叫做回归的关系的方程叫做回归方程。方程。由于由于 ，所以所以 不难看出，简单线性回归方程的图形是一条直线。不难看出，简单线性回归方程的图形是一条直线。这条直线被称为这条直线被称为总体回归直线总体回归直线。是回归直线的截是回归直线的截距，距，是回归直线的斜率，是回归直线的斜率，E(y)是给定某个是给定某个x的值的值y的的均值或期望值。均值或期望值。各实际观测点与总体回归线垂直方向的间隔，就是各实际观测点与总体回归线垂直方向的间隔，就是随机误差项随机误差项，即，即 如果因变量如果因变量y y与自变量与自变量x x的相关关系是近似直线的相关关系是近似直线的关系，则一元线性回归的模型为：的关系，则一元线性回归的模型为：y的估计值或预测值，的估计值或预测值，回归系数。回归系数。确定了确定了a与与b的值，直线的位置也就相应地确定了。的值，直线的位置也就相应地确定了。8 8 最小二乘法确定模型参数最小二乘法确定模型参数 最小二乘法的基本原理就是寻一条总的看来最小二乘法的基本原理就是寻一条总的看来离各散点最近的一条直线，使实际值离各散点最近的一条直线，使实际值y 与与 相应的相应的理论值理论值 之间的误差达到最小。即：之间的误差达到最小。即：根据微积分的极值定理，根据微积分的极值定理，Q最小的必要条件为：最小的必要条件为：整理后得如下方程，称最小二乘法的标准方程：整理后得如下方程，称最小二乘法的标准方程：解方程得解方程得例：以下表的数据拟合生产费用对产量的回归直线方程例：以下表的数据拟合生产费用对产量的回归直线方程企业编企业编号号产量产量x生产费用生产费用y123456789101112404250556578841001161251301401301501551401501541561701671801751851 6001 7642 5003 0254 2256 0847 05610 00013 45615 62516 90019 60016 90022 50024 02519 60022 50023 71627 22528 90027 88932 40030 62534 2255 2006 3007 7507 7009 75012 01213 86017 00019 37222 50022 75025 900合计合计1 0251 921101 835310 505170 094将表中将表中有关数据代入公式中：有关数据代入公式中：生产费用对产量的直线回归方程为：生产费用对产量的直线回归方程为：其中其中a124.15（千克）的含义为生产费用千克）的含义为生产费用的起点值；的起点值；b0.4027表示产品产量每增加表示产品产量每增加1千件，千件，生产费用平均增加生产费用平均增加0.4027千元。千元。下图可看下图可看散点图与回归直线的关系：散点图与回归直线的关系：9 9 回归效果的回归效果的F F检验检验从一组数据根据最小二乘法可以拟合出一元线性从一组数据根据最小二乘法可以拟合出一元线性方程，但是如果散点图中的数据点分散，不呈线方程，但是如果散点图中的数据点分散，不呈线性，此时的线性回归方程是没有意义的。因此，性，此时的线性回归方程是没有意义的。因此，提出了所得到的直线是否有显著意义，即是否与提出了所得到的直线是否有显著意义，即是否与两个变量问实际关系相符合的问题，即必须对回两个变量问实际关系相符合的问题，即必须对回归的效果做显若性检验。归的效果做显若性检验。回归显著性检验回归显著性检验(regressionsignificanttest)方方法有：法有：相关系数相关系数r检验法、检验法、t检验法、检验法、F检验检验法，下面讨论法，下面讨论F检验法检验法。x xy yy y 离差分解图离差分解图测量值y1,y2,yn之间的差异，是由两个方面的原因引起的：一是自变量x取值的不同；二是测量误差等其他因素的影响。为了对线性回归的效果进行检验，需要将他们分离出来，将变量y的n个测值yi与其平均值的偏差（）分解为有x的不同取值引起的 回归偏差（）和由测量误差等其他因素造成的残余误差（）即 两端平方后求和有两端平方后求和有SST=SSR+SSE总变差平方和总变差平方和（SSTSST）回归平方和回归平方和（SSRSSR）残差平方和残差平方和（SSESSE）并进一步用并进一步用n个取值的偏离平方和来描述它们，个取值的偏离平方和来描述它们，分别记为分别记为 总偏差平方和总偏差平方和分解为回归平方和分解为回归平方和及残余平及残余平方和方和。回归平方和。回归平方和反映了在反映了在y总的偏差中总的偏差中因因x和和y的线性关系而引起的线性关系而引起y变化的大小。残余平变化的大小。残余平方和方和反映了在反映了在y总的偏离中除了总的偏离中除了x对对y线性影线性影响之外的其他因素而引起响之外的其他因素而引起y变化的大小。这些因变化的大小。这些因素包括测量误差，素包括测量误差，x和和y不能用直线关系描述的因不能用直线关系描述的因柬以及其他未加控制的因素等。如上节所述，回柬以及其他未加控制的因素等。如上节所述，回归分析的要求就是使残余平方和最小，即归分析的要求就是使残余平方和最小，即残愈残愈小，回归效果愈好。小，回归效果愈好。总偏差平方和 回归平方和 残余平方和 意义 反映因变量的n个观测值与其均值得总偏差 在总的偏差中因x和y的线性关系而引起变化的大小在总的偏离中除了x对y线性影响之外的其它因素而引起y变化的大小三个平方和的意义三个平方和的意义：由回归平方和及残余平方和的意义可知，一个线性由回归平方和及残余平方和的意义可知，一个线性回归方程是否显著，取决于回归方程是否显著，取决于和和的大小。的大小。若若愈大而愈大而愈小，则说明与的线性回归的愈小，则说明与的线性回归的关系愈密切。构造统计量：关系愈密切。构造统计量：其中，其中，为回归平方和的自由度，为回归平方和的自由度，为残余平为残余平方和的自由度方和的自由度自由度是指独立观测值的个数，因自由度是指独立观测值的个数，因中中n个观测个观测值值受平均值受平均值的约束，则有一个观测值不是的约束，则有一个观测值不是独立的，即失去了一个自由度，独立的，即失去了一个自由度，=n-1,中只有中只有b是独立变化的，即自由度是独立变化的，即自由度=1。则则=n-2,则有则有在给定显著性水平在给定显著性水平下，由下，由F分布表差得临界分布表差得临界值值，将计算值，将计算值F与与比较，若比较，若F，则认为该回归效果显著，反之，则认为该回归效果显著，反之，则不显著则不显著。中的分母为残余方差：残余标准差为：它的意义表征除了它的意义表征除了x与与y线性关系之外其他因素影响线性关系之外其他因素影响y值偏的大小值偏的大小 10 回归直线的拟合优度及测定系数拟合优度：回归直线与各观测点的接近程度称为拟合优度：回归直线与各观测点的接近程度称为回归直线对数据的拟合优度。回归直线对数据的拟合优度。工具一工具一判定系数：对估计的回归方程拟合优判定系数：对估计的回归方程拟合优度的度量工具。度的度量工具。工具二工具二估计标准误：度量各实际观察估计标准误：度量各实际观察点在直线周围的离散状况的统计量，其实点在直线周围的离散状况的统计量，其实质是对误差项质是对误差项e e的标准差的估计的标准差的估计,它可以看它可以看做是在排除了做是在排除了x x对对y y的线性影响后，的线性影响后，y y随机波随机波动大小的一个估计量动大小的一个估计量。11 11 非线性回归非线性回归1.化曲线拟合为直线拟合的步骤：化曲线拟合为直线拟合的步骤：选择回归模型。根据实验数据散点图分布的特选择回归模型。根据实验数据散点图分布的特点以及所掌握的物理规律，选择可线化函数的模点以及所掌握的物理规律，选择可线化函数的模型型作线性化变量变换后，按一元线性回归问题计作线性化变量变换后，按一元线性回归问题计算待定的系数、原的剩余平方和。算待定的系数、原的剩余平方和。如果对拟合结果不满意，再选择其它模如果对拟合结果不满意，再选择其它模型，重复以上步骤型，重复以上步骤。比较不同模型拟合所得的原剩余平方和，选最比较不同模型拟合所得的原剩余平方和，选最小者即为所求。小者即为所求。常见的几种变换形式：常见的几种变换形式：1、双曲线、双曲线令令2 2、幂函数曲线、幂函数曲线令令变形变形3 3、指数函数曲线、指数函数曲线令令变形变形5 5、S S型（型（LogisticLogistic）曲线）曲线令令变形变形4 4、对数函数曲线、对数函数曲线令令非线性回归分析函数形式线性变换变换结果双曲线指数函数幂函数对数函数S型曲线例例测定某肉鸡的生长过程，每两周记录一次鸡的重量，测定某肉鸡的生长过程，每两周记录一次鸡的重量，数据如下表数据如下表x/周2468101214y/kg0.30.861.732.22.472.672.8由经验知鸡的生长曲线为由经验知鸡的生长曲线为Logistic曲线，且极限生长量曲线，且极限生长量为为k=2.827，试求，试求y对对x的回归曲线方程。的回归曲线方程。解解由题设可建立鸡重由题设可建立鸡重y与时间与时间x的相关关系为的相关关系为令令则有则有列表计算列表计算序号序号xyyX2y2xy120.32.13144.5414.262240.860.827160.6843.309361.73-0.456360.208-2.733482.2-1.255641.576-10.0425102.47-1.9341003.741-19.3426122.67-2.8341448.029-34.0037142.8-4.64219621.544-64.982 5613.03-8.16256040.323-123.531所以所以所以所求曲线方程为所以所求曲线方程为谢谢！