定量分析中的数据处理.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2-2 定量分析中的数据处理及评价,1、数据处理中的几个术语及其意义,在,实际,的分析测试工作中，测试所得的数据总是,参差不齐，,误差是客观存在的。如何对所得的数据进行处理和评价，找出其规律，判断分析结果的可靠性，并用于指导实践。,数理统计法,是处理与评价数据的科学方法。先介绍有关的的几个术语：,（1）总体、样本和个体,（2）平均值和中位数,（3）精密度的表示方法,（1）总体、样本、个体和样本容量,总体：,研究对象的,全体,称为总体（或母体）；,样本：,（或子样）：自总体中,随机抽出的 一部分,样品称为样本（或子样）；,个体：,组成总体的每一个单元称之为个体；,样本容量：,样本中所含,个体的数目,称为样本大小（,或样本容量,）,举例说明,对某,一批软锰矿中二氧化锰含量的测定,。分析人员按分析标准规定，对物料,进行,处理（取样、粉碎、过筛和缩分等,前处理,的过程），最后,得到约500,g,供,分析用的试样，这就是,总体,。从500,g,的试样（总体）中,取12份,软锰矿,样品,来进行分析，得到,12个测定值,，这一组测定值（,12个数据,）称为本软锰矿试样总体的,随机样本,，,样本容量为12,。,由于不可能对总体中的每一个个体都进行研究，应用统计学的方法对样本（有限的个体）的研究来研究总体。如上例中，通过12次的测定的数值，来确定该批软锰矿中二氧化锰的含量。,（2）平均值和中位数,平均值,总体平均值,：当测量次数和测量数据,无限多时,，其,平均值称为总体平均值或均值，即为真值,。,真值,：,样本算术平均值（,也称平均值、均值,测定有限次,，,在分析测试工作中一般,n20,）,，,将所得数据的总和除于测定次数而得：,中位数,中位数,：位于一系列按递增或递减排列数据,中间的数据称为中位数。,（1）,数据的数目,n,为奇数,时，居于中间的数值仅,一个,；,（2）,数据的数目,n,为偶数,时，居于中间的数值有,两个,，此时,中位数为它们的平均值,；,（3）,采用中位数的,优点,是：计算简便，它与两端极值的变化无关，当测量次数较少、而且又有大误差出现，数据处理有困难时，采用中位数较好。,小结：平均值和中位数表示数据的集中趋势,即数据集中在平均值或中位数附近。,（3）精密度的表示法,在,误差概念的讨论中己知,可用误差和偏差来表示测定数据的准确度和精密度。而,精密度是对有限次测定数据的离散程度。,d、,（极差）和公差来表示。,根据对数据处理的要求不同，数据的,精密度还,常用以下,几种方法表示。,方差,总体方差,：,测定值与真值的差的平方和除以测定次数,n。,样本方差,：,标准差,标准差,：,方差的平方根为标准偏差,。,总体的标准差也称,标准误差，对真值言。,由于真值不知道，所以标准误差少用。,样本标准差（标准偏差）与变异系数,样本标准差也称为,标准偏差,：对,平均值而言,。,相对标准偏差也,称变异系数。,在,要求较严格的测定数据时，一般用变异系数来表示误差。,标准误差与标准偏差的特点,标准误差相对,真值,而言，测定次 数为,n,标准偏差相对,平均值,而言，计算公式中的,n-1,称为自由度（通俗的理解可为：做了,n,次实验，有,n-1,次可以做对比）。,精密度表示法小结,测定结果数据精密度的表示法有：,偏差,（,d）,平均偏差,（）,相对平均偏差,（即精密度）,标准偏差,（,s,）,相对标准偏差,（即：变异系数）,工业生产中还常用,极差,和,公差,来表示,具体采用哪一种表示法、由,分析结果,的,要求决定,。,另外：表示误差的数值时，用,1-2位有效数字,即可。,例,用,标准偏差,比用,平均偏差,更能显示数据的,离散性,，因而更科学更准确。,例：有,两位,分析人员对同一样品进行分析，都平行做了8次，得到以下两组数据，计算两组数据的平均偏差（,）,与标准偏差,（,s）：,1,：0.11,-0.73,0.24,0.51,-0.14,0.00,0.30,-0.21,n,=,8,=,0.28,s,1,=0.38,2,：0.18，,0.26，-,0.25，-0.37，,0.32，,-0.28，0.31，-0.27,n,=8,=0.28,s,2,=0.29,=,s,1,s,2,2.随机误差的分布,随机误差（偶然误差）,是由一些偶然因素造成的误差，它的大小和方向难以估计，似乎没有什么规律，但如果用,统计学,方法处理，就会发现它服从一定的统计规律。为了,弄清随机误差的统计规律，,下面我们来讨论以下两个问题。,（1）频数分布,（2）正态分布,测定数据表,有一矿石试样，在相同条件下用吸光光度法测定其中铜的百分含量，共有100个测量值。这些测量值属随机变量,1.36,1.49,1.43,1.41,1.37,1.40,1.32,1.42,1.47,1.39,1.41,1.36,1.40,1.34,1.42,1.42,1.45,1.35,1.42,1.39,1.44,1.42,1.39,1.42,1.42,1.30,1.34,1.42,1.37,1.36,1.37,1.34,1.37,1.46,1.44,1.45,1.32,1.48,1.40,1.45,1.39,1.46,1.39,1.53,1.36,1.48,1.40,1.39,1.38,1.40,1.46,1.45,1.50,1.43,1.45,1.43,1.41,1.48,1.39,1.45,1.37,1.46,1.39,1.45,1.31,1.41,1.44,1.44,1.42,1.47,1.35,1.36,1.39,1.40,1.38,1.35,1.42,1.43,1.42,1.42,1.42,1.40,1.41,1.37,1.46,1.36,1.37,1.27,1.47,1.38,1.42,1.34,1.43,1.42,1.41,1.41,1.44,1.48,1.55,1.37,频数分布,对上表100个数据的分析：,有,两个极值，最小,为,1.27,，,最大,为,1.55,。,R（,极值）,=1.55-1.27=0.280.30（方便处理）,把数据分为,10组,则组距为,0.03,，将各测量值对号编入。,制频数分布表。,分组,频数,相对频数,1.2651.295,1,0.01,1.2951.325,4,0.04,1.3251.355,7,0.07,1.3551.385,17,0.17,1.3851.415,24,0.24,1.4151.445,24,0.24,1.4451.475,15,0.15,1.4751.505,6,0.06,1.5051.535,1,0.01,1.5351.565,1,0.01,100,1,频数分布表（图表）,数据频数分布规律,由以上数据，我们可以发现位于中间数值,1.361.44之间的数据多一些,，,其他范围的数据少一些,，,小于1.27或大于1.55的数据更少一些。这就是说,测量数据中有明显的集中趋势。测量数据的这种既分散又集中的特性，就是其规律性。,频数,分布,图,在,位于中间数值,1.361.44之间的数据多一些,，,其他范围的数据少一些,，,小于1.27或大于1.55的数据更少一些。,测量数据有明显的集中趋势。,2.随机误差的正态分布,定量分析的随机测量值或偶然误差的分布都符合,正态分布规律,，正态分布就是数学上的,高斯分布，可用高斯方程描述：,X,是随机测量,值，,y,称为概率密度。,高斯,方程曲线,（1）,分析测定中的随机误差都遵从,正态分布,，从曲线中可以看到：,偏差大小相等，符号相反的测定值出现的概率大致相等;,偏差小的测定值比偏差大的测定值出现的概率多、偏差很大的测定值出现的概率极小;,曲线呈两头小，中间,大的势态。,高斯,方程曲线（2,）,曲线中的,两个参数,：,（,真值）,和,（,标准差）,，当,确,定后,，则,：,越小，落在,附近的概率越大，测定值的精密度越好，曲线半宽度越小;,相反，则数据离散性更大;,高斯,方程曲线（3,）,由于正态分布方程,中,和,都是变量,，,计算不便，采用,变量转换,的办法将,平均值的偏差,（,x-,）,以,为,单位，令：,则原高斯方程转换成只有一个变量,的方程，即,此时变为：,0和,1,的正态分布曲线，称为标准正态分布曲线,，以,N（0，1）,表示，其概率就容易求出。人们经过计算并制成了各种形式的正态分布概率表供使用者查阅。,3.少量数据的统计处理,分析化学中通过样本研究总体,由于,测量次数有限,和,无从,知道。如何处理和评价有限次数测定结果的数据?而对多次测定的结果平均值又如何评价?在前面己讨论的基础上，讨论下面的问题：,3.少量数据的统计处理,分析化学中通过样本研究总体，由于,测量次数有限，,和,无从,知道。,英国化学家,Gosset,提出,用,t,分布解决了这一问题。,(1),t,分布,和,t,分布曲线统计量,t，,定义为：,称为,平均值的标准偏差,与,样本容量,n,有关，即：,图,115页,图,平均值标准偏差与测量次数的关系,3.少量数据的统计处理,t,分布曲线与横坐标,t,某区间所夹面积，与正态分布曲线一样，表示测量值落在该区间的概率。显然，若选定某一概率和一定的自由度,f，,则,t,值也就一定。,表2-2是最常用的,t,值,表中的,P,称为置信度，表示随机测定值落在,(,ts,),区间内的概率，称为显著性水准，,用,a,表示，,即,a=1-P。,应用表时须加脚注，注明显著性水准和自由度，例如：,t0.05,9,是指置信度为95%（显著性水准为0.05），自由度为9时的,t,值。,3.表2-2 值(双边),f=n-1,置信度,P,显著性水准,f=n-1,置信度,P,显著性水准,P=0.90,=0.10,P=0.95,=0.05,P=0.99,=0.01,P=0.90,=0.10,P=0.95,=0.05,P=0.99,=0.01,1,6.31,12.17,63.66,7,1.90,2.36,3.50,2,2.92,4.30,9.92,8,1.86,2.31,3.36,3,2.35,3.18,5.84,9,1.83,2.26,3.25,4,2.13,2.78,4.60,10,1.81,2.23,3.17,5,2.02,2.57,4.03,20,1.72,2.09,2.84,6,1.94,2.45,3.71,1.64,1.96,2.58,（2）平均值的置信区间,用样本研究总体时，样本均值,x,并不等于总体均值,，,但可以肯定，只要消除了系统误差，在某一置信度下，一定存在着一个以样本均值,x,为中心，包括总体均值,在内的某一范围,称为平均值的置信区间,.由,t,的定义式得:,式中 称为置信区间,其大小取决于测定的标准偏差测定次数和置信度的选择,置信区间愈小,平均值,x,愈接近总体平均值.,3.少量数据的统计处理,(3)可疑数据的取舍,一组数据中,可能有个别数据于其他数据差异较大,称为可疑值.除确定是由于过失所造成的可疑值可以舍弃外,可疑值还是要保留,应用统计学的方法来判断,不能任凭主观意愿决定取舍.常用的可疑值取舍方法有:,4 法,Q,检验法,格鲁布斯法,4 法,若一总体服从正态分布,x-,大于 的测量值出现的概率很小,其误差往往不是随机误差所致,应舍去,当然,其条件是在校正了系统误差之后.又总体的标准偏差,于总体平均偏差,两者的关系是,用样本平均偏差 代替,则 ,这样,便可将可疑值与 之差是否大于 作为可疑值取舍的根据.,应用 法时,可先把可疑值处外,求出余下测量值的 和 ,若可疑值与 之差的绝对值大于 ,可疑值舍弃,否则保留.,Q,检验法,此法是将数据从小到大排列,如,设 为可疑值,按下式求统计,量,Q,Q,称为舍弃商.,上式的分母是极差,分子是可疑值与最临近值之差,把,Q,与 值比较,若,可疑值 应舍弃,否则保留,若 是可疑值,Q,从下式求出:,值与置信度和测量次数有关,如表2-3所示,Q,检验法(表2-3),表2-3,Q,值表,测定次数,n,3,4,5,6,7,8,9,10,置信度,90%(,),0.94,0.76,0.64,0.56,0.51,0.47,0.44,0.41,96%(),0.98,0.85,0.73,0.64,0.59,0.54,0.51,0.48,99%(),0.99,0.93,0.82,0.74,0.68,0.63,0.60,0.57,格鲁布斯法,该法用到正态分布中反映测量值集中与波动的两数 和,S,因而可靠性较高.应用此法时,在计算了,和,S,后,将测量值从小到大排列,同,Q,检验法一样,应按测量次数多少,确定检验 或 ,若两个都做检验,设,x,为可疑值,由下式求统计量,T:,把,T,与 表值比较,若 ,可疑值舍弃,否则保留,若 为可疑值,T,由下式求出:,值与测定次数和显著性水准有关,如表2-,4,格鲁布斯法(表2-4),表2-4 值表,测定次数,n,显著性水准,测定次,数,n,显著性水准,0.05,0.025,0.01,0.05,0.025,0.01,3,1.15,1.15,1.15,8,2.03,2.13,2.22,4,1.46,1.48,1.49,9,2.11,2.21,2.32,5,1.67,1.71,1.75,10,2.18,2.29,2.41,6,1.82,1.89,1.94,15,2.41,2.55,2.71,7,1.94,2.02,2.10,20,2.56,2.71,2.88,4.数据的评价显著性检验,分析工作者常常用标准方法与自己所用的分析方法进行对照试验,然后用统计学方法检验两种结果是否存在显著性差异.若存在显著性差异而又肯定测定过程中没有错误,可以认定自己所用的方法有不完善之处,即存在较大的系统误差.,因此结果的差异需进行统计检验或显著性检验.,显著性检验的一般步骤是:,1,做一个假设,即假设不存在显著性差异,或所有样本来源于同一体.,2,确定一个显著性水准,通常 =0.1,0.05,0.01等值,分析工作中则多取0.05的显著性水准.,3,统计量计算何作出判断.,下面介绍,F,检验法,和,t,检验法.,F,检验,法和,t,检验法(1),(1),F,检验法 该法用于检验两组数据的精密度,即标准偏差,s,存在显著性差异,.,F,检验是将两组数据的,s,求得方差 ,把方差大的记为 ,方差小的记为 ,按下式求出统计,量,F:,把,F,值于表2-5的,F,表比较,若,F F,标值,则两组数据的精密度不存在显著性差异,若大小相反,则存在显著性差异.,F,检验法和,t,检验法(2),(2),t,检验法,t,检验法用于判断样本平均值是否存在系统误差,以计算所得,的,t,统计量和选定的置信度与表2-2的 值比较,若存在显著性差异,则被检验方存在较大的系统误差.分析化学中的置信度常用95%.,a,平均值与置信度的比较.,b,两组数据平均值的比较.,c,配对比较试验.,5.误差的传递,分析过程各个步骤产生大或小,或正或负的误差,它们分散于各个步骤的物理量测量值中,并最终集合于这些物理量计算的结果上,这就是误差的传递.,分析结果计算式多数是加减式和乘除式,另外是指数式.误差传递包括系统误差的传递和偶然误差的传递,1,系统误差的传递,2,偶然误差的传递,(1)系统误差的传递,a.,加减运算,计算结果的绝对误差 等于各个测量值的绝对误差的代数和或差,若算式,是,R=A+B-C,则:,b,乘除运算,在乘法运算中,计算结果的相对误差是各个测量值的相对误差的和,而除法则是它们的差.如计算式是,R=A*B/C,则:,(2)偶然误差的传递,a.,加减运算,计算结果的方差(标准偏差的平方)是各测量值方差的和,如,R=A+B-C,则:,b.,乘除运算,计算结果的想的偏差的平方是各测量值相对平均偏差平方的和,对于算式,R=A*B/C,则,c.,指数运算,对于 ,结果的相对偏差是测量值相对偏差的,n,倍,即,6.提高分析结果准确度的方法,要提高分析结果准确度,首先要发现和消除系统误差,然后尽量减少偶然误差.,(1)消除与校正系统误差,系统误差来源于确定因素,为发现并消除或校正系统误差,可选用下面几种方法,a.,对照实验,b.,回收实验,c.,空白实验,d.,仪器校正,(2)减少偶然误差-增加测定次数,在消除或校正了系统误差前提下,减少偶然误差可以提高测定的准确度,这从平均值置信的区间可以说明.,a.,对照实验,要检查一个分析方法是否存在误差可以这样做:,(1)称取一定纯试剂进行测定,看测定结果与理论计算值是否相符.,(2)对于实际的样品(比较复杂,除了被测定组分,还存有其他组分),则采用已知含量的标准试样(试样中的各组分含量已知)进行对照实验更合理.,b.,回收实验,多用于确定低含量测定的方法或条件是否存在系统误差.实验方法是在被测试样中加入已知的被测组分,与原试样同时进行平行测定,按下式计算回收率:,一般来说,回收率在95%105%之间认为不存在系统误差,即方法可靠.,c.,空白实验,由于试剂,蒸馏水或实验器皿含有被测组分或干扰物质,致使测定时观测值增加(如滴定分析中多消耗标准溶液)导致系统误差时,常用空白实验进行校正.进行空白实验时一般用蒸馏水代替试样溶液,进行相同条件步骤的测定,所得结果称为空白值.在试样测定中抠除空白值,可消除此类系统误差.,d.,仪器校正,在严格的测定中,仪器读数刻度,量器刻度,砝码等标出值与实际值的细小差异也会影响测定的准确度,应进行校正并求出校正值,在测定值中加入校正值,可消除此类系统误差.,2-3工作曲线与回归分析法,在许多仪器分析方法中,常利用浓度(或含量)与一可测物理量的线形关系来测定组分含量.测定时,先配制准确已知但浓度不同的一组溶液,在直角坐标上绘出工作曲线.应用时,用试样测定值在工作曲线上可直接查出组分含量.,由此,利用已知浓度与该物理量测量值,用回归分析法求得回归方程,就可从回归方程求得浓度.在分析测定中两个变量的一元线形回归方程用的最为普遍.,a.,一元线形回归方程,以,X,表示浓度,Y,表示物理量测量值,若两变量存在线性相关关系,则一元线性回归方程为:,Y=a+,bX,在,分析工作中,测量,点(,Xi,Yi),的波动主要来自测量值的偏差.由于各人用肉眼观察连成的直线不同,而影响分析结果的准确度.因此,可用最小二乘法求出直线方程(回归线).回归线是,X,Y,线性关系的最佳曲线,a,b,称回归系数.依最小二乘法,用求极值的方法可求得如下公式:,a.,一元线形回归方程,按照回归线的性质,回归线一定通过坐标为(,X,Y),的点,再以适当的,X,值代入回归方程,求出对应的,Y,值,以此为另一坐标点,两点连线就是回归线.,注意:回归线不一定通过原点,也不能随意延长.,b.,相关系数,回归线是否有实际意义,即线性关系是否存在,可由相关系数,r,确定:,根据,r,的性质,r=,1,时,表示测量点都在回归线上,变量,Y,与,X,是完全线性关系;,r=0,时,则,Y,与,X,完全没有相关关系;,r,绝对值在0到1之间,则表示有一定相关关系,其好坏由一定置信度和自由度的相关临界值 与,r,比较来决定:,r Y,与,X,存在良好的线性关系,r Y,与,X,不存在良好的线性关系,(在分析测定中,置信度多取95%),c.,回归线的精度,由上可知,若,Y,与,X,相关,则同一,Xi,的,Yi,实测值波动,一般情况下这种波动服从正态分布,Yi,实测值与回归值的偏离程度反映回归线的精度.,回归线的精度可由下式求出的标准偏差,s,估计:,c.,回归线的精度,对于某一,X,值,Yi,值的分布服从正态分布,若以,Y,为中心,Y,2,S,范围内,测量点落在此区间的概率达95.4%,对于试验范围内的任何值都适用.,用两个直线方程:,Y1=a-2s +,bX,Y2 =a+2s +,bX,描出两条直线把他们分置回归线的两侧,用以反映全部测量点落在其间的范围,其概率是95.4%,通常用虚线表示.,