实验数据分析方法-误差理论与最小二乘法.ppt

Click to edit Master title style,实验数据分析方法_Chap.5,*,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,第二部分,实验数据的统计分析,第五章 误差理论与最小二乘法,第六章 回归分析,第七章 多变量分析,第八章 功率谱与周期分析,实验数据分析方法,教材,：,天文数据处理方法,：丁月蓉 编著,主要参考书,：,实验的数学处理,：,李惕陪 著,教学方法：,基本理论,+,具体实例,+,上机实习,(,课后,),1,实验数据分析方法_Chap.5,第五章 误差理论与最小二乘法,天文学的诸多理论是以天文观测为基础的，如地球自转理论、人造卫星运动理论等都离不开天文观测。人们通过对某一天文量,(,静态的或动态的,),的直接或间接观测，获得大量的数据。而任何观测都不可避免的含有,误差,。因此，当我们在利用观测结果时，必须分析这些数据的,可靠程度,：只有当它们的误差在我们允许的范围之内时，我们才能放心大胆的去使用它，否则则不能使用。,误差的研究无论是对生产实践还是基础理论研究都有着,重要意义！,2,实验数据分析方法_Chap.5,例,1,：,由于牛顿在其最初计算中使用了具有较大误差的,地球半径值,，使得他测得的月球加速度的值和理论计算值相差约,10,，因而推迟了,20,年发表他的引力理论！,例,2,：,爱因斯坦广义相对论的观测证明：,1916,年爱因斯坦在德国,物理学纪事,上发表了具有划时代意义的重要文献,广义相对论基础,。文章指出，当光线行经太阳附近时，光线产生弯曲，其弯曲曲率预计为,=1.”75,，而,1911,年他用经典方法得到,=0.”9,，相差两倍。如果观测能测得,在,1.”75,附近，这将证明他的广义相对论是正确的，如果测得的值是在经典值附近，则将否定其理论。幸好,1919,年英国天文学家爱丁顿爵士在西非几内亚湾的普林西比岛的日全食观测中测得,1.”61,0.”30,；与此同时有人在巴西东北海岸外索伯雷尔的日食观测中测得,1.”98,0.”12,。这两个结果与广义相对论的预言值相近，远大于经典理论值，强有力的证明了广义相对论的正确性,!,如果他们当时的观测误差很大，置信度很低，以致于和理论值相差甚远，那么也就很难由此来验证这个理论了。由此可见，,观测和误差分析对基础理论的研究起了一个不可估量的作用,!,3,实验数据分析方法_Chap.5,最小二乘法,是用来处理具有误差的观测数据的一种有效的方法，也是最早用于天文观测资料处理的一种数学工具。早在,l794,年，高斯为了利用小行星坐标的多次观测准确地推算小行星的轨道，第一次应用了最小二乘法。,1805,年勒让德应用测量平差方法确定了彗星的轨道和地球子午线弧长。,1809,年高斯又推证了误差的概率定律，从而使最小二乘法高度完善化，成为数据处理中应用最广的一个分支。随着概率统计学和矩阵理论的发展以及电子计算机的广泛应用，最小二乘法进入了近代数据处理方法的行列。,4,实验数据分析方法_Chap.5,误差,是实验科学术语，指,测量结,果偏离真值的程度。对任何一个物理量进行的测量都不可能得出一个绝对准确的数值，即使采用测量技术所能达到的最完善的方法，测出的数值也和真实值存在差异，这种测量值和真实值的差异称为误差。,(from Wiki),误差按其表达形式分：,绝对误差、相对误差,误差按其性质及产生原因分：,系统误差,、,随机误差,、,过失（人为）误差,误差不仅存在于测量值中，计算时采用近似的理论模型，计算中一些理论常数的不准确以及数值计算中取位的多少等也会在计算结果中产生误差。,5.1,误差的定义与分类,5,实验数据分析方法_Chap.5,5.1.1,绝对误差和相对误差,一个量值的给出值的,绝对误差,定义为该量值的给出值与其真值之差，或用公式表示为：,绝对误差给出值,-,真值,公式中的给出值如果是被测量的观测结果，则相应的误差为观测误差；如果给出值是某量的计算近似值，则相应的误差为计算近似值的误差。式中的真值是被测量本身的真实大小，它是一个理想的概念：一般说来，真值是未知的，通常用约定值来代替。例如某一系统的天文常数也可看作相应量值的真值。从绝对误差的定义式不难看出，绝对误差和被测量具有相同的量纲。因此，若说一颗星其位置误差为,0.1,，测时的记录误差为,0.0001,，都是指的绝对误差。,6,实验数据分析方法_Chap.5,我们把误差的反号值定义为修正值，则可得：,真值给出值,-,误差给出值,+,修正值,这表明，带有误差的给出值加上修正值后可消除或减小误差的影响。,在有些情况下用绝对误差来表示测量的精度是不恰当的：如目前卫星激光测距的准确度,(,测量值与被测量真值之间的偏离程度,),已达,cm,级，卫星的距离一般为,10,3,km,量级；但如果我们测定的是恒星的距离,(,这里指离太阳在,20pc,以内的恒星,),，用三角视差法一般可准确到,0.”02,，相当于,2pc,的测距误差，显然它和卫星的测距误差是无法直接比较的！但如果我们引入,相对误差,的概念，它们的测距误差就有了可比性。,7,实验数据分析方法_Chap.5,被测量的绝对误差,与其真值,a,之比定义为这个量的,相对误差,，并用下式表示：,当误差较小时，相对误差式中真值,a,可用给定值代替。对于上面的例子，它们测距的相对误差分别为,1,10,和,1,10,-1,。,即三角视差测量的相对误差反而要比卫星激光测距的相对误差小！,8,实验数据分析方法_Chap.5,由观测的环境因素差异、仪器性能、不同的观测者等因素造成的按某一确定的规律变化的误差称为,系统误差,。系统误差的大小和符号在多次重复观测中几乎相同，通常使观测值往一个方向偏离。另外，这种误差可以归结为某一因素或某几个因素的函数，而这种函数通常可以用解析公式表达出来。人们总是设法找出代表系统误差的解析表达式，然后在观测结果中,扣除,。,由某些难以控制的随机因素造成的，绝对值和符号的变化时大时小、时正时负，以不可预测的方式变化的误差称为,随机误差,。虽然就其个体而言，随机误差没有规律、不可预料，但就其总体而言，随着观测次数的增加，它又服从某种,统计规律,。下面我们将从概率论的角度出发讨论随机误差所满足的统计规律。,5.1.2,系统误差、随机误差和过失误差,9,实验数据分析方法_Chap.5,古典误差理论认为，随机误差服从,正态分布,，因此我们可以用正态分布密度曲线来表征随机误差，随机误差的分布密度曲线可表为：,其被称为,高斯误差方程,，其相应图形也常被称为高斯误差曲线。式中,称为精密度指数，,=x-a,为随机误差,的均方差。,高斯误差方程的一般表达式：,10,实验数据分析方法_Chap.5,随机误差有下列统计特征，当观测样本足够大时：,(1),绝对值相等、符号相反的正负误差近于相等。因此，随机误差的算术平均值随着观测次数的增加愈来愈小，以零为极限。,(2),误差的概率与误差的大小有关，绝对值小的误差出现的概率比绝对值大的误差出现的概率大，绝对值很大的误差出现的概率很小。,根据随机误差的这些特征，当不存在系统误差的影响时，多次测量结果的平均值将更接近于真值。随机误差产生的原因很多，观测时环境因素的微小变化，设备中的热噪声等都是产生随机误差的重要原因。,11,实验数据分析方法_Chap.5,实际上，系统误差和随机误差之间并没有明显的界限,有时，我们把一些具有复杂规律但暂末掌握的系统误差都当作随机误差处理。而随着人们对误差及其规律的认识的加深，就有可能把这些以往认识不到因而归之于随机误差的这类误差确认为系统误差。反之，在一个较短时期内可能呈现出某种规律，故而归为系统误差，但经过一段较长时间的观测，发现这种变化规律破坏了，并呈现出随机性，这就是说，随着时间的推移，两种不同性质的误差有可能互相转化。,过失（人为）误差,是指测量结果与事实明显不符的一种误差。如观测时对错星或观测过程中望远镜,/,记录仪器的小故障等过失原因造成的结果异常。这种误差一般比较容易发现，而且只要观测人员认真细致，基本上是可以避免的。,12,实验数据分析方法_Chap.5,数据处理中一个很重要的方面是评定一列观测值的可靠程度。它是指观测结果与真值的一致程度，是观测结果中系统误差和随机误差大小的综合度量，常用,准确度,这个词来表征。在消除了系统误差之后，观测的可靠程度由随机误差的大小来衡量。一列观测值精度高低必须从全列观测值的误差来衡量，而不能只根据个别值的误差来判断。,另外，观测的目的是要从一列观测值中确定,(,直接地或间接地,),被测量的,真值,，但由于观测手段和观测次数的限制，真值实际上是测不到的，只能得到它的一个近似值或估计值。在天文学中通常把最接近于被测量的真值的一个,近似值,称为它们的,最或然值,，因此，数据处理的又一个重要的问题是给出被测量的最或然值及其精度。最或然值的精度是衡量观测结果的精度和处理方法有效性的综合指标。,5.2,观测精度,13,实验数据分析方法_Chap.5,标准偏差,(,又称,均方误差,),是用来衡量一列观测值精度高低的一个较好指标。,设 为被测量的一组观测值，,a,为被测量的真值，且,x,i,中只包含随机误差，则,称为,x,i,的真误差，我们定义,真误差的平方的算术平均值的平方根,为这列观测值的,标准偏差,或,标准误差,，天文上又常称之为中误差，并用,表示，即：,这里定义的标准误差和统计学中从方差的正平方根定义的标准差是一致的，因为从概率论的角度来说，,x,i,的真值可用其,数学期望,表示。,5.2.1,精度标准,14,实验数据分析方法_Chap.5,下面我们来说明标准偏差的大小为什么可以用来衡量一列观测值的精度高低：,由正态分布的性质可知，观测值,x,i,在（,a,，,a+,）区间上的概率，或说,i,出现在（,，,+,）范围内的概率为,68.3%,已知,1,2,.,则区间（,a,1,，,a+,1,）小于（,a,2,a+,2,），也就是说,=,1,的观测数据在,a,周围的分布较,密集,，而,=,的观测值在,a,周围的分布较,分散,，即标准偏差,的大小可以衡量,一列观测值在真值周围分布的密度程度,，而这种密集程度是具有概率含义的，即误差在（,，,+,）内的,置信水平,是,68.3%,。,15,实验数据分析方法_Chap.5,下表列出了一些常用的置信水平误差限：,置信水平,误差限,置信水平,误差限,50.0%,68.3%,95.0%,0.674,1.0,1.96,95.5%,99.0%,99.7%,2,2.58,3,可见，误差落在,3,中的概率为,99.7,亦即绝对值大于,3,的误差仅有,0.3%,这显然是一个小概率事件。所以在有限次观测中，误差值大于,3,的观测值可能含有过失误差，应考虑舍去该观测值,;,当然,也有可能这个值并不含有过失误差,如舍去它会犯,“,弃真,”,错误，但这种误差的最大概率也只有,0.3,%,。这种取舍观测值的原则称为,拉依达准则,或简称为,3,准则,。,16,实验数据分析方法_Chap.5,高斯函数的性质,17,实验数据分析方法_Chap.5,在比较两个观测结果时，应在相同的置信水平上比较它们的误差限，误差限较小的观测较精确，为了说明观测的精度，通常把观测结果报导为,(,置信水平,),。,凡是没有注明置信水平的，一般均指,68.3,，,相应的误差限即为标准误差。,在上述各式中，真值,a(,或,x),通常是未知的，因此真误差,也是未知的，通常用被测量的最或然值或真值的估计值代替真值，观测值与其最或然值之差称为观测值的,残差,或,离差,。标准误差不取决于观测中个别误差的符号，对观测值中较大误差和较小误差比较灵敏，是表示精度的较好方法。实际应用中，有时也常用平均误差,离差绝对值的算术平均值来表示精度；也有时采用概率误差：即绝对值比它大的误差和绝对值比它小的误差出现的可能性一样大，将误差绝对值按大小顺序排列，序列的中位数即为概率误差。平均误差和概率误差只有当,N,较大时才较可靠。,天体物理中还经常采用,半峰宽度,来表示观测的精度，所谓,半峰宽度,，即观测值分布曲线在极大值半高度处的全宽（,Full Width at Half Maximum),。,18,实验数据分析方法_Chap.5,在很多实际问题中,待求量往往不能直接观测得到，但它们可通过对其它量的观测，再利用它们之间的函数关系换算求得：这种情况就称为,间接观测,。间接观测在天文观测中是普遍存在的，例如：在人造卫星的定轨预报中要测的是卫星在某一历元的轨道根数，但它们不能直接测得而只能通过测定卫星的赤经、赤纬换算而得到。,对于间接观测的情况，应首先由直接观测量求出间接观测量的最或然值，然后由直接观测量的精度估计出间接观测量的精度。,通常用下面的式子表示间接观测量,y,与,m,个直接观测量,x,k,(k=1,m),的关系：,5.2.2,误差传递公式,19,实验数据分析方法_Chap.5,为了求得间接观测时误差传递的关系，需要对上式进行线性化处理,如果直接观测量的误差相对于它们的观测值来说是较小的量，则非线性函数可以在各个观测值的邻近点上展开成泰勒级数，然后取误差的一阶项而略去一切高阶误差项：,式中 为观测量,x,k,的离差，我们把它记为,k,。若对,x,k,(k=1,m),各进行了,N,次观测，设间接观测量任一次观测的离差为,y,y,y,0,，,y,0,f(x,10,，,x,20,，,，,x,m0,),将,y,y,+y,0,k,=x,k,x,k0,代入上式，可得：,直接观测量,x,k,的误差以,的形式出现在间接观测量,y,的,误差中，或说间接观测量,y,的误差是,m,个直接观测量的误差加权和，权重因子 称为,y,的,误差传递系数,。,20,实验数据分析方法_Chap.5,设,m,个直接观测量的标准偏差为 ，根据标准偏差的定义及随机变量方差的运算法则，可得间接观测量,y,的标准偏差为：,式中,kj,为第,k,个观测量与第,j,个观测量的相关系数。当各个直接观测量相互独立时，有,kj,=0,则有：,上式通常称为,独立观测量的误差合成定理,。,若间接观测量与直接观测量的关系为线性关系时，即：。,则有：,此式即为,线性,情况下的,标准偏差传递公式,。,21,实验数据分析方法_Chap.5,例：,利用,IRAF,进行,测光时，其会根据误差传递以如下的公式给出测光误差：,根据信噪比的定义：,S/N=Flux/Err,，故,1/MerrS/N,，即,IRAF,里给出的测光误差的倒数即为信噪比。除了信噪比会引起测光误差外，还有很多其他的因素也会带来误差，如减本底、除平场、减暗流等过程都会带来附加的误差：一般平场的精度可以达到千分之五左右。,目标源的,测光误差,可以按如下形式给出：,Eref,为多颗比较星测光误差的平均值，,Eobj,为目标源测光误差，,Eothers,为其他误差，根据不同的情况确定，比如误差小于千分之五的时候,“,其他误差,”,就可能需要包括平场误差，再比如比较星的定标误差等。,22,实验数据分析方法_Chap.5,观测精度的高低是由观测条件决定的，它包括观测的手段、仪器的精度、观测的次数、观测者技术熟练的程度等,因此我们按观测时的条件把观测分成两大类,:,如果某一列观测是在完全相同的条件下进行的，则为等精度观测，所得到的序列称为等精度观测列；如果某一列观测是在不同的条件下进行的，称为非等精度观测，相应的观测序列为非等精度观测列。,等精度观测列的标准偏差,对于等精度观测列，可以用全列观测值的标准偏差来衡量这列观测值的精度。但是，由于观测值的真误差一般是未知的，为此通常用观测值的残差代替真误差。而对于一列等精度观测值来说，被测量的最或然值就是这列观测值的算术平均值 ，则有残差 ，而真误差为,:,5.2.3,等精度观测和非等精度观测,23,实验数据分析方法_Chap.5,为算术平均值的真误差，对上式两边求平方和，得：,并有：,由,线性,情况下的标准偏差传递公式,，并将算术平均值的标准偏差 代入上式则得：,整理后得到一等精度观测列用残差表示的标准偏差公式,(,这里用高斯符号,表示求和,),：,24,实验数据分析方法_Chap.5,权与非等精度观测列,处理非等精度观测序列的情况在天文学中是很普遍的：,例如,利用观测星表编制基本星表就是一个典型的例子。各种星表中的星位都具有误差；即使是在同一星表中，它所包含的星位也不都具有相同的标准偏差。,它们大多数和观测次数的多少有关，故而大多数星表中有一栏同时列出了各恒星观测的次数，相应的精度随所用的观测数目的增加而增加。因此，在编制基本星表时，需根据它们精度的高低区别对待。在数据处理中，通常用数值,p,i,表示对某一观测结果,x,i,的重视程度，并称之为,权,。观测值精度的高低是和其误差大小密切相关的：误差越大,观测值精度就越低，对它的重视程度也应相应减小。在观测值只包含随机误差的情况下，通常定义权与标准偏差的平方成反比。,25,实验数据分析方法_Chap.5,设非等精度观测列的标准偏差分别为,1,2,N,通常把和最大的标准偏差对应的观测值的权定为,1,，设,1,max,i,(,i,=1,N,),，则标准偏差为,i,的观测值,x,i,的权为：,不难看出,p,1,=1,，故,x,1,被称为单位权观测值。对非等精度观测序列被测量的最或然值需要加权平均,即,:,标准偏差公式为,:,权只是从,相对意义,上表示一个量的精确程度：我们同样可以取和最小的,i,对应的观测值为单位权观测值；这时虽然各个观测值权的数值和原来不同了，但这些观测值权的比值并未改变。有时为了使所有观测值的权均为整数，可以根据要求选取单位权观测值。,26,实验数据分析方法_Chap.5,由于被测量的真值在有限次观测中是无法得到的，数据处理的任务是通过对被测量的有限次观测求出被测量的最接近于真值的量，即被测量的最或然值。,5.3,直接观测量的最或然值及其精度,5.3.1,最小二乘准则,最小二乘法是求解被测量最或然值的基本方法。按照最或然值的定义，它是最接近于真值的值。设一组观测值为,x,1,x,2,x,N,，,待求的最或然值为,x,*,，则它们的残差为,i,=x,i,-x*,(,i=,1,N,),最小二乘准则,就是选择,x*,，使得残差平方和为最小。即,x*,必须满足：,27,实验数据分析方法_Chap.5,对于一列等精度观测列，设由最小二乘准则求出的最或然值为,x*,，由,N,个观测值可得,N,个残差方程：,i,=x,i,-x*,(,i=,1,N,),根据最小二乘准则，最或然值,x*,应满足：,由极值原理，有：,于是得：,设观测值的标准偏差为,，则由上式并利用标准偏差的传递公式得：,5.3.2,等精度观测列的最或然值及精度,多次观测取平均可以减小观测结果的随机误差！,28,实验数据分析方法_Chap.5,设,x,1,x,2,x,N,为一非等精度观测列，,x*,为被测量的最或然值，由于各个,x,i,的精度不同，不能像处理等精度观测列那样直接应用 来求解,x*,，而必须先将它转化为等精度观测列，再利用等精度观测列的最小二乘准则来求最或然值及其精度。,设观测值,x,i,的权为,p,i,，可以证明，只要将每个观测值乘以相应的权的平方根，就可以把原来的非等精度观测列转化为一等精度观测列 ，与之对应的残差序列为 。由最小二乘准则有：,5.3.3,非等精度观测列的最或然值及精度,则,非等精度观测列的加权平均值,为,29,实验数据分析方法_Chap.5,非等精度观测列的最或然值的标准偏差为：,由于非等精度观测列中每个观测值的标准偏差可表示为 ，则上式又可写为：,其中,为单位权标准偏差，它可按等精度观测列的标准偏差公式计算，但它对应的残差是 ，最后得：,实例,30,实验数据分析方法_Chap.5,间接观测中一种较普遍的情况是观测量为待求量的线性函数。设对直接观测量进行了,N,次观测，待求的未知量为,x,k,(,k=,1,m,),，则可得,N,个观测方程：,如果,l,i,没有误差且各方程是独立的，则由其中,m,(,m,N,),个方程可以解出,m,个未知量的,真值,。,但实际上观测值总会有误差。如果我们用未知量的最或然值代入上式,则观测量,l,i,与待求量的最或然值的关系可表示成如下的方程组：,5.4,间接观测量的最或然值及其精度,5.4.1,误差方程,式中,1,2,N,分别,为,l,1,l,2,l,N,的残差。,31,实验数据分析方法_Chap.5,通常称以上方程组为,误差方程,或,条件方程,，在这个方程组中有,N,个方程，,m+N,个未知量,即使不考虑,v,i,的影响，也不能找出严格满足所有方程的解，更何况残差,i,必须要考虑，但它又是未知的。因此，要求出未知量必须要有,附加条件,，而使用,最小二乘准则,能得到这个方程圆满的解。,根据最小二乘准则，在,等精度观测列,的情况下，未知量的最或然值是使残差平方和最小的那些值，即,由极值原理，,x,k,(,k,1,m,),应满足：,5.4.2,正态方程,32,实验数据分析方法_Chap.5,即：,经过简单整理并引用高斯符号，,则由此可得到线性方程组,常称以上方程组为,正态方程,或,法方程,。,33,实验数据分析方法_Chap.5,间接观测另一种常见的情况是观测值是待求量的,非线性函数,。,例如，人造卫星的轨道改正中，观测量是某一历元卫星的球面坐标，待求量是相应历元的六个轨道根数，它们之间的关系是很复杂的,非线性关系,；利用甚长基线,(VLBI),观测测定地球自转参数，观测量是来自射电源同一波前到达,VLBI,两个测站的钟面时之差即几何延迟，待求量是地球自转参数，它们之间的关系也是很复杂的非线性关系；又如，利用食双星的光变曲线确定其轨道要素是目前测定,食双星,轨道要素的惟一方法，而食双星的光变曲线不仅和轨道根数有关，还依赖于其它一些因素：包括两颗子星的大小、光度、形状等,因此，利用光变曲线得到食双星的轨道要素,(,称为食双星的测光轨道解,),是一个典型的复杂非线性间接观测问题。,34,实验数据分析方法_Chap.5,观测量,y,i,与待求量,x,k,(,k=,1,m,),之间的非线性关系可写为,设,x,0k,为,x,k,的近似值,(,或初值,),，并用,x,k,表示,x,k,与其近似值之差。则由上式可以算出已知待求量近似值的函数,y,0k,，并记,y,i,y,i,y,0i,，对上式在,x,0k,(,k,1,m,),上进行泰勒展开，并略去,x,k,的二次及二次以上的项，这样可得：,其中,(,k,1,m,),当,x,0k,给定时为己知系数，下面我们用,b,ik,(,k,1,m,),表示。因为观测值,y,i,有误差，因此必须考虑,y,i,中的误差，故而得到误差方程：,35,实验数据分析方法_Chap.5,利用最小二乘准则，可得到法方程：,解此方程得到,x,k,(,k,1,m,),，分别加上近似值,x,0k,(,k,1,m,),，就可得,待求量的最或然值。,当,|,x,k,|,较大时，可将得到的,x,k,代替原来的近似值,x,0k,重新算出系数,b,ik,和,y,i,并解法方程得到新的,x,k,。这种过程可以反复迭代，直到最后的,|,x,k,|,值小于给定的误差限为止，这时最后得到的,x,k,即为所求。这种算法常被称为,高斯,牛顿法,或,泰勒展开法,，此法在求解过程中需反复迭代和修正，逐次迭代的结果将使最后的,x,k,更接近真解。当,初值,选得较好时，随着迭代次数的增加，修正值,|,k,|,将越来越小，即为迭代“,收敛,”；否则称迭代“,发散,”：迭代得到的新值可能比原来的值更远离真解，而这种情况在实际应用中时有发生，所以,初值的选取,是至关重要的。,36,实验数据分析方法_Chap.5,为了求最或然值的标准偏差，必须要知道它们与观测值,l,i,的标准偏差之间的关系以及,l,i,的标准偏差；要求,l,i,的标准偏差，首先要求出,l,i,的残差，而这只要将从法方程解得的未知量的最或然值代入误差方程便可得到。,(,由残差求标准偏差的公式推导请详见书中叙述,),观测值的标准偏差为：,其中，,N,m,称为,自由度,，意思是指求解,m,个未知量只需在,m,个不同条件下测得,m,个观测值；但现有,N,m,个测得值，故而多测了,N,m,个值。,从上面的推导可知，用最小二乘法求解未知量时，为了得到较小的标准偏差；通常要求,N-,m,越大越好,。,5.4.3,最或然值的标准偏差,=,37,实验数据分析方法_Chap.5,有了观测值的标准偏差后,就可以求,m,个最或然值的标准偏差。设,m,个最或然值的标准偏差为 对应的权分别为 ，则由非等精度观测列的标准偏差公式 可以得到：,式中 按观测值标准偏差公式计算。,p,x,k,的计算可借助法方程求得，即只要将法方程右端项,b,1,l,b,2,l,b,m,l,改为,1,0,0,0,，解此法方程得到的,x,1,即为 ；若把法方程右端项分别改为,0,1,0,则由 可解得,p,x,2,。依次类推,38,实验数据分析方法_Chap.5,5.5,最小二乘曲线拟合,天文工作中常遇到达样两个问题，其一是：,y,和,x,是可被观测的天文量,且,y,是,x,的函数，它们的函数关系由公式,(,曲线,),：,y,f,(,x,，,c,k,),(k,1 m),给出，,但式中含有,m,个未知参数,c,k,(,k,1,m,),。我们的任务是根据,y,和,x,的,N,组观测值寻求参数,c,k,的最佳估计,k,，进而得到以上公式,(,曲线,),具体形式的最佳估计；,另一问题是：,y,和,x,之间的函数形式,未知,，而需要利用对,y,和,x,的观测求出,y,和,x,之间关系的一个经验公式,(,或经验曲线,),。,39,实验数据分析方法_Chap.5,由于观测值总含有误差，通常只能用曲线拟合的方法由,y,和,x,的,观测值,(,y,i,x,i,),i,=,1,N,，求得理论曲线或经验曲线中参数的,估计值,。曲线拟合的特点在于，被确定的曲线原则上并不特别要求真正通过给定的所有观测点，而只要尽可能在绝大多数观测点附近通过。这对于含有误差的观测来说较之过所有点的曲线拟合更合理，并有利于减小对未知数据进行预测时的偏差,*,。,确定表达式中的参数是曲线拟合中的基本问题。另外，经验公式的确定又是参数估计的基础，但它与客观实际联系紧密，必须结合专业知识并依据经验才能得到较好的解决。,40,实验数据分析方法_Chap.5,41,实验数据分析方法_Chap.5,最小二乘法,（又称,最小平方法,）是一种,数学,优化,技术，它通过,最小化,误差,的平方和找到一组数据的最佳,函数,匹配；其是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小；,最小二乘法,通常用于,曲线拟合,。很多其他的优化问题也可通过最小化,能量,或最大化,熵,用最小二乘形式表达。,1801,意大利天文学家,朱赛普,皮亚齐,发现了第一颗小行星,谷神星,，在,40,天的跟踪观测后，谷神星运行至太阳背后。皮亚齐失去了谷神星的位置。随后全世界的科学家通过皮亚齐的观测数据开始了寻找谷神星的行动。但是大多数的计算都没有结果，只有当时年仅,24,岁的高斯成功计算出了谷神星的轨道，奥地利天文学家,海因里希,奥尔伯斯,在高斯计算出的轨道上重新发现了谷神星，从此高斯闻名世界。他的这个最小二乘的方法发表在,1809,年的著作,天体运动论,中。法国科学家,勒让德,也于,1806,年独立发明最小二乘法。,1829,年，高斯提供了这个方法较其它方法为优的证明：最小二乘法在很大方面上优化效果强于其它方法，被称为,高斯,-,莫卡夫,定理。,42,实验数据分析方法_Chap.5,理论曲线,(,或经验公式,),中参数的估计问题可用如下的数学语言描述：若,y,是关于自变量,x,和待定参数,c,k,(k=1,m),的形式已知的函数：,y,f(x,c,),。,今给出,(,x,y,),的,N,对观测值,(,x,i,y,i,)(,i=,1,N,),，要确定参数,c,k,(,k=,1,m,),，使某个目标函数,取极值,(,极大值或极小值,),。,因此曲线拟合就是对目标函数进行,最优化计算,，寻求使目标函数,d,取极值的一组参数值。目标函数的具体形式可根据具体问题的要求来选取,可以在非最小二乘意义下确定,c,使得,:,5.5.1,目标函数和最优化,43,实验数据分析方法_Chap.5,达到极小。也可以在最小二乘意义下求解,c,，即使目标函数：达到极小。,我们称这种,选取各观测点的残差平方和作为目标函数的拟合,为,最小二乘曲线拟合,最小二乘曲线拟合用拟合的,2,量：,作为目标函数。,寻求使,2,最小,的参数,c,作为参数的估计值。其中,p,i,为观测值,y,i,的权重因子：,5.5.2,最小二乘曲线拟合,44,实验数据分析方法_Chap.5,满足最小二乘准则的参数值,可由下列方程组解出，即由：,解此参数的最小二乘估计,k,(k=1m),。,线性情况：,理论曲线是未知参数的线性情况时，它的一般形式可表示为,对于,N,组观测值,(,x,i,y,i,),，把线性函数代入上述,方程组,，则可得到未知参数,c,的线性方程组：,45,实验数据分析方法_Chap.5,例如在,m=2,且为等精度的情况下（,2,个未知参数），方程组化为：,已知：,y=y,0,(x)+c,1,f,1,(x)+c,2,f,2,(x),c,1,f,1,(x,i,)f,1,(x,i,)+c,2,f,2,(x,i,)f,1,(x,i,)=y,i,-y,0,(x,i,)f,1,(x,i,),c,1,f,1,(x,i,)f,2,(x,i,)+c,2,f,2,(x,i,)f,2,(x,i,)=y,i,-y,0,(x,i,)f,2,(x,i,),解之便可以得到,c,1,和,c,2,的最佳估计值,46,实验数据分析方法_Chap.5,把参数估计值代入理论关系式，可以得到对应各个自变量,x,i,的,y,的估计值：,线性情况最典型的例子是：,这是标准的线性模型，形式简单。但是有些看来较复杂的模型，常常可以通过变量代换的方法简化成这样的形式。下面我们给出几个例子：,例,1,：,是一个多项式模型，尽管观测值,y,对自变量而言是非线性的，但它对参数是线性的，因此仍属线性问题。只要作变量代换：,则多项式即可化为标准的线性形式,47,实验数据分析方法_Chap.5,例,2,：,观测量,y,对自变量,x,及参数均为非线性，但通过变量代换仍可,化为线性问题来处理。即对两边取导数，得,令 ，得,例,3,：,这是标准的直线模型，解出,C,0,，,C,l,后，用逆变换求,c,0,，,c,1,：,式中,A,j,，,j,(j,1,，,2),分别为周期函数的振幅和初相位，它们都是拟合过程中待估计的参数,pj,为已知的周期。,48,实验数据分析方法_Chap.5,这个函数形式是非线性的，但我们亦可以通过变量变换将其转化为,线性,的：,这是以,c,1,c,2,c,3,c,4,参数的标准化模型。由线性情况的最小二乘拟合的参数估计公式解得参数,c,1,c,2,c,3,c,4,后可得周期函数的拟合参数,将它们代入周期函数公式中即得周期函数拟合曲线,变量变换的方法可以把看来较复杂的模型化简，且变换既适用于待定参数也适用于观测量和自变量。这种能通过变量代换的方法化为线性模型的理论或经验公式称为,广义线性模型,。,49,实验数据分析方法_Chap.5,思考,：,若把观测量,y,和,x,进行调换，最终由上式得到的最小二乘拟合结果是否不变？,对,dy,对,dx,对,(dx,2,+dy,2,),1/2,50,实验数据分析方法_Chap.5,实例：,测定星系中心大质量黑洞的质量,Using R,BLR,the central mass is:,V,is the BLR clouds velocity(either from FWHM or,s,LINE,),f,is a dimensionless factor that depends on the,geometry,and,kinematics,of the BLR.,如何测定,R,BLR,?,Finding the central(black hole)mass is one of the“holy grails”of,reverberation mapping,in the past decade.,(but the sample might be biased.),51,实验数据分析方法_Chap.5,Continuum luminosity vary.,BLR respond to the variations(via,photoionization,).,测定,R,BLR,：,Reverberation Mapping,The entire BLR does not respond at the same time.,A cloud at a distance,R,from the central source and angle,q,to the line of sight will appear to respond after a time:,q,Line,Continuum,For a thick shell BLR the response to a continuum flash will be:,Time,Line,flux,52,实验数据分析方法_Chap.5,Time,Light curves,Line Flux,Continuum Flux,H,b,Kaspi et al.2000,53,实验数据分析方法_Chap.5,BLR size(R,BLR,)vs.Luminosity,Both are fundamental,measured,quantities.,Peterson et al.(2004)compiled all studies to date.,35 objects with,Balmer,(mainly,Hb,),lines time lag.,Characteristic BLR size=Time Lag*speed of light.,Luminosities in the Optical,UV,and X-rays.,BLR size from averaging all,Balmer,lines,time lags per object.,BLR Size Luminosity Relation,测定,R,BLR,进而计算黑洞质量的更普适方法,54,实验数据分析方法_Chap.5,Linear Regression,Uncertainties,in both quantities,and,Intrinsic scatter in the relation,Two regression methods:,1.,FITEXY,from Press et al.(1992)implemented by,Tremaine,et al.(2002).,2.,BCES,(,Bivariate,Correlated Errors and intrinsic Scatter)by,Akritas,&,Bershady,(1996).,and also outlier points,55,实验数据分析方法_Chap.5,H,b,R,BLR,Optical luminosity(5100 A),R,BLR,l,L,l,(5100),(0.690.05),Kaspi et al.2005,56,实验数据分析方法_Chap.5,H,b,R,BLR,UV luminosity(1450 A),R,BLR,l,L,l,(1450),(0.560.05),Kaspi et al.2005,57,实验数据分析方法_Chap.5,非线性情况：,例：,温度为,T,，面积为,A,的黑体，其辐射波长为,的能量可用