第五章线性参数的最小二乘法处理01.doc

第五章 线性函数的最小二乘处理
最小二乘原理应用时的条件是：函数关系确定已知、等精度、误差独立、无偏估计得到满足,在众多的N个测量方程中利用最小二乘原理求得t个（t＜／N）参数的最佳估计值.
如前所叙，在随机因素作用下,测量次数较多时，计算的结果就会更精密，测量次数往往大于待求未知量的个数,因而出现N＞t的现象就成为自然而然的事情了。
众所周知，当N＝t时可由线性代数知识求得一组唯一正确解。当N＞t时,代数解法则无能为力了。也许读者会提出另外一个问题:既然N＞t，可由N中取出t个方程来求解，而把（N-t）个方程弃掉，问题不就解决了吗？答案是不行的。这样求解后的结果不是最佳值，有时会与最佳值离歧很大。
最小二乘法是一种数学原理，高斯于1809年在他的名著《天体沿圆锥截面绕太阳运动的理论》一书中，发表了他发现的最小二乘原理并应用于测量之后，在许多科学领域及技术领域中得到越来越多地应用。
5.1 函数为直接测量值得线性组合
5.1。1 测量方程式
函数中可能存在着多个待定参数，根据该函数关系可列出多个测量后的方程式，该方程式称作测量方程式。
设含有t个待求参数Xj（j=1,2，…，t)的函数关系已知，表现为线性组合，即

Xj是待定系数的真值，aj是在某具体测量条件下获得的直接测量值，经N次测量（N〉t）后，理应得到N个函数真关系式。

为了表达更简洁，可将各方程中系数用aij(i=1,2， …,N;j=1,2， …,t）表示，上述方程可简写成

量值Y经N次测量后的测量值用Mi表示，则上述方程变为测量方程式，又称测量条件方程，

式中，aij及Mi是在某具体测量条件下的直接测量值，Mi含有误差，即Mi≠Yi。

5.1.2 剩余误差方程式
若用

同直接测量时一样，可将称作剩余误差。由此便可得到N个剩余误差方程式

可以看出,剩余误差是各最可信赖值的函数，即

5.1。3 正规方程组
现在以三个待求量x1,x2,x3为例，说明建立正规方程组的过程，该计算方法和过程及结论可推广到t个待求量中去。
三个待求量的函数真关系为

三个待求量的测量方程为

三个待求量的剩余误差方程式为

三个待求量剩余误差平方和方程式为

三个待求量参数的剩余误差平方和是的函数。根据最小二乘原理可知,恰当地选择x1,x2,x3，使得，当上述条件得到满足后所求得之值才是x1,x2，x3的最可信赖值,才是寻求的值。这样，寻求最可信赖值的问题就转化为对Q求极小值的问题了，即应满足

应当注意：一阶导数不是个具体的数值，它仍然是（）的函数;对Yi尽管测量Y10次、20次乃至N次，但求导后的方程式只剩下三个了，求导后的方程组称作正规方程组、法方程组或标准方程组。本例中正规方程式共三个，待求量也是三个，可求得一组唯一正确解；在求得就不用计算了,可喜的是工程领域的函数驻点处都存在着一个极小值，这给计算带来很大方便。
综上所叙，当N＞t时,；t个待求参数最可信赖值的解,是函数直接测量值Mj（j＝1,2,…，t）的剩余误差平方和为最小、是利用求导法、建立正规方程组（t´t；）后所求得之解。由此看来,根据测量方程组，建立正规方程组是最小二乘求解的关键。
还须说明一点，最小二乘原理的应用并不需要预先知道与测量相联系的何种误差分布.过去文献中阐述最小二乘原理应用时，曾要求误差要服从正态分布，这种论断产生的原因大概是大多数误差都服从正态分布。实际上最小二乘法并不要求误差一定要服从正态分布，只需其剩余误差平方和为最小就可以了.

5。2 正规方程组的建立
含有t个待定参数的线性函数中，怎样建立正规方程组，其基本步骤可归纳如下。
5.2。1 根据测量结果列出测量方程组

上式亦可简写为
5.2。2 根据测量方程组列出剩余误差方程组

上式亦可简写为
5。2。3 列出剩佘误差平方和计算公式,利用求导法导出t´t阶正规方程组
由求导法导出t´t阶正规方程组.根据最小二乘原理，测量结果应满足

为满足Q=min条件，可对取一阶导数为零，即

经整理后可得到

上式中等，是高斯书写符号，具体意义及运算规则为

同理，下面的书写符号可理解为

依据，可依次得到t´t阶方程组，即

方程的个数恰好等于待求未知数的个数。可以看出其系数行列式必不为零，故存在一组确定的唯一解。
不难看出其二阶导数恒为正值，即

证明了确实是最小值。

N´t阶系数矩阵（N´t），用A表示则

应当注意,aij(i=1,2，…，N;j=1，2,…t)分别是N个误差方程中N´t个直接测量(严格可控）值.
由此,误差方程又可表示为，即

剩余误差平方和的矩阵形式，可表示为

最小二乘原理就是使

5。2。4 正规方程组特点
正规方程组中各元素排列及位置时就能发现，该方程组具有下面三个特点
（1)正规方程组主对角线上分布着系数自身的平方项,如，因此，主对角线上的各系数的数值恒为正数;
（2)主对角线是主对称线，以对角线为对称线对称的位置上分布着的系数值彼此之间两两相等，如等；
（3）正规方程组内为t´t阶,根据克莱姆法则可知，系数行列式不为零时存在着一组确定的唯一解.
根据上述三个特点,可对所列出的正规方程组的正确性作检查或作校核。

5.2。5 利用系数(测量）列表法建立正规方程组
利用偏导法建立正规方程组，理论严谨、缜密。在工程实践中直接测量后的各系数值aij及Mi值多是些非整齐数字，计算起来颇为繁冗,一旦一处计算出错则会导致全错，而且偏导法不易发现何处出现错也不易校核。同时，偏导法理论较深，也限制了的推广.为使二乘原理得到更广泛地应用,最好能寻找出一种使用简便、易于推广的方法。
科学实验中，一般待求量较少，多是t=2～4左右，此时可采用系数列表法建立正规方程组。可以看出,正规方程组内各系数在各自位置上的排列具有一定的规律性，只要将各系数值依照正规方程中计算顺序分别计算出它们各自的数值,写人表中相应的栏内，依据栏内的内容写入正规方程相应的位置上，正规方程就建立完毕,该方法简便、实用性强且易 于校核，下面举个实际例子。
例8－1 铜棒线膨胀系数测定问题：在不同温度条件下，对某铜棒测量N=5次，数据如下（单位：mm）。

解 为计算方便，可采用变量置换法,令
（1）列出测量方程式
（2)列出剩余误差方程式
根据实际测量结果，可得到5个剩余误差公式

（3）利用剩余误差方程中的系数列表，建立正规方程组，见表

本例Lt=L0（1+at)函数关系中，待求量（L0,a），按式列出待求量为2个的正规方程组，即

以上结果分别代入正规方程内

以上方程是二元一次联立方程，解之可得

例2 测量某电源内阻Ri及开路电压时,可按公式E0—IRi=E计算，I与E分别是负载电流和电压。在不同条件下，获得数据如下(电流单位A,电压单位V）
I=1.0，E=9。1；I=2。0，E=8。0；I=3.0，E6。9;I=4。0，E=6.1；I=5.0，E=4.8。
试确定Ri及E0的最可信赖值。
解:

（3)系数列表 系数列表法的格式并无严格的理论上的规定，可由计算者的习惯与方便来确定，比较灵活，例如本例也可用下面的表格进行。

正规方程组显然是

关于最小二乘的应用还需作下列几点说明：
(1）实际测量中,函数关系确定已知,自变量是严格可控的已知量，函数值是直接测量之结果,待求量是线性函数中的系数值。
（2)尽管函数关系确定已知，测量次数N不同时，计算后的最信赖值也不同,即便是又重复测量了相同的N次，最可信赖值的计算结果也不会一致。我们知道，最小二乘计算后的结果，尽管是N次测量后得到的最小二乘的最佳效果，但它们仍是些样本的函数值，是些统计量，即随机变量。

5.3 不等精度条件的最小二乘法
线性函数在不等精度条件下的测量可转化为等精度测量形式，为此，可单位权化，只需将剩余误差方程组的两端同乘以自身权的平方根后即可，在这种情况下就可以用等精度最小二乘估计法进行数据处理，即

该方程满足最小的条件，经整理后得如下方程组：

上式就是不等精度测量时最小二乘法处理的正规方程.我们还可以将该正规方程化成等精度的形式。为此，作代换

将其代入正规方程，经整理后得到下面的正规方程

可以看出,上列正规方程在形式上已与等精度测量时的正规方程完全一致了.

用矩阵表示为

即

例5-2 某测量过程有误差方程式及相应的标准差如下：

试求x1,x2的最小二乘处理正规方程的解.
解：首先确定各式的权

取各式的权为
P1=16，p2=16,p3=9，p4=9,p5=9
现用表格计算给出正规方程常数项和系数：

可得正规方程

解得最小二乘法处理结果为

三、非线性参数最小二乘法处理的正规方程
在一般情况下，函数

为非线性函数，测量的误差方程

是非线性方程组.一般来说，直接由它建立正规方程并求解是困难的。
为了解决这类问题，一般采取线性化的方法，将非线性函数化为线性函数，再按线性参数的情形进行处理。
为此,x10，x20,…,xi0为待估计量x1,x2，…,xi的近似值，而估计量xr则可表示为

式中，分别为估计量与所取近似值的偏差。
因此，只须求得偏差，即可获得估计量
现将函数在

式中,

则误差方程化为线性方程组

于是，就可以按线性参数的情形列出正规方程并求解出dr(r＝1，2，…，t）,进而可求得相应的估计量xr(r=1,2，…，t）。
应该指出，为获得线性化的结果,函数的展开式只取一次项而略去了二次以上的高次项，严格地说,由此给出的估计量是近似的。不过一般来说这已能满足实际的要求，因为只要所取近似值xr0。的偏差dr相对于所研究的问题而言足够小，则二次项以上的高次项其值甚微，可以忽略不计。因此，在对某一非线性参数作线性化处理时，估计量近似值的选取应有相应的精度要求。
为获得函数的展开式,必须首先确定未知数的近似值，其方法可以是：
（1）直接测量 对未知量xr直接进行测量，所得结果即可作为其近似值.
（2)通过部分方程式进行计算 从误差方程中选取最简单的t个方程式，采用近似的求僻方法，如令vi=0,于是可以得到一个t元齐次方程组，由此解得即为未知数的近似值。至于到底选用哪种方法，应视具体问题而定。
由以上讨论可见，所有情况(等精度与非等精度测量，线性与非线性参数）最后均可归结为线性参数等精度测量的情形.从而,可按线性参数等精度测量的情形建立和解算正规方程.
四、最小二乘原理与算术平均值原理的关系
为了确定一个量X的估计量x，对它进行n次直接测量，得到n个数据l1，l2,…，ln，相应的权分别为p1,p2，…,pn，则测量的误差方程为

其最小二乘法处理的正规方程为

由误差方程知ai=l,因而有

可得最小二乘法处理的结果

这正是不等精度测量时加权算术平均值原理所给出的结果。
对于等精度测量有

则由最小二乘法所确定的估计量为

此式与等精度时算数平均值原理给出的结果相同。
由此可见，最小二乘法原理与算术平均值原理是一致的,算术平均值原理可以看做是最小二乘法原理的特例.

第三节 精度估计
对测量数据最小二乘法处理的最终结果，不仅要给出待求量的最可信赖的估计量，而且还要确定其可信赖程度，即应给出所得估计量的精度。
一、测量数据的精度估计
为了确定最小二乘估计量x1,x2，…,xt的精度,首先需要给出直接测量所得测量数据的精度。测量数据的精度也以标准差s来表示。因为无法求得s的真值,因而只能依据有限次的测量结果给出s的估计值,所谓给出精度估计，实际上是求出估计值。
（一)等精度测量数据的精度估计
设对包含t个未知量的n个线性参数方程组进行n次独立的等精度测量，获得了n个测量数据l1,l2,…ln。其相应的测量误差分别为d1，d2,…，dn，它们是互不相关的随机误差.因为一般情况下真误差d1，d2，…，dn是未知的,只能由残余误差v1，v2，…,vn给出s2的估计量。
可以证明是自由度为（n-t)的c2变量。根据c2变量的性质，有
i
因而

由此可知：所得将对s2有系统偏移，即

将不是s2的无偏估计量.因为

所以，可取

作为s2的无偏估计量。习惯上,这个估计量也写成s2,即

因而测量数据的标准差的估计量为

一般写成

例5—3 试求例5-1中铜棒长度的测量精度.
已知残余误差方程为

将ti，li值代入上式，可得残余误差为

因n=6，t=2
于是可得标准差为

（二）不等精度测量数据的精度估计
不等精度测量数据的精度估计与等精度测量数据的精度估计相似，只是公式中的残余误差平方和变为加权的残余误差平方和，测量数据的单位权方差的无偏估计为

通常习惯写成

故测量数据的单位权标准差为

二、最小二乘估计量的精度估计
最小二乘法所确定的估计量x1,x2,…,xt的精度取决于测量数据的精度和线性方程组所给出的函数关系。对给定的线性方程组，若已知测量数据l1,l2，…,ln的精度，就可求得最小二乘估计量的精度。
下面首先讨论等精度测量时最小二乘估计量的精度估计。
设有正规方程

现要给出由此方程所确定的估计量x1,x2，…，xt的精度.为此，利用不定乘数法求出x1,x2,…，xt的表达式,然后再找出估计量x1,x2，…，xt的精度与测量数据l1，l2，…，ln精度的关系,即可得到估计量精度估计的表达式。
设有不定乘数d11，d12,…,d1t；d21,d22,…,d2t;…,dt1，dt2，…,dtt。（共t´t个)。为求x1，令d11,d12，…，d1t分别去乘上面的正规方程中的第1，2，…,t式，得

因＇l，12,¨·,｀尢为相互独立（因而互不相关）的正态随机变量，且为等精度的！〓·¨〓trn〓矿，贝刂有
试l〓九？lf：＋九bT；牛…十九⒎σ∶＝(允：l＋九乞艹…十允：冂）钉2
将等式右端σ2的系数展开，并适当地合并同类项，注意到不定乘数d,＊，d,9，¨·择条件式（⒊47）,最后可得
7⒊ 〓dnc

同样，再用d＇,，d？2，…，咙：分别去乘正规方程各式，将乘得的各式相加，按扎，死2

方程组（⒌51）中，不定乘数吒（、，J〓1，2；．．。，讶）的系数与正规方程(⒌19)的系数完全一样，因而在实际计算时，可以利用解正规方程的中间结果，十分简便。
由式(5、51）求得不定乘数d＊＇，d,＇，¨。，吨,则各估计E＊＇，“2，…,免＇的方差为

第四节 组合溺量的最小二乘法处理

在精密测试工作中,组合测量占有十分重要的地位。例如，作为标准量的多面棱体、盘、砝码、电容器以及其他标准器的检定等，为了减小随机误差的影响，提高测量精度，采用组合测量的方法.

组合测量是通过直接测量待测参数的各种组合量(一般是等精度测量），然后对这些测量数据进行处理，从而求得待测参数的估计量，并给出其精度估计。通常组合测量数据是用最小二乘法进行处理，它是最小二乘法在精密测试中的一种重要的应用。
为简单起见,现以检定三段刻线间距为例，说明组合测量的数据处理方法。
如图5ˉ1所示，要求检定刻线A、B、ε、D间的距离xl、％2｀死3.
为此，直接测量刻线间距的各种组合量（见图⒌2)，得到如下测量数据：

为求出估计量钓，“2，π3的标准差，首先需求出不定乘数龟⑺，∫〓1,2，3）。由方程（⒌51）可知,不定乘数龟的系数与正规方程（⒌19）的系数相同，因而龟是矩阵C＾n中各元素，即

按式（⒌53），可得估计量的标准差为