超定方程组的最小二乘解.ppt

上页上页下页下页第六章第六章 第二节第二节返回返回数 学MATH 上页上页下页下页第六章第六章 第二节第二节返回返回思维的体操思维的体操 加里宁加里宁 上页上页下页下页第六章第六章 第二节第二节返回返回Ax=b 的最小二乘解的最小二乘解。记记 r=b-Ax,称使称使 最小的解最小的解为方程组为方程组定义定义 x*是是 Ax=b的最小二乘解的充要条件的最小二乘解的充要条件 为为:x*是是 ATAx=ATb 的解的解.第二节第二节 超定方程组的最小二乘解超定方程组的最小二乘解设方程组设方程组Ax=b中中,A=(aij)m n,b是是m 维已知向量维已知向量,x是是n 维解向量维解向量,当当 mn 即方程组中方程的个数即方程组中方程的个数多于自变量的个数多于自变量的个数,称此方程组为超定方程组称此方程组为超定方程组.定理定理3上页上页下页下页第六章第六章 第二节第二节返回返回定理定理3x*是是 Ax=b 的最小二乘解的充要条件为的最小二乘解的充要条件为:x*是是 ATAx=ATb 的解的解.则则所以所以x*是是Ax=b 的最小二乘解的最小二乘解。证：充分性证：充分性：若存在若存在n 维向量维向量x*使使任取一任取一n维向量维向量令令上页上页下页下页第六章第六章 第二节第二节返回返回必要性：必要性：r=b-Ax 的第的第 i 个分量为个分量为记记由多元函数求极值的必要条件，可得由多元函数求极值的必要条件，可得上页上页下页下页第六章第六章 第二节第二节返回返回写成矩阵形式为写成矩阵形式为它是关于它是关于或法方程组或法方程组。的线性方程组的线性方程组,称为正规方程组称为正规方程组即即上页上页下页下页第六章第六章 第二节第二节返回返回3.解的存在唯一性解的存在唯一性ATA是是n阶方阵，且是对称阵。阶方阵，且是对称阵。ATA是正定矩阵，必有是正定矩阵，必有det(ATA)0。故。故的解存在且唯一。可用平方根法或的解存在且唯一。可用平方根法或SOR法法求解求解。当当R(A)=n 时，对任意时，对任意上页上页下页下页第六章第六章 第二节第二节返回返回例例1 1 求超定方程组求超定方程组的最小二乘解，并求误差平方和。的最小二乘解，并求误差平方和。解解 方程组写方程组写 成矩阵形式为：成矩阵形式为：上页上页下页下页第六章第六章 第二节第二节返回返回正规方程组为正规方程组为上页上页下页下页第六章第六章 第二节第二节返回返回即即解得解得误差平方和为误差平方和为：