数值分析讲义——线性方程组的解法.doc

数值分析讲义线性方程组的解法 作者： 日期：49 个人收集整理 勿做商业用途数值分析讲义第三章 线性方程组的解法3.0 引言 3。1 雅可比(Jacobi)迭代法 3.2 高斯塞德尔(Gauss-Seidel)迭代法3。3 超松驰迭代法 3.7 三角分解法3.4 迭代法的收敛性 3.8 追赶法 3。5 高斯消去法 3.9 其它应用 3.6 高斯主元素消去法 3。10 误差分析 3 作业讲评3 3.11 总结 3。0 引 言 重要性：解线性代数方程组的有效方法在计算数学和科学计算中具有特殊的地位和作用.如弹性力学、电路分析、热传导和振动、以及社会科学及定量分析商业经济中的各种问题。 分类:线性方程组的解法可分为直接法和迭代法两种方法.(a) 直接法：对于给定的方程组,在没有舍入误差的假设下，能在预定的运算次数内求得精确解.最基本的直接法是Gauss消去法，重要的直接法全都受到Gauss消去法的启发。计算代价高。（b） 迭代法：基于一定的递推格式，产生逼近方程组精确解的近似序列.收敛性是其为迭代法的前提,此外，存在收敛速度与误差估计问题。简单实用，诱人. 3。1 雅可比Jacobi迭代法 (AX=b）1 基本思想:与解f(x)=0 的不动点迭代相类似,将AX=b改写为X=BX+f 的形式,建立雅可比方法的迭代格式：Xk+1=BX(k）+f ,其中,B称为迭代矩阵。其计算精度可控,特别适用于求解系数为大型稀疏矩阵（sparse matrices)的方程组.2 问题：（a) 如何建立迭代格式？ （b） 向量序列Xk是否收敛以及收敛条件?3 例题分析：考虑解方程组 （1)其准确解为X=1, 1.2， 1.3。建立与式（1)相等价的形式： （2）据此建立迭代公式： （3） 取迭代初值，迭代结果如下表. JocabiMethodP31。cpp 迭代次数 x1 x2 x30 0 0 01 0.72 0.83 0.842 0.971 1.07 1。153 1。057 1.1571 1。24824 1.08535 1.18534 1.282825 1.095098 1。195099 1.2941386 1.098338 1.198337 1.2980397 1。099442 1。199442 1.2993358 1.099811 1。199811 1。2997779 1。099936 1。199936 1.29992410 1。099979 1.199979 1.29997511 1。099993 1。199993 1.29999112 1。099998 1.199998 1.29999713 1。099999 1。199999 1.29999914 1.1 1。2 1.315 1.1 1.2 1.3 4 Jocobi迭代公式：设方程组AX=b, 通过分离变量的过程建立Jocobi迭代公式,即 由此我们可以得到Jacobi迭代公式：Jacobi迭代公式的算法1： 初始化。 n， (aij）, (bj), （x1） ， M。2: 执行k=1直到M为止. 执行i=1直到n为止. ； 执行i=1直到n为止. ； 输出k， (xi）。另外,我们也可以建立Jacobi迭代公式的矩阵形式。设方程组AX=b,其中，A=（aij）n为非奇异阵,X=(x1,x2,xn）T, b=(b1，b2，bn）T将系数阵A分解为： A=U+D+L，U为上三角矩阵,D为对角矩阵，L为下三角矩阵。于是AX=b可改写为（U+D+L）X=b X=D1b-D1（U+L）X由此可得矩阵形式的Jocobi迭代公式： Xk+1=BX（k)+f 3。2 高斯塞德尔GaussSeidel迭代法注意到利用Jocobi迭代公式计算时，已经计算好的值，而Jocobi迭代公式并不利用这些最新的近似值计算，仍用.这启发我们可以对其加以改进,即在每个分量的计算中尽量利用最新的迭代值,得到上式称为GaussSeidel迭代法。其矩阵形式是X=-（D+L)1UX+（D+L）1b, Xk+1=BX（k）+f 。迭代次数 x1 x2 x3 0 0 0 0 1 0。72 0.902 1.1644 2 1。04308 1。167188 1。282054 3 1。09313 1。195724 1.297771 4 1。099126 1。199467 1.299719 5 1.09989 1.199933 1.299965 6 1。099986 1。199992 1。299996 7 1。099998 1.199999 1.299999 8 1。1 1.2 1.33.3 超松驰迭代法SOR方法1 基本思想:逐次超松弛迭代法(Successive Over Relaxation Method，简写为SOR)可以看作带参数的高斯-塞德尔迭代法,是GS方法的一种修正或加速.是求解大型稀疏矩阵方程组的有效方法之一。2 SOR算法的构造：设方程组AX=b， 其中,A=（aij）n为非奇异阵，X=（x1,x2，xn）T， b=(b1，b2,，bn）T.假设已算出x(k）, （1）相当于用高斯塞德尔方法计算一个分量的公式.若对某个参数，作与加权的平均,即 （2）其中，称为松弛因子。用（1）式代入（2)式，就得到解方程组AX=b的逐次超松弛迭代公式： （3）显然，当取=1时,式（3）就是高斯塞德尔迭代公式.3 例题分析：利用SOR方法解方程组 (1）其准确解为X*=1， 1， 2.建立与式（1）相等价的形式： (2）据此建立迭代公式： （3）利用SOR算法，取迭代初值，=1.5,迭代结果如下表。 逐次超松弛迭代法次数 x1 x2 x3 1 0.625000 0.062500 1。750000 2 0.390625 0.882813 1.468750 3 1.017578 0。516602 1。808594 4 0。556885 0。880981 1.710449 5 1。023712 0。743423 1.868103 6 0。746250 0.908419 1。838737 7 0.997715 0.860264 1。913894 8 0。864050 0.936742 1。908605 9 0.986259 0。922225 1.945523 10 0。928110 0.958649 1。947493 11 0。985242 0.955944 1.966198 12 0。961661 0。973818 1.969521 13 0.988103 0.974699 1.979289 14 0。979206 0.983746 1.982172 15 0。991521 0。985318 1.987416 16 0.988509 0。990038 1.989513 17 0.994341 0.991414 1。992397 18 0.993538 0。993946 1.993806 19 0。996367 0.994950 1。995424 20 0。996313 0。996342 1。996331 21 0.997724 0.997018 1.997254 22 0.997871 0.997798 1.997822 23 0.998596 0。998234 1.998355GS迭代法须迭代85次得到准确值X=1, 1, 2;而SOR方法只须55次即得准确值。由此可见,适当地选择松弛因子，SOR法具有明显的加速收敛效果. 3。4 迭代法的收敛性1. 向量和矩阵范数 (a） 向量范数 Rn空间的向量范数 | | ，对任意， 满足下列条件: (正定性） （齐次性) （三角不等式） 常见的向量范数有：(1) 列范数:(2) 谱范数：（欧几里德范数或向量的长度，模）(3) 行范数：(4) p范数: 上述范数的几何意义是：=max（x2x1,|y2y1) ;=x2x1+y2-y1 ;. 向量序列依坐标收敛于向量x 的充要条件是向量序列依范数收敛于向量x,即。(b） 矩阵范数 空间的向量范数 | | ，对任意, 满足下列条件：常见的矩阵范数有： （行和范数) （列和范数) (谱范数） 若A对称，则有。 矩阵A的谱半径记为，r（A） =，其中li 为A 的特征根。2. 迭代法基本定理 设有方程组X=BX+f，对于任意初始向量X(0)及任意f,迭代公式X（k+1）=BX（k)+f收敛的充要条件是1,为矩阵B的谱半径。证：设X*为方程组X=BX+f的准确解,即 X=BX*+f。对于任意初始向量X(0）及任意f，迭代公式X(k+1)=BX(k)+f，于是, 由此可得，迭代法收敛的充要条件是.即，1。 上述定理是线性方程组迭代解法收敛性分析的基本定理，然而由于的计算往往比较困难，尽管有各种办法估计的上界，但往往偏听偏大而不实用，由此导致定理的理论价值胜于实用价值，为满足实际判敛的需要,有如下定理。 （迭代收敛的充分条件） 设有迭代公式X（k+1)=BX（k）+f，如果B1，则对于任意初始向量X(0）及任意f, 迭代公式均收敛。3。 从方程组的系数矩阵A判断迭代收敛性实际中要求解的某些线性方程组，其系数矩阵往往具有一些特点，如系数矩阵为对称正定、对角元素占优等。由这些方程组系数矩阵的特殊性，使得我们可以直接从方程组的系数矩阵A出发来讨论迭代法的收敛性. 设，满足 且至少有一个i值,使得 成立，则称A为对角占优矩阵;若 ,则称A为严格对角占优矩阵。 如果为严格对角占优矩阵，则对任意的初值x(0)，解方程组AX=B的Jacobi法、Guess-Seidel迭代法均收敛。 HW： 3。1 3。2 3.3（上机实习） 3.5 高斯消去法 1 基本思想：用高斯消去法求解线性方程组的基本思想是设法消去方程组的系数矩阵A的主对角线下的元素,而将Ax=b化为等价的上三角形方程组,然后再通过回代过程便可以获得方程组的解。这种解线性方程组的方法，常称为高斯消去法（Gaussian Elimination）.2 例题分析:利用高斯消去法求解方程组: （1)利用ri-，i=2,3，4。得 (2）利用ri，i=3，4。得 （3)利用ri，i=4。得 (4）显然，方程组(4）与(1)是等价的，其系数矩阵为上三角状的,易于求解.称以上过程为高斯消去法的消去过程。通过方程组（4）的回代求解，可以得到准确解为X*=1， -3， 2,1T. 这一过程为高斯消去法的回代过程. 2 高斯消去法算法的构造:记方程组AX=b为A（1）X=b（1), 其中，A(1）和b（1）的元素分别记为Step1：第一次消元 设，将增广矩阵的第i行减去倍，(i=2,n）,目的是将增广矩阵的第一列内除每一个元素不变外,其余全部消为零，得到A（2）X=b(2)，即其中 Step2:第k次消元() 设第k-1次消元已完成,且,得到A(k）X=b(k），即计算因子， 如此反复，经过n1次消元之后得到一个与原方程组等价的上三角形方程组.Step3：回代 只要就可以回代求解3 高斯消去法算法Step1消元：对k=1,2，n1 若则停止计算 对i=k+1，k+2,n 计算因子；对j=k+1,k+2,n 计算;Step2回代： 对i=n,n-1,，1 （高斯消去法的条件）(1) 若A的所有顺序主子式均不为0,则高斯消元无需换行即可进行到底，且得到唯一解。(2) 若消元过程中允许对增广矩阵进行行交换，则方程组Ax=b可用消去法求解的充要条件是A可逆。3。6 高斯主元素消去法1 主元素及其选取问题Gauss消去法第k次消去是用第k个方程来消去第k+1，,n个方程中的xk，条件是。是实现第k次消元的关键元素,称为第k次消去的主元(素)。Gauss消去法存在的问题是：(1) 顺序消元时一旦产生(这是经常可能的），消元过程则中断；(2) 此外，即使但绝对值很小时,由于用它作除数，引起在消去过程中出现数量级及舍入误差急剧增长的系数，而使最后的计算解严重地不可靠。例：单精度求解方程组其准确解为 当利用Gauss消元法时，舍入误差 恶性传播 基本思想： 主元素法是对Gauss消去法的改进。 它全面或局部地选取绝对值大的元素为主元素，仅对Gauss消去法的步骤作某些技术性地修改，使之成为一种有效的方法.从而保证和改善算法的数值稳定性.2 完全主元素消去法设方程组AX=b， 其中，A=(aij)n为非奇异阵，X=（x1,x2,，xn）T， b=(b1，b2,，bn）T.经过k1次选主元消元后，得到下列等价方程组: 选主元过程 在矩阵中选取绝对值最大的元素为主元素,保证 从而确定 ik , jk。 行变换和列交换If ik k then 交换第 k 行与第ik行；If jk k then 交换第 k 列与第jk列；值得注意的是,在全主元消去过程中，列交换已改变了x各分量的顺序,因此，必须在每次列交换的同时，记录调换后未知数的排列次序。 消元 回代求解 还原未知数的排列次序2.1 全主元素Gauss消去法算法Step1消元:对k=1，2，,n1 选主元 确定 ik , jk，满足 若则停止计算，detA=0。 If ik k then 交换第 k 行与第ik行;If jk k then 交换第 k 列与第jk列； 消元对i=k+1,k+2，,n计算因子 ;对j=k+1，k+2，n 计算;Step2回代: 若则停止计算，detA=0. 对i=n,n-1，,1Step3还原排列次序： 对i=1，2,，n1x := yi(3) 列主元素消去法在计算机上实现主元素消去法意味着进行数的比较操作，全选主元素法需要相当多的计算时间，因此常采用局部选主元素的方法.列主元素消去法依次按列选主元素，只须进行方程行 交换，不产生未知数次序的调换。 按列选主元过程 设方程组AX=b的增广矩阵为 首先在A(1）中第一列选取绝对值最大的元素为主元素，保证 从而确定 ik. 行变换If ik 1 then 交换第 1 行与第ik行;重复上述过程,设已完成第k1次按列选主元消元后，得到下列等价方程组： 在方框内的诸元素中选取绝对值最大的元素为主元素，保证： 从而确定 ik。 If ik k then 交换第 k 行与第ik行;然后进行消元,如此进行，直至k=n1为止.3.1 列主元素Gauss消去法算法Step1消元:对k=1,2，,n-1 选主元 确定 ik，满足； 若则停止计算，detA=0。 If ik k then 交换第 k 行与第ik行; 消元对i=k+1,k+2，n计算因子；对j=k+1,k+2，n 计算；Step2回代： 若则停止计算，detA=0。 对i=n,n-1，,1(4) 例题分析:求解方程组：解之得：X*=(0。479107 -0.033089 0.355552）THW： 3。5 作业讲评33.1 设有方程组 (1） 考察用JacobiMethod、Gauss-SeidelMethod解方程组的收敛性。（2） 用JacobiMethod、GaussSeidelMethod解方程，要求当| x(k+1)x(k)|1时,则方程组是“病态”的；当cond（A)较小时，则方程组是“良态的。通常的条件数有:（1） cond(A)=（2） cond（A）=特别地，若 A 对称，则.3 例题已知，求A的条件数.解: 由 ，于是392061。说明由A构成的系数矩阵方程组是“病态”的.3.11 总结高斯消去法 是解线性方程组直接方法的基础。将线性方程组约化为等价的三角形方程组再求解是直接法的基本解法。在约化过程中,引进选主元素的技巧是为了保证方法的数值稳定性所采取的必要措施.如全选主元素消去法；列选主元素消去法等。直接三角分解法 是高斯消去法的变形.从代数上看,直接三角分解法和高斯消去法本质上是一致的。但从实际应用效果来看是有差异的。如用Doolittle分解法解具有相同系数矩阵但右端向量不同的方程组AX=B=（b1,b2，bm)是相当便利的，每解一个方程组AX=bi仅需增加n2次乘除法运算.迭代法是一种逐次逼近方法，注意到在使用迭代法时，Xk+1=BX(k)+f ，其迭代矩阵B和迭代向量f在计算过程中始终不变,迭代法具有循环的计算公式、方法简单.此外,应注意收敛性与收敛速度问题。收敛性是迭代法的前提，针对不同的问题，分析并采用适当的数值算法，如GuassSeidel方法、SOR方法等.对以上算法的分析，立足点是在计算机上实现。因此，我们对于方法的掌握不仅在数学推导和数学公式上，而且应当深入思考方法的计算机实现过程，以加深对数值计算的认识和理解.