二-内积空间PPT课件.ppt

第二章 内积空间 当向量元素在复数域内取值时，欧氏空间就被推广到了酉空间。许多欧氏空间中的定义和性质几乎可以“平滑地”推广到酉空间。欧氏空间和酉空间统称为内积空间。线性空间中向量的运算仅是线性运算。一般而言，我们知道，现实世界是3维欧氏空间。对于 维线性空间，定义了内积以后，向量不仅有了长度（模），还有了两向量之间的夹角等几何性质。特别是有了正交概念后，我们可以得到标准正交基、勾股定理、正交投影等许多优美的结果。1、欧氏空间的基本概念向量空间中向量的长度与夹角是用内积定义的，因此要在线性空间中引入相关概念，自然要对内积的概念进行推广。由于向量的内积与向量的线性运算无关，所以欧氏空间实际上是特殊的线性空间，即定义了内积的线性空间。一、内积空间(Inner Product Space)在线性代数中，我们将 中的内积推广到 ：并在此基础上定义了 中的向量长度、夹角等概念。当然可以将这种定义推广到任意线性空间，但由于这种定义与向量空间的基有关，我们目前不打算这样做。取而代之的是，注意到内积是从两个向量得到的一个数，我们自然希望确定这种运算的性质，进而给出线性空间中内积的公理化定义。注意到 中的内积显然具有如下性质：，当且仅当 时，等号成立。定义定义1 1 1 1 是实数域 上的线性空间。如果对 中任意两个向量 都存在所谓 与 的内积内积 ，满足下面四个条件。称定义了内积的线性空间 为实内积空间实内积空间，简称欧氏空间欧氏空间。据此，我们可以给出线性空间中内积的公理化定义。例2 2 定义了标准内积标准内积的 是欧氏空间。这里，对任意两个向量 及 ，标准内积为例3 3 定义了标准内积标准内积的集合 称为希尔伯特空希尔伯特空间间，这里 是所有平方和收敛的实数列的集合，即将向量推广到无限维，可得到：例 4 4 在向量空间 中，对任意 和实对称矩阵 ，定义实双线性型（实双线性型（Bilinear Form Bilinear Form）则 是 的一个内积。特别地，时 就是二次型；当 时就是前面的标准内积。注意到标准内积是特殊的二次型 ，因此有如下推广：由于函数也可以看成向量，所以内积也可以推广到函数。先考虑折线函数：显然其内积可定义为如果将一般函数看成具有无穷段折线段的向量，此时上面的内积定义又会变成什么形式呢？无限求和即积分！证明：例 5 5 线性空间 按下列内积构成欧氏空间：则由函数的连续性，存在邻域当 时，若有 ，使其内任意点的函数值满足 ，从而矛盾。其他性质显然可证。则 是定义了内积 的内积空间。例6 6 在矩阵空间 中，对任意定义类似地，将矩阵看成由行向量依次连接而成的一个超级向量，即可得如下内积定义：根据前面的分析，欧氏空间中内积还具有下列性质。注意到3维空间中，欧氏空间 中的向量 的范数（范数（norm)norm)为定义定义7 7 7 7特别地，称 的向量 称为单位向量单位向量。任意非零向量 ，经过规范化规范化或单位化单位化后可得到单位向量二、欧氏空间的度量我们知道，平面几何中成立余弦定理，那么n维空间中余弦定理是否仍然成立呢？注意到证明：对任意 ，显然当 时，取 即两向量线性相关时等式 成立。定理定理8 8 8 8（柯西-施瓦茨不等式）如果 是数域 上的欧氏空间欧氏空间，则对 中的任意向量 ，有这个一元二次不等式对任意 恒成立，因此类似于高等数学，根据柯西-施瓦茨不等式，我们称为欧氏空间 中向量 与 的夹角夹角。特别地，当 时，称 与 正交正交或垂直，记为 。因此余弦定理成立！定理定理9 9 9 9如果 是数域 上的欧氏空间欧氏空间，则对 中的任意向量 ，具有下列三条性质（非负性、正齐性和三角不等式）：另外，欧氏空间中的范数显然具有下列性质。，当且仅当 时，等号成立。定理定理10 10 10 10 如果 是数域 上的欧氏空间欧氏空间，则对 中的任意向量 ，有：范数还具有下列平行四边形法则、极化恒等式和勾股定理。（3）特别地，当 与 正交时，有最后我们给出欧氏空间 的内积的坐标表示形式。设 为 的任意一组基，向量 在此基下的坐标分别为则内积最后我们给出欧氏空间 的内积的坐标表示形式。定义定义11111111 欧氏空间 的一个向量组 的度量矩阵度量矩阵或Gram Gram 矩阵矩阵指的是矩阵可以证明Gram矩阵 是对称正定矩阵。例 12 12 欧氏空间 的内积为：（2）用矩阵方法计算下列函数的内积：（1）求自然基 的度量矩阵 。解：度量矩阵 是对称矩阵，所以所求为（2）和 在自然基下的坐标分别是所以所求内积为拓扑空间线性空间Hausdorff空间赋范空间 距离空间(度量空间)拓扑线性空间完备距离线性空间距离线性空间内积空间Hilbert空间Banach空间欧氏空间 和各类空间的层次关系2、标准正交基正交性的重要性无论怎么强调都不过分，尤其在数值线性代数和微分方程数值解中，许多重要的算法都与正交性有密切联系。而这两门学科是在工程科学中有着最广泛应用的数学分支之一。在欧氏空间内引入标准正交基后，欧氏空间内向量的内积运算就转化成了我们熟悉的向量空间内向量的内积运算。说明此时内积是标准内积，因此用坐标计算内积的公式有最简单的形式。我们当然希望在欧氏空间中通过适当选取基，使得欧氏空间的度量矩阵也是单位矩阵（或者尽可能简单些）。一、标准正交基(Orthonormal Basis)在 中，选取自然基 ，则度量矩阵定义1 1 欧氏空间 的一组基称为 的一个正交基正交基，如果它们两两正交。如果此正交基的每个基向量又都是单位向量，则称此基为 的一个标准正交基。标准正交基。例 2 2 欧氏空间 的一个标准正交基是从规范正交基的定义看，有三个要件：（1）是向量个数与维数相等的线性无关的向量组；（2）是两两正交的向量组，即正交向量组正交向量组；（3）是每个向量都是单位向量的单位向量组。如何求欧氏空间的标准正交基呢？定理定理3 3 3 3 欧氏空间 的向量组 线性无关的充要条件是矩阵 非奇异(可逆)证明：必要性必要性。如果 线性无关，则它们也是 的一组基。假设 奇异，则 有非零解 ，则故但是出现矛盾。首先，如何确定向量组是否线性无关性呢？证明：充分性充分性。如果 线性相关，不妨 ，则这与 非奇异矛盾，所以 线性无关。那么，向量组的正交性与线性无关性有什么联系呢？定理定理4 4 4 4 向量组 是欧氏空间 的非零的正交向量组，则 必线性无关。证明：设有等式两边与 作内积，注意到 以及从而 ，得证。根据定理4，规范正交基剩下两个要件：（1）是向量个数与维数相等的正交向量组正交向量组；（2）是每个向量都是单位向量的单位向量组。注意到定理4的逆命题不成立，所以我们自然会问：一个线性无关组，在“跋涉千山万水”，成为基之后，如何“更上一层楼”，成为规范正交基？在规范正交基的两个要件中，正交性显然很不容易达到。下面我们把注意力集中在如何首先从已知基获得正交基？设 是定义了内积的线性空间（即欧氏空间）的一个基，是我们希望得到的 的一个正交基？显然，我们可令如何得到 呢？联想到正交分解，我们想到 在 即 上作投影后的残差向量残差向量 ，设成立 ，则利用正交性 ，可得经验算，它满足令 。注意到正交性，即要求故这说明，可取继续考察 在 上作投影后的残差向量残差向量 。解得故可令至此，我们就得到了矩阵计算中具有基础性作用的格格拉姆拉姆-施密特施密特(Gram-Schmidt)正交化方法正交化方法。一般地令经验算，它满足定理定理5 5 5 5 是定义了内积的线性空间（即欧氏空间）的一个基，则按式 构造出的就是 的正交基。显然，将正交化后得到的正交基再单位化，就得到的了标准正交基标准正交基对于向量空间，使用矩阵语言，上述正交化过程正交化过程就是这里 是单位上三角阵。单位化后因此其中 是上三角阵。Q R 分解定理定理 6 6 6 6 （QR分解）设矩阵 列满秩，则存在单位正交列矩阵 （各列都是单位列向量，且两两正交）和上三角可逆矩阵 ，使线性无关。因此按施密特正交化过程，存在单位正交列向量组 ，使得证明：因为矩阵 列满秩，所以 的列用矩阵表示，即为二、标准正交基的几个性质为什么总是取标准正交基呢？原因很简单！定理定理 7 7 7 7 是定义了内积的线性空间（即欧氏空间）的一组标准正交基，则对任意向量 ，有向量的坐标分量是该向量与相应基向量的内积！定理定理 8 8 8 8 是定义了内积的线性空间（即欧氏空间）的一组标准正交基，则对任意两个向量 仍然有向量的内积仍然具有 中标准内积的简单形式！即向量的内积就是（标准正交基下）坐标的内积。我们知道，在向量空间中，以标准正交基为列向量的矩阵是正交矩阵。在线性空间中，虽然基不一定能构成矩阵，但是两组基间的过渡矩阵是可逆矩阵。对于欧氏空间，虽然标准正交基同样不一定能构成矩阵，但标准正交基间的过渡矩阵肯定比可逆矩阵特殊。定理定理 9 9 9 9 和 是欧氏空间 的两组标准正交基，则两组基间的过渡矩阵是正交矩阵。显然矩阵 的各列就是 在标准正交基 下的坐标，所以设两组标准正交基间的过渡矩阵为 ，即定理9 9的证明。显然矩阵 的各列就是 在标准正交基 下的坐标，所以由定理7，可知因此由于 也是标准正交基，所以这说明矩阵 是正交矩阵。因此由于 也是标准正交基，所以由定理9可以想到，标准正交基 通过正交矩阵 过渡而来的向量组 一定也是标准正交基。因为定理定理10101010 正交矩阵 是欧氏空间 的标准正交基 到向量组 的过渡矩阵，则向量组 也是 的标准正交基。例 11 11 欧氏空间 的内积为：的一组标准正交基，使得 中的线性变换求 的子空间在该基下的矩阵表示为对角矩阵。解：首先注意到自然基 不符号要求（理由？），其次所以要求的正交基应该是再标准化为遗憾地是，不是所求的标准正交基，因为它在线性变换 的作用下的矩阵表示不是对角阵！不过，我们可以从 出发，通过正交矩阵，过渡到欲求的标准正交基。线性代数知识告诉我们，实对称矩阵可正交对角化，所以我们要结合线性变换，寻找相应的实对称矩阵。所以将实对称矩阵正交对角化，可得正交矩阵 这里 是实对称矩阵！它使得 这样按照定理10，令即得欲求的标准正交基为 求 的一组正交基。例 12 12 欧氏空间 的带权 内积为：显然应该从自然基 出发，应用正交化过程得到正交基。解：将所有多项式的系数整数化，即得切比雪夫多项式：3、正交投影及其应用正交性的应用主要是通过正交投影来实现的。无论是微分方程数值解中的有限元方法等谱方法及其大量应用，还是最优化理论（主要是极值问题）及其在控制、通信、雷达、时间序列分析、信号处理等诸多学科中的应用，都与正交投影有密切联系。横看成岭侧成峰，一言以蔽之，这是认识现实世界的一种思维方式。一、正交补(Orthogonal complement)与投影定理定义定义1 1 1 1 设 是数域 上欧氏空间 的两个子空间。向量 。如果对任意 ，都有 ，则称 与子空间与子空间 正交正交，记为 。如果对任意 ，都有 ，则称子空间子空间 与与 正交正交，记为 。中所有与子空间 正交的向量的集合也构成 的子空间，称为 的正交补正交补，记为 ，即欧氏空间的正交补是否存在呢？定理定理2 2 2 2 设 是数域 上欧氏空间 的子空间，则存在 的唯一正交补 ，使得 可以正交正交分解分解为注意：正交分解是特殊的直和分解。证明：存在性存在性。设 是 的一组标准正交基，对任意 ，令则 ，且故 与 中的每个向量都正交，所以 。因为 ，故 。又 因此 ，从而证明：唯一性唯一性。设 都是 的正交补，则对任意 ，有因为 ，所以从而 ，故 。同理 。因此定义定义3 3 3 3 设 是数域 上欧氏空间 的子空间。向量 。如果有 使得则称 是是 在在 上的正交投影（上的正交投影（Orthogonal Orthogonal Projection).Projection).定理定理4 4 4 4 （投影定理投影定理）设 是数域 上欧氏空间 的子空间，则对任意 ，在 上存在唯一的正交投影。二、正交投影的应用定义定义5 5 5 5 设 是数域 上欧氏空间 的子空间。对给定的向量 在子空间上 的最佳逼近最佳逼近指的是满足下列条件的 ：定理定理 6 6 6 6 （最佳逼近定理最佳逼近定理）设 是数域 上欧氏空间 的子空间，则对给定的 ，是 在 上的最佳逼近的充要条件是 ，即 是 在 上的正交投影。证明：至少有一个向量 ，使得必要性必要性。设 是 在 上的最佳逼近，但 不正交于 ，则令 ，则 ，并且因为 ，所以 。因此 不是 在 上的最佳逼近。出现矛盾。证明：充分性充分性。设 且 ，则对任意的 ，根据勾股定理，有因此 是 在 上的最佳逼近。例 7 7（不相容线性方程组的最小二乘解）对于不相容的线性方程组 ，由于该方程组无精确解，因此我们只好设法找出方程组在某种意义下的最优近似解。如果存在近似解 ，使得就称 为方程组的最小二乘解最小二乘解，这种方法就称为最最小二乘法小二乘法。令 ，显然 ，因此求不相容方程组的最小二乘解的问题即为在 中找出向量 ，使得向量 到 的距离比到子空间 中其它向量的距离都短，即 是向量 在 上的最佳逼近。根据最佳逼近定理，这样的最小二乘解满足令 ，则即 ，因此得法方程组法方程组从高等数学的分析学眼光看，多元函数的最小值满足条件即写成矩阵形式，则为也就是法方程组或正规方程组法方程组或正规方程组试用代数多项式曲线拟合曲线拟合下列数据：绘图发现这组数据的变化趋势接近于抛物线，故设所求代数多项式为将这组数据代入线性方程组法方程组为解得%ex201.m x=1 3 4 5 6 7 8 9 10;y=10 5 4 2 1 1 2 3 4;p=polyfit(x,y,2);%polyfit计算与x，y拟合的多项式，并按次数从高到低将多项式的系数保存在向量p中，参数值2表示多项式的次数 plot(x,y,+b,x,polyval(p,x),-r)%polyal根据x值返回拟合多项式p的y值例 8 8（泰勒逼近不敌正交多项式逼近）对欧氏空间 中的函数 ，在子空间 找一个多项式 ，使得 尽可能小？首先想到的是泰勒展开式取 ，时，绝对误差为另一种思路是从自然基 出发，应用正交化过程得到标准正交基 ，然后可得到正交多项式逼近取 ，时，绝对误差为例 9 9（傅立叶级数的应用非线性信号的线性逼近）对欧氏空间 ，子空间对 中的非线性函数 的最佳逼近最佳逼近指的是求某个代数多项式 ，使得对欧氏空间 ，子空间对 中的非线性函数 的最佳逼近最佳逼近指的是求某个代数多项式 ，使得截断误差例 10 10 （矩阵的值域与零空间之间的关系）齐次线性方程组 显然等价于 这里因此求方程组 的解向量，就是求所有与向量组 正交的向量。换言之，求齐次方程组 的解空间 就是求 的正交补空间。定理定理11111111 对任意 ，有一般地，对于矩阵的值域与零空间，存在下列关系：证明：所以同理可证4、正交变换鉴于正交的重要性，所以相应的正交变换显得尤为重要。Householder变换（即反射变换）和Givens变换（即旋转变换）是两种最重要的正交变换，它们的作用主要是在数值算法中构造正交基。在第一章指出，二维平面中的图形经过旋转变换或反射变换后只是位置改变了，形状和大小都没有改变，所有的长度、角度都保持不变。前面又指出，向量的长度和角度都可以由内积来计算。因此，变换前后的内积保持不变，即两向量的像的内积与原像的内积相等。由于二维平面是特殊的欧氏空间，因此这个想法自然也可以推广到一般的欧氏空间。定义1 1欧氏空间 上的线性变换 称为 上的一个正交变换正交变换，如果 保持 中的内积不变，即对任意的 ，都有根据定义，显然正交变换也保持欧氏空间中向量的长度、距离及向量间的夹角等几何属性不变。如图，显然有正交分解 例 2 2 再探HouseHolder变换因此向量 关于“与 轴正交的直线”（这里就是 轴）对称的镜像向量的表达式为类似地，可定义将向量 变换为关于“与单位向量 正交的 维子空间”对称的向量 的镜像变换。定义定义3 3 3 3设 为单位向量，称矩阵为Householder Householder 矩阵矩阵（初等反射矩阵），对应的变换 称为Householder Householder 变换变换（初等反射变换）定理定理4 4 4 4对任意 ，存在Householder 矩阵 ，使得 其中 为标准单位向量。即可以通过HouseholderHouseholder变换将向量反射到某个坐标轴上。Householder变换在矩阵计算中占有重要地位，这是因为存在Householder变换能将非零向量的后 个分量变为零。证明：若 ，则取与 正交的单位列向量 ，从而若 ，令注意到从而定理定理5 5 5 5设 是欧氏空间 上的一个线性变换，则下列命题是等价的：（1 1）是正交变换；（2 2）保持向量的范数不变，即 ；（3 3）若 是 的一组标准正交基，则 也是 的标准正交基；（4 4）在 的任意一组标准正交基下的矩阵表示 为正交矩阵。证明：若线性变换保持长度不变，即展开上式并化简，即得同样有 根据正交变换的定义显然成立。证明：因此则 对任意 ，令 显然成立。证明：设 在 下的矩阵为 ，即由于 也是标准正交基，所以 是两组标准正交基间的过渡矩阵，因此 是正交矩阵。证明：设 是正交矩阵，则所以 也是标准正交基。例 6 6（Givens 变换)将线性空间 中的所有向量均绕原点顺时针旋转角 的GivensGivens变换变换就是一个正交变换。因为此变换的矩阵表示 是正交矩阵。取则 （几何上表示什么意思？），并且类似地，线性空间 中的任意向量 均可先通过GivensGivens变换变换变换为 。这里显然，可以继续通过GivensGivens变换变换变换为 。这里一般形式的Givens矩阵为：第j j 列第i i 列定理定理7 7 7 7对任意 ，存在有限个Givens矩阵的乘积 ，使得 其中 为标准单位向量。即通过有限次GivensGivens变换可以将向量旋转到某个坐标轴上。Givens变换在矩阵计算中也很重要，这是因为可以通过有限次Givens变换将非零向量的后 个分量变为零，即5、酉空间、酉变换和酉矩阵当线性空间中向量的坐标分量的取值由实数域推广为复数域时，欧氏空间中关于向量的内积、标准正交基、向量元素之间的正交变换等概念和结论都可以“平滑地”推广到所谓酉空间。所以欧氏空间与酉空间中的相关结论几乎是“平行的”。，当且仅当 时，等号成立。定义定义1 1 1 1 是复数域 上的线性空间。如果对 中任意两个向量 都存在所谓 与 的内积内积 ，满足下面四个条件。称定义了内积的线性空间 为复内积空间复内积空间，简称酉空间酉空间。一、酉空间(Unitary Space)例 2 2 定义了标准内积标准内积的 是一酉空间。这里，对任意两个向量 及 ，标准内积为例 3 3 在线性空间 中，对任意定义复双线性型（复双线性型（Bilinear FormBilinear Form）这里 是HermiteHermite矩阵矩阵，即 则 是 的一个内积。二、酉空间的一些重要结论（1 1）（2 2）（3 3）（4 4）（5 5），当且仅当 线性相关时等号成立；（6 6）两个非零向量 的内积 时，称 与 正交；（7 7）任意一组线性无关的向量都可以用Schmidt正交化方法正交化，并扩充成一组标准正交基；（8 8）标准正交基 下的任意两向量的内积（9 9）任意一个酉空间 都可以分解为其子空间 和 的直和；(正交分解正交分解)（1010）两组标准正交基间的过渡矩阵是酉矩阵。定义4 4 称酉空间 中的线性变换 称为酉变换酉变换，如果 保持向量的内积不变，即对任意 ，有根据定义，显然酉变换也保持酉空间中向量的长度、距离等几何属性不变。不过注意对向量间的夹角的不同定义，未必成立。定理定理5 5 5 5设 是酉空间 上的一个线性变换，则下列命题是等价的：（1 1）是酉变换；（2 2）保持向量的范数不变，即 ；（3 3）若 是 的一组标准正交基，则 也是 的标准正交基；（4 4）在 的任意一组标准正交基下的矩阵表示 为酉矩阵酉矩阵，即例 6 6 证明：（1）酉矩阵的特征值之模为 1。（2）酉矩阵的相异特征值对应的特征向量互相正交。例 7 7 若 分别是实对称矩阵和实反对称矩阵，且 ，则是酉矩阵。由题可知因此