范数的定义.doc

3.3 范　数
　　3.3.1 向量范数
　　在一维空间中，实轴上任意两点距离用两点差的绝对值表示。绝对值是一种度量形式的定义。
　　范数是对函数、向量和矩阵定义的一种度量形式。任何对象的范数值都是一个非负实数。使用范数可以测量两个函数、向量或矩阵之间的距离。向量范数是度量向量长度的一种定义形式。范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。同一向量，采用不同的范数定义，可得到不同的范数值。
若X是数域K上的线性空间，泛函 ║·║: X->R 满足：
　　1. 正定性：║x║≥0，且║x║=0 <=> x=0；
　　2. 正齐次性：║cx║=│c│║x║；

　　3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。
　　那么║·║称为X上的一个范数。
常用范数
　　这里以C^n空间为例，R^n空间类似。
　　最常用的范数就是p-范数。若x=[x1,x2,...,xn]^T，那么
　　║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p}
　　可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski)不等式。
　　当p取1，2，∞的时候分别是以下几种最简单的情形：
　　1-范数：║x║1=│x1│+│x2│+…+│xn│
　　2-范数：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2
　　∞-范数：║x║∞=max(│x1│,│x2│,…,│xn│)
　　其中2-范数就是通常意义下的距离。
矩阵范数
　　一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。所以矩阵范数通常也称为相容范数。
　　如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。对于n阶实方阵(或复方阵)全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。
　　注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为mxn矩阵全体和mn维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征，这一点和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。

矩阵的相关定义

特殊矩阵类别
　　对称矩阵是相对其主对角线（由左上至右下）对称， 即是 ai,j=aj,i。
　　埃尔米特矩阵（或自共轭矩阵）是相对其主对角线以复共轭方式对称， 即是 ai,j=a*j,i。
　　特普利茨矩阵在任意对角线上所有元素相对， 是 ai,j=ai+1,j+1。
　　随机矩阵所有列都是概率向量， 用于马尔可夫链。
逆矩阵： 设A是数域上的一个n阶方阵，若在相同数域上存在另一个n阶矩阵B，使得： AB=BA=E。 则我们称B是A的逆矩阵，而A则被称为可逆矩阵。
矩阵可逆的条件
　　A是可逆矩阵的充分必要条件是∣A∣≠0，即可逆矩阵就是非奇异矩阵。（当∣A∣=0时，A称为奇异矩阵）[1]
逆矩阵的求法:
　　A^(-1)=(1/|A|)×A* ，其中A^(-1)表示矩阵A的逆矩阵，其中|A|为矩阵A的行列式，A*为矩阵A的伴随矩阵。
　　逆矩阵的另外一种常用的求法：
　　(A|E)经过初等变换得到(E|A^(-1))。
　　注意：初等变化只用行运算，不能用列运算。E为单位矩阵。
逆矩阵具有以下性质：
　　1 矩阵A可逆的充要条件是A的行列式不等于0。
　　2 可逆矩阵一定是方阵。
　　3 如果矩阵A是可逆的，A的逆矩阵是唯一的。
　　4 可逆矩阵也被称为非奇异矩阵、满秩矩阵。
　　5 两个可逆矩阵的乘积依然可逆。
　　6 可逆矩阵的转置矩阵也可逆。
　　7 矩阵可逆当且仅当它是满秩矩阵。
matlab中的求法：
　　inv(a)或a^-1。
　　例如：
　　>> a =
　　8 4 9
　　2 3 5
　　7 6 1
　　>> a^-1
　　ans =
　　0.1636 -0.3030 0.0424
　　-0.2000 0.3333 01333
　　0.0545 0.1212 -0.0970
　　>> inv(a)
　　ans =
　　0.1636 -0.3030 0.0424
　　-0.2000 0.3333 0.1333
　　0.0545 0.1212 -0.0970
　　以下是对MATLAB中Inv用法的解释。
　　原文（来自matlab help doc）
　　In practice, it is seldom necessary to form the explicit inverse of a matrix. A frequent misuse of inv
　　arises when solving the system of linear equations Ax=B .
　　One way to solve this is with x = inv(A)*B.A better way, from both an execution time and numerical accuracy standpoint,is to use the matrix division operator x = A\b.
　　实际上，很少需要矩阵逆的精确值。在解方程 Ax=B的时候可以使用x = inv(A)*B，
　　但通常我们求解这种形式的线性方程时，不必要求出A的逆矩阵，在MATLAB中精度更高，速度更快的方法是用左除——x = A\b。
　　另外，用LU分解法的速度更快，只是要多写一条LU分解语句。
　　速度可以通过matlab中tic和toc来估算运行的时间。
伴随矩阵
　　定义
　　A的伴随矩阵可按如下步骤定义：
　　1.用A的第i 行第j 列的代数余子式把第j 行第i 列的元素替换，记为(Aij)
　　2.符号位为 (-1)^（i+j）
　　3.用 A(ij)=(-1)^(i+j) x (Mij) 表示
　　即： m x n矩阵的伴随矩阵A*为
　　A11 A21 A31....Am1
　　A12 Am2
　　A13 ..................Am3
　　.... .....
　　A1n................ Amn
　　例如：A是一个2x2矩阵，则A的伴随矩阵 A* 为
　　M22,-M12
　　-M21, M11　
　　原矩阵为
　　a11，a12
　　a21，a22
　　（余子式定义：A关于第i 行第j 列的余子式（记作Mij）是去掉A的第i行第j列之后得到的(m -1)×(n - 1)矩阵的行列式。特殊规定：一阶矩阵的伴随矩阵为一阶单位方阵）
　　伴随矩阵的性质：
　　原矩阵中的值与伴随矩阵中的值一一映射，例如
　　1 2 3
　　2 3 1 ------->
　　3 1 2
　　+5 -1 -7
　　-1 -7 5
　　-7 5 -1
　　其中1对应5 ； 2 对应-1； 3对应-7； 等等
　　伴随矩阵的求法:
　　① 当矩阵是大于等于二阶时：
　　主对角元素是将原矩阵该元素所在行列去掉再求行列式.
　　非主对角元素 是原矩阵该元素的共轭位置的元素去掉所在行列求行列式乘以(-1)^(x+y) x,y为该元素的共轭位置的元素的行和列的序号，序号从1开始的.
　　主对角元素实际上是非主对角元素的特殊情况，因为x=y,所以(-1)^(x+y)=(-1)^(2x)=1,一直是正数，没必要考虑主对角元素的符号问题。
　　常用的可以记一下：
　　a b
　　—— 1/(ad-bc) (d -c c d -b a)
　　②当矩阵的阶数等于一阶时，他的伴随矩阵为一阶单位方阵.
矩阵特征值
设 A 是n阶方阵，如果存在数m和非零n维列向量 x，使得 Ax=mx 成立，则称 m 是A的一个特征值（characteristic value)或本征值（eigenvalue)。非零n维列向量x称为矩阵A的属于（对应于）特征值m的特征向量或本征向量，简称A的特征向量或A的本征向量。
　　求矩阵特征值的方法
　　Ax=mx，等价于求m，使得(mI-A)x=0，其中I是单位矩阵，0为零矩阵。
　　|mI-A|=0，求得的m值即为A的特征值。|mI-A| 是一个n次多项式，它的全部根就是n阶方阵A的全部特征值，这些根有可能相重复，也有可能是复数。
　　如果n阶矩阵A的全部特征值为m1 m2 ... mn，则|A|=m1*m2*...*mn
　　如果n阶矩阵A满足矩阵多项式方程g(A)=0, 则矩阵A的特征值m一定满足条件g(m)=0;特征值m可以从解方程g(m)=0求得。
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。