矩阵代数概述.docx

矩阵代数概述

一、基本定义

定义1：矩阵：
一个矩阵就是一个矩阵数组，更准确地讲，一个m*n维矩阵就有m行和n列。正整数m被称为行维数，n被称为列维数。

定义2：方阵
方阵具有相同的行数和列数。
一个方阵的维数就是其行数和列数
定义3：向量
（1）一个1*m的矩阵被称为一个（m维）行向量，并可记为：

（2）一个n*1的矩阵被称为一个（n维）列向量，并可记为：

定义4：对角矩阵
当一个方阵A的非对角元素都为零时，它就是一个对角矩阵。我们总能将一个对角矩阵写成：

定义5：单位矩阵和零矩阵
（1）用I（或为了强调维数而用In）表示的n*n单位矩阵就是对角位置都是1，而其它位置都是0的对角阵；

（2）一个用0表示的m*n零矩阵，就是所有元素都为零的m*n矩阵。它并不一定是方阵。

二、矩阵运算
1. 矩阵加法
两个都是m*n维的矩阵A和B可通过对应元素相加而相加：
A+B=[aij]+[bij]。更准确地，有：

数值例子：
说明：不同维数的矩阵不能相加

2. 数乘
给定任意一个实数k（常被称为一个数量），数乘被定义为kA=[kaij]
数值例子：

3. 矩阵乘法
为了使矩阵A乘以矩阵B，得到AB，A的列维数和B的行维数必须相同。因此，令A为一个m*n矩阵，而B为一个n*p矩阵，于是，矩阵乘法被定义为：

换句话说，新矩阵AB的第（i,j）个元素，等于A中第i行的每个元素与B中第j列对应元素的乘积之和。如下简图可以使这个过程更一目了然：

第i行

第j列
第（i,j）个元素

数值例子：略

我们可以将一个矩阵与一个向量相乘。如果A是一个n*m矩阵，而y是一个m*1向量，那么Ay就是一个n*1的向量；如果x是一个1*n的向量，那么xA就是一个1*m的向量。

矩阵加法、数乘和矩阵乘法可以用各种方式组合，而且这些运算还满足几个熟悉的基本数值运算规则。在如下性质表中，A，B和C都具有运算所需要的适当的维数，而a和b则是实数。这些性质中的大多数都很容易从定义得到说明。
矩阵乘法的性质：
(1)( a+b)A= aA+bA;
(2) a(A+B)= aA +aB;
(3) (ab)A=a(bA);
(4) a(AB)= (aA)B
(5)A+B=B+A;
(6)(A+B)+C=A+(B+C);
(7)(AB)C=A(BC);
(8)A(B+C)=AB+AC;
(9)(A+B)C=AC+BC;
(10)IA=AI=A;
(11)A+0=0+A=A;
(12)A-A=0;
(13)A0=0A=0;
(14)即使AB和BA都有定义，仍然会AB¹BA

对于最后一个性质：如果A是一个n*m矩阵，而B是一个m*p矩阵，那么AB就有定义，而BA只有在n=p时，才有定义；如果A是一个m*n矩阵，而B是一个n*m矩阵，那么AB和BA都有定义，但除非A和B都是方阵，否则它们具有不同的维数。即便A和B都是方阵，除非在特殊情况下，否则AB¹BA仍成立。

定义6：转置
令A=[aij]表示一个m*n矩阵，用A'（读作A撇）表示A的转置，是将A的行和列互换后得到的n*m矩阵。我们可以把它写成A'=[aji]。
数值例子：略

转置的性质：
(1) (A')'=A
(2) ( aA)'= aA'，a为任意数;
(3) (A+B)'=A'+B';
(4) (AB)'=B'A'，A和B分别是m*n和n*p矩阵;
(5) x'x=Sxi2，x是一个n*1向量;
(6) 如果A是一个各行分别由1*k的向量a1,a2,...,an给出的n*k矩阵，所以可以写成：

于是：A'=(a1' a2' ... an')

定义7：对称矩阵
一个方阵是一个对称矩阵的充分必要条件是：A'=A
如果X是任何一个n*k矩阵，那么X'X总有定义并是一个对称矩阵，通过应用转置的第一和第四条性质即可看出。

分块矩阵的乘法
令A表示一个行由1*k向量a1,a2,...,an给出的一个n*k矩阵，令B表示一个行由1*m向量b1,b2,...,bn给出的n*m矩阵：
，
那么：
上式中，a'ibi对每个i，都是一个k*m矩阵。因此，A'B可写成n个k*m矩阵之和。作为一个特殊情形，有：

式中，a'iai对所有的i，都是一个k*k矩阵。

定义8：迹
一个矩阵的迹是只对方阵定义的一个很简单的运算。
对任何一个n*n矩阵A，用tr(A)表示矩阵A的迹，它是其主对角线元素之和。从数学上看，即：

迹的性质：
(1)tr(In)=n;
(2)tr(A')=tr(A);
(3)tr(A+B)=tr(A)+tr(B);
(4)对任意数量a，都有tr(aA)= atr(A);
(5)tr(AB)=tr(BA)，A是m*n矩阵，而B是n*m矩阵

定义9：逆
对方阵而方，逆矩阵是一个很重要的概念
对一个n*n矩阵A，如果A-1A=AA-1=In，则A-1表示矩阵A的逆，在这种情形下，A就是可逆的或非奇异的。否则，它就是不可逆的，或奇异的。

逆的性质：
(1) 如果逆存在，它是唯一的;
(2) 如果a¹0，且A是可逆的，则(aA)-1=(1/a)A-1;
(3) 如果A和B都是n*n可逆矩阵，则(AB)-1=B-1A-1;
(4) (A')-1= (A-1)';
关于矩阵的逆的计算，这里从略。

三、线性独立与矩阵的秩
对一组具有相同维数的向量而言，知道其中一个向量是否可表示成其余向量的线性组合很重要。
定义10：线性独立
令{x1,x2,...,xr}是一组向量，若： a1x1+a2x2+...+arxr=0当且仅当a1=a2=...=ar=0时，它们才是线性独立的向量。如果上式对一组不全为零的系数成立，那么{x1,x2,...,xr}就是线性相关的。

{x1,x2,...,xr}线性相关的说法，等于说其中至少有一个向量可写成其他向量的线性组合。

定义11：秩
(1)令A是一个n*m矩阵。用rank(A)表示矩阵A的秩，即A线性独立的最大列数；
(2)如果A是一个n*m矩阵，且rank(A)=m，那么A就具有列满秩；
如果A是一个n*m矩阵，那么它的秩最大为m。如果一个矩阵的列构成一个线性独立集，那么它就是列满秩。比如3*2矩阵：

的秩最大为2，但实际上，它的秩为1，因为第二列是第一列的2倍。

秩的性质：
(1)rank(A')=rank(A);
(2)如果A是一个n*k矩阵，则rank(A)£min(n,k);
(3)如果A是一个k*k矩阵，且rank(A)=k，则A是满秩的。

四、二次型与正定型矩阵
定义12：二次型
令A为对称矩阵。与矩阵A相关的二次型，就是对所有n*1向量x定义的实值函数：

定义13：正定和半正定
(1)对于一个对称矩阵A，如果对除x=0外的所有n*1向量x，都有x'Ax>0，那么我们说A是正定的；
(2)对于一个对称矩阵A，如果对所有n*1向量x，都有x'Ax³0，那么我们说A是半正定的。
如果一个矩阵是正定或半正定的，那它就自动被假定为对称的。

正定和半正定的性质
(1)正定矩阵的主对角元素都严格为正，而半正定矩阵的主对角元素都非负；
(2)如果A是正定矩阵，则A-1存在并正定；
(3)如果X是一个n*k矩阵，则X'X和XX'都是半正定的；
(4)如果X是一个n*k矩阵，且rank(X)=k，则X'X是正定的，因此也是满秩的。

五、幂等矩阵
定义14：幂等矩阵
令A为n*n对称矩阵，当且仅当AA=A时，我们称A为一个幂等矩阵。如
就量个幂等矩阵，直接相乘就可验证。

幂等矩阵的性质：
令A为n*n幂等矩阵：
(1)rank(A)=tr(A);
(2)A是半正定矩阵

我们可以构造一些很一般的幂等矩阵。令X表示一个rank(X)=k的n*k矩阵。定义：
PºX(X'X)-1X'
MºIn-X(X'X)-1X'=In-P
于是，P和M是对称的幂等矩阵，且rank(P)=k和rank(M)=n-k。这些秩很容易通过利用性质(1)得到：
tr(P) =tr[(X'X)-1X'X]（根据迹的性质5）
=tr(Ik)=k（根据迹的性质1）。
接下来，很容易得到：
tr(M)=tr(In)-tr(P)=n-k

六、线性形式和二次型的微分
对于一个给定的n*1向量a，考虑对所有n*1向量x由f(x)=a'x定义的线性函数。
f对x的导数是1*n阶偏导数向量，也就是：

对于一个n*n对称矩阵A，定义二次型g(x)=x'Ax，于是：¶g(x)/¶x=2x'A是一个1*n向量。

七、随机向量的矩和分布
为了利用矩阵推导OLS估计量的期望值和方差，我们需要定义一个随机向量的期望值和方差。
顾名思义，一个随机向量无非就是随机变量的一个向量。我们还需要定义多元正态分布。

定义15：期望值
如果y是一个n*1随机向量，用E(y)表示的y的期望值就是期望值向量：
E(y)=[ E(y1), E(y2),... E(yn)]'
如果Z是n*m随机矩阵，则E(Z)是期望值为n*m矩阵：
E(Z)=[E(zij)]

期望值的性质：
(1) 如果A为m*n矩阵，而b是一个n*1向量，且二者都是非随机的，那么：E(Ay+b)=AE(y)+b
(2) 如果A是矩阵，而B是矩阵，且二者都是非随机的，那么：E(AZB)= AE(Z) B

方差－协方差矩阵
定义16：方差－协方差矩阵
如果y是一个n*1随机向量，用Var(y)表示y的方差－协方差矩阵，其定义为：

式中，sj2=Var(yj)，sij=Cov(yi,yj)
换句话说，方差－协方差矩阵的主对角线上依次是y的每个元素的方差，而主对角线之外的则是协方差。另外，由于Cov(yi,yj) =Cov(yj,yi)，故方差－协方差矩阵是对称矩阵。

方差的性质：
(1) 若a是一个n*1非随机向量，则Var(a'y)=a'Var(y)a³0；
(2) 若Var(a'y)>0对所有a¹0都成立，则Var(y)是正定的；
(3) Var(y)=E[(y-m)(y-m)']，其中m=E(y)；
(4) 若y的各个元素都不相关，则Var(y)是一个对角阵。而且若对j=1,2,...n，都有Var(yj)=s2，则Var(y)= s2In；
(5) 如果A是一个m*n非随机矩阵，而b是一个n*1的非随机向量，那么Var(Ay+b)=AVar(y)A'。

多元正态分布
卡方分布
t分布
F分布