统计基础知识复习.pdf

第1章统计基础知识复习第1节基本统计概念回顾（-）随机实验、样本点、样本空间和事件科学研究的常川方法是进行实验。如果一个科学家进行某个实验，希望观察 到某种结果，但是在实验之前不能明确那种结果会出现，这样的实验被成为随机 实验。（比如：投掷硬币、投掷色子、抽纸牌等等）每一种可能的结果被称为样 本点，所有的样本点的集合被称为这个实验的样本空间。样本空间的子集被成为 事件。随机实验的特点：实验结果将不止一个，但是所有可能发生的结果在事前都是可知的；在实验之前，不知道哪一种结果会发生；实验是可以重复的；例子：考虑一个掷色子的实验每投掷一次色子会出现6种不同的可能结果记为：0Cy 1,a?2,a?3,4,=5,6 刃口么样本空间：s=3，%,%,%,外）必然事件样本点：q/=l,2,6。样本点的个数是有限的。每一个样本点为基本事件。S的任何一个子集称为事件。4=2,4,6是一个事件，它包含三个样本点，只要其中之一出现了，就表明这个事件发生了。例子：考虑一个抛硬币的实验，直到正面出现为止。这个实验的样本空间是:S=Z,FZ,FFZ,FFFZ,这里Z表示某次抛硬币的结果为正面朝上，歹表示 某次抛硬币的结果为反面朝上。这个样本空间包含无限多个样本点，可以和自然 数集之间建立一一对应关系，从这个意义上说它是可数的或可数无限的。如果一 个样本空间包含有限的或可数无限的元素，我们说它是离散的。例子：考虑在一亩土地上种黄豆的农业实验，用公斤计量的黄豆产量是要观1察的结果，这个实验的样本空间为5=兀、2()。这个样本空间是连续的，它里面的元素是不可数的。(二)概率几种定义1.首先，它可以被解释为基于某种实际测量的相对频率(frequency)。例如，掷一枚质地均匀的硬币，出现某一面朝上的频率最终会稳定下来。川N表示实 验的总次数，用表示某种情形发生的次数，则概率就可以定义为：P=N显然，这个相对频率只有趋于稳定，该种概率的定义才有意义。尽管这种定 义相当直观，并且在工程中广泛成川，但是怎样才算所谓“稳定”呢？这类词汇 是无法严格定义的，因此，这种概率定义不符合严格的数学表术规范。2.古典(classical)定义。概率的古典定义可以视为给定前提下的一个先验 的推理体系。我们知道，在掷硬币的实验中：(1)出现的结果将不止一个，但是所有可能发生的结果在事前都是可知的(非 字即花);(2)在投掷之前，不知道哪一种结果会发生；(3)可以重复地投掷；(4)每种结果发生的可能性都相等。满足这样四个条件的随机实验就构造出了所谓“古典”的概率模型。古典概型可以 明确地计算出随机实验中获得某些结果的概率。例如，掷一枚质地均匀的色子，掷出奇数点的概率是！但是古典概型的前提是很严格的，它要求实6 6 6 2验结构发生的等概率性，这就限制了它的应川范围。3.公理化定义。概率就是对样本空间中任一事件4指定一个数尸(/),它满足:(1)P(A)09 非负性；(2)工。(/)=1，规范性；(3)如果事件/和事件5的交集是0,则尸(/+5)=尸(4)+尸(5),可列可加性。则称尸(/)为事件/发生的概率。2利用上述公理，我们可以得到下述性质:(1)尸(0)=0；(2)P(A+B)=P(A)+P P(AB)；(3)若事件4瓦。相互独立,则尸(48。)=尸(4)x尸(5)x尸(。)。条件概率我们记尸(/为在给定事件6发生的条件下事件/发生的概率:P(A/B)=(48)P0(三)随机变量和概率分布简单地说，随机变量是从样本空间到实数集的一个函数，一般我们用大写字 母表示它，它的取值川小写字母表示。由于样本空间被分为离散的和连续的，相 应地，随机变量也被分为离散的(考虑刚才的掷色子的实验)和连续的(今天的 气温)。对于一个离散的随机变量X,定义它的概率密度函数(pdf)为f：RfR/(、)=尸(X=x)显然，0V/(x)Vl。如果x不是X的一个取值(即事件不是样本空间的子集)，那么，/(工)=尸(=)=0。如果4/，心是X的所有可能的取值，那么例子：考虑一个同时掷两枚硬币的实验，看看它们是正面朝上还是反而朝上。这个随机实验的样本空间为S=ZZ,ZFIZ,FF,这里Z表示正面朝上，方表示 反而朝上。定义随机变量X关于样本点的值等于正面朝上的个数。例如，X(ZZ)=2,X(FF)=0。假设这个实验的每个结果是等可能出现的，那么X对应 的概率密度函数为：/(0)=P(X=0)=P(KF)=0.25,/(2)=P(X=2)=P(ZZ)=0.25,/=尸(*=1)=尸(歹Z,ZF)=0.5,对于所有其他的、火，W/(x)=0o3和一个随机变量的概率密度函数密切相关的一个函数是分布函数或累计分 布函数(Cdf)o随机变量的累积分布函数被定义为F:R1R F(x)=P(X x)也就是，/(x)的值等于随机变量X的取值小于或等于x所对应的事件的概率。对于一个离散的随机变量X1(x)=Z/tx对应于刚才那个例子我们有：0 if x00.25 if 0 xlF(x)=0.75 if lx2离散的随机变量的累积分布函数是一个阶梯函数，它是右连续的。并且它具 有如下性质：(1)方(00)=0,b(+00)=1；(2)对于任意两个实数,6,如果那么尸()“尸(6)；(3)如果离散随机变量X的取值满足：-8再0,Z8,那么/(%)=/(再),/(%.)=/(X,)歹(X-)=2,3,。一个连续的随机变量X的取值至少是数轴上的一个区间。由于X的取值是不 可数的，因此X取某个特殊值的概率为零，从而不能像离散的随机变量一样定 义概率密度函数。我们定义一个在实数集上的函数/(X)为连续型随机变量X的 概率密度函数，如果/(x)满足：(1)对于所有、及，有/(X)2O；(2)f(x)dx=1；J-00(3)对于任意两个实数a/,-oo a A 8,有尸(qVXV6)=J f(x)dx连续随机变量X的累积分布函数为F(x)=P(X x)=J-00注意到方(-8)=0,/3)=1，如果那么尸尸(6)并且4P(aXb)=F(b)b(q)/(x)=Fx)dx有时在同一个随机实验中，我们可以定义许多个不同的随机变量。由这多个 不同的随机变量取各自的某个值所对应的事件的概率可以得到多元概率密度函 数和多元累积分布函数。如果X和7是两个离散的随机变量，那么函数/(xj)=PX=xJ=y)被称 为联合概率密度。这个函数满足/(x,y)o,并且zz/a，y)=i。相应地，联 x y合累积分布函数为b(x,y)=尸 V x,y V y)=ZZ/&/)rx t z/h/(1,O)=-,/(l,l)=y,对于所有其他的X/,/(X4)=O。如果x和y是两个连续的随机变量，那么满足下列性质的函数/(X/)被称为 x和丫的联合概率密度函数。(1)f(x,y)0；(2)对于任意的/uJ?2,有尸(X,Y)Z=A(3)f(x,y)dxdy=l oJ 00 J 00相应地联合累积分布函数为尸(x,y)=P(X x,Y 0/0 otherwise满足联合概率密度的三条性质,它是某两个连续的随机变量X和Y的联合概率密度函数。利川这个函数，我们可以计算相应的联合概率密度尸（1V X V 2,0 V y V 2）=J：f（x,y）dxdy=0.2推广到多元情形：离散型：随机变量工,工，工,工的联合概率密度函数可以写为/（%，/，/，）=尸（乂=$，X2=、2，入3=、3,.，X=Xn）联合累积概率分布函数产（占，2,，）=P（X xvX2 x2,-,Xn xn）=zz z/（小公3）勺 r2x2 rn0（2）对于任意/ur有尸（乂,X2,，X）如=JJJ/5,x2,x3,）dx1dx2 dxnpoo poo（3）J 00 J 00那么函数/a，/，/，,与）被成为随机变量序列乜,入2,X”的联合概率密度函,00I/(xx,x2,x3,)dxxdx dxn=1数。相应地联合累积分布函数为：少（看,12,二尸（X 再，入2 4%2,x2,x3,）dxdxz dxn下面我们介绍边际分布的概念。在上面的例子中假如我们想知道性别X的概6率分布，记为g(x),那么怎样通过性别x和是否抽烟丫的联合概率密度函数求的g(x)呢？由于x只取两个值1和o,我们有g(0)=P(X=0)=/(0,0)+/(0,1)=*=f(0,y)/y=0卜 d。冢1)=P(X=1)=/(1,1)+/(1,0)=亍+而=Z/(I/)1 1 V=1简单来讲，有g(x)=Z/a，y)。类似地，我们可以得到是否抽烟丫的概率分布=2/(、)。这些概率分布分别被称为x和丫的边际概率密度函数。X如果x和y是两个连续的随机变量，那么相应的边际概率密度函数可以写poog(x)=f,y)dyJ-coKy)=f(x,y)dx J-00例子：给定联合概率密度函数为|(x+2j)zfOxl,0yl/(%)=八,0 otherwise如果0 xL 0yl,那么poo plg(x)=/(、/)以=Jo f(y)dy=l(x+l)所以 g(x)=f(x+l)if 0 X 10 otherwise相应地有:(4 歹+1)ifQyl h(y)=0 otherwise在前面我们定义了给定事件5发生的条件下事件4发生的条件概率，其公式翳这里如果x和y是两个离散的随机变量，那么我们可以有:7P(X=xY=y)=尸(X=x,T=y)尸()/(x,y)%(y)=f(y)这里尸（丫二月二以内。，/（x,y）是x和y的联合概率密度函数，/z（y）是y的边 际概率密度函数在y处的值，/（X,）是在给定y的取值等于y的条件下X的概率 分布，这个函数被称为给定Y=y条件下X的条件概率密度函数。如果x和丫是两个连续的随机变量，那么/（1）=坐平,/?）0,-00%0（右偏），反之，S0（左偏）。10峰度：峰度是一个关于分布尾端“粗壮”程度的度量：K；(X-%)4(X-x)2产正态分布的峰度是K=3。K3的叫做高峰态(leptokurtic),有细而长的尾部。补充：关于正态分布的偏度等于3峰度等于3的证明预备知识(1)：关于原点矩和中心矩我们定义=EXn为随机变量X的阶原点矩，定义用=E(X-)为随机变量X的阶中心矩。预备知识(2)：矩母函数和各阶原点矩的求法随机变量X的矩母函数定义为：以。=Eetx j dZF(x)对cp逐次求导并计算在0点的值能得到X的各阶原点矩，即(pt)=EXetx,=#，0=EXZ勺。计算在，=0点的值得到：(pn(0)=EXn根据以上的预备知识，我们可以计算：E(X-外/=E(X3-3为+3艰 X-媳)=E(X3)-3%(产)+3 岛 E(X)-岛2产考虑到X是正态分布，因此有，0)=初4+亏,且EX=HX-x)2=EX2-(X)2 n EX2=+：，所以ii(X-)3=(月)-3%(/+必)+3江-岛利用矩母函数计算公式(0)=EXn,可以得到/(o)=EX3=332+岛因此，我们可以得出(X-)3=0,从而根据偏度的定义有：$:(X-西力 J。(X%)2 仲 丁 类似地，我们可以计算(X-)4=3/,将其代入峰度的计算公式可以得到正态分布的峰度为3O从总体到样本只有在获得所有可能的结果，即总体时，我们才能够准确地确定均值、方差 和协方差。但是通常我们只有关于总体的一个样本，因此我们要通过样本对总体 的特征进行推断。为此，我们将引入样本均值、样本方差和样本协方差等概念。设随机变量X服从某一概率分布，从中抽取个样本点。比如：X表示我国 18岁青少年的身高。(X:X,X2，,：X)样本均值：、：乂,*2,1 n样本方差：X:X,X2,X”1 _禺，”一句5、=后为样本的标准差样本的协方差：设x和丫是从总体中抽取的两个样本*：苞,乙，,X；y：九Lg，其中亍，亍分别为样本x和样本丫的样本均值。则样本的协方差为:1 n _ _2常样本的相关系数：设X和y是从总体中抽取的两个样本X：X，X2,X；12厂九L，工。=昌_,其中S打为样本X和样本y的样本的协方差，Sx和又分别为样 SSy本X和样本Y的样本的标准差。样本的偏度和峰度：设X为从总体中抽取的一个样本X：X,X2,，工，贝U：(凡二又)3为样本的偏度几 z=l Sx皆=J_生t 为样本的峰度。n,=i SxJarque-Bera 检验：检验一个给定数据是否近似地服从正态分布，可以由Jarque-Bera统计量给出：JB=N/6S2+(K-3)2/4/(2)如果JB统计量大于力2(2)的临界值，我们就拒绝服从正态分布的原假设。13第2节一些重要的概率分布(一)正态分布正态分布是统计学中最重要的分布。现实生活中许多实验的结果都近似地服 从正态分布，比如一大群人的身高和体重近似地服从正态分布。另外正态分布具 有非常好的数学性质，便于进行研究。如果一个连续的随机变量X的概率密度函数为：(X-/)2/(x|/z,cr)-=e 2b2,-co x oo我们说它服从均值为，方差为的正态分布，记为X性质：(1)正态分布的形状是钟型的，且关于直线x=对称；(2)正态分布可以由均值和方差完全描述，因此我们不需要担心偏度和峰 度等其他性质。(正态分布的偏度S=0,峰度K=3)(3)Prob(-1.96a X +1.96b)a 0.95,正态随机变量X的观测值落在距离均值的距离为两倍标准差范围的概率约为0.95。反过来，观测 值离均值的距离大于2倍标准差的概率约为0.05o给个图Pindyck,(4)Prob(-2.57b X +2.57b)a 0.99,正态随机变量X的观测值落在距离均值的距离为2.5倍标准差范围的概率约为0.99。反过来，观 14测值离均值的距离大于2.5倍标准差的概率约为0.01。给个图Pindyck,Page21o例子：假设入学考试成绩服从均值为500,标准差为100的正态分布，那么 成绩落在304到696（5001.96xl00）之间的概率为0.95,相反，只有2.5%的考试成绩高于696,2.5%低于304。（5）一个正态随机变量的线性函数仍然服从正态分布，即是如果 X,y=aX+b,qwO,为常数，那么Y N（q+4。（6）特别地，我们称均值为0,方差为1的正态分布为标准正态分布。DX 则 z=Zn（0,1）。a（7）关于上。分位数，以及使川正态分布表Z为任一随机变量,若尸Z 2 Z,=f（z）dz=a，则称Z,为Z上的a分位数。PZZ_a=f（z）dz=a,对标准正态分布，有Z_a=-Z。指导学生查一 下标准正态分布用表Pindyck,page 381。（二）卡方（/）分布定义：N个服从标准正态分布（均值为0,方差为1）的独立随机变量的平方和服从自由度为N的卡方（72）分布。性质：（1）/分布从原点开始，偏向右边，其尾部无限向右延伸（见Pindyck,page,21）。分布的精确形状取决于自由度，随着自由度增大，分布越来越对称。当自由度非常大时，/分布近似于正态分布。15(2)若ZN(O,1),则X=Z2/。这是一个均值为1方差为2的非对称 分布。(3)若X,X是个独立的/变量，则丫=x/。(4)y/()，贝Ij(y)=，Var(Y)=2n证明：设Z,.N(O,1),%.=Z；,则有 区)=E(Xi-O)=镇Z：-(ZJ=0-(ZJ2=(Zz)=1；所以有(y)=(xj=。XJ=%.(X)2=(Z；1)2=/O*-1=2,所以有匕iMYSX)=2n o(三),分布假设X服从均值为0方差为1的标准正态分布，Z服从自由度为n的/分布,Y Y如果X和Z相互独立，那么鼻服从自由度为的,分布。记为：上t(n)。冏 国性质：(1)和正态分布一样，分布也是对称的，而且当样本容量很大时，它近似 16于正态分布。但是，分布的尾端比正态分布的宽大（肥厚）。即K3。（2），分布的均值为0,方差为n-22 _+i ），分布的概率密度为：/）=Q（1+）2,（8，。），且非负（取值范围从。8）。随着和n2的变大，F分布趋向正态分布。（2）方分布的均值是其定义域是%2，而它的方差为：%一22砧+%-2j_,其定义域为。（%-2）2（%-4）V 2_、5（4，%）ET方分布的概率密度为：/（X：1，%）=（1+1工）2n20 X0+%r（）其中,4）=-O（3堂 4（3）若X，伏）,则尸（1,左）。17X?证明：t(n)Zin ZinF(l,n)(4)若 X,贝lj,尸(2，1)。(6)4/(,2)72(1),当%“00 时。顺便提一提，当自由度变大时，力2,和歹分布都趋于正态分布，所以把这三个 分布都称作正态分布的相关分布(distribution related to the normal distribution)。The Lognormal DistributionIn modeling size distributions,such as the distribution of firmsizes in an industry or the distribution of income in a country,the lognormal distribution,denoted LNb2 has been particularly useful八)总)加一出厂A lognormal variable x has Ex=Expjj+and Varx=e?(/_The relation between the normal and lognormal distributions isIf y-Iny-N,a2If x has a lognormal distribution with mean 0 and variance 22,thenInx-7V(/,cr2),where/=In 62-1ln(62+22)and cr2=ln(l+Since the normal distribution is preserved under linear transformation,if y-LNjj,a2,then nyr N卜If y1 and y2 are independent lognormal variables with%,of and y2 LN/j2,o then yry2 LN+4,(五)正态总体子样本均值与方差的分布18_ N设随机变量XN（hW）,现有样本X,居。记灭=%.；Z=1N _s；=Z（X-乃2。则有:z=l(1)又刈人弓）,又二出 封n（0,1）；(2)（N-尸；/（n 1）(3)设随机变量ZN（z，。；），现有样本Z,Z.,如果Z和X相互独立。记_ M M _zr,S；=*(zz-，则有:Z=1 Z=1(4)-F(jV-1,M-1)o、z/Al（六）中心极限定理令乂,工,，王是来自任何有限均值和有限方差的概率分布的一个随机 样本，且又=!凡，则有:Z=1X N(,)of8 n第3节 统计推断：估计和假设检验在前面的章节中，我们回顾了一些基础概率知识并考虑了若干理论概率分 布。往往我们知道或愿意假定一个随机变量x服从某一概率分布，但不知道该 分布的参数值。例如，假定x服从正态分布，而想知道它的两个参数值，即均 值和方差，为了估计这些未知数，通常的程序是假定我们有一个来自已知概率分 19布，大小为的随机样本（random sample）,并用这些样本数据去估计未知的参 数。这就是所谓的估计问题（problem of estimation）o在本节中我们将对这一问 题进行较为详细的说明。（一）点估计为了建立概念，令X为有概率密度/（、/）的一个随机变量，其中。是分布的 参数（为了讨论上简单起见，暂且假定只有一个未知参数；我们的讨论是容易加 以推广的）。假定我们知道了函数形式，即我们知道理论的概率密度函数，比如 说正态分布，但不知道。值，于是，我们从这个已知的概率密度函数抽取大小为 的一个随机样本，并做出这样的一个样本值的函数：1=/（再,%）以提供真0的一个估计值。0叫做一个统计量（statistic）或一个估计量（estimator）,而此估计量所取的一个特殊的或具体的数值叫做一个估计值（estimate）或估计。注意，因为。是样本数据的一个函数，故可把它看作一个随机变量。G为我们提 供了一个规则或公式，告诉我们怎样去估计真9。比如说，如果令：否=5（再+/-1 X）=X其中又是样本均值，那么又就是真实均值4的一个估计量。如果在一个具体的 例子里又=50,这就为均值提供了一个估计（值），以上方式获得的估计量。由 于仅提供。的单一（一点）估计值，故称点估计（point estimator）o（二）区间估计假如我们不仅仅是获得。的单一估计值，而是通过构造两个估计量。区，丹多）和彼2区,马,，当）而获得。的两个估计值，并且声称在a和a之间 的这个区间里包含着真。有一定的可信度（即概率）。可见，与点估计相对照，在区间估计中，我们提供真。将落入其间的一个可能值域。区间估计所依据的主要概念是估计量的抽样（sampling）或概率分布。例如 前面在正态总体子样本性质中讲到，如果随机变量X是正态分布的，则样本均值下也是正态分布的，且其均值（真均值）并且方差二其中是样本大202小。换句话说，估计量区的抽样或概率分布是灭N(,J)。因此，如果我们 n构造区间：X2=Jn并声称类似这样的许许多多区间将有约0.95或95%的概率包含着真值/z,那么我们事实上正在构造着4的一个区间估计。更一般地，在区间估计中，我们构造两个估计量自和两者都是样本X值的函数，使得：Pr002)=l-a 0al就是说，我们可以断言，从。到。的区间里含有真值。的概率是1-a。此区间被 称为。的置信度为1-a的置信区间(confidence interval),而1-a称为置信系数(confidence coefficient)o 例如 a=0.05,贝-a=0.95,意味着如果我们构造一 个置信系数为0.95的置信区间，则在(重复)这样的得自重复抽样的重复构造 中，我们将有95%的可能性包含真值。注意，我们通常称a为显著性水平(level of significance)o例子：假定总体中男子身高是正态分布的，其均值=英寸且标准差2.5英寸。从总体抽取100个随机样本,其平均身高为67英寸，求总体平均身高(=)的一个95%置信区间。-2 q根据上述，)o在本例子中这将是反N(,二)。查正态表得:n 100X-1.96()/J+1.96()7n包含正态曲线下的面积的95%。因此，这个区间给出的一个95%置信区间。将给定的数值带入，就得到这个95%置信区间为：66.51/67.49在重复同样的测量中，这样建立起来的区间将有95%的可信度包含有真实均值21，这里不妨指出一个技术性问题，就是，虽然我们可以说随机区间*1.96（爷）包含的概率是95%,却不可以说某一具体区间（66.51,67.49）包含的概率是95%,一旦这个区间被固定了，它包含的概率不是。就是1。我们所能说的，只是如此构造的区间，每100个中将有95个含有真值我们不能保证某一区间必定含有 o（三）估计量的性质小样本性质无偏性：如果一个估计量e的期望等于真值e,即E0=。或E0-e=o就说不是。的 的一个无偏估计量，如果这个等式不成立，则说估计量是有偏误的，且偏误的计 算如下：偏误（0）=Edy-0在几何上，这种情形可以描述为下图（Pindyck,18页图2-3）。顺便指出无偏性 是一个重复抽样的性质，而不是任一给定样本的性质：固定样本大小，抽取多个 样本，每次得到未知参数的一个估计值，如果估计量是无偏的，这些估计值的平 均值就可望等于真值。有效性：对于给定的样本容量，无偏估计量力的方差小于任何其他的无偏估计量的方 差，则称力是一个有效的无偏估计量。有时很难确定一个估计量是否有效，因此 川估计量的相对有效性来描述估计量是很自然的。如果一个估计量比另一估计量 的方差小，这个估计量就比另一个有效。最小平均误差平方：在很多情况下，我们必须在估计量的偏差和方差（有效性）之间做一定的权 衡。如果建模的目的是使预测精度最大，方差很小而有偏的估计量可能会比无偏 而方差很大的估计量更好些。为此，我们使用平均误差平方标准进行判断。平均误差平方(0=E(0-9)2=偏误2+Var6 22当行为无偏时，平均误差平方等于力的方差。大样本性质一致性：如果随着样本变得越来越大，力趋于真值就说力是一个一致估计量。更 正式地说，估计量力是。的一个一致估计估计量，如果力与。之差的绝对值小于 一个任意小的正数5的概率趋于lolim 尸南-a0noo I I其中尸代表概率。这个表达式又常写为夕lim4=e,其中plim表示概率极限。注 ns意无偏性和一致性在概念上是迥然不同的。无偏性可以对任何样本大小都成立，而一致性则仅仅是一个大样本性质。一致性的一个充分条件是随着样本无限地增大偏误和方差都趋于零：limE0=。和 limiVar)=0一致性的另一个充分条件是随着n无限地增大平均误差平方趋于零(由上一 个充分条件+平均误差平方的定义可以证明)。一般地：一致性与最小平均误差平 方准则可以相互替代。渐进有效性在一致估计量中具有较小渐进方差的估计量是渐进有效的。即，若。为一 致估计量，若加yJ(力则称。比方渐进有效。若&。为左xl的一 致估计向量，且ZsyJWS)-为正定，则称。为渐进有效估计向量。渐进方差2 _ Cl xt-1)若月N(,J),则渐进分布中的期望称为渐进期望，渐进分布中的方差 n称为渐进方差。2)lim()是渐进期望，不是渐进方差3)Var6J=E0n-E(On)2 n)=EGn-册场)2因为当fs时，与6友-()收敛于有限常数修，所以有 23lim Var(4nOn)=V,AsyVar(6n)=一 n概率极限的运算法则(1)不变形(Slutsky)性质。如果力是。的一个一致估计量，并且如果力(力是力 的任何连续函数，贝小=h(0)00(2)如果6是一个常数，则:夕 limA=bnfg就是说，常数的概率极限就是这个常数本身。(4)如果自和。都是一致估计量，贝小p 111X1(q4+。22)-q lim+c2plim02,q,c2为任意常数noo oo noo夕 lim(自由)=P limR p lim 02 00 8 00台 夕 lim。plim()=人W00 02 2 lim%为f 00(四)假设检验假设检验问题可以叙述如下。假定随机变量X有一已知的概率密度函数/(x;。)，其中。是分布的参数，在取得一个大小为的随机样本之后，我们得到 点估计量，由于真值。鲜为人知，我们提问：这个估计量力是否与某个假设的。值相符”？比方说，9=。*?这里6*是一个特定的(假设的)夕数值，换句话说,我们的样本会来自概率密度函数/(不。=夕)吗？在假设检验的术语中。=。*称 为原假设(null hypothesis)并通常记为耳。而与原假设对立的假设我们称为备 择假设(alternative hypothesis),通常记为耳。例如乜 可叙述为6。6*。为了建立假设检验的概念，我们回到原先关于男子身高的例子。我们被告知：XN3,o=N(n，2S)斤=67/=10024现假设：%：=*=69X:w 69现在的问题是，这个检验统计量又=67的样本会来自均值为69的总体吗？直觉上，如果又“足够接近，7,我们也许不会拒绝原假设；否则我们将接受备择 假设。但怎样判断又“足够接近”呢？我们可以采用置信区间法或显著性检验 法。置信区间法因为X,.N(/,b2),所以检验统计量区的分布是：X N(,)n既然知道了又的概率分布，我们可以根据又建立的一个(1-。)置信区间，然 后看看此置信区间是否包含=*。如果包含，我们就接受原假设，否则我们就 接受备择假设。下面我们以。=0.05为例来说明一下：_ 2因为),从而Z产上长N(O,1)就是说，这是一个标准正态变量，于是由正态分布表知:Pr(-1.96Z.1.96)=0.95整理得：PrX-1.96-/X+1.96-=0.95 y/n这就是的一个95%置信区间。一旦建立了这个区间，原假设的检验就变得简单 了。我们所要做的不外是看=*是否落在此区间内。如果落入，就接受原假设,反之，则接受备择假设。回到我们的例子，我们建立的一个95%置信区间，就 25是：66.51/*ZNZa1(4已cr/-/-nN(O,1)*2(/未X-JLl:/*t V 工(1)知）41=22X-Y7-_3（cr；,。；r 小二N(O,1)41 4/V%(D。=。0 5产二(12/(T)2?b b/2兄(1)（未知）。022 2b s或/v/S-1)2F-Fani n2-1)一 2、一 2歹 Gz(4T%T)2 2b：Wb；6巧2;=8F 二一或 si2 2巧。2尸2勺(_1,%_1)或尸耳透（41,n2-1Chapter 2:Matrix Algebra1.1 TerminologyMatrixAector/Row Vector/Column Vector/Square Matrix/Symmetric matrix/Diagonal matrix./Scalar matrix/Identity matrix/Triangular matrix1.2 Algebra Manipulation1.2.1 Equality of Matrices:A=B1.2.2 TranspositionB=AAA：A is symmetric1.2.3 Matrix Addition and Subtraction4+B=刀+/(A+B)+C=A+(B+C)(A-B)ik=Aik-Bik1.2.4 Matrix MultiplicationColumn Vector abInner product:ab=aibi+.+anbn=ba Scalarp 3 4、优=3(1 3 4)=3 9 124 12 16,Properties:/Zx0=0 Associative law:(AB)C=A(BC)Distribution law:A(B+C)=AB+AC(AB)f=BAf(ABCS=CBAfZ=(4 4)=D AB=Ax1.2.5 Sum of values:nZx,=X+,+X=又 i=i=lX=-ix nx；=XXZ=1之 X,X=XY i=l1.2.6 Idemptent matrix_ 1 1iX=i ix=iix n nM 0=I-ii,n/X1-交、M 0 X=X-iX=；xTjMQi=(1-L 尸”=n n(Xz.-X)2=XfM0X i=M 0=M 0 M 0M 0=M 0n、Z(X,一招)2(Xz.-X)(.-X)i=l i=l(x;-x)(y;-y)区-歹)2 1=1 i=l)B +N 2 刀 2)=0(XfMX XfMYYfMX YfMY1.2.7 Orthogonal Vector afb=01.2.8 Inverse matricesB=A l if BA=AB=IProperties:(4T)T=A(C=(H)T=5-141(4BCT1=55一才1,1=Nonsingular if invest exists.1.2.9 PartitionedMatrix（分块矩阵）AC(PE+QG PF+QHH)yRE+SG RF+SH)4、力22,AB=4 441 42221 B?2,PRQEA=4T 0、0 L4 遥1+1221-AlAnBn+AnB22=0421*11+/22“21=04/12+2222=，22以 a21a 左乘，与联立得：a22b22-A21AAl2B22=z22B?2=F?=(A22-A21A111Al2)如此类推：不/4+4骂4阂)-骂-玛4/11 F?)F?=(422 414；42)11.3 Determinant(行列式)4 纥x =AB4 o0 A22=I4JH22IA=a2 d22(I-A-/Ar Proof:Define Z=10 I0)4之一(41422人。AZ=AZ=A所以：=11144 4/22 11.4 Kronecker ProductsaB a”B a9,AB=21 22 2kdnlB ank1.5 TracenAn.n(N)=Z%Z=1Properties:tr(A B)=tr(A)tr(B)2/22 411=1111122 4141/J、27-44 J 4 0、I)41 422 4141 力12)G4i|=|4，22-H/i/BBB tr(A)=tr(A)ctr(A)=tr(cA)(几)二左4纥的tr(AB)=Proof:Define C=ABjwcit=db,tr(C)tr(BA)=c:characteristic vector/eigenvectorAI-A|=0:characteristic equation/determinantal equation/=立4打（力）=4i-1Z=1an.,ainProof:=a21X-22,a2nanlan2,A-an=An (%+122 I-1%)4 1+n-2n 2 I-1+b2=0-(1)=立(几_4)=0 i-1-(2)根据代数基本定理：n次多项式在复数域内可以唯一地分解成几个因子的乘积。n 4 4 are the characteristic roots of kl 一=0Let 2=0,(2)equal to n(-4)Z=1n-a=ri(-4)a=n%i=l z=lExtending(2),we can get立(x_4)=_(Z4)xt+(-(3)z=l i=lCompare(1)with(3)力(N)=4Z=1A KxK symmetric matrix has K distinct characteristic vector c1,c2,-ck.The corresponding characteristic roots 4,4,4.although real,need not be distinct.。士iVq，0 00 4 oA=0 0 AkThe full set of equations:ACk=Ck is contained inAC=CASince GG=i cc=i c=c)CrAC=CfCA=A:Diagonalization of a MatrixCC=CCf=I:Orthogonal Matrix1.7 Spectral decomposition of a matrixIf A is SymmetricA=CAC=E4CkCkk=iApplication:(1.)Power of a matrixA:symmetric matrixAA=A=(CAC)(CAC)=CNCthe characteristic roots of A1 are the squares of those of A and characteristic vector are the same.(2.)If Ax existA-1=(CAC=(CATC-i=CNC：.the characteristic roots of Al are the reciprocals of those of A and the characteristic vector are the same.(3)A=CACf Ak=CAkCf 左=2,1,0/,24%=：square root of a matrix.A2A2=C2CCN C=A(4.)For a positive definite matrix A.Ar=CArCr for any real number rA matrix with positive characteristic roots is positive definite.(5.)Anxn,Idempotent Matrixi.4 equal to 0 or 1.ii.I A is also a Idempotent Matrix.iii.tr(A)=R(A)tr(I-A)=R(I-A)Proof:i.Ak=Ak-Ak=CAkC4左=41,4=L 4=0ii.(I-AXI-A)=I-A-A+A=I-