第二部分随机变量.ppt

*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第二章：随机变量,上节课内容,概率理论,概率公理及推论,随机事件之间的关系：条件概率、独立,/,条件独立、贝叶斯公式,本节课内容,随机变量及其分布,随机变量变换,常见分布族,多元随机向量的分布,联合分布、边缘分布、条件分布、独立,1,随机变量,统计推断是与数据相关的。,随机变量,就是将样本空间,/,随机事件与数据之间联系起来的纽带,随机变量,是一个映射 ，将一个实数值 赋给一个试验的每一个输出,例,2.2,：抛,10,次硬币，令,X,(,),表示序列,中正面向上的次数，如当,=HHTHHTHHTT,，则,X,(,)=6,。,2,随机变量的概率描述,事件的概率,随机变量的概率描述,给定一随机变量,X,及实数子集,A,，定义,例,2.4,：抛,2,次硬币，令,X,表示正面向上的次数，则,其中,X,表示随机变量，,x,表示,X,可能的取值,P,(,),X,(,),TT,1/4,0,TH,1/4,1,HT,1/4,1,HH,1/4,2,x,P,(,X,=,x,),0,1/4,1,1/2,2,1/4,3,随机变量的分布函数,随机变量,X,的,累积分布函数,(cumulative distribution function,CDF),定义为,CDF,是一个非常有用的函数：包含了随机变量的所有信息。,CDF,的性质：略（见书）,有时记为,F,4,例：随机变量的,CDF,例,2.6,：公正地抛硬币,2,次，令,X,表示正面向上的次数，则,CDF,右连续、非减函数,对所有实数,x,都有定义,虽然随机变量只取,0,、,1,、,2,5,连续型随机变量的概率（密度）函数,对连续型随机变量,X,，如果存在一个函数 ，使得对所有的,x,，且对任意 有,则函数 被称为,概率,密度,函数,(,probability density function,pdf),。,CDF,与,pdf,之间的关系：,在所有 可微的点,x,，则,注意：是可能的,8,例：连续型随机变量的,CDF,和,pmf,例,2.12,：设,X,有,PDF:,显然有,有该密度的随机变量为,(0,1),上的均匀分布：,Uniform(0,1),，即在,0,和,1,之间随机选择一个点。,其,CDF,为：,9,分位函数,(quantile function),令随机变量,X,的,CDF,为,F,，,CDF,的反函数或分位函数,(quantile function),定义为,其中 。若,F,严格递增并且连续，则 为一个唯一确定的实数,x,，使得 。,为增函数,中值,(median),：,一个很有用的统计量，对噪声比较鲁棒,10,随机变量的变换,X,：老的随机变量，,Y,：新的随机变量，,离散：,11,离散型随机变量的变换,例,2.45,：假设,Y,的取值比,X,少,，因为该变换不是一一映射。,x,f,X,(x),-1,1/4,0,1/2,1,1/4,y,f,Y,(y),0,1/2,1,1/2,12,连续型随机变量的变换,CDF,方法,变换的三个步骤,对每个,y,，计算集合,计算,CDF,PDF,为,13,连续型随机变量的变换,当,r,为单调增函数,/,减函数，定义,r,的反函数 ，则,当,X,、,Y,存在,一一映射,时，上述结论仍可用,Jacobian,方法,分区间：在每个 区间内为单调函数，可分区间利用上述结论,14,15,例：连续型随机变量的变换,例,2.46,：,则,令,则,或直接用,Jacobian,方法,16,例：连续型随机变量的变换,例：,概率积分变换,X,有连续,CDF,，定义随机变量,Y,为 ，则,Y,为,0,1,上的均匀分布，即,对随机数产生特别有用（,Chp2,第,15,题）,17,0.5,1.0,0,18,常见分布族,离散型随机变量,Ch2,p25,均匀,(Uniform),分布,贝努利,(Bernoulli),分布,二项,(Binnomial),分布,超几何,(HyperGeometric),分布,几何,(Geometric),分布,泊松,(Possion),分布,连续型随机变量,Ch2,p27,均匀,(Uniform),分布,正态,(Normal),分布,Gamma,分布,Beta,分布,分布,指数,(Exponential),分布,19,常见分布族,每个分布族,pdf/pmf,形式,参数,典型应用,均值、方差,20,正态分布,亦称高斯分布，,:,位置（,location,）参数,:,尺度（,scale,）参数,如图像处理中的多尺度分析,21,正态分布,最重要的分布之一,在实际遇到的许多随机现象都服从或近似服从正态分布,如考试成绩,中心极限定理：随机样本的均值近似服从正态分布,对任意,IID,样本 ，则,22,标准正态分布,当 时，正态分布称为标准正态分布，通常用,Z,表示服从标准正态分布的变量，记为 。,pdf,和,CDF,分别记为,标准化变换：,若 ，则,若 ，则,正态分布的线性组合仍是正态分布：若 是独立的，则,23,二元随机向量的联合分布,离散型随机变量的联合分布：令,X,、,Y,为一对离散型随机变量，联合概率函数,(pmf),定义为,联合概率分布函数,(CDF),为：,(,X,Y,),：,随机向量,24,例,2.18,：对如下有两个随机变量的二元分布，变量,X,和,Y,取值为,0,、,1,，,则 。,1,2/3,1/3,2/3,5/9,2/9,X,=1,1/3,2/9,1/9,X,=0,Y,=1,Y,=0,联合分布,边缘分布,25,二元随机向量的联合分布,连续型随机变量的联合分布：令,X,、,Y,对一对连续型随机变量，联合概率密度函数,(pdf),定义为,对任意集合,联合概率分布函数,(CDF),为：,26,边缘分布,离散型随机变量：,27,边缘分布,连续型随机变量：,联合分布包含了随机向量概率分布的信息,联合分布唯一确定了边缘分布，但反之通常不成立,28,独立,PDF,可以因式分解,29,独立,30,随机变量之间的关系,独立,当且仅当,不独立：随机变量之间的关系用条件分布描述,条件分布：,31,条件分布,离散型随机变量的条件概率函数：,对连续型随机变量，条件概率定义相同，但解释不同,第一节课中,随机事件,的条件概率：,32,条件分布,给定变量,Y,时，在,X,上的概率分布,对,Y,的每个可能取值，对,X,都定义有一个概率分布,是一个概率分布，满足概率分布的所有性质，如,33,例：条件分布,34,联合分布、边缘分布与条件分布,边缘分布与联合分布：,条件分布与边缘分布、联合分布：,联合分布与条件分布、边缘分布：,35,条件概率,链规则（,Chain Rule,）,链规则,或,36,贝叶斯规则,贝叶斯规则,似然,先验,后验,37,贝叶斯规则中的边缘化,给定 和 ，推导,经常使用,贝叶斯规则的归一化因子,通过边缘化，,已知,?,38,边缘分布,通过使用,(1),边缘化,和,(2),链规则,，给定 ，可以计算：,39,条件独立,（绝对）独立：,给定,Y,，不会对,X,增加任何信息,条件独立：若在给定,Z,的情况下，,X,与,Y,条件独立，则,一旦已知,Z,，,Y,不会对,X,提供额外的信息,例：,40,联合概率,联合概率：,定义了所有可能状态的概率,二值变量的情况下有 项,用 个独立变量表示,非二值变量,?,如果这些变量是独立的，则,对二值变量，用,n,个独立变量表示,非,二值变量,?,41,联合概率,若有些变量是条件独立的话，联合概率可以用少于 个变量表示,例：,但若,Y,和,W,在给定,X,下独立，且,Z,和,W,、,X,在给定,Y,下,独立，则,真实问题通常是这样的，,贝叶斯网络,就是利用了条件独立的性质,42,链规则推广,条件概率的定义,递归定义：,2,n,1 2 4,2,n-1,对二值变量,43,多元随机向量的分布,令随机向量,，其中 为随机变量，用 表示,X,的,pdf/pmf,，先前讨论的关于二元随机向量分布的结论都可以推广到多元随机向量，如可以定义边缘分布、条件分布等,当随机向量,互相独立时，,随机向量相互独立,两两独立，但反之不成立,44,IID,（,Independent Identically Distribution,）样本,当 互相独立且有相同的边缘分布,F,时，记为 ，我们称 为独立同分布（,Independent Identically Distribution,IID,）样本，表示 是从相同分布独立抽样,/,采样，我们也称 是分布,F,的随机样本。若,F,有密度,f,，也可记为,，样本大小为,n,思考题：怎样对任意分布,F,进行采样（得到多个独立同分布的样本）？,45,常见多元分布,多元二项分布,多元正态分布,46,多元二项分布,二项分布的多元变量版本,其中,例：,从箱子中共,k,中颜色的球，为抽取到颜色,j,的概率，共抽取,n,次，令 为颜色,j,出现的次数，则,47,多元二项分布,边缘分布：若 ，其中 且 ，则 的边缘分布为,48,多元正态分布,令 ，其中 且互相独立,则,Z,的协方差矩阵为单位矩阵,I,，,记为 。,49,多元正态分布,更一般地，,其中 表示矩阵的行列式，为均值向量，协方差矩阵,为一个对称的正定矩阵,50,多元正态分布,多元正态分布有如下性质：,1,、若 且 ，则,2,、若 ，则,3,、若 ，,a,为与,X,相同,长度的向量，则,51,随机向量的变换,令 ，求,1.,对每个,z,，计算集合,2.,计算,CDF,3.PDF,为,例,2.48,52,随机向量的变换,令集合,集合,且,A,、,B,存在,一一映射,时，可利用,Jacobian,方法计算,定义反变换 ，变换的,Jacobian,为,(,U,V,),的联合分布为,思考题：求两个正态分布的和与乘积的分布,53,下节课内容,作业：,Chp2,：第,4,、,7,、,14,、,15,题,下节课内容,期望、方差,样本均值、样本方差,层次模型,补充教材,CBp162-168,54,