第2章信息的度量.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,信息论基础,尹洪胜 主讲,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,第二章 信息的度量,2.1,信源的分类和数学模型,2.2,自信息和互信息,2.3,平均自信息,2.4,平均互信息,重点掌握：自信息、互信息、熵三个基本概,念以及它们的主要性质。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,概述,关于信息的度量有几个重要的概念：,（,1,）,自信息,：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。,（,2,）,互信息,：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。,（,3,）,平均自信息,（,信息熵,）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。,（,4,）,平均互信息,：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,复习：全概率公式、贝叶斯公式和乘法公式,如果事件,A,1,A,2,A,i,A,n,构成一个事件完备集，并且具有正概率，则对于任何一个事件,B,，,有：,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,先验（输入）概率：,p(x);P,X,输出概率 ：,p(y);P,Y,联合概率（矩阵）：,p(x,y)P,;P,XY,后验概率（矩阵）：,p(x|y,);P,X|Y,信道转移概率（矩阵）：,p(y|x,);P,Y|X,矩阵之间关系：,P,Y,=P,X,P,Y|X,(,全概率公式,),P,XY,=P,X,T,P,Y,P,X,T,=P,X|Y,P,Y,T,P(xi,yj,)=,(,贝叶斯公式,),复习：相关概率描述及表示,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-1,信源的分类,2-1-2,信源的数学模型,2-1,信源的分类和数学模型,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-1,信源的分类,信源的分类方法依信源特性而定，一般按照信源发出的消息在时间上和幅度上的分布情况，把信源分为：,1.,连续信源,:,发出在时间上和幅度上都是连续分布的连续消息的信源；,2.,离散信源,:,发出在时间上和幅度上都是离散分布的信源。,3.,离散信源又可以细分为：,离散信源,离散无记忆信源,离散有记忆信源,发出单个符号的无记忆信源,发出符号序列的无记忆信源,发出符号序列的有记忆信源,发出符号序列的马尔可夫信源,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-1,信源的分类,（,1,）离散无记忆信源：,所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。,（,2,）离散有记忆信源,发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。,也可以根据信源发出一个消息所用符号的多少，将离散信源分为：,（,3,）发出单个符号的离散信源,信源每次只发出一个符号代表一个消息；,（,4,）发出符号序列的离散信源,信源每次发出一组含二个以上符号的符号序列代表一个消息。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-1,信源的分类,将以上两种分类结合，就有四种离散信源：,发出单个符号的无记忆离散信源；（先验概率）,发出符号序列的无记忆离散信源；（联合概率）,发出符号序列的有记忆离散信源；（联合概率）,发出符号序列的,马尔可夫,离散信源。（条件概率）,一类重要的符号序列有记忆离散信源,-,马尔可夫信源：,某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-2,信源的数学模型,正如绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，所以可用,随机变量或随机矢量,来描述信源输出的消息。或者说，用概率空间来描述信源。,离散信源的数学模型就是离散型的概率空间：,1.,单符号信源,假设信源,X,可能取的消息,(,符号集，或称为字符集、字母集,),只有,q,个：，而且每次必定取其中一个,:,而且 称为符号,的先验概率，那么,单个符号的无记忆离散信源,的数学模型为：,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,所有,符号（字母）的先验概率,且满足,2-1-2,信源的数学模型,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-2,信源的数学模型,2.,长度为,N,的符号序列信源,我们知道，在实际应用中，很多信源输出的消息往往是由一系列符号所组成的。例如中文信源的样本空间集合,X,是所有汉字及标点符号的集合。由这些单字和标点符号组成的消息即是中文句子和文章。从时间上看，中文信源的输出是时间上离散的一系列符号，而其中每个符号的出现是随机的，由此构成了不同的中文消息。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-2,信源的数学模型,又例如对离散化的平面图像来说，从空间上来看是一系列离散的符号，而空间每一点的符号,(,灰度,),又都是随机的，由此形成了不同的图像。所以我们可以把一般信源输出的消息看作为时间或空间上离散的一系列随机变量，即随机矢量。这样，信源的输出可用,N,维随机矢量,来描述，其中,N,可为有限正整数或可数的无限值,。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-2,信源的数学模型,在上述随机矢量中，若每个随机变量,都是离散的，则可用,N,重离散概率空间来描述这类信源。即若,N,维随机矢量 中,则,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-2,信源的数学模型,信源的,N,重概率空间为：,这个空间共有 个元素。,在某些简单的情况下，信源先后发出的一个个符号彼此是统计独立的，则,N,维随机矢量的联合概率分布满足,:,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-2,信源的数学模型,即,N,维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源就是离散无记忆信源。,一般情况下，信源先后发出的符号之间是互相依赖的。例如在中文字母组成的中文消息中，前后文字的出现是有依赖的，不能认为是彼此不相关的，放在,N,维随机矢量的联合概率分布中，就必然要引入条件概率分布来说明它们之间的关联。这种信源即有记忆信源。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-2,信源的数学模型,表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前面几个符号的依赖关系较强，而与更前面的符号依赖关系就弱。为此可以限制随机序列的记忆长度。,当记忆长度为,m+1,时，称这种有记忆信源为,m,阶马尔可夫信源。也就是信源所发出的符号只与前,m,个符号有关，与更前面的符号无关。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-1-2,信源的数学模型,这样就可用马尔可夫链来描述信源。这时描述符号之间依赖关系的条件概率为,如果条件概率与时间起点,j,无关，即信源输出的消息可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.2,自信息和互信息,2.2.1,自信息,随机事件的自信息量,是该事件发生概率 的函数，并且应该满足以下,公理化条件：,1.,是 的严格递减函数。当 时，,概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。,2,极限情况下当,=0,时，；当,=1,时，,=0,。,3,另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。,可以证明，满足以上,公理化,条件的函数形式是对数形式。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,定义,2.1,随机事件的,自信息量,定义为该事件发生概率的对数的负值。,设事件 的概率为 ，则它的自信息定义为,从图,2.1,种可以看到上述信息量的定义正,是满足上述公理性条件的函数形式。,代表,两种含义,：当事件发生以前，,等于事件发生的不确定性的大小；当事,件发生以后，表示事件所含有或所能提,供的信息量。,图,2.1,自信息量,2.2.1,自信息,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,自信息量的单位与所用对数的底有关。,（,1,）常取对数的底为,2,，信息量的单位为比特（,bit,，,binary unit,）。,当,=,1/2,时，,=,1,比特，即概率等于,1/2,的事件具有,1,比特的自信息量。,（,2,）若取自然对数（对数以,e,为底），自信息量的单位为奈特（,nat,，,natural unit,）。,1,奈特,=,比特,=1.443,比特,（,3,）,工程上用以,10,为底较方便。若以,10,为对数底，则自信息量的单位为哈特莱（,Hartley,）。,1,哈特莱,=,比特,=,3.322,比特,（,4,）,如果取以,r,为底的对数（,r,1,），,则,=,进制单位,1,r,进制单位,=,比特,2.2.1,自信息,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-2-1,自信息量,不确定度与自信息量,随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不同。即有某种概率分布的随机事件不管发生与否，都存在不确定度，而自信息量是在该事件发生后给予观察着的信息量。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-2-1,自信息量,两个消息 、同时出现的联合自信息量,：用联,合概率 来表示，联合自信息量为,当 和 相互独立时，有,于是有,联合自信息量,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-2-1,自信息量,条件自信息量,：,当 和 相互联系时，在事件 出现的条件下，的自信息量称为条件自信息量，定义,为在事件 出现的条件下，发生的条件概率。,例,2.1,讲解,p9,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.2.2,互信息,定义,2.2,一个事件 所给出关于另一个事件 的信息定义为,互信息,，用 表示。,互信息 是已知事件 后所消除的关于事件 的不确定性，它等于事件 本身的不确定性 减去已知事件 后对 仍然存在的不确定性,。,互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。,例,2.2,讲解,9,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3,平均自,信息,2.3.1,平均自信息（信息熵）的概念,自信息量,是信源发出某一具体消息所含有的信息量，发出的消息不同所含有的信息量不同。因此自信息量不能用来表征整个信源的不确定度。我们定义,平均自信息量,来表征整个信源的不确定度。平均自信息量又称为,信息熵,、,信源熵,，简称,熵,。,因为信源具有不确定性，所以我们把信源用随机变量来表示，用随机变量的概率分布来描述信源的不确定性。通常把一个随机变量的所有可能的取值和这些取值对应的概率 称为它的,概率空间,。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.1,平均自信息（信息熵）的概念,定义,2.3,随机变量,X,的每一个可能取值的自信息 的统计平均值定义为随机变量,X,的,平均自信息量,:,这里,q,为的所有,X,可能取值的个数。,熵,的单位也是与所取的对数底有关，根据所取的对数底不同，可以是比特,/,符号、奈特,/,符号、哈特莱,/,符号或者是,r,进制单位,/,符号。通常用比特,/,符号为单位。,一般情况下，信息熵并不等于收信者平均获得的信息量，,收信者不能全部消除信源的平均不确定性，获得的信息量将小于信息熵。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.2,熵函数的性质,信息熵 是随机变量,X,的概率分布的函数，所以又称为,熵函数,。如果把概率分布 ，记为 ，则熵函数又可以写成概率矢量 的函数的形式，记为,。,熵函数 具有以下性质：,1,.,对称性：,（引出加权熵扩展）,该性质说明熵函数仅与信源的总体统计特性有关。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.2,熵函数的性质,2,.,确定性：,在概率矢量中，只要有一个分量为,1,，其它分量必为,0,，它们对熵的贡献均为,0,，因此熵等于,0,。也就是说确定信源的不确定度为,0,。,3,.,非负性：,对确定信源，等号成立。信源熵是自信息的数学期望，自信息是非负值，所以信源熵必定是非负的。,4,.,扩展性：,这个性质的含义是增加一个基本不会出现的小概率事件，信源的熵保持不变。,5.,连续性：,即信源概率空间中概率分量的微小波动，不会引起熵的变化。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.2,熵函数的性质,6,递增性,这性质表明，假如有一信源的,n,个元素的概率分布为 ，其中某个元素 又被划分成,m,个元素，这,m,个元素的概率之和等于元素 的概率，这样得到的新信源的熵增加，熵增加了一项是由于划分产生的不确定性。,例,2.4,讲解,p13,7,.,极值性：,式中,n,是随机变量,X,的可能取值的个数。,极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离散熵定理。连续信源的最大熵则与约束条件有关。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2-2-3,熵的基本性质,香农辅助定理,对于任意,n,及,概率矢量,和,，有如下不等式成立,只有当,P,=,Q,时，上式取等号。,（给出板书证明,）,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.2,熵函数的性质,8,.,上凸性,:,是严格的上凸函数，设,则对于任意小于,1,的正数 有以下不等式成立：,凸函数在定义域内的极值必为极大值，可以利用熵函数的这个性质可以证明熵函数的极值性。,（给出板书证明）,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,解释：设有矢量函数,对于 的 定义域中任意两个矢量,X,，,Y,，若满足不等式,则称,f,严格上凸。其几何意义为：在上凸函数任两点画一条割线，函数总在割线上方。,2.3.2,熵函数的性质,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.2,熵函数的性质,直观来看，随机变量的不确定程度并不都是一样的。,香农,指出，存在这样的,不确定性的度量，它是,随机变量的概率分布的函数，而且,必须满足三个公理性条件：,1.,连续性条件,：,应是 的连续函数；,2.,等概时为单调函数,：应是 的增函数；,3.,递增性条件,：当随机变量的取值不是通过一次试验而是若干次试验才最后得到时，随机变量在各次试验中的不确定性应该可加，且其和始终与通过一次试验取得的不确定程度相同，即：,其中,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.3,联合熵与条件熵,一个随机变量的不确定性可以用熵来表示，这一概念可以方便地推广到多个随机变量。,定义,2.4,二维随机变量 的概率空间表示为,其中 满足概率空间的非负性和完备性：,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.3,联合熵与条件熵,二维随机变量 的,联合熵,定义为联合自信息的数学期望，它是二维随机变量 的不确定性的度量。,定义,2.5,给定 时，的,条件熵,：,其中，,表示已知,时，,的,平均,不确定性。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.3.4,各类熵之间的关系：,1,联合熵与信息熵、条件熵的关系：,（给出板书证明）,这个关系可以方便地推广到,N,个随机变量的情况：,称为,熵函数的链规则,。,推论：,当二维随机变量,X,，,Y,相互独立时，联合熵等于,X,和,Y,各自熵之和：,2,条件熵与信息熵的关系：,（给出板书证明）,3,联合熵和信息熵的关系：,当,X,、,Y,相互独立时等号成立。,例,2.5,讲解,p18,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4,平均互,信息,2.4.1,平均互信息的概念,为了从整体上表示从一个随机变量,Y,所给出关于另一个随机变量,的信息量，我们定义互信息 在的 联合概率空间中的统计平均值为随机变量,X,和,Y,间的,平均互信息,：,定义,2.6,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,1,.,非负性,:,平均互信息是非负的，说明给定随机变量,Y,后，一般来说总能消除一部分关于,X,的不确定性。,2,.,互易性（对称性）：,对称性表示,Y,从,X,中获得关于的信息量等于,X,从,Y,中获得关于的信息量。,3.,平均互信息和各类熵的关系,:,当,统计独立,时，,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,4.,极值性：,极值性说明从一个事件提取关于另一个事件的信息量，至多只能是另一个事件的平均自信息量那么多，不会超过另一事件本身所含的信息量。,5.,凸函数性,:,定理,2.1,当条件概率分布,给定,时，平均互信息 是输入分布 的上凸函数。,定理,2.2,对于固定的输入分布 ，平均互信息量 是条件概率分布 的下凸函数。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,上凸性证明,：,由平均互信息量的定义,若固定信道，调整信源则,I(X;Y)=f(p(xi)(,上凸,),中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,（,1,）平均互信息量,I(X;Y),是输入信源概率分布,p(x,i,),的上凸函数。（用于信道容量计算）,所谓上凸函数，是指同一信源集合,x,1,x,2,.,x,n,对应两个不同的概率分布,p,1,(x,i,),和,p,2,(x,i,)(i=1,2,n),若有小于,1,的正数,0,1,使不等式,f(,p,1,(xi)+(1-)p,2,(xi),f(,p,1,(xi)+(1-)f(p,2,(xi),成立，则称函数,f,为,p(xi),的上凸函数。,证明：令,p,3,(xi)=p,1,(xi)+(1-)p,2,(xi),因为,p,3,(xi),是,p,1,(xi),和,p,2,(xi),的线性组合，,p,3,(xi),构成一个新的概率分布。当固定信道特性为,p,0,(yj/xi),时，由,p,3,(xi),确定的平均互信息量为：,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,根据香农辅助定理,有：,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,将上式代入：,当,p,3,(x,i,)=p,1,(x,i,),且,p,3,(x,i,)=p,2,(x,i,),时等号成立，从而证明以上定理,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,解释物理意义,信息流通的根本问题，是定量计算信宿收到信道输出的某一符号后，从中获取关于信源某一符号的信息量,信 源,X,有扰离散,信 道,信 宿,Y,干扰源,简单的通信系统模型,2.4.2,平均互信息的性质,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.2,平均互信息的性质,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,信源熵、互信息之间的关系,：,图,2.3,信源熵与互信息量之间的关系图,2.4.2,平均互信息的性质,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.3,数据处理定理,平均互信息量的不增性,数据处理中信息的变化,用信息论的观点研究数据处理过程中信息的变化,。,结论,：，这就是,数据处理定理,，数据处理过程中只会失掉一些信息，绝不会创造出新的信息，即所谓的信息的不增性。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.3,数据处理定理,为了证明数据处理定理，我们需要引入三元随机变量,的平均条件互信息和平均联合互信息的概念。,定义,2.7,平均条件互信息,它表示随机变量 给定后，从随机变量 所得到得关于随机变量,的信息量。,定义,2.8,平均联合互信息,它表示从二维随机变量 所得到得关于随机变量 的信息量。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,2.4.3,数据处理定理,定理,2.3,（数据处理定理）,如果随机变量 构成一个马尔可夫链，则有以下关系成立：,等号成立的条件是对于任意的 ，有,数据处理定理再一次说明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息，如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及丢失信息的输入端，就不能再恢复已丢失的信息，这就是信息不增性原理，它与热熵不减原理正好对应，反映了信息的物理意义。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,作 业,1,试写出,字符集,A=,（,a,1,，,a,2,，,a,3,）、,长度,N=2,的信源,X=X,1,X,2,的数学模型。,2.,试证明香农辅助定理和离散最大熵定理。,3.,试证明,H(XY)=H(X)+H(Y|X),H(XY)=H(Y)+H(X|Y),4.,试证明,H(X|Y)H(X),条件熵小于无条件熵,教材,P25,之习题,2-1,、,2-4,、,2-5,、,2-7,、,2-8,、,2-15,、,2-16,、,2-20,。,中国矿业大学信电学院,School of Information and Electrical Engineering,CUMT,