——条件熵联合熵及熵的性质.pptx

2.1.3 2.1.3 条件熵及联合熵条件熵及联合熵条件熵是在联合符号集合条件熵是在联合符号集合XY上的上的条件自信息量的数学期望条件自信息量的数学期望。在已知随机变量在已知随机变量Y的条件下，随机变量的条件下，随机变量X的条件熵定义为：的条件熵定义为：要用联合概率加权条件熵是一个确定值，表示信宿在收到条件熵是一个确定值，表示信宿在收到Y后，信源后，信源X仍然存仍然存在的不确定度。这是传输失真所造成的。有时称在的不确定度。这是传输失真所造成的。有时称H(X/Y)为为信道疑义度信道疑义度，也称损失熵。称条件熵，也称损失熵。称条件熵H(Y/X)为为噪声熵噪声熵。条件熵条件熵联合离散符号集合联合离散符号集合XY上的每个元素对上的每个元素对 的的联合联合自信息量的数学期望自信息量的数学期望。联合熵联合熵熵、条件熵、联合熵关系熵、条件熵、联合熵关系一个二进信源一个二进信源X发出符号集发出符号集0,1,经过离散无记忆信道传经过离散无记忆信道传输输,信道输出用信道输出用Y表示表示.由于信道中存在噪声由于信道中存在噪声,接收端除收接收端除收到到0和和1的符号外的符号外,还有不确定符号还有不确定符号“2”已知已知X的先验概率的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：符号转移概率：p(y0|x0)=3/4,p(y2|x0)=1/4 p(y1|x1)=1/2,p(y2|x1)=1/2，XY0101 23/41/21/21/4信源熵信源熵H(X)例题例题得联合概率：得联合概率：p(x0y0)=p(x0)p(y0|x0)=2/33/4=1/2 p(x0y1)=p(x0)p(y1|x0)=0 p(x0y2)=p(x0)p(y2|x0)=2/31/4=1/6 p(x1y0)=p(x1)p(y0|x1)=0 p(x1y1)=p(x1)p(y1|x1)=1/31/2=1/6 p(x1y2)=p(x1)p(y2|x1)=1/31/2=1/6由由例题例题 条件熵条件熵H(Y|X)联合熵联合熵H(XY)H(XY)H(X)H(Y|X)=1.8bit/符号得得 p(y0)=p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2 p(y1)=p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6 p(y2)=p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3 由由例题例题信源输出熵信源输出熵H(Y)由由得得同理同理 p(x0|y1)=0；p(x1|y1)=1 p(x0|y2)=1/2；p(x1|y2)=1/2 条件熵条件熵H(X|Y)例题例题或或 H(X|Y)=H(XY)-H(Y)=1.8-1047=0.33bit/符号2.1.4 2.1.4 熵的基本性质熵的基本性质 熵的基本性质熵的基本性质概率矢量概率矢量非负性非负性 非负性非负性 H(X)0 由于由于0pk1,所以所以logpk0，-logpk0，则总有则总有H(X)0。对称性对称性 根根据据加加法法交交换换律律可可以以证证明明，当当变变量量交交换换顺顺序序时时熵熵函函数数的的值值不不变变,即即信信源源的的熵熵只只与与概概率率空空间间的的总总体体结结构构有有关关，而而与与各各概概率率分分量量对对应应的的状状态顺序无关。态顺序无关。对称性对称性确定性确定性当当信信源源X的的信信源源空空间间X，P中中，任任一一概概率率分分量量等等于于1，根根据据完完备备空空间间特特性性，其其它它概概率率分分量量必必为为0，这这时时信信源源为为一一个个确确知知信信源源，其熵为其熵为0。确定性确定性 这说明信源空间中增加某些概率很小的这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于信息量，但由于其概率接近于0，在信源熵中，在信源熵中占极小的比重，占极小的比重，使信源熵保，使信源熵保持不变。持不变。扩展性扩展性扩展性扩展性 可加性可加性证明证明:可加性可加性 极值性极值性最大离散熵定理最大离散熵定理 信源信源X中包含中包含K个不同离散消息时，信源个不同离散消息时，信源熵熵 ，当且仅当，当且仅当X中各个消息中各个消息出现的概率全相等时，上式取等号。出现的概率全相等时，上式取等号。表明等概信源的不确定性最大，具有最表明等概信源的不确定性最大，具有最大熵，为大熵，为 极值性极值性n定理：定理：1.H(X/Y)H(X)（条件熵不大于无条件熵）条件熵不大于无条件熵）2.H(XY)H(X)+H(Y)证明：证明：基本定理基本定理基本定理推广基本定理推广H(X/Y)H(X)H(XY)H(X)+H(Y)2.1.5 2.1.5 离散序列信源的熵离散序列信源的熵 设信源输出的随机序列为设信源输出的随机序列为 X=(X1X2XlXL)序列中的变量序列中的变量Xlx1,x2,xn离散无记忆信源离散无记忆信源离散无记忆离散无记忆:离散无记忆信源的序列熵离散无记忆信源的序列熵 信源的序列熵信源的序列熵 进一步化简进一步化简 平均符号熵平均符号熵?离散无记忆信源的序列熵离散无记忆信源的序列熵 信源的序列熵信源的序列熵 进一步化简进一步化简 平均符号熵平均符号熵?离散无记忆信源的序列熵离散无记忆信源的序列熵 例例:有一个无记忆信源随机变量有一个无记忆信源随机变量X(0,1),等概率分布等概率分布,若以若以单个符号出现为一事件单个符号出现为一事件,则此时的信源熵则此时的信源熵:即用即用 1比特就可表示该事件。比特就可表示该事件。如果以两个符号出现如果以两个符号出现(L=2的序列的序列)为一事件，则随机序为一事件，则随机序列列X(00,01,10,11)，信源的序列熵，信源的序列熵即用即用2比特才能表示该事件。比特才能表示该事件。信源的符号熵信源的符号熵离散无记忆信源实例离散无记忆信源实例例例:有一离散平稳无记忆信源有一离散平稳无记忆信源 求：二次扩展信源的熵求：二次扩展信源的熵X2信源信源的元素的元素 a1 a2a3a4a5a6a7a8a9对应的对应的消息序列消息序列 x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3 x2x3 x3概率概率p(ai)1/4 1/81/81/81/16 1/161/81/16 1/16离散无记忆信源实例离散无记忆信源实例信源熵为信源熵为 信源的序列熵信源的序列熵离散无记忆信源实例离散无记忆信源实例平均符号熵为平均符号熵为 a0a1a2a09/112/110a11/83/41/8a202/97/9 例例:已知离散有记忆信源中各已知离散有记忆信源中各符号的概率为符号的概率为:设发出的符号只与前一个符号有关设发出的符号只与前一个符号有关,这两个符号的概率这两个符号的概率关联性用条件概率关联性用条件概率p(aj|ai)表示表示,如表如表p(aj|ai)求离散信源的序列熵和平均每个符号的熵求离散信源的序列熵和平均每个符号的熵?离散有记忆信源实例离散有记忆信源实例 由由 p(ai,aj)=p(ai)p(aj|ai)计算得联合概率计算得联合概率p(ai aj)如表如表a0a1a2a01/41/180a11/181/31/18a201/187/36当考虑符号之间有依赖性时当考虑符号之间有依赖性时,计算得条件熵计算得条件熵离散有记忆信源实例离散有记忆信源实例 发二重符号序列的熵发二重符号序列的熵 H(X1,X2)表示平均每二个信源符号所携带的信息量表示平均每二个信源符号所携带的信息量,那那么平均每一个信源符号携带的信息量近似为么平均每一个信源符号携带的信息量近似为:符号之间存在关联性符号之间存在关联性比较比较有记忆信源实例有记忆信源实例而信源而信源X的信息熵为的信息熵为 H(X2|X1)H(X)，信信源源的的条条件件熵熵比比无无依依赖赖时时的的熵熵H(X)减减少少了了0.671比比特特,这正是因为符号之间有依赖性所造成的结果。这正是因为符号之间有依赖性所造成的结果。对于有记忆信源对于有记忆信源,就不像无记忆信源那样简单就不像无记忆信源那样简单,它必须引它必须引入条件熵的概念，而且只能在某些特殊情况下才能得到入条件熵的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。一些有价值的结论。对于由两个符号组成的联合信源对于由两个符号组成的联合信源,有下列结论有下列结论:当前后符号无依存关系时当前后符号无依存关系时,有下列推论：有下列推论：离散有记忆信源的序列熵离散有记忆信源的序列熵若信源输出一个若信源输出一个L长序列长序列,则信源的序列熵为则信源的序列熵为平均符号熵为：平均符号熵为：极限熵极限熵:离散有记忆信源的序列熵离散有记忆信源的序列熵（1）条件熵）条件熵H(XL|XL-1)随随L的增加非递增的增加非递增离散有记忆信源特点离散有记忆信源特点（3）平均符号熵）平均符号熵HL(X)随随L的增加非递增的增加非递增 H0(X)H1(X)H2(X)H(X)（2）L给定时给定时,H L(X)H(XL|XL-1)（4）2.1.6 2.1.6 冗余度冗余度冗余度冗余度表明信源的记忆长度越长表明信源的记忆长度越长,熵就越小；即信源符号的相熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。关性越强，所提供的平均信息量就越小。为了定量地描述信源的有效性为了定量地描述信源的有效性,定义定义:相对率相对率 冗余度冗余度由于信源存在冗余度由于信源存在冗余度,即存在一些不必要传送的信息即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。因此信源也就存在进一步压缩其信息率的可能性。