信息论与编码全部.pptx

11 绪论1.1 信息的概念1.1.1 信息的定义与性质1.1.2 信息的分类1.2 信息传输系统的组成及功能1.2.1 模拟信息传输系统1.2.2 数字信息传输系统1.3 信息论研究对象和内容1.4 信息论发展简史21.1.1 信息的定义与性质古时的通信：烽火台信息传播五阶段：手势和语言文字印刷术电磁波计算机和通信微电子技术、通信技术和计算机技术促进了信息技术发展。信息产业的发展促进了社会产业结构的变化与发展。31.1.1 信息的定义与性质信息信息：认识主体所感受的或所表达的事物的运动状态和运动状态的变化方式。（1）信息是普遍存在的。（2）信息与物质。（3）信息与能量。（4）人类认识事物，变革事物必须要有信息。信息载体信息载体：运载信息的物质。41.1.1 信息的定义与性质消息消息：以文字、语音、图像等这些能够为人们的感觉器官所感知的物理现象，把客观物质运动和主观思维活动的状态表达出来就成为消息。信号信号：消息的表现形式和载体。同一信息可用不同的信号来表示，同一信号也可表达不同的信息。51.1.1 信息的定义与性质信息信息十分抽象而又复杂的概念，是人们对客观事物感触到的新认识。消息消息信息的载荷者，是描述信息的一种表现形式，是对某个事物的描述和反应。信号信号运载或携带消息的任何物理量，达到迅速有效地传递和交换信息的目的。61.1.1 信息的定义与性质性质性质：（1）普遍性普遍性：信息是普遍存在的。（2）无限性无限性：信息是无限的。（3）相对性相对性：对同一事物不同的观察者所获得的信息量可能不同。w（4）转换性转换性：信息可以在时间上或空间中从一点转移到另一点。w（5）变换性变换性：信息是可变的，它可以由不同的载体或不同的方法来载荷。71.1.1 信息的定义与性质（6）有序性有序性：信息可以用来消除系统的不定性，增加系统的有序性。（7）动态性动态性：信息具有动态性质，一切活的信息都随时间变化，具有时效性。（8）转化性转化性：在一定条件下，信息可以转化为物质、能量、时间等。w（9）共享性共享性：同一信息可以被无限的人所获得，可以交流而不会减少。w（10）可量度性可量度性：信息的数量与质量是可量度的即信息量。81.1.2 信息的分类（1）从性质性质分：语法信息、语义信息、语用信息。随机方式模糊状态 半随机方式 确定型方式（模糊信息）连续状态离散状态离散状态无限状态有限状态有限状态 随机方式（概率信息概率信息）明晰状态 半随机方式（偶发信息）确定型方式（确定信息）语法信息91.1.2 信息的分类举例说明，两个布袋中装有对人手感觉完全一样的球，但颜色和数量不同，（1）50个红球和50个白球（2）红球、白球、黑球、黄球各25个随意拿出一个球，被告知是红球所获得的信息量。101.1.2 信息的分类（2）按观察的过程分：实在信息、先验信息、实得信息。（3）按信息的地位分：客观信息、主观信息。（4）按作用分：有用信息、无用信息、干扰信息。w（5）按逻辑意义分：真实信息、虚假信息、不定信息。w（6）按传递方向分：前馈信息、反馈信息。111.1.2 信息的分类（7）按生成领域分：宇宙信息、自然信息、社会信息、思维信息等。（8）按应用部门分：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息等。w（9）按信息源的性质信息源的性质分：语声信息、图像信息、文字信息、数据信息、计算信息等。w（10）按载体性质载体性质分：电子信息、光学信息、生物信息等。w（11）按携带信息的信号携带信息的信号形式分：连续信息、离散信息、半连续信息等。121.2.1 模拟信息传输系统该系统传递的是模拟信号，它在任意时刻的取值是任意的，是时间的连续函数。基本模型如图1.1 所示：信息源噪声源变换器调制器发射机信道接收机解调器反变换器信息宿接收端发送端信道1.1模拟信息传输系统的一般模型131.2.1 模拟信息传输系统信息源信息源：产生含有信息的消息，是被传输的对象。信息宿信息宿：信息传送的目的地，即原消息的归宿或接受者。141.2.1 模拟信息传输系统变换器变换器：将非电量变换成宜于远距离传输的电信号。反变换器反变换器：将信息信号恢复成原消息。151.2.1 模拟信息传输系统调制器调制器：将频率较低的信号调制到频率更高的载波信号上。(调制方式有调幅AM、调频FM、调相、单边带调制SSB等)。解调器解调器：从已调的高频载波信号中解调出被传输的低频信息信号。161.2.1 模拟信息传输系统发射机发射机：变频器和功率放大器，使已调载波信号的频率和功率达到实际应用所要求的数值。接收机接收机：低噪声高频放大器、混频器、中频放大器，将微弱信号放大到解调器所需强度的信号，并最大限度地降低信道噪声的影响。171.2.1 模拟信息传输系统信道信道：消息的信号从发射端传到接受端的媒质或通道。（有线信道：架空明线、同轴电缆、波导、光纤等；无线信道：无线电波、激光自由空间传播等）噪声源噪声源：实际传输系统中客观存在的干扰源，有内部噪声和外部干扰两方面。181.2.2 数字信息传输系统该系统中传输的是数字信号，它只能取有限个离散值，且出现的时间也是离散的。基本模型如图1.2 所示：信息源噪声源变换器调制器发射机信道接收机解调器反变换器信息宿接收端发送端信道1.2 数字信息传输系统的一般模型信源编码器信道编码器信道译码器信源译码器191.2.2 数字信息传输系统调制方式有幅度键控ASK、频移键控FSK、相移键控PSK等。w信源编码器信源编码器：模/数（A/D）变换器，将模拟信号变换成数字信号。w信源译码器信源译码器：数/模（D/A）变换器，将数字信号变换成模拟信号。w信道编译码器信道编译码器：提高传输系统的抗干扰能力。201.2.2 数字信息传输系统优点优点：（1）抗干扰能力强，特别在中继传输中尤为明显。（2）可以进行差错控制，提高了信息传输的灵活性。w（3）便于使用现代计算机技术对信号进行处理、存储和变换。w（4）便于加密，实现保密信息传输。211.2.2 数字信息传输系统（5）易于与其他系统配合使用，构成综合业务信息传输网。（6）易于集成化和大规模生产，性能一致性好且成本低。w缺点缺点：w（1）占用信道频带较宽。w（2）要有一个复杂的同步系统。221.3 信息论研究对象和内容研究对象研究对象：消息传输系统即信息传输系统，通信系统。w研究目的研究目的：提高通信系统的可靠性和有效性。w（1）可靠性高：使信源发出的消息经过传输后尽可能准确地不失真地再现在接收端。w（2）有效性高：经济效果好，用尽可能短的时间和尽可能少的设备传送一定数量的信息。231.3 信息论研究对象和内容研究内容研究内容：（1）通信的统计理论的研究。（2）信源的统计特性的研究。（3）收信者接受器官的研究。w（4）编码理论与技术。w（5）如何提高信息传输效率。w（6）抗干扰理论与技术。w（7）噪声中信号检测理论与技术。241.3 信息论研究对象和内容信息论的三个层次：（1）信息论基础（狭义信息论）信息论基础（狭义信息论）：主要研究信息的测度、信道容量、信源和信道编码理论等问题。（2）一般信息论一般信息论：主要研究信息传输和处理问题，除香农理论外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论以及信息处理理论等。（3）广义信息论广义信息论：不仅包括上述两方面内容，还包括与信息有关的领域，如心理学、遗传学、神经生理学、语言学、语义学等。251.4 信息论发展简史电信系统电信系统的发展：电磁理论和电子学理论的发展促进了电信系统的创造发明或改进。1823年-1835年，莫尔斯建立了电报系统。1876年，贝尔发明了电话系统。w1895年，马可尼和波波夫发明了无线电通信。w1925年-1927年，建立起电视系统。w二次大战初期，微波通信系统和微波雷达系统迅速发展起来。w20世纪60年代，人类进入光纤通信时代。261.4 信息论发展简史信息理论信息理论的发展：1924年，奈奎斯特首先将信息率与信号带宽联系起来。1928年，哈特莱引入了非统计（等概率事件）信息量概念。w20世纪40年代初期，维纳把随机过程和数理统计的观点引入通信和控制系统中。w1948、1949年，香农用概率测度和数理统计的方法，系统地讨论了通信的基本问题。271.4 信息论发展简史无失真信源编码无失真信源编码的发展：（香农编码理论）惟一可译码费诺码哈夫曼码（最佳码）算术编码LZ码（通用信源编码）。w信道编码信道编码的发展：w纠错码汉明码（代数编码）卷积码（概率编码）并行极点卷积码。282 信息的量度信息的量度2.1 自信息量和条件自信息量自信息量和条件自信息量2.2 互信息量和条件互信息量互信息量和条件互信息量2.3 离散集的平均自信息量离散集的平均自信息量2.4 离散集的平均互信息量离散集的平均互信息量2.5 例题例题292.1 自信息量和条件自信息量自信息量和条件自信息量2.1.1 自信息量自信息量2.1.2 条件自信息量条件自信息量302.1.1 自信息量自信息量信源发出的消息常常是随机的，其状态存信源发出的消息常常是随机的，其状态存在某种程度的不确定性，经过通信将信息在某种程度的不确定性，经过通信将信息传给了收信者，收信者得到消息后，才消传给了收信者，收信者得到消息后，才消除了不确定性并获得了信息。除了不确定性并获得了信息。获得信息量的多少与信源的不确定性的消除有关。不确定度惊讶度信息量312.1.1 自信息量自信息量（1）直观定义信息量为：）直观定义信息量为：收到某消息获得的信息量收到某消息获得的信息量=不确定性减少的不确定性减少的量量=收到此消息前关于某事件发生的不确定收到此消息前关于某事件发生的不确定性性-收到此消息后关于某事件发生的不确定收到此消息后关于某事件发生的不确定性性（2）无噪声时信息量为：收到消息前获得的信息量=收到此消息前关于某事件发生的不确定性=信源输出的某消息中所含有的信息量322.1.1 自信息量自信息量举例说明，一个布袋中装有对人手感觉完举例说明，一个布袋中装有对人手感觉完全一样的球，但颜色和数量不同，问下面全一样的球，但颜色和数量不同，问下面三种情况下随意拿出一个球的不确定程度三种情况下随意拿出一个球的不确定程度的大小。的大小。（1）99个红球和个红球和1个白球个白球（2）50个红球和个红球和50个白球个白球（3）红球、白球、黑球、黄球各）红球、白球、黑球、黄球各25个个332.1.1 自信息量自信息量事件发生的不确定性与事件发生的概率有事件发生的不确定性与事件发生的概率有关，一般情况下，一个信源可以用一个概关，一般情况下，一个信源可以用一个概率空间来描述，信源的不确定程度可以用率空间来描述，信源的不确定程度可以用这个概率空间的可能状态数目及其概率来这个概率空间的可能状态数目及其概率来描述。描述。342.1.1 自信息量自信息量设信源设信源X的概率空间为的概率空间为其中：其中：X是信源的状态空间，即随机事件的是信源的状态空间，即随机事件的状态数；状态数；是随机事件可能状态的概率分是随机事件可能状态的概率分布，且布，且 ，各状态是相互独立的。，各状态是相互独立的。通常记为通常记为352.1.1 自信息量自信息量应用概率空间的概念分析上例，设取红球应用概率空间的概念分析上例，设取红球的状态为的状态为x1，白球为，白球为x2，黑球为，黑球为x3，黄球为，黄球为x4，则概率空间为：，则概率空间为：（1）（2）（3）362.1.1 自信息量自信息量结论：结论：（1）不确定度与信源概率空间的状态数及）不确定度与信源概率空间的状态数及其概率分布有关。其概率分布有关。（2）信源概率空间的概率分布为等概率时不确定度最大。（3）等概率时，不确定度与信源概率空间的状态数或相应的概率有关。372.1.1 自信息量自信息量任意随机事件的自信息量定义为该事件发任意随机事件的自信息量定义为该事件发生概率的对数的负值。若随机事件生概率的对数的负值。若随机事件 出现的出现的概率为概率为 ，那么它的自信息量为，那么它的自信息量为通常取对数的底为通常取对数的底为2，单位为比特（，单位为比特（bit）。）。382.1.1 自信息量自信息量三个单位间的转换关系为：三个单位间的转换关系为：1奈特奈特=log2e 1.433比特比特1哈特莱哈特莱=log210 3.332比特比特自信息量非负且单调递减。自信息量非负且单调递减。0 x1log2xf(x)-log2x0 x1f(x)392.1.1 自信息量自信息量例：某地的天气情况分布是：晴天占例：某地的天气情况分布是：晴天占1/2，阴天占，阴天占1/4，雨，雨天占天占1/8，雪天占，雪天占1/8。求各种天气的自信息量。求各种天气的自信息量。解：设晴天、阴天、雨天、雪天的状态分别为解：设晴天、阴天、雨天、雪天的状态分别为x1,x2,x3,x4402.1.1 自信息量自信息量在二维联合集在二维联合集 上的元素上的元素 的联合自信的联合自信息量定义为息量定义为其中，其中，为元素为元素 的二维联合概率。当的二维联合概率。当二者相互独立时二者相互独立时 ，则有，则有 。元素。元素 的不确定度在数值上也等于他们的不确定度在数值上也等于他们的自信息量。的自信息量。412.1.1 自信息量自信息量例例2.1.1 在盒子中放入在盒子中放入n个不同阻值的电阻，个不同阻值的电阻，随机取出一个并猜测阻值，概率空间为随机取出一个并猜测阻值，概率空间为其中其中xi代表阻值为代表阻值为 表示表示取出电阻值为取出电阻值为i 的电阻的概率。假定取出电的电阻的概率。假定取出电阻是等概率的，即阻是等概率的，即 那么被告知取出阻值为那么被告知取出阻值为i的电阻，所获得的的电阻，所获得的信息量为信息量为 422.1.1 自信息量自信息量若盒中放入若盒中放入 个不同阻值的电阻，其中阻个不同阻值的电阻，其中阻值为值为1欧姆的欧姆的1个，个，2欧姆的欧姆的2个，个，n欧姆的欧姆的n个。个。概率空间为概率空间为其中其中xi代表阻值为代表阻值为 表示取出电表示取出电阻值为阻值为i 的电阻的概率。那么被告知取出阻值为的电阻的概率。那么被告知取出阻值为i的电阻，所获得的信息量为的电阻，所获得的信息量为 432.1.2 条件自信息量条件自信息量在联合集在联合集 对事件对事件 ，设在条件，设在条件 下，随下，随机事件机事件 的条件概率为的条件概率为 ，那么其条件，那么其条件自信息量定义为自信息量定义为三种自信息量的关系三种自信息量的关系：442.1.2 条件自信息量条件自信息量例例2.1.2 设在一正方形棋盘上共有设在一正方形棋盘上共有64个方格，个方格，如果甲将一粒棋子随机地放在棋盘中某方如果甲将一粒棋子随机地放在棋盘中某方格内让乙猜。格内让乙猜。（1）将方格按顺序编号，猜测顺序号；）将方格按顺序编号，猜测顺序号；（2）将方格按行和列编号并告知行或列编）将方格按行和列编号并告知行或列编号，猜测位置。号，猜测位置。452.1.2 条件自信息量条件自信息量解：由于棋子位置是二维等概率分布，故解：由于棋子位置是二维等概率分布，故 （1）在二维联合集）在二维联合集 上的元素上的元素 的自信息量的自信息量为为（2）在二维联合集）在二维联合集 上，元素上，元素 相对相对 的条件的条件自信息量为自信息量为462.2 互信息量和条件互信息量互信息量和条件互信息量2.2.1 互信息量互信息量2.2.2 互信息量的性质互信息量的性质2.2.3 条件互信息量条件互信息量472.2.1 互信息量互信息量（1）通常预先知道信源集合通常预先知道信源集合X的概率空间，的概率空间，即即其中其中 为集合为集合X中各个消中各个消息的取值，概率息的取值，概率 称为称为先验概率先验概率。482.2.1 互信息量互信息量（2）信宿收到的消息符号集合）信宿收到的消息符号集合Y的概率空间为的概率空间为其中其中 为集合为集合Y中各个消息中各个消息的取值。当信宿收到集合的取值。当信宿收到集合Y中的一个符号消息中的一个符号消息后，接收者重新估计关于信源各个消息后，接收者重新估计关于信源各个消息Xi发生发生的概率就成为条件概率的概率就成为条件概率 也称为也称为后验概后验概率率。492.2.1 互信息量互信息量对两个离散随机事件对两个离散随机事件X和和Y，事件，事件 的出现给出关的出现给出关于事件于事件 的信息量定义为互信息量的信息量定义为互信息量 ，即，即互信息量定义为后验概率与先验概率比值的对数，也等于自信息量减去条件自信息量。当对数底分别为2、e、10时，互信息量的单位分别为比特、奈特、哈特莱。502.2.1 互信息量互信息量例例2.2.1：当告知不是晴天时，某地的天气情况分：当告知不是晴天时，某地的天气情况分布是阴天占布是阴天占1/2，雨天占，雨天占1/4，雪天占，雪天占1/4。求不是。求不是晴天时，获得的各种天气的互信息量。晴天时，获得的各种天气的互信息量。解：设晴天、阴天、雨天、雪天的状态分别为解：设晴天、阴天、雨天、雪天的状态分别为x1,x2,x3,x4。不是晴天的状态为不是晴天的状态为y1512.2.1 互信息量互信息量此时，各种天气的条件自信息量：此时，各种天气的条件自信息量：522.2.2 互信息量的性质互信息量的性质（1）互信息量的互易性）互信息量的互易性对称性对称性证：证：532.2.2 互信息量的性质互信息量的性质（2）当事件）当事件xi和和yj相互独立时，互信息量相互独立时，互信息量为零。为零。证：由证：由 得得542.2.2 互信息量的性质互信息量的性质（3）互信息量可正可负）互信息量可正可负当后验概率 大于先验概率 时，互信息量为正值，反之为负值。互信息量为正意味着事件 的出现有助于肯定事件 的出现，反之是不利的。552.2.2 互信息量的性质互信息量的性质（4）任何两个事件的互信息量不可能大于）任何两个事件的互信息量不可能大于其中任一事件的自信息量。其中任一事件的自信息量。证：由于证：由于故故562.2.2 互信息量的性质互信息量的性质例例2.2.2 某人某人A预先知道他的三个朋友预先知道他的三个朋友B、C、D中中有一人晚上到他家，且这三人来的可能性相同，有一人晚上到他家，且这三人来的可能性相同，先验概率先验概率 P(B)=P(C)=P(D)=1/3。但上午A接到D的电话说不能来了，将这次电话作为事件E，那么有后验概率P(D|E)=0,P(B|E)=P(C|E)=1/2。下午又接到C的电话说不能来，将此作为事件F，则有P(C|EF)=P(D|EF)=0,P(B|EF)=1。572.2.2 互信息量的性质互信息量的性质在接到上午电话后，在接到上午电话后，A获得关于获得关于B、C、D的互信的互信息量为息量为因为因为P(D|E)=0,故无需考虑事件故无需考虑事件D与事件与事件E间的互间的互信息量。信息量。在接到两次电话后，在接到两次电话后，A获得关于获得关于B、C、D的互信的互信息量为息量为因为因为P(C|EF)=P(D|EF)=0,故无需考虑事件故无需考虑事件D与事与事件件E间的互信息量。间的互信息量。582.2.3 条件互信息量条件互信息量在联合集在联合集 ,在给定在给定 的条件下，的条件下，之间之间的互信息量。的互信息量。在联合集在联合集 ,还存在还存在 与与 之间的互信息之间的互信息量。量。592.3 离散集的平均信息量离散集的平均信息量2.3.1 平均自信息量（熵）平均自信息量（熵）2.3.2 熵函数的数学特性熵函数的数学特性2.3.3 条件熵条件熵2.3.4 联合熵（共熵）联合熵（共熵）2.3.5 各种熵的性质各种熵的性质2.3.6 加权熵加权熵602.3.1 平均自信息量（熵）平均自信息量（熵）自信息量是一个随机变量，不能作为整个信源的自信息量是一个随机变量，不能作为整个信源的信息测度，故引入平均自信息量，即信息熵。信息测度，故引入平均自信息量，即信息熵。信息熵H(X)是从整个信源的统计特性来考虑的，是从平均意义上表征信源的总体特性。对某特定的信源，其信息熵只有一个。定义集X上，随机变量自信息I(xi)的数学期望为平均自信息量H(X)即信息熵，简称熵。612.3.1 平均自信息量（熵）平均自信息量（熵）例例2.3.1 有一个布袋内放有一个布袋内放100个球，其中个球，其中80个红球，个红球，20个白球。随便摸一个球猜测是个白球。随便摸一个球猜测是什么颜色，求平均摸取一次获得的信息量。什么颜色，求平均摸取一次获得的信息量。解：设事件解：设事件x1表示摸到红球，事件表示摸到红球，事件x2表示摸表示摸到白球，则概率空间为到白球，则概率空间为622.3.1 平均自信息量（熵）平均自信息量（熵）当告知摸出的是红球时，获得的信息量当告知摸出的是红球时，获得的信息量当告知摸出的是白球时，获得的信息量当告知摸出的是白球时，获得的信息量若每次摸出一个球后又放回去，进行第二次摸取，那么摸取n次中，红球出现的次数为nP(x1)，白球出现的次数为nP(x2)。则摸取n次后获得的信息量为63 2.3.1 平均自信息量（熵）平均自信息量（熵）平均随机摸取一次所能获得的信息量为平均随机摸取一次所能获得的信息量为642.3.1 平均自信息量（熵）平均自信息量（熵）信息熵分别为信息熵分别为可见可见 H(Y)H(X)例2.3.2 比较两个信源652.3.1 平均自信息量（熵）平均自信息量（熵）信息熵的三种物理含义：信息熵的三种物理含义：（1）表示信源输出后每个消息所提供的平）表示信源输出后每个消息所提供的平均信息量。均信息量。（2）表示信源输出前信源的平均不确定性。）表示信源输出前信源的平均不确定性。（3）表征变量的随机性。）表征变量的随机性。662.3.2 熵函数的数学特性熵函数的数学特性因为随机变量集的熵因为随机变量集的熵H(X)只是其概率分布只是其概率分布的函数，所以熵函数的函数，所以熵函数H(X)又可记为又可记为由于概率的完备性 ，H(P)实际上是(q-1)元函数。如二元熵 H(P)=Hp,(1-p)=H(p)。672.3.2 熵函数的数学特性熵函数的数学特性设设 为一多元函数，若对于为一多元函数，若对于任意小于任意小于1的正数的正数 以及函数定义域以及函数定义域内的任意两个矢量内的任意两个矢量X1和和X2有有则称则称f(X)为定义域上的上凸函数。为定义域上的上凸函数。0 xx1x2f(x1)f(x2)f(x)682.3.2 熵函数的数学特性熵函数的数学特性（1）对称性）对称性当概率矢量中的各个分量的次序任意互换时，熵函数的值当概率矢量中的各个分量的次序任意互换时，熵函数的值不变，即不变，即例如两个信源例如两个信源信息熵为信息熵为 692.3.2 熵函数的数学特性熵函数的数学特性（2）非负性（离散信源）非负性（离散信源）等号成立的充要条件是当且仅当某等号成立的充要条件是当且仅当某Pi=1,其其余的余的 Pk=0 。这表明确定信源的熵。这表明确定信源的熵最小。最小。证：证：当每一项为零时等号成立，由于 ，故只能有某一个Pi=1,其余的Pk=0702.3.2 熵函数的数学特性熵函数的数学特性（3）扩展性）扩展性证：因为证：因为说明信源的取值数增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。712.3.2 熵函数的数学特性熵函数的数学特性（4）可加性）可加性如果有两个随机变量如果有两个随机变量X和和Y，他们不是相互，他们不是相互独立的，则二维随机变量的熵独立的，则二维随机变量的熵H(XY)等于等于X的无条件熵的无条件熵H(X)加上当加上当X已给定时已给定时Y的条件的条件概率定义的熵的统计平均值概率定义的熵的统计平均值H(Y|X)。H(XY)=H(X)+H(Y|X)H(XY)=H(Y)+H(X|Y)722.3.2 熵函数的数学特性熵函数的数学特性（5）极值性）极值性式中，式中，n是集合是集合X的元素数目。的元素数目。上式表明，在离散情况下，集合上式表明，在离散情况下，集合X中的各事中的各事件依件依等概率等概率发生时，熵达到极大值，即发生时，熵达到极大值，即最最大熵定理大熵定理。732.3.2 熵函数的数学特性熵函数的数学特性（6）确定性）确定性从总体看，信源虽然有不同的输出符号，从总体看，信源虽然有不同的输出符号，但当它只有一个符号几乎必然出现，而其但当它只有一个符号几乎必然出现，而其他符号都是几乎不可能出现时，那么这个他符号都是几乎不可能出现时，那么这个信源是一个信源是一个确知信源确知信源，其熵等于零。，其熵等于零。（7）上凸性）上凸性742.3.3 条件熵条件熵条件熵是在联合符号集条件熵是在联合符号集XY上的条件自信息量的联上的条件自信息量的联合概率加权统计平均值。合概率加权统计平均值。条件熵H(X|Y)表示收到全部输出符号后，对信道输出符号集还存在的平均不确定性，称为信道疑义度信道疑义度。条件熵H(Y|X)可以衡量信号通过信道后损失信息量的多少。752.3.4 联合熵（共熵）联合熵（共熵）联合熵是在符号集联合熵是在符号集XY上的每个元素对上的每个元素对xiyj的的自信息量的概率加权统计平均值，其定义自信息量的概率加权统计平均值，其定义式为式为762.3.5 各种熵的性质各种熵的性质（1）联合熵与信源熵、条件熵的关系）联合熵与信源熵、条件熵的关系若集若集X和集和集Y相互独立则有相互独立则有表示熵的可加性。表示熵的可加性。称为熵的强可加性。称为熵的强可加性。772.3.5 各种熵的性质各种熵的性质推广到多个随机变量构成的概率空间之间推广到多个随机变量构成的概率空间之间的关系。设有的关系。设有N个变量个变量 ，其联，其联合熵可表示为合熵可表示为若若N个变量相互独立，则有个变量相互独立，则有782.3.5 各种熵的性质各种熵的性质（2）联合熵与信源熵的关系）联合熵与信源熵的关系当且仅当两个集合相互独立时，上式取等号，此当且仅当两个集合相互独立时，上式取等号，此时可得联合熵的最大值，即时可得联合熵的最大值，即此性质同样可推广到N个变量构成的概率空间等号成立的充要条件是概率空间相互独立。792.3.5 各种熵的性质各种熵的性质（3）信源熵与条件熵的关系）信源熵与条件熵的关系当且仅当两个集合相互独立时，上式取等号。当且仅当两个集合相互独立时，上式取等号。802.3.5 各种熵的性质各种熵的性质例例2.3.3 输入输出的联合分布如下表输入输出的联合分布如下表 Y Xy1y2y3y4x10.25000 x20.100.3000 x300.050.100 x4000.050.10 x5000.050812.3.5 各种熵的性质各种熵的性质例例2.3.4 P(x),P(y|x),P(xy)如下表如下表 XABC P(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6 P(xy)XABC YD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36822.3.5 各种熵的性质各种熵的性质例例2.3.5 P(ij)i012 j01/41/18011/181/31/18201/187/36 P(j|i)i012 j09/111/8012/113/42/9201/87/903121/32/3P(v)1.50.55/9v一个连续信源的概率分布密度832.3.6 加权熵加权熵设有随机变量设有随机变量X，引入事件的重量后，其概率空间，引入事件的重量后，其概率空间为为其中其中离散无记忆信源离散无记忆信源X P W的加权熵定义为的加权熵定义为842.3.6 加权熵加权熵重要性质：重要性质：852.4 离散集的平均互信息量离散集的平均互信息量2.4.1 平均条件互信息量平均条件互信息量2.4.2 平均互信息量平均互信息量2.4.3平均互信息量的性质平均互信息量的性质862.4 离散集的平均互信息量离散集的平均互信息量以以X P表示输入概率空间表示输入概率空间872.4 离散集的平均互信息量离散集的平均互信息量以以Y P表示输出概率空间表示输出概率空间882.4 离散集的平均互信息量离散集的平均互信息量X和和Y的联合空间的联合空间892.4 离散集的平均互信息量离散集的平均互信息量以以XY p(xy)表示联合概率空间，一般有表示联合概率空间，一般有当事件当事件xi和和yj相互独立时有相互独立时有若上式对所有的若上式对所有的i,j成立，则称集成立，则称集X与与Y统计统计独立，否则称为统计相关。独立，否则称为统计相关。902.4.1 平均条件互信息量平均条件互信息量在联合集在联合集XY上，由上，由yj提供的关于提供的关于集集X的的平均条件互信息量平均条件互信息量等于由等于由yj提供的互信息量在整个提供的互信息量在整个X中的后验概率加权的平中的后验概率加权的平均值，其定义式为均值，其定义式为联合集XY上的平均条件互信息量有当且仅当集X中的各个xi都与事件yj相互独立时取等号。912.4.2 平均互信息量平均互信息量互信息量在整个集上的概率加权平均值，称为平互信息量在整个集上的概率加权平均值，称为平均互信息量均互信息量当事件xi与yj相互独立时922.4.3 平均互信息量的性质平均互信息量的性质（1）非负性：）非负性：当且仅当事件当且仅当事件xi与与yj相相互独立时取等号。互独立时取等号。（2）对称性932.4.3 平均互信息量的性质平均互信息量的性质（3）平均互信息与各类熵的关系）平均互信息与各类熵的关系用维拉图表示为用维拉图表示为H(X)H(Y)H(X|Y)I(X;Y)H(Y|X)H(XY)942.4.3 平均互信息量的性质平均互信息量的性质（4）极值性）极值性（5）凸函数性平均互信息量是信源概率分布p(x)和信道传递概率p(x|y)的凸函数。9596例例1 有一个布袋内放有一个布袋内放100个球，其中个球，其中80个红个红球，球，20个白球。随便摸一个球猜测是什么个白球。随便摸一个球猜测是什么颜色，求平均摸取一次获得的信息量。颜色，求平均摸取一次获得的信息量。解：设事件解：设事件x1表示摸到红球，事件表示摸到红球，事件x2表示摸表示摸到白球，则概率空间为到白球，则概率空间为97当告知摸出的是红球时，获得的信息量当告知摸出的是红球时，获得的信息量当告知摸出的是白球时，获得的信息量当告知摸出的是白球时，获得的信息量若每次摸出一个球后又放回去，进行第二次摸取，那么摸取n次中，红球出现的次数为nP(x1)，白球出现的次数为nP(x2)。则摸取n次后获得的信息量为98平均随机摸取一次所能获得的信息量为平均随机摸取一次所能获得的信息量为99例例2 某人某人A预先知道他的三个朋友预先知道他的三个朋友B、C、D中有一人晚上到他家，且这三人来的可能中有一人晚上到他家，且这三人来的可能性相同，先验概率性相同，先验概率 P(B)=P(C)=P(D)=1/3。但上午A接到D的电话说不能来了，将这次电话作为事件E，那么有后验概率P(D|E)=0,P(B|E)=P(C|E)=1/2。下午又接到C的电话说不能来，将此作为事件F，则有P(C|EF)=P(D|EF)=0,P(B|EF)=1。100在接到上午电话后，在接到上午电话后，A获得关于获得关于B、C、D的互信的互信息量为息量为因为因为P(D|E)=0,故无需考虑事件故无需考虑事件D与事件与事件E间的互间的互信息量。信息量。在接到两次电话后，在接到两次电话后，A获得关于获得关于B、C、D的互信的互信息量为息量为因为因为P(C|EF)=P(D|EF)=0,故无需考虑事件故无需考虑事件D与事与事件件E间的互信息量。间的互信息量。101例例3：某地的天气情况分布是：晴天占：某地的天气情况分布是：晴天占1/2，阴天占，阴天占1/4，雨天占雨天占1/8，雪天占，雪天占1/8。求各种天气的自信息量。求各种天气的自信息量。解：设晴天、阴天、雨天、雪天的状态分别为解：设晴天、阴天、雨天、雪天的状态分别为x1,x2,x3,x4102例例2.1.1 在盒子中放入在盒子中放入n个不同阻值的电阻，个不同阻值的电阻，随机取出一个并猜测阻值，概率空间为随机取出一个并猜测阻值，概率空间为其中其中xi代表阻值为代表阻值为 表示表示取出电阻值为取出电阻值为i 的电阻的概率。假定取出电的电阻的概率。假定取出电阻是等概率的，即阻是等概率的，即 那么被告知取出阻值为那么被告知取出阻值为i的电阻，所获得的的电阻，所获得的信息量为信息量为 103若盒中放入若盒中放入 个不同阻值的电阻，其中阻个不同阻值的电阻，其中阻值为值为1欧姆的欧姆的1个，个，2欧姆的欧姆的2个，个，n欧姆的欧姆的n个。个。概率空间为概率空间为其中其中xi代表阻值为代表阻值为 表示取出电表示取出电阻值为阻值为i 的电阻的概率。那么被告知取出阻值为的电阻的概率。那么被告知取出阻值为i的电阻，所获得的信息量为的电阻，所获得的信息量为 104例例 设在一正方形棋盘上共有设在一正方形棋盘上共有64个方格，如个方格，如果甲将一粒棋子随机地放在棋盘中某方格果甲将一粒棋子随机地放在棋盘中某方格内让乙猜。内让乙猜。（1）将方格按顺序编号，猜测顺序号；）将方格按顺序编号，猜测顺序号；（2）将方格按行和列编号并告知行或列编）将方格按行和列编号并告知行或列编号，猜测位置。号，猜测位置。105解：由于棋子位置是二维等概率分布，故解：由于棋子位置是二维等概率分布，故 （1）在二维联合集）在二维联合集 上的元素上的元素 的自信息量的自信息量为为（2）在二维联合集）在二维联合集 上，元素上，元素 相对相对 的条件的条件自信息量为自信息量为106第三章第三章 信源编码信源编码-离散信源无失真编码离散信源无失真编码3.1 信源的数学模型及其分类信源的数学模型及其分类3.2 离散无记忆信源离散无记忆信源3.3 离散无记忆信源的扩展信源离散无记忆信源的扩展信源3.4 离散平稳信源离散平稳信源1073.1 信源的数学模型及其分类信源的数学模型及其分类3.1.1 信源的数学模型信源的数学模型3.1.2 信源的分类信源的分类1083.1.1 信源的数学模型信源的数学模型(1)离散信源离散信源信源输出的是单个符号或代码的消息，信源符号信源输出的是单个符号或代码的消息，信源符号集的取值是有限的或可数的，可以用一维离散型集的取值是有限的或可数的，可以用一维离散型随机变量来描述，其数学模型是随机变量来描述，其数学模型是1093.1.1 信源的数学模型信源的数学模型(2)连续信源连续信源信源输出的是单个符号或代码的消息，信源符号信源输出的是单个符号或代码的消息，信源符号集的取值是连续的，可以用一维连续型随机变量集的取值是连续的，可以用一维连续型随机变量来描述，其数学模型是来描述，其数学模型是其中其中p(x)为连续随机变量为连续随机变量X的概率密度函数，的概率密度函数，(a,b)为为X的存在域。的存在域。1103.1.1 信源的数学模型信源的数学模型若若N维随机矢量维随机矢量 中中信源的信源的N重概率空间为重概率空间为这个空间共有元素qN个，取决于序列长度N和符号集的符号个数q。1113.1.2 信源的分类信源的分类(1)按照消息取值集合以及取值时刻集合的离散性和连续性，信源可分为数字信源和模拟信源（波形信源）。(2)按照某取值时刻消息的取值集合的离散性和连续性，信源可分为离散信源和离散信源和连续信源连续信源。1123.1.2 信源的分类信源的分类(3)按照信源输出消息所对应的随机序列的按照信源输出消息所对应的随机序列的平稳性，信源可分为平稳性，信源可分为平稳信源和非平稳信平稳信源和非平稳信源。源。(4)按照信源输出的信息所对应的随机序列按照信源输出的信息所对应的随机序列中随机变量前后之间有无统计依赖关系，中随机变量前后之间有无统计依赖关系，信源可分为信源可分为无记忆信源和有记忆信源。无记忆信源和有记忆信源。1133.1.2 信源的分类信源的分类在某些简单情况下，信源发出的一个个符在某些简单情况下，信源发出的一个个符号是彼此统计独立的，并且它们具有相同号是彼此统计独立的，并且它们具有相同的概率分布，则的概率分布，则N维随机矢量的概率分布满维随机矢量