通信原理教材配套课件－第10章.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第10章 信源编码,1,、主要内容,:,分析信源编码的基本理论和方法；介绍无记忆信源等长编码、不等长编码的方法；阐述无失真信源编码定理（即香农,(Shannon),第一定理）；给出最佳无失真信源编码的具体方法。,2,、基本要求,:,了解信源编码的基本理论和方法，掌握无记忆信源等长编码、不等长编码的方法。理解无失真信源编码定理（即香农,(Shannon),第一定理）。掌握最佳无失真信源编码原理和实现方法。,本章要求,(,参考学时为,6,学时,),信源无失真编码的基本原理,无记忆信源的等长编码,无记忆信源的不等长编码,香农第一定理,香农,(Shannon),最佳编码方法,哈夫曼,(Huffman),最佳编码方法,知识要点,10.1,引言,所谓编码，就是将每个高低不等的电平信号编成一个对应的二进制（或多进制）代码；或是将一种二进制（或多进制）代码按一定的规律和要求变换成另一种二进制（或多进制）代码的过程。,信源编码有三种方法,时域波形编码,频域波形编码,基于模型的编码,离散消息的等长编码,:,不管信源输出的每一条消息的具体特征，编码时均用相同长度的代码组来表示,.,离散消息的不等长编码,针对信源输出的每一条消息，较重要的消息用较长的代码组来表示，而不太重要的消息则用较短的代码组来表示，这样对于离散信源所生成的代码组集合则是不等长的。,10.2,信源的无失真编码原理,10.2.1,信源无失真编码的基本原理,无失真信源编码器,离散消息集合,输出代码组集合,信道基本符号集合,图,10.2-1,离散信源无失真编码原理图,10.2.2,信源编码的速率,设离散信源输出的消息为,K,重符号序列消息，信源编码器采用,D,进制信道基本符号对离散消息进行编码，生成的,D,进制代码组的长度为,N,，则信源编码速率定义为：,bit/,符号,对于离散消息的不等长编码,式中,其中：,M,为,K,重符号序列消息的总数，,pi,为第,i,条,K,重符号序列消息出现的概率，,Ni,为第,i,条消息被编成,D,进制代码组后的长度，即码元个数。,bit/,符号,码元,/,消息,当 时,它表示当用二进制码对,K,重符号序列消息编码时，,K,重符号序列中每一个符号所对应的二进制码元个数，即,bit,数。,bit/,符号,10.2.3,信源编码的效率,信源编码效率定义为,对于离散消息的不等长编码,当,K,1,，,D=2,时，即信源发单符号消息，且用二进制对其进行编码时,:,10.2.4,无记忆信源的等长编码,设离散无记忆信源含有,M,个符号，且每次发,K,重符号序列来代表一条消息，而且是,D,进制的，信源编码器的输出的代码组长度为,N,等长编码,，则需满足：,当,D=2,K=1,时,:,即离散无记忆单符号信源输出的消息,被编成二进制代码组后，代码组的长度（二进制比特数）必须不小于单符号信源的最大熵。,码元,/,符号,10.2.5,无记忆信源的不等长编码,不等长代码组平均长度的取值范围,:,10.3,最佳无失真信源编码方法,10.3.1,香农第一定理,设离散无记忆信源共有,M,个符号，信源发,K,重符号序列消息，则,K,重符号序列消息的总数为,M,K,。又设信源发出的第,i,条,K,重符号序列消息的概率为,pi,，经过信源编码器后所生成的代码组的长度为,Ni,，则所有,K,重符号序列消息对应的代码组的平均长度为,码元,当符号序列消息中的符号个数不断增加时，有下式成立：,10.3.2,香农,(Shannon),最佳编码方法,香农最佳编码方法步骤：,1.,把信源发出的,M,个消息按其出现概率,pi,从大到小进行排列。,2.,对每一条消息，用下式求其对应的二进制代码组长度。即：,3.,求每一条消息对应的累加概率，即,:,4.,将累加概率值,pi,转换成相应的二进制小数值，并取小数点后,Ni,位做为第,i,条消息对应的二进制代码组。,10.3.3,哈夫曼,(Huffman),最佳编码方法,哈夫曼最佳编码方法五个步骤,:,1.,把信源发出的,M,个消息按其出现概率从大到小排列。,2.,把概率最小的两个消息分别编成“,1”,和“,0”,码元，并求其概率和。,4.,把上述的概率和做为一个新消息的概率，再与剩余的其它消息按概率递减顺序排列。,5.,重复以上步骤,(2),和,(3),直到两消息的概率和为,1,。,6.,沿每条消息编码方向线的反方向依次取下所编出的码元，构成该消息对应的二进制代码组。,Ch10 E N D,