信道—信源编码定理.pptx

通用通信系统其中：编码器包括信源编码和信道编码两个部分；译码器包括信道译码和信源译码两个部分；信道为有噪信道。信道编码给定信道输入符号集AX；给定信道输出符号集AY；对每个输入符号x，存在一个非负实数b(x)，为传输x的代价。定义n阶容量代价函数：信道的容量代价函数：信道编码定理（香农第二定理）：一般来说，抗干扰能与信息传输率二者相互矛盾。然而编码定理已从理论上证明，至少存在某种最佳的编码能够解决上述矛盾，做到既可靠又有效地传输信息。信源虽然多种多样，但无论是哪种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源存在冗余度。信源编码的目的就是要减少冗余，提高编码效率。信源编码信源编码给定信源符号集AU；信宿符号集AV；失真测度d(u,v)；K阶率失真函数：信源的率失真函数：信源编码定理（香农第三定理）香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在一下两方面的问题：1、符合实际信源的R(D)函数的计算相当困难。1）需要对实际信源的统计特性有确切的描述2）需要对符合主客观实际的失真给予正确的描述3）即使满足了前两条，R(D)的计算也比较困难2、即使求得很好的R(D)函数，还需要研究采取何种编码方法才能达到极限值R(D)。例：要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H=1。若允许失真存在，并定义失真函数为汉明失真，即可以设想这样一种信源编码：无噪无损信道传输这种编码方法，可以看成是一种特殊的试验信道 信息率为1/3，而平均失真为1/4，根据香农第三定理，若允许失真D=1/4时，总可以找到一种编码，使信息输出率达到极限R(1/4)信源信源信道匹配信道匹配当信源与信道相连接时，其信息传输率并未当信源与信道相连接时，其信息传输率并未达到最大达到最大.希望能使信息传输率越大越好，能达到或尽希望能使信息传输率越大越好，能达到或尽可能接近于信道容量可能接近于信道容量,信息传输率接近于信道信息传输率接近于信道容量只有在信源取最佳分布时才能实现。容量只有在信源取最佳分布时才能实现。由此可见，由此可见，当信道确定后，信道的信息传输当信道确定后，信道的信息传输率与信源分布是密切相关的率与信源分布是密切相关的。当达到信道容。当达到信道容量时，我们称量时，我们称信源与信道达到匹配，否则认，否则认为信道有剩余。为信道有剩余。信道剩余度定义为：信道剩余度定义为：信道剩余度定义为：信道剩余度定义为：信道剩余度信道剩余度信道剩余度信道剩余度 =相对信道剩余度相对信道剩余度相对信道剩余度相对信道剩余度 =表示信道的信道容量和实际传信率之差。表示信道的信道容量和实际传信率之差。表示信道的信道容量和实际传信率之差。表示信道的信道容量和实际传信率之差。相对信道剩余度相对信道剩余度相对信道剩余度相对信道剩余度可以用来衡量信道利用率的高低。可以用来衡量信道利用率的高低。可以用来衡量信道利用率的高低。可以用来衡量信道利用率的高低。在无损在无损在无损在无损信信信信道中，道中，道中，道中，信信信信道容量道容量道容量道容量 C Cloglogr r (r(r是信道输入符号数是信道输入符号数是信道输入符号数是信道输入符号数)。而而而而I I(X X;Y Y)H(XH(X)，因而，因而，因而，因而：无损无损无损无损信信信信道道道道的相对的相对的相对的相对剩余度剩余度剩余度剩余度 =上式说明提高无损信道信息传输率就等于减少信源的剩余上式说明提高无损信道信息传输率就等于减少信源的剩余上式说明提高无损信道信息传输率就等于减少信源的剩余上式说明提高无损信道信息传输率就等于减少信源的剩余度。度。度。度。对于无损信道，可以通过信源编码、减少信源的剩余度，对于无损信道，可以通过信源编码、减少信源的剩余度，对于无损信道，可以通过信源编码、减少信源的剩余度，对于无损信道，可以通过信源编码、减少信源的剩余度，使信息传输率达到信道容量。使信息传输率达到信道容量。使信息传输率达到信道容量。使信息传输率达到信道容量。引入问题引入问题引入问题引入问题：在一般通信系统中，如何将信源发出的消息：在一般通信系统中，如何将信源发出的消息：在一般通信系统中，如何将信源发出的消息：在一般通信系统中，如何将信源发出的消息(符符符符号号号号)转换成适合信道传输的符号转换成适合信道传输的符号转换成适合信道传输的符号转换成适合信道传输的符号(信号信号信号信号)从而达到信源与信道的从而达到信源与信道的从而达到信源与信道的从而达到信源与信道的匹配。匹配。匹配。匹配。例例例例 某离散无记忆信源通过一个无噪无损二元离散信道进行传输。对二元离散信道的信道容量为：C1(比特信道符号)对本信源的信息熵为 H(X)1.937(比特信源符号)要使信源在此二元信道中传输，必须对X进行二元编码：因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。对于码(比特信道符号)对于码(比特信道符号)信道信源编码定理 从香农第一、第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分，首先通过信源编码，用尽可能少的信道符号来表达信源，尽可能减少编码后信源的数据的剩余率，然后针对信道，对信源编码后的数据独立的进行信道编码，适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰。定理7.3（信息传输定理）离散无记忆信源的S的信息率失真函数为R(D)，离散无记忆信道的信道容量C，若满足 R(D)C 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出 个信源符号，离散无记忆信道的信道容量C，每秒输出 个信道符号，若满足 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。