限失真信源编码定理和多用户信息论学习教案.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,*,单击此处编辑母版标题样式,会计学,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,会计学,1,限失真(sh zhn)信源编码定理和多用户信息论,第一页，共25页。,要求在保证一定质量（保真度）地条件下近似地再现原来的信息，也就是允许有一定的错误存在，这就是信息压缩。在允许一定的失真条件下，能够把信源信息压缩到什么程度，即最少需要多少比特数才能描述信源，也就是在允许一定程度失真条件下，如何快速地传递消息？这就是信息率失真理论研究的问题。它是量化、数模转换、频带压缩和数据压缩的理论基础(jch)。,信息率失真函数R(D)就是在允许一定的失真度D的条件下最小的信息传输率。限失真信源编码定理（香农第三定理）就是说：只要信息率 R 大于 R(D)，就一定存在一种编码，以使译码后的失真小于 D。,第1页/共24页,第二页，共25页。,1、失真(sh zhn)函数（失真(sh zhn)度）,设离散(lsn)无记忆信源，信源变量,通过信道传送(chun sn)到接收端的接受变量,对于每一对（,u，v,），,定义,单符号失真度,为,共有,r s,个，为失真矩阵,第2页/共24页,第三页，共25页。,我们(w men)可以定义：,信源,信源,编码(bin m),信道(xn do),编码,信源,编码,信道,译码,信道,信宿,干扰,广义干扰信道,v,u,第3页/共24页,第四页，共25页。,平均(pngjn)失真,因为 都是随机量，则平均失真:（对应(duyng)变量之间的）,第4页/共24页,第五页，共25页。,设有信源输出(shch)离散随机变量序列,令译码输出(shch)为,序列(xli)的失真度为：,平均失真为：,第5页/共24页,第六页，共25页。,信道与信源都是无记忆(jy)的情况：,保真度准则(zhnz)：对于允许的失真 D,第6页/共24页,第七页，共25页。,因为信源特性和单个符号的失真(sh zhn)函数为已知，编码,不同相当于 不同。有失真(sh zhn)信源编码问题就是从,满足 的所有编码方式或所有 中选择,一种使信息率为最小。用 表示满足条件的 全,体，信息率失真(sh zhn)函数R(D)为,2、信息率失真(sh zhn)函数,如果我们要求(yoqi)平均失真小于某个定值D，即,它表示在 下信源必须传输的最小平均信息量。,第7页/共24页,第八页，共25页。,R(D),Dmax,H(X),D,离散(lsn)源,连续(linx)源,R(D)的性质(xngzh)：,信息率失真函数理论属于信源编码问题：,试验信道,R(D),的计算：求极值。,是,D,的单调减函数。,拉格朗日算子法,第8页/共24页,第九页，共25页。,92 限失真信源编码(bin m)定理,离散无记忆(jy)信源的限失真编码定理(香农第三定理):,若一离散无记忆(jy)平稳信源的率失真函数是R(D)，则当信息率R R(D)时，只要信源序列长度L足够长，一定存在一种编码方式C，其译码失真小于或等于D，为任意小的正数。反之，若R R(D)，则无论用什么编码方式，其译码失真必大于D。,（失真(sh zhn)典型序列）,限失真信源编码方法：预测法、变换法、,第9页/共24页,第十页，共25页。,第10页/共24页,第十一页，共25页。,93 相关信源编码(bin m),多用户信息论（网络信息论）：,当信息系统涉及(shj)三个或更多个用户时构成的通信系统。,前面(qin mian)研究的是只有一个信源和一个信宿的单向通信的单用户通信系统。随着空间通信、通信网和计算机网的发展，信息论的研究已从单用户通信系统发展到网络通信系统。,第11页/共24页,第十二页，共25页。,实际通信系统例如电话交换网、广播网、计算机网等都是网络(wnglu)通信系统。该系统的输入端涉及到两个或两个以上的信源，或者输出端涉及到两个或两个以上的信宿（终端或用户）。随着互联网、卫星通信、光纤通信、移动通信的发展，通信范围越来越大。这些通信网都是复杂的信息流通系统，信息是在众多用户和方向中流通的。怎样在这些网络(wnglu)通信中有效和可靠的传递信息，就是网络(wnglu)信息论（多用户信息论）所研究的问题。,IEEE Transaction on Information Theory,第12页/共24页,第十三页，共25页。,边信息(xnx)：提供给 ，或者 提供 给的信息(xnx)。,相关信源独立编码定理：,对于任意离散无记忆信源，所有的可达速率(sl)对满足,信源,1,信源,2,信源编码器,1,信源编码器,2,译,码,器,U,1,l,U,2,l,R,1,R,2,U,1,l,U,2,l,第13页/共24页,第十四页，共25页。,也就是一种(y zhn)互信息。已知 时已经提供了一些关于,的信息，因此只要获得大于 的信息量,就可以完全确定 。是疑义度，已知,后关于 的剩余信息量，所以边信息就是互信息。,只不过原来用于编码器、信道的输入输出，现在用,于并行处理。,第14页/共24页,第十五页，共25页。,R,2,H(S,2,),H(S,1,S,2,),可达速率(sl)域R,R,1,+R,2,=H(S,1,S,2,),R,1,H(S,2,|S,1,),H(S,1,|S,2,),H(S,1,),H(S,1,S,2,),第15页/共24页,第十六页，共25页。,94 多址接入信道(xn do)和广播信道(xn do),多址接入信道就是多个不同信源的信息经过几个编码器后送入同一个信道传送，收端仅仅由一个译码器译出不同信源的信息，送给不同的信宿。从信道来看，它是多输入(shr)单输出信道。,广播信道就是有一个发端和多个(du)收端的信道。,第16页/共24页,第十七页，共25页。,译码器,信道(xn do),X,2,X,M,X,1,Y,信源,1,信源,2,信源,3,编码器,2,编码器,1,编码器,3,U,1,U,2,U,M,U,2,U,1,U,M,多址接入信道(xn do),卫星通信的上行(shngxng)线路,第17页/共24页,第十八页，共25页。,信,道,信源,1,信源,2,信源,3,U,1,U,2,U,M,编码器,X,译码器,1,译码器,1,译码器,1,Y,2,Y,M,Y,1,U,2,U,1,U,M,广播(gungb)信道,卫星通信的下行(xixng)线路,第18页/共24页,第十九页，共25页。,信源,1,信源,2,编码器,1,编码器,2,信源,M,编码器,M,信 道,译码器,T,译码器,2,译码器,1,X,1,X,2,U,11,U,12,U,21,U,22,多用户通信网,第19页/共24页,第二十页，共25页。,信源,1,信源,2,编码器,2,编码器,1,信 道,译码器,U,1,U,2,X,1,X,2,Y,定理：具有两个发射端,的多址接入信道的容量区域，,由满足(mnz)下述的范围给定：,第20页/共24页,第二十一页，共25页。,R,2,I(X,2,;Y|X,1,),R,1,I(X,1,X,2,;Y),I(X,1,X,2,;Y),I(X,1,;Y),I(X,2,;Y),I(X,1,;Y|X,2,),容量(rngling)区,第21页/共24页,第二十二页，共25页。,信源,1,信源,2,译码器,2,编,码,器,信,道,译码器,1,U,1,U,2,X,Y,2,Y,1,信宿(xn xi)2,信宿(xn xi)1,对于一般离散无记忆广播信道，尚无成熟的结论，,只对一些特殊(tsh)条件下给出了容量区。,第22页/共24页,第二十三页，共25页。,第九讲 限失真信源编码(bin m)定理,与多用户信息论,结 束,第23页/共24页,第二十四页，共25页。,内容(nirng)总结,会计学。它是量化、数模转换、频带压缩和数据压缩的理论基础。离散无记忆信源的限失真编码定理(香农第三定理):。限失真信源编码方法：预测法、变换法、。多用户信息论（网络信息论）：。随着空间通信、通信网和计算机网的发展，信息论的研究已从单用户通信系统发展到网络通信系统。实际(shj)通信系统例如电话交换网、广播网、计算机网等都是网络通信系统。随着互联网、卫星通信、光纤通信、移动通信的发展，通信范围越来越大。与多用户信息论,第二十五页，共25页。,