电工胶布使用方法.ppt

*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,信息论与编码基础,离散信道,东莞电工培训,BSC,信道,BSC(p),信道,是实际中几乎所有重要的二进制脉冲传输系统的模型,p,为交叉,(crossover),概率,等于解调器,/,检测器出现硬判决译码错,误的概率,信息论与编码基础,离散信道,1,）条件转移概率,2,）转移矩阵,3,）转移概率图,3,、单符号离散信道,X,Y,0,1,0,1,p,p,1-p,1-p,X,Y,a,0,a,r,b,0,b,s,P(b,j,|a,i,),信息论与编码基础,离散信道,一定比例的,bit,被删,除，并且接收者知,道是那些,bit,已经被,删除。,例,2,二进制删除信道,3,、单符号离散信道,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,互信息,自信息,条件自信息,由于条件引入获得的信息量,1,）对称性,I(,a,i,;,b,j,)=I(,b,j,;,a,i,),2,）事件统计独立时,I(,a,i,;,b,j,)=0,3,）可正、可负,4,）,I(,a,i,;,b,j,),I(,a,i,),信息论与编码基础,绪论,练习,：,令随机变量,x,表示随机抽取人群中的性别，,x,0,为男性，,x,1,为女性。随机变量,y,表示随机抽取人是否抽烟，,y,0,表示抽烟，,y,1,表示不抽烟。,（,1,）若（,x,，,y,）的联合概率分布如表,1,1,所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。,（,2,）若（,x,，,y,）的联合概率分布如表,1,2,所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。,信息论与编码基础,离散信道,1,、信道疑义度,先验熵,后验熵,若信道中存在干扰时,信道疑义度,0,H(X|Y),H(X),损失熵,信息论与编码基础,离散信道,2,、平均互信息,定义,3.2,令,为信道输入,X,与输出,Y,之间的,平均互信息,接收到每个输出符号后获得的关于,X,的平均信息量,bit/sign,互信息,思考题,设,8,个等概分布的消息通过传递概率为,p,的,BSC,进行传送。,8,个消息相应编成下述码字：,试问,1,）接收到第一个数字,0,与,M1,之间的互信息。,2,）接收到第二个数字也是,0,时，得到多少关于,关于,M1,的附加互信息。,3,）接收到第三个数字仍是,0,时，又增加多少关于,M1,的互信息。,4,）接收到第四个数字仍是,0,时，再增加多少关于,M1,的互信息。,信息论与编码基础,离散信道,思考题,令,X,Y1,Y2,为二进制随机变量，,1,）如果,I(X;Y1)=0,且,I(X;Y2)=0,可否推出,I(X;Y1,Y2)=0?,试举例说明。,3,）如果,I(X;Y1)=0,且,I(X;Y2)=0,，是否可推出,I(Y1;Y2)=0?,请说明。,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,平均互信息,接收到每个输出,符号后获得的关,于,X,的平均信息量,信息传输率,R,bit/sign,信息论与编码基础,离散信道,1,、非负性,利用詹森不等式,信源,加密,信道,解密,信宿,密钥源,全损信道,信息论与编码基础,离散信道,2,、极值性,接收者通过信道获得的信息量不可,能超过信源本身固有的信息量。,0I,(X;Y),H(X),3,、对称性,信息论与编码基础,离散信道,发出,X,后获得的关,于,Y,的平均信息量,4,、与各类熵的关系,信息论与编码基础,离散信道,损失熵,噪声熵,散布度：表示信道输入信号由于干扰作用,在输出端表现的散布范围。,H(X|Y),H(Y|X),I(X;Y),H(XY),H(X),H(Y),信息论与编码基础,离散信道,5,、,的凸函数性,于是,信息论与编码基础,离散信道,例,1,设二元对称信道的输入概率空间为,其信道特性如图，求平均互信息。,定理,3.1,在信道转移概率,给定的条件下，平均互信息,是输入信源概率分布,的,型凸函数。,X,Y,0,1,0,1,p,p,1-p,1-p,0,0.5,1,I,(X;Y),1-H(p),0,0.5,1,H,(,),1,信源熵,信息论与编码基础,离散信道,定理,3.2,在输入信源概率分布,给定的条件下，平均互信息,是信道转移概率分布,的,型凸函数。,例,1,（续）,当,p,=0,时,当,p,=1,时,当,p,=1/2,时,0,0.5,1,p,I,(X;Y),H(,),信息论与编码基础,离散信道,思考题,假定马尔科夫链,(,非平稳,),起始于,n,个状态中的一个，然后,第二步受到限制，只能转移到,k,个状态之一,(,k,k,),。于是有,其中,且,1,）试说明,X,1,和,X,3,之间的依赖性受到,X,2,的瓶颈效应影响，,即,I(X,1,;X,3,),log,k,。,2,）试估计当,k,=1,时,I(X,1,;X,3,),的值，并进行瓶颈效应分析。,信息论与编码基础,离散信道,一、信道的数学模型与分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,1,、信道模型,信道,信道,离散无记忆,N,次扩展信道模型,信道转移矩阵,其中,信息论与编码基础,离散信道,1,、信道模型,BSC,的二次扩展信道,信息论与编码基础,离散信道,2,、平均互信息,a),定义,bit/N-sign,b),性质,引理,3.1,设信道的输入输出分别为,，其中,，则：,仅当信道无记忆时等式成立。,信息论与编码基础,离散信道,2,、平均互信息,信息论与编码基础,离散信道,2,、平均互信息,b),性质,仅当,时成立,信息论与编码基础,离散信道,定理,3.1,对于离散无记忆信道，有,2,、平均互信息,证明：,b),性质,信息论与编码基础,离散信道,例,1,DMC,的输入为,，输出为,且有,。其中,X,的熵为,H,计算,和,信息论与编码基础,离散信道,定理,3.2,对于无记忆信源，则,2,、平均互信息,b),性质,证明：,仅当,时成立,信息论与编码基础,离散信道,例,设无记忆信源,X,的熵为,H,，,X,的,5,次扩展源为,信道为如下面矩阵所示的置换信道,1,2,3,4,5,3,2,5,1,4,计算,信息论与编码基础,离散信道,总结：,1,）当信源无记忆时,2,）当信道无记忆时,3,）当信源、信道均无记忆时,信息论与编码基础,离散信道,D Q,D Q,D Q,a,(,t,),b,0,b,1,b,2,思考题,假定某信源的符号集为,A=0,1,，其中,p,0,=,p,1,=0.5,，则,H(A)=1,。令编码器,C,的符号集为,B=0,1,7,，并且假定,B,中的元素采用二进制形式表示,(,b,2,b,1,b,0,),。如果输入序列为,a,(,t,)=101001011000001100111011,并且寄存器的初始值为,b,=5(=101),，求输出序列。,如果将该编码器看成一个信道，请讨论该信道的转移特性及平均互信息。,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,平均互信息,I(X;Y),代表了接收到每个输出符号后获,得的关于,X,的平均信息量，又叫做信道的信息传输率。,I(X;Y)能说明一个信道的好、坏吗？,定理,3.1,在信道转移概率,给定的条件下，平均互信息,是输入信源概率分布,的,型凸函数。,信息论与编码基础,离散信道,1,、定义,一个平稳离散无记忆信道的容量,C,为输入与输出平均,互信息,的最大值。,说明：,bit/sign,1,）信道给定后，,p(y|x),就固定，,C,仅与,p(y|x),有关，而与,P(x),无关,2,）,C,是信道传输的最大信息率。,C,t,=C/t,bit/s,信息论与编码基础,离散信道,2,、简单离散信道的信道容量,信道,a,、无噪无损信道,信息论与编码基础,离散信道,b,、有噪无损信道,2,、简单离散信道的信道容量,信息论与编码基础,离散信道,c,、有损无噪信道,2,、简单离散信道的信道容量,信息论与编码基础,离散信道,总结：,1,）若严格区分，凡损失熵等于,0,的信道称为无损信道；,凡噪声熵等于,0,的信道称为无噪信道。,2,）无损信道,3,）无噪信道,2,、简单离散信道的信道容量,信息论与编码基础,离散信道,例,求,BEC,的信道容量,信息论与编码基础,离散信道,3,、对称信道的信道容量,？,信息论与编码基础,离散信道,3,、对称信道的信道容量,？,信息论与编码基础,离散信道,例,1,强对称信道,信息论与编码基础,离散信道,4,、离散无记忆,N,次扩展信道的信道容量,达到的条件：只有当信源无记忆时，每一输入变量,X,i,的分布,P(x),各自达到最佳分布时。,信息论与编码基础,离散信道,有噪声的打字机信道,考虑,26,个键的打字机,1,）如果每敲击一个键，它就准确地输出相应的字符，,那么该容量,C,是多少？,2,）如果假设敲击一个键都会导致输出该键对应的字母,或者下一个字母等概率出现，即敲,A,可能输出,A,或,B,，,敲,Z,可能输出,Z,或,A,。那么此时的容量如何？,信息论与编码基础,离散信道,附：香农信道容量公式,1,、连续消息的信息度量,连续信源的可能取值数是无限多个，若设取值是等概,率分布，那么，信源的不确定为无限大。,连续信源的熵,1,）与离散信源的熵在形式上统一；,2,）实际问题中常常讨论熵之间差值问题。,差熵,高斯分布情况,信息论与编码基础,离散信道,2,、高斯信道的信道容量,附：香农信道容量公式,I(X;Y)=h(,Y,)h(,Y,|,X,)=h(,Y,)-h(,n,),x,i,y,i,z,i,x,i,:,样值，正态分布,y,i,:,样值，正态分布,y,i,=,x,i,+,z,i,:,正态分布,x,i,、,z,i,统计独立,高斯信道,通信模型,2,、高斯信道的信道容量,附：香农信道容量公式,信息论与编码基础,离散信道,信道的输出功率为,E,y,2,=E(,x,+,z,),2,=E,x,2,+0+E,z,2,=S+N,根据最大熵定理,平均功率受限条件下信源的最大熵定理,若某信源输出信号的平均功率和均值被限定，则当,其输出信号幅度的概率密度函数,p,(,x,),是高斯分布时，,信源达到最大熵值。,有,信息论与编码基础,离散信道,附：香农信道容量公式,3,、带限信道的信道容量,对于带限信号，采样定理指出，若信号的有效带宽为,B,，采样频率为,f,s,，则当,f,s,2B,时，样值序列能够保留,原连续信号全部的频谱特征，或者说全部的信息量。,香农公式,信息论与编码基础,离散信道,附：香农信道容量公式,4,、香农公式的意义,信噪比,1,）信道容量与所传输信号的有效带宽成正比，信号的,有效带宽越宽，信道容量越大,2,）信道容量与信道信噪比有关，信噪比越大，信道容量,越大，其制约规律呈对数关系,3,）当信道上的信噪比小于,1,时，信道容量并不等于,0,，这,说明此时信道仍具有传输信息的能力,4,）信道容量,C,、有效带宽,B,和信噪比,S/N,可以相互起补偿,作用，即可以互换。,C,不变，,B,增加，,S,减小，,扩频通信,C,不变，,B,减小，,S,增加，,多相位调制,信息论与编码基础,离散信道,附：香农信道容量公式,4,、香农公式的意义,是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或在任意低的信噪比情况下仍能实现可靠通信呢？,信号有效带宽与发射功率互换的有效性问题。信道容量往往是,给定的，这时可以根据信道特性来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。,信息论与编码基础,离散信道,附：香农信道容量公式,5,、香农限,在信道带宽不受限的情况下,若,B,趋近于,，且,R,t,趋近于,C,，则,在带宽不受限的高斯白噪声信道中，只要每赫兹频带传输一比特信息的信噪比不低于,-1.6,dB,，通过最佳信道编码，就有可能实现无差错的传输！这是高斯信道中传输信息的极限能力，称为,香农限！,信息论与编码基础,离散信道,1,）在图片传输中，每帧约为,2.2510,6,个像素，为了能很,好地重现图像，需分,16,个亮度电平，并假设亮度电平等概,率分布。试计算每秒钟传送,30,帧图片所需信道的带宽（信,噪功率比为,30dB,）。,练习,2,）设在平均功率受限高斯可加波形信道中，信道带宽为,3kHz,，又设（信号功率,+,噪声功率）,/,噪声功率,=10dB,。,试计算该信道传送的最大信息率（单位时间）。,若功率信噪比降为,5dB,，要达到相同的最大信息传,输率，信道带宽应是多少。,信息论与编码基础,离散信道,一、信道的数学模型与分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展性道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,当信源与信道连接时，若信息传输率达到信道容量，则称,此信源与信道达到匹配，否则，认为信道有剩余。,信道 剩余,信源剩余度,信道剩余度,信息论与编码基础,离散信道,例，某离散无记忆信源,H(S)=1.937(bit/,信源符号,),C1:000 001 010 011 100 101,C2:0000 0001 0010 0011 0100 0101,R1=H(S)/3=0.646(bit/,信道符号,),R2=H(S)/4=0.484(bit/,信道符号,),C=1(bit/,信道符号,),信息论与编码基础,离散信道,作业,P56,：,1,、,5,、,9,、,10,思考题,令,X,Y1,Y2,为二进制随机变量，,1,）如果,I(X;Y1)=0,且,I(X;Y2)=0,可否推出,I(X;Y1,Y2)=0?,试举例说明。,信息论与编码基础,离散信道,i=0,1,2,z,k,为随机变量,X=Y1 XOR Y2,2,）如果,I(X;Y1)=0,且,I(X;Y2)=0,，是否可推出,I(Y1;Y2)=0?,请说明。,令,Y1=Y2,I(Y1;Y2)=1,信息论与编码基础,离散信道,思考题,