信息论与编码第三章.pptx

第三章 离散信道3.1 信道的数学模型和分类 离散信道：I/O的R、V的取值都是离散的信道；连续信道：入/出R、V的取值都是连续的信道；半散半续：、R、V离散出R、V连续或相反。离散信道，必须确定其主要参数：输入：输出：信道的传输作用：1、主要参数表示法：单符号：多符号：2、信道矩阵表示法：3、图示法：b1 b2 bs b1 b2 bs离散信道分类：A、理想信道：输入输出一一对应，且B、有干扰无记忆信道：或：C、有干扰有记忆信道：例：二进制对称信道；二进制扩展信道。一般离散信道的一些概率关系概率关系 1、输入符号ai,输出符号bj的联合概率前向概率：后向（验）概率2、输出符号bj的概率：3、信宿收列符号bj后，推测输入符号ai的后验概率：由贝叶斯定律 且：先验概率 3.2 信道疑义度及平均互信息3.2.1交互信息量 信息流通的根本问题:通信前后对信道输入ai不确定性消除的量。1.站在信道的输出端观察2.站在信道的输入端观察3、站在通信系统的总体立场观察 通信前：通信后：单位也为：bit(2)；nat(e)；Hart(10)3.2.2后验概率与交互信息量的关系 交互信息量log 后验概率先验概率1、这时 ，为无噪信道。2、，后验概率与先验概率的比值大于1，3、4、，引伸一下，ai和bj统计独立时：且 说明ai和bj之间的约束程度不同，交互信息量也各不相同，所以，即是ai和bj之间交互信息量的测试，也是ai和bj之间统计约束程度的一个体现者。3.2.3 自信息量两种含意 1、自信息量可被理解为要完全消除对 不确定性，唯一确定 所必须获取的最大信息量。2、自信息量可理解为符号bj所能提供的最大信息量。由信息函数确定的自信息量I（x），就是要唯一确定随机事件（符号）x所必须的最大信息量，或者说是随机事件x所能提供的最大信息量。1、取 ,因为无失真信源编码的一一对应性，所以可认为有 收到就意味着确切无误地收到消息a4，完全消除了a4的不确定度，这时码字bj011和消息a4之间的交互信息量，就是消息a4的自信息量，（是确定a4所必须的最大信息量）。2、仍取但取bj为码字“011”中的第一个码符号“0”，因为这时有 ，发消息a4就意味着确切无误地出现bj”0”，这时，从a4中获取关于第一个码符号“0”的信息量就是“0”的自信息量。bit ，I（0）可理解为第一个码符号“0”对a4所能提供的最大信息量。从以上讨论可知，自信息量只不过是交互信息量在后验概率 （或 这一特定情况下的特例，为此，在这里我们要提请注意，交互信息理论才体现出信息理论关于信息测度的完整观点。3.2.4 平均交互信息量 3.2.5 平均交互信息量的物理意义信道疑义度（损失熵）：噪声熵：联合熵（共熵）：H（x y）1、表示收到y前、后关于x的不确定性的消除的量。2、表示发x前、后，关于y的不确定性的消除的量。平均交互信息量就是通信前、后平均不确定度平均交互信息量就是通信前、后平均不确定度的消除的量。的消除的量。3.3 平均互信息的特性1、非负性：2、极值性：3、对称性：4、与各类熵的关系：损失熵 噪声熵5、平均互信息的凸函数性 定理3.1 平均互信息 是输入信源概率分布 的型凸函数。证明：固定信道，即信道的传递概率 是固定的平均互信息 将只是 的函数，简写成 选择信源符号集X的两种已知的概率分布 和 ，对应的联合概率分布为：和 式中：是型凸函数，对上式第一项，根据詹森不等式：=log 同理：得：证毕。匹配信源：，由信道的传递概率所决定。定理3.2：平均互信息 是信道传递概率 的型凸函数。（与定理3.1对偶）总可以找到一个信道，其传递概率为：使平均交互信息量达列极小值。3.4 离散无记忆信道的扩展信道例：二进制对称信道的二次扩展信道矩阵为：无记忆信道的N次扩展信道的平均互信息定理3.3，若信道的输入随机序列为 ，通过信道传输，接收到的随机序列为 ，假如信道是无记忆的，即信道传递概率满足：则存在无记忆N次扩展信道：式中xi和yi是随机序列X和Y中对应的第i位随机变量。证明：设某一输入为 输出为：X和Y的平均互信息：，信道是无记忆的 另一方面：当信源是无记忆时，有：因此上式等号成立。定理3.4：若信道输入随机序列为 ，通过信道传输，接收到的随机序列 ，信道的传递概率为 ，若信源是无记忆的，则存在；3.5串联信道的互信息平均交互信息量：（X，Y）；（X，Z）；（Y，Z）；（XY，Z）；（X，YZ）1、当且仅当时一切 都有 才能使等式成立。2、当且仅当时一切 都有 才能使等式成立。3、当随机序列 构成马氏链时，则有：，当且仅当时一切 都有 才能使等式成立。信息处理定理（数据处理定理、信息不增原理）根据3得出结论：通过串联信道的传输只会丢失信息，且传输中丢失的信息量，不论以后的系统如何处理，只要 不触及到丢失信息过程的输入端，就不能恢复已丢失的信息 数据处理为归并过程，将X的若干个符号组成一组（分类），即：B1UB2UU Bm，Bm=(b1,bs），B1B2Bm=直观地分类数据处理意味着使观察变得粗略，处理结果只能使对X的不确定性减少而不会增加，即信息量减少。任何无源处理过程（不涉及原始信源），总是丢失信息的，最多是保持原有信息不变。3.6 信道容量一、信道容量的定义平均交互信息量的最大值，比特/信道符号或：一般仍称Ct为信道容量。例：二进制对称信道的平均交互信息量：当 时 ，得：信道容量C与信源无关，它只是信道传输p的函数，与信道统计特性有关。二、信道容量的一般计算方法二、信道容量的一般计算方法作一辅助函数：可推得一般情况下的偏导数为：假设使平均交互信息量达到极大值的输入概率分布 即：令：则：由这个C值，可解得对应的输出概率：解出达到容量的最佳输入概率分布：但需满足但需满足 条件条件，否则令某些否则令某些a ai i的概率等于的概率等于0 0，重，重算。算。由式：又由式：对所有ai 结论：一般离散信道的平均交互信息量达到极大值（即等于信道容量）的充分必要条件是输入概率分布 满足：判定定理：或：当信道平均交互信息量达到信道容量时，输入信源当信道平均交互信息量达到信道容量时，输入信源X X的符号集中每一个信源符号的符号集中每一个信源符号aiai对输出端提供的信息量相同，对输出端提供的信息量相同，只是概率为只是概率为0 0的符号除外。的符号除外。三、常见离散信道的信道容量1、离散无噪信道：2、扩展信道：信源等概分布时，具有扩展性能的信道达到信道容量 3、归并信道：4、强对称离散信道：时达到最大值，非唯一 当 时，才有A、输入随机变量等概分布时，信道达到C，同时输出随机变量也等概分布，达最大熵 ；B、后验概率与传递概率相等，；C、信道疑义度（损失熵）与噪声熵相等 即，当达到信道容量时，由“归并”和“扩展”噪声引起的 平均不确定度相等。D、噪声引起的平均不确定度随信道的错误传递概率 的减少而 。最常用到的强对称离散信道是二进制对称离散信道5、对称离散信道对称离散信道：如离散信道的信道矩阵中每一行都是相同符号集 诸元素的不同排列组成，并且每一列也都是由相同符号集 诸元素的不同排列组成，则称为对称离散信道 与强对称离散信道区别：A、强对称离散信道的输入符号数q等于输出符号数s；而对称离散信道的q不一定等于s，不一定是方阵；B、强对称离散信道：行和列是同一集合，此处不一定；C、强对称离散信道的信道矩阵中列和=行和=1，而对称离散信道的中每列之和不一定等于1；D、强对称离散信道矩阵中对角线上的元素都是正确传递概率 ，其它全为错误传递 ，而此处矩阵中虽然每行、每列具有可排列性，但不一定是对称矩阵。3.7 信道容量的迭代计算作辅助函数：同理，作辅助函数：迭代算法的基本公式及步骤如下：A、先假定一组 作为起始值 ，最合理的假定是起始概率分布为等概，将其固定变动得：B、计算C、计算D、计算E、计算 类推，一般有：当迭代次数 时，可证明逼近收敛3.8 信源与信道的匹配 信源与信道达到匹配时信息传输率达到信道容量，否则有剩余，定义：信道剩余度 信道相对剩余度 无损信道相对剩余度 就是第二章的信源剩余度,所以对于无损信道,可以通过信源编码来减少信源的剩余度,信源编码就是将信源输出的消息变换成新信源的消息来传输,使新信源的熵接近于最大熵,使信息传输率达到信道容量,信道剩余度趋于0,使信道得到充分利用。