信源编码和率失真理论.pptx

北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT1内容提要内容提要Outlinen信源编码定理信源编码定理n信源压缩方法信源压缩方法n图像冗余图像冗余n率失真理论率失真理论n无记忆信源的率失真理论无记忆信源的率失真理论n有记忆信源的率失真理论有记忆信源的率失真理论 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT2信源信源编码编码信源信源信道信道编码编码调制调制信道信道解调解调噪声噪声干扰干扰信道信道解码解码信源信源解码解码信宿信宿二进制符号二进制符号用用二二进进制制符符号号流表示信源流表示信源适适应应传传输输信信道的特性道的特性数字传输系统数字传输系统 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT3n信信源源的的原原始始信信号号绝绝大大多多数数是是模模拟拟信信号号，因因此此，信信源源编编码码的的第一个任务是模拟和数字的变换，即：第一个任务是模拟和数字的变换，即：A/D、D/A。取样频率取决于原始信号的带宽：取样频率取决于原始信号的带宽：fc=2 w，w为信号带宽为信号带宽取样点的比特数决定编解码后的信号质量：取样点的比特数决定编解码后的信号质量：SNR6 L(dB)，L为量化位数为量化位数n但但是是，由由于于传传输输信信道道带带宽宽的的限限制制，又又由由于于原原始始信信源源的的信信号号具具有有很很强强的的相相关关性性，则则信信源源编编码码不不是是简简单单的的A/D、D/A，而而是是要要进进行行压压缩缩。为为通通信信传传输输而而进进行行的的信信源源编编码码，主主要要是是压压缩编码缩编码。n信源编码要考虑的因素：信源编码要考虑的因素：信源的统计特性。信源的统计特性。传输信道引入的损伤，如误码。传输信道引入的损伤，如误码。信宿的质量要求。信宿的质量要求。数字传输系统概述数字传输系统概述 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT4n信源编码定理：信源编码定理：对对于于给给定定的的失失真真率率D，总总可可以以找找到到一一种种信信源源编编码码方方法法，只只要要信信源源速速率率R大大于率失真于率失真R(D)，就可以在平均失真任意接近，就可以在平均失真任意接近D的条件下实现波形重建。的条件下实现波形重建。说明说明1：R(D)称为率失真函数，它是单调非增函数，速率越高，平均失真越小。称为率失真函数，它是单调非增函数，速率越高，平均失真越小。说明说明2：为了保证在一定速率下的失真，必需采用信源编码，因而会引入编码延时。：为了保证在一定速率下的失真，必需采用信源编码，因而会引入编码延时。n信道编码定理：信道编码定理：如如果果信信源源速速率率R小小于于信信道道容容量量C，总总可可以以找找到到一一种种信信道道编编码码方方法法，使使得得信信源信息可以在有噪声信道上进行无差错传输，即：源信息可以在有噪声信道上进行无差错传输，即：R C，无差错传输条件。，无差错传输条件。说明说明1：信道容量：信道容量C是根据仙侬定理得到的是根据仙侬定理得到的CW log2(1+S/N)说明说明2：为了保证无差错传输，必需采用信道编码，因而会引入编码延时。：为了保证无差错传输，必需采用信道编码，因而会引入编码延时。数字传输系统信源和信道编码数字传输系统信源和信道编码 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT5n信息传输定理：信息传输定理：将将信信源源编编码码定定理理和和信信道道编编码码定定理理综综合合，就就得得到到信信息息传传输输定定理理。即即：为为保保证证无无差差错错传传输输及及失失真真度度，必需满足：必需满足R(D)RC，即，即C R(D)。说说明明1：在在一一般般数数字字通通信信系系统统中中，信信源源编编码码和和信信道道编编码码可可以以分分开开考考虑虑。信信道道编编码码定定理理给给出出无无差差错错的的速速率率上上限限RC，否否则则产产生生误误码码；信信源源编编码码定定理理给给出出无无失失真真的的速速率率下下限限R(D)R(D)，只只要要信信源源序序列列长长度度足足够够长长，一一定定存存在在一一种种编编码码方方式式，其其解解码码失失真真D+，为任意小的正数。为任意小的正数。n逆逆定定理理：当当码码率率RDmax时时，R（D）=0。即即Dmax为所有满足为所有满足R(D)=0的的D 中最小值，即中最小值，即选择几个选择几个 b bk k ，使其失真，使其失真 d dk k 最小者即为最小者即为 D Dmax max。DmaxH(X)DR(D)0 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT38率失真函数的性质：定义域率失真函数的性质：定义域nDmax的计算的计算 R(D)0就就是是I(X;Y)0，这这时时编编码码器器的的输输入入与与输输出出是是互互相相独独立立的的，所以条件概率所以条件概率Q(bk|aj)与与aj无关。即无关。即此时平均失真为此时平均失真为求出满足条件求出满足条件的的D 中的最小值，即中的最小值，即 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT39率失真函数的性质：定义域率失真函数的性质：定义域从上式观察可得：在从上式观察可得：在k=1,2,3,n中，可找到使中，可找到使值值最最小小的的k，当当该该k 对对应应的的Q(bk)=1，而而其其余余Q(bk)为为零零时时，上式右边达到最小，这时上式可简化成上式右边达到最小，这时上式可简化成 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT40例例题题：设设输输入入输输出出符符号号表表为为X=Y0,1，输输入入概概率率分分布为布为n失真矩阵为失真矩阵为则当则当Dmin=0时，时，比比特特/符符号号，这这时时信信源源编编码码器器无无失失真真，所所以以该该编编码码器器的的条条件件概率为概率为率失真函数的性质：定义域率失真函数的性质：定义域 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT41n当当R(Dmax)=0时，时，此时输出符号概率此时输出符号概率所以这时的编码器的条件概率为所以这时的编码器的条件概率为率失真函数的性质：定义域率失真函数的性质：定义域对应 k=2，此时 Q(b2)=1,其他Q(bk)为0 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT42率失真函数的性质：函数值率失真函数的性质：函数值在在定定义义域域DminDDmax内内，R(D)是是正正的的、连连续续的的下下凸凸函函数（单调递减）。数（单调递减）。容许的失真度越大，所要求的码率越小。容许的失真度越大，所要求的码率越小。反之亦然。反之亦然。H(X)：信源的熵：信源的熵R(0)：刚刚察觉质量失真时的码率：刚刚察觉质量失真时的码率DR(D)DmaxH(X)R(0)H(X)DR(D)0 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT43无记忆高斯信源的率失真函数无记忆高斯信源的率失真函数n信源：信源：0均值、方差为均值、方差为2的高斯分布的高斯分布n失真函数（平方误差）：失真函数（平方误差）：d(x,y)=(x-y)2n失真限制（均方误差）：失真限制（均方误差）：E(X-Y)2Dn方法：方法：找到互信息找到互信息I(X;Y)的下界的下界证明该下界是可以实现的证明该下界是可以实现的n互信息：互信息：微分熵：微分熵：北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT44无记忆高斯信源的率失真函数无记忆高斯信源的率失真函数n最小化互信息最小化互信息I(X;Y)h(X)h(X-Y)可最大化可最大化h(X-Y)当当(X-Y)为高斯分布时，熵最大。为高斯分布时，熵最大。而失真限制为而失真限制为E(X-Y)2Dn所所以以当当h(X-Y)是是方方差差为为D的的高高斯斯分分布布的的微微分分熵熵时时，下下界界为为上述下界：上述下界：Y为为0均值、方差为均值、方差为2-D的高斯分布，且的高斯分布，且方差相同时，高斯分布的熵最大 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT45高斯信源高斯信源非高斯信源非高斯信源无记忆高斯信源的率失真函数无记忆高斯信源的率失真函数n当当D2时，时，Y=0，则，则I(X;Y)=0且且E(X-Y)2=2Dn所以无记忆高斯信源的率失真函数为所以无记忆高斯信源的率失真函数为n对对于于具具有有相相同同方方差差2的的非非高高斯斯信信源源的的R(D)通通常常位位于于这这个个R(D)曲曲线线之之下下。(因因为为在在一一定定功功率率下下，高斯分布信源的熵最大）高斯分布信源的熵最大）n无无记记忆忆高高斯斯信信源源代代表表了了最最不不利利于于编编码码的的情情况况，因因为为绝绝大大多多数数图图象象既既不不是是高高斯斯分分布布，也也不不是是不不相相关关的象素。的象素。n也也就就是是说说，对对于于非非高高斯斯分分布布和和相相关关的的信信源源，在在同同样的失真度下，所需要的比特率低于上述值。样的失真度下，所需要的比特率低于上述值。斜斜率率为为6dB/bit的的直直线线，码码字字长长度度每每增增加加1位位，SNR增加增加6dB。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT46有记忆高斯信源的有记忆高斯信源的R(D)函数函数n图图象象中中相相邻邻象象素素间间的的相相关关系系数数可可由由图图象象的的自自相相关关函函数数确确定定，也也可可以以由它的由它的功率谱（自相关函数的傅立叶变换）确定功率谱（自相关函数的傅立叶变换）确定。n虽虽然然相相关关的的高高斯斯信信源源的的率率失失真真函函数数不不能能表表示示成成一一个个最最终终的的表表达达式式，但失真度和数据率都可表示成另一个参数但失真度和数据率都可表示成另一个参数的函数。的函数。具有功率谱具有功率谱uu(w)的联合高斯信源的联合高斯信源均方误差失真均方误差失真D=E(X-Y)2R(D)函数的参数公式函数的参数公式n具有相同功率谱密度的非高斯信源的具有相同功率谱密度的非高斯信源的 R(D)R(D)通常更低通常更低。当当取取遍遍整整个个范范围围，这这两两公公式式就就确确定定了了率失真函数。率失真函数。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT47视频信号的率失真函数视频信号的率失真函数n信号模型：高斯信号模型：高斯pdf信源，其自相关函数按指数递减信源，其自相关函数按指数递减:n功率谱密度功率谱密度相邻象素间相邻象素间的相关系数的相关系数 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT48视频信号的率失真函数视频信号的率失真函数n均方误差失真均方误差失真D=E(X-Y)2n在在较较大大比比特特率率时时它它的的率率失失真真SNR曲曲线线就就落落在在了了不不相相关关曲曲线线下下方方2.3bit的的位位置置，就就是是说说，可可以以利利用用相相邻邻象象素素之之间间的的相相关关性性将将比比特特率率降低降低2bit/象素。但率失真理论没有指出如何实现这个结果。象素。但率失真理论没有指出如何实现这个结果。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT49小结：率失真理论小结：率失真理论n码率和失真是一对矛盾体码率和失真是一对矛盾体n率率失失真真函函数数R(D)：在在允允许许一一定定失失真真D 的的情情况况下下，所所需需的的最少码率。最少码率。率失真函数计算：计算互信息的下界，且该下界可实现率失真函数计算：计算互信息的下界，且该下界可实现nShannon下下界界（Shannonlowerbound,SLB）：假假定定失失真真和重建信号之间统计独立和重建信号之间统计独立 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东Digital Video and Image Processing 信源编码和率失真信源编码和率失真,MenAidong,MultimediaTelecommunicationCentre,BUPT50小结小结：率失真理论：率失真理论n无记忆高斯信源的无记忆高斯信源的R(D*)和和MSE：6dB/bitn对对于于有有记记忆忆非非高高斯斯信信源源，在在同同样样的的失失真真度度下下，所所需要的比特率低于无记忆高斯信源需要的比特率低于无记忆高斯信源。n在在视视频频信信号号中中利利用用谱谱冗冗余余可可以以获获得得的的理理论论增增益益：2.3bit/样值。样值。n率率失失真真理理论论没没有有给给出出达达到到理理论论比比特特率率下下限限的的方方法法，但但指指明明了了方方向向：在在给给定定信信号号允允许许失失真真度度的的条条件件下下，为为了了减减少少视视频频传传输输的的比比特特率率，应应尽尽量量减减少少传传输输信信号号的的方方差差，下下面面要要介介绍绍的的有有损损编编码码就就是是据据此此对对原原始始视视频频信信号号进进行行适适当当处处理理，使使其其方方差差减减少少，达达到到压缩编码的目的。压缩编码的目的。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东数字视频图像处理数字视频图像处理Digital Video Image Processing信息与通信工程学院多媒体技术中心信息与通信工程学院多媒体技术中心使用时，直接删除本页！使用时，直接删除本页！精品课件，你值得拥有精品课件，你值得拥有！精品课件，你值得拥有精品课件，你值得拥有！北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东数字视频图像处理数字视频图像处理Digital Video Image Processing信息与通信工程学院多媒体技术中心信息与通信工程学院多媒体技术中心使用时，直接删除本页！使用时，直接删除本页！精品课件，你值得拥有精品课件，你值得拥有！精品课件，你值得拥有精品课件，你值得拥有！北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东数字视频图像处理数字视频图像处理Digital Video Image Processing信息与通信工程学院多媒体技术中心信息与通信工程学院多媒体技术中心使用时，直接删除本页！使用时，直接删除本页！精品课件，你值得拥有精品课件，你值得拥有！精品课件，你值得拥有精品课件，你值得拥有！北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东数字视频图像处理数字视频图像处理Digital Video Image Processing信息与通信工程学院多媒体技术中心信息与通信工程学院多媒体技术中心谢谢！谢谢！