现代静态图像编码技术课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,常用图像编码技术编码,静态图像编码,国际标准化委员会（联合图像专家小组,Joint Photograp,Expert Group,）制定的几种标准：,JPEG,，,JPEG-SS,BIG,JPEG2000,动态图像压缩标准：,H.263,H.264,Mpeg2,mpeg4,mpeg7,Mpeg21,Jpeg,简介,Jpeg,是最常见的图片压缩标准，常用于存储图片和多媒体图片的压缩。,标准以离散余弦变换(,DCT),为基础的有损压缩算法。,将一幅图像分割为更小的图像块,(8*8,16*16),然后对图像块进行余弦变换，变换后的浮点系数量化为整型数据，并且用原码表示；对原码数据进行熵编码,输出压缩码流。,Jpeg,简介,JPEG,标准规定了两种熵编码算法：哈夫曼编码和自适应算术编码。,哈夫曼编码采用的一般是固定的哈夫曼编码表，而不是临时统计出来的，并且对亮度分量和色度分量,Jpeg_less,简介,无损压缩算法,直接在图像域进行压缩,利用已经编码过的邻居对当前像素值进行自适应预测,对预测后产生的差值进行自适应分类编码(Glomb算法）。,Jpeg_less,简介,优点：,算法简单，适合无损、近无损图像压缩；近无损压缩时，可以直接控制重建图像的误差。用于医学、高质量的遥感图像压缩。,缺点：,直接在图像域编码，又采用自适应预测技术，对误码十分敏感；输出码率不可控。,Jpeg-less,Causal template used for context modelling and prediction,Context determination,After a number of samples have been coded scanning from left to right and from top to bottom,the sample,x,shall be encoded.The context at this sample shall be determined by the previously reconstructed values,Ra,Rb,Rc,and,Rd,corresponding to the samples,a,b,c,and,d,as shown above,respectively.In lossless coding,the reconstructed values are identical to those of the source image data.The steps in context determination,to be performed in the presented order,are the following:Local gradient computation,The first step in the context determination procedure shall be to compute the local gradient values,D1,D2,D3,of the neighbourhood samples.,Mode selection,If the local gradients are all zero(for lossless coding),or their absolute values are less than or equal to,NEAR,the allowed error for near-lossless coding,the encoder shall enter the run mode,otherwise the encoder shall enter the regular mode.The mode selection procedure is specified.,In the case of lossless coding,this mode selection procedure is equivalent to the procedure shown in Figure,A.3,where the coder is checking if,Ra=Rb=Rc=Rd.,Local gradient quantization,The context determination procedure shall continue by quantizing,D1,D2,and,D3,according to the procedure specified as follows.,For this purpose,non-negative thresholds,T1,T2,and,T3,are used.According to their relation with the thresholds,a region,number,Qi,is obtained(,Q1,Q2,and,Q3,respectively).This forms a vector,(,Q1,Q2,Q3,)representing the context for the sample,x.,Since there are 9 quantization regions for each of the gradients,Q1,Q2,and,Q3,each is allocated one of nine possible numbers between-4 and 4.,Quantized gradient merging,If the first non-zero element of the vector(,Q1,Q2,Q3,)is negative,then all the signs of the vector(,Q1,Q2,Q3,)shall be reversed to obtain(-,Q1,-Q2,-Q3,),.,In this case,the variable,SIGN,shall be set to-1,otherwise it shall be set to+1,.,After this possible“merging”,the vector(,Q1,Q2,Q3,),is mapped,on a one-to-one basis,into an integer,Q,representing the context for the sample,x,.,Prediction,Edge-detecting predictor,An estimate,Px,of the value at the sample at,x,to be encoded shall be determined from the values,Ra,Rb,and,Rc,Computation of prediction error,Using the value of,Px,corrected by the above procedure,the prediction error,Errval,shall be computed.If the sign of the context,given by,SIGN,is negative,the sign of the error shall be reversed,.,Error quantization for near-lossless coding,and reconstructed value,In lossless coding(,NEAR,=0),the reconstructed value,Rx,shall be set to,Ix,.In near-lossless coding(,NEAR,0),the error shall be quantized.After quantization,the reconstructed value,Rx,of the sample,x,which is used to encode further samples,shall be computed in the same manner as the decoder computes it.,Modulo reduction of the prediction error,The error shall be reduced to the range relevant for coding,Prediction error encoding,The next step of the regular mode shall be to encode the error.For this,the variables,A,0.364 and,N,0.364,are used to compute the Golomb coding variable,k,for(,k,=0;(,N,Q,k,),A,Q,;,k,+);,Error mapping,The prediction error,Errval,shall be mapped to a non-negative value.,Jpeg_less,简介,误码传播,基于小波的内嵌零树编码,内嵌比特平面编码基本思想,小波变换在图像编码方面取得成功的典型例子就是基于小波的内嵌比特平面编码，其基本思想是将小波系数按其对恢复图像质量的贡献程度进行排序，并逐个比特平面编码，根据目标码率或失真度要求随时结束编码；同样，对于给定码流，解码器也能够随时结束解码，并可以得到相应码流截断处的恢复图像。因此内嵌编码能够实现图像的渐进传输和逐步浮现，而且码率控制简单,编码原理,在变换编码中，量化的目的在于使变换系数的熵尽可能减少，从而在后期编码中取得更高的压缩效率，但是，量化过程所引起的失真会直接影响逆变换后的恢复图像质量。目前主要使用与主观视觉较为一致的均方误差（,MSE,）准则来衡量恢复图像的失真程度并指导编码。,按照幅值大小对进行 排序，并将最重要的比特位优先传输，以保证恢复图像与原始图像的最大相似程度，这就是内嵌比特平面编码的基本思想,一般框架,系数在比特平面编码时有下列几种状态：,(a),首次重要,，即在比特平面的比特为第一个非零比特（）。一般在首次变成重要时跟着输出其,符号位,。,(b),不重要,，即 。通常在较高的,MSB,比特平面，不重要的系数很多，因此排序算法可以把大量的不重要系数构成一个集合，输出一个,0,比特即可。,(c),以前重要,，即 。对于在前面的比特平面已经重要的系数则要输出其幅度值在当前比特平面的比特位信息，这个过程即称为,幅值细化,。,根据系数的三个状态，可以描述出内嵌比特平面编码的一般框架如下：,初始化,：确定初始的,MSB,比特平面 ；,排序,：确定首次变为重要的系数（）和不重要的系数，对于重要系数，要输出符号位；对于不重要的系数还可以根据一定的预测原则再划分为可能重要以及可能不重要两类，以提高编码效率。,幅值细化,：对于所有的系数，输出第层比特平面的位信息；,比特平面更新,：返回步骤,进行,1,比特平面的编码过程；,内嵌比特平面编码产生的符号流可以进一步进行熵编码压缩，如采用自适应算术编码,99,获得更好的压缩性能。,EZW算法,Shapiro,提出的内嵌零树小波编码算法,EZW,（,Embedded Zerotree Wavelet,），其出发点在于小波变换后各级、子带系数之间在空间上和方向上所呈现出的强烈的带间相似性，这种空间相似性可以用一种新型的数据结构，即所谓的“零树（,Zerotree,）”来描述。,EZW,算法就是充分利用这种相似性，获得高性能的图像编码算法，它成为在甚低比特率情况下图像压缩的一个里程碑。,零树结构,图像经过小波分解后，能量几乎总是集中在较低频的子带上，并从低频到高频递减分布。在,Mallat,分解下，由不同频率子带、代表同一空间位置的系数构成了一种树型结构，并且高频部分存在大量的零，故称为“零树零树编码是基于如下假设：如果低分辨率的子带系数相对于阈值,T,是不重要的，那么在同样方向上相应空间位置的高分辨率的子带系数相对于阈值,T,也是不重要的。尽管缺乏严格的数学模型描述，但统计结果表明这种假设是成立的。,在编（译）码过程中，保持着两个分离的列表：主表和辅表。主表记录不重要的集合（,ZTR,）或系数（,IZ,），其输出信息起到了恢复重要系数的空间位置的作用；而辅表记录重要系数，输出为各重要系数的幅度细化时的比特值。编码分为主、辅两个过程：在主过程中，设定阈值为，按上述流程对主表进行扫描编码，若系数首次变为重要，则将其移到辅表中，然后将该系数在主表中置零，这样当阈值减小时，该系数不会影响新零树的出现（即不会重复编码）；在辅过程中，对辅表中的重要系数进行幅值细化，输出当前比特平面的位信息。,EZW算法的详细描述如下：,1),确定初始阈值,T,，使得 ，；将系数节点按扫描顺序加入到主表中，将辅表清空。,2),对主表进行扫描，将表中节点依据阈值,T,分为重要值（包含符号信息：正或负）、零树根和孤立零点。将主表中重要系数的节点移至辅表中；零树根的子节点不需继续扫描，而孤立零点的子节点要继续扫描。,3),扫描辅表，对重要系数进行幅值细化。,4),将阈值减半，跳至步骤,2),；,SPIHT算法,A.Said,和,W.A.Pearlman,根据,Shapiro,零树编码的基本思想，提出了一种新的且性能更优的实现方法，即基于分层树集合分割排序的编码算法（,SPIHT,：,Set Partitioning In Hierarchical Trees,）。,SPIHT,算法是一种非常实用高效的高性能图像编码算法，其显著特点是极低的计算复杂度和高质量的恢复图像，它打破了传统编码算法中编码效率与复杂度同步增长的界限，并且合理利用了小波分解后的多分辨率特性，获得了优良的编码性能，成为内嵌编码的一个通用基准。,空间渐进性,随机访问,图像感兴趣区编码,在甚低比特率进行图像压缩时，往往会丢失一些细节信息，而其中有些细节信息是人们感兴趣的。例如人物头肩图像的视觉敏感区域，航空图像中携带重要信息的小目标区域，干涉多光谱图像中的干涉条纹区域，医学图像中病灶区域等等，这些区域可以统称为感兴趣区域（,ROI,：,regions of terest,）。从主观视觉角度来说，这些区域的恢复质量直接影响整幅图像的恢复质量，因此对图像的感兴趣区域应该以更好的质量（更多的码率甚至是无失真）进行压缩。,感兴趣区模板,在小波变换编码中，图像的小波分解及合成可以由,Mallat,算法实现。在,Mallat,算法中，尺度滤波器和小波滤波器都是,FIR,滤波器，因此小波变换具有局部化特性，这就使得小波系数只与图像相应位置处的一定区域的数据有关。因此图像的,ROI,区域在小波子带中有着对应关系。在对感兴趣区（,ROI,）对应的小波系数编码时分配更多的码流，使其与背景区域（,BG,：,background,）的系数相比能够更精确地传送到解码端，则可获得感兴趣区图像恢复质量的提高。因此感兴趣区编码实际上是一种在通常的编码算法中对,ROI,系数进行加权处理的编码方法。,首先要计算在小波域各子带中对应的感兴趣区系数的位置，即建立,ROI,模板,其中为变换系数的空间坐标。定义如式如下,以,(5,3),小波变换为例，逆变换实现为,：,感兴趣区域编码存在的问题,1)提升多少,2）区域确定,不仅具有更好的,压缩效率，,而且具有更多的,功能,良好的低码率性能,支持无损、有损压缩算法,支持质量、视觉和分辨率渐进性传输,支持随机码流访问和处理,比特错误的鲁棒性,感兴趣区（,ROI,）,编码提供灵活的文件格式支持内置用户信息（如版权信息）、图像序列（,Motion JPEG,）,JPEG2000,JPEG2000,核心技术：,离散小波变换,DWT:,有损压缩,-9/7,小波,无损压缩,5/3,小波,优化截取内嵌块编码,EBCOT(Embeded Block Coding with Optimized Truncation),其编码引擎分为,Tier1,Tier2.,JPEG2000,1997年3月征求建议,1997年10月提交算法(SPIHT,EBCOT),1999年3月工作草案,1999年6月委员会工作草案,2000年12月最终标准(DIS),JPEG2000,应用：,在图像检索、因特网传输、网络浏览、文本图像、数码相机、医学图像、遥感图像和桌面印刷等多个领域具有巨大的应用价值。,JPEG2000,编码结构,JPEG2000,1,预处理,（,a,）分块处理：“分块”是指将大图像分割成互不重叠的矩形块。以“块”为单位独立进行编码。,（,b,）电平移位：对于无符号数,(,设精度为比特,),要进行电平移位。,（,c,）分量变换：对于彩色图像或多分量图像，在小波变换之前还必须逐点进行分量变换。分量变换可以采取不可逆分量变换,(ICT),或可逆分量变换,(RCT),。,JPEG2000,离散小波变换,短,Fourier,变换的发展，提供多分辨率分析；,通过小波变换去除像素之间的冗余；,可逆变换推荐使用,5/3,小波；不可逆变换使用,9/7,小波（双正交小波：高、低通分解,/,合成滤波器并不正交，而是分析低通滤波器与合成高通滤波器正交，分析高通滤波器与合成低通滤波器正交,线性相位）。,常使用结构：,Mallat,分解,正交小波：H1与H0正交；G0、G1正交,双正交：H1与G0正交；H0、G1正交,小波变换,H,0,H,1,2,a,0,(n),a,1,(n),2,2,2,G,0,G,1,y,0,(n),y,1,(n),二维小波变换,水平滤波,垂直滤波,分解系数,合成系数,k,h(k),k,g(k)k,k,0,3/4,-1,1,0,1,1,3/4,1,1/4,-2,0,-1/2,1,1/2,0,2,-1/4,2,-1/8,-1,3,-1/8,JPEG2000,量化：,作用：将小波变换后的系数变换为原码表示；,常用的量化：标量量化/格型量化,JPEG2000,比特平面编码技术：,1）按照分辨率、子带顺序编码,2）将子带系数划分为码块、码块之间独立编码,3）同一码块按照比特平面顺序编码,每个比特平面编码分为3个pass,按照”重要性传播”,”幅值细化”,”清理更新”顺序进行编码,Embedded Coding,0,1,-,0,0,0,0,0,0,1,+,0,0,0,0,0,0,0,0,0,1,+,0,0,1,-,0,0,Sign,b,7,b,6,b,5,b,4,b,3,b,2,b,1,0,1,0,1,1,0,1,.,0,1,0,1,1,0,1,.,+,1,0,0,1,0,1,0,.,-,0,0,1,0,1,0,1,.,+,0,0,0,1,1,1,0,.,+,0,0,0,0,1,0,0,.,-,0,0,1,0,0,1,0,.,-,0,0,0,0,1,0,0,.,+,0,0,0,0,0,0,1,.,-,First,Second,Third,w,0,w,1,w,2,w,3,w,4,w,5,w,6,w,7,JPEG2000,按照条带顺序编码,JPEG2000,编码单元,：,1,）零编码ZC,),：对单个不重要的系数进行编码；用于重要性传播和幅值细化步骤。,2,）符号编码,(,SC,),：当系数由不重要变为重要时，对系数符号进行编码。,3,）幅值细化,(,MR,),：当系数已经重要时，对系数进行细化编码。,4,）游程编码,(,RLC,),：当条带的四个系数都不重要时，使用,RLC,可实现有效压缩。,JPEG2000,零编码上下文模板,h:,水平邻居,v:,垂直邻居,d:,对角邻居,v,h,d,Bit be,ing,coded,零编码上下文,SC,上下文,v,h,Expected Sign,JPEG2000,重要性传播,如果系数不重要，但有重要的邻居，这样的系数在当前比特平面进行重要性传播编码。如果当前比特平面的判决为1，则系数由不重要变为重要；如果为0，系数仍然是不重要的。使用ZC编码单元进行编码,并且使用SC对变为重要的系数进行符号编码。,JPEG2000,幅值细化,对当前比特平面之前已经重要的系数进行编码，使用,MR,编码单元。,清理更新,对前两个步骤都没有编码的系数进行编码。使用编码单元：,ZC,SC,RLC,T2,主要完成码流组织,比特流截取,打包,.,标准没有规定组织码流方法，只要最终码流组织符合便准的规定即可,.,标准推荐了一种率失真优化截取算法,每个码块的各个步骤编码前后对重建图像贡献的大小作为码流截取的依据。也就是根据率失真斜率组织码流,JPEG2000,JPEG2000,失真计算,D,i,:,解码前,MSE,，,D,i+1,:,解码后,MSE,；某个步骤解码前后 的失真衰减量为,步骤码流长度,R,i,:,解码前码流长度,R,i+1,:,编码后码流长度,率失真斜率,率失真优化算法,率失真优化算法是一种后处理方法，对于固定码率的编码器采用率失真优化算法可以获得更优的编码性能。,Cover,和,Thomas,指出如果所有编码系数的率失真斜率相同，则编码器能获得最优的性能。这个率失真斜率条件可以通过调整系数的量化步长来进行率控制。,Xiong,和,Ramchandran,也采用率失真优化准则在小波包编码中获得最优的量化效果,。,Jin Li,把率失真优化算法成功应用于内嵌编码器,EZW,中,指出小波系数的重要性编码和幅值细化时的率失真斜率不同，把重要性编码放在细化过程之前可以提高编码效率。随后,Jin Li,等人提出了率失真优化内嵌算法,RDE,（,Rate-distortion optimized embedding,），获得了优于,SPIHT,的性能。率失真优化算法还成功应用于,Taubman,提出的,EBCOT,算法中，对独立编码的码块产生的码流采用了率失真优化算法进行码流截取，并形成最终的内嵌码流，,EBCOT,算法已被最新的国际编码标准,JPEG2000,所采用，是,JPEG2000,编码系统的核心算法。,率失真优化算法的基本思想,内嵌编码的特点就是码流可以任意截断，而且可以解码出具有一定质量的图像，而码流的率失真优化策略就是使码流不但在最后码率性能是最优的，而且其性能在每个截断点处也是最优的。因此率失真优化问题就变为对那些率失真斜率最大的符号优先编码，对于独立进行比特平面编码的码块采用率失真优化算法可以获得最后总体码流的内嵌特性。假设有,5,个符号,a,，,b,，,c,，,d,和,e,，它们是独立进行编码的，每个符号将产生一定比特长度的码流，并对减少恢复图像的失真具有一定的贡献。,因此率失真优化算法的基本思想就是优先输出率失真斜率最大的码流。对于基于块编码的内嵌编码器，各个码块产生的独立码流虽然具有内嵌特性，但要使整体码流具有内嵌特性则要采用率失真优化算法进行分层截取。另外率失真优化算法可以只在编码端采用，因为解码端不必知道它的存在与否。,JPEG2000,单调下降率失真,(R-D),曲线,D,a,b,c,d,e,修正后的曲线,原始曲线,R,JPEG2000,性能比较,图 像,JPEG,(dB),Lena,37.60,Gangkou,32.90,Field,32.06,Bridge,28.87,J2k,(dB),40.38,35.56,33.93,30.75,JPEG2000,（,8,倍压缩后的图像,）,JPEG2000,（,8,倍压缩后的图像,）,分辨率渐进性,（编、解码或者传输）,谢谢！,