多媒体编码通信导论优品文档.pptx

按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多媒体编码通信导论,提纲,数字图像,颜色空间,量化和伽马校正,采样,原始数据格式,数字视频,帧速率,逐行和隔行,BT.601,电影,原始数据格式,压缩的必要性,原始数据量,存储器容量,传输速率,压缩的可行性,冗余的概念,统计冗余,空间冗余,时间冗余,知识冗余,数字图像：成像原理,焦点、焦距、凸透镜成像公式,影像放大率：像高与物高的比，等于,v/u,视角：胶片对角线两端点与镜头中心点所连线的夹角称为视角。焦距愈长视角愈小；焦距愈短视角愈大,数字图像：成像原理,数字图像：成像原理,对焦点前后能够清晰成像的范围叫做景深范围,光圈是镜头后面的一个遮挡光线的器件，光线只能从光圈的开口处通过。,光圈愈大，进光量愈多，反之进光量愈少,光圈越大，弥散斑越大，景深越小,数字图像：成像原理,数字图像：成像原理,快门是照相机中控制曝光时间长短的装置,小型相机一般使用镜间快门，而单反相机常用焦平面快门。,数字图像：成像原理,数字图像：成像原理,开大光圈,选用小景深,就能从距离不同的诸多物体中突出某一物体,使它能够得到强调,数字图像：成像原理,收小光圈,选用大景深,这时照片中的前后景物都将控制在清晰的焦点之下,相片包含了丰富的信息和细节,数字图像：成像原理,快门速度越快,曝光时间越短,能够把瞬间的动作记录下来。,数字图像：成像原理,快门速度越慢,曝光时间越长,运动的物体就会留下流动的影像,这也是摄影中表现动感的一种独特方法之一,数字图像：成像原理,快门速度越慢,曝光时间越长,运动的物体就会留下流动的影像,这也是摄影中表现动感的一种独特方法之一,数字图像：颜色空间,标准单色图,标准灰度图,按照颜色数，图像分为单色图、灰度图、彩色（,16/24,位）,图,5-2,光谱色,数字图像：颜色空间,数字图像：颜色空间,人的视网膜上有很多神经元，神经元有锥状和杆状两种,锥状：分三种，分别对红、绿、蓝光敏感,杆状：只在光功率极低的条件下才起作用颜色特性,通常进入我们眼睛的光是由许多不同波长的光组合成的，人类视觉系统对可见光的不同组合有,一定的,区分能力,能够区分：使我们能够看到光谱色以外的许多颜色,不能区分：不同的组合光可以呈现出相同的颜色，可以利用这点生成颜色,数字图像：颜色空间,国际照明委员会把三种单色光的波长分别定为,红光,(R),：,700 nm,绿光,(G),：,546.1 nm,蓝光,(B),：,435.8 nm,为匹配在,438.1 nm,和,546.1 nm,之间的光谱色，出现负值，表示需要使用补色,颜色匹配曲线是采集和再现颜色的基础,1931 CIE RGB,颜色匹配曲线,数字图像：颜色空间,像素,(pixel)成像平面上的感光材料或感光器件由很多单元组成，模拟时代常用卤化银颗粒，数字时代根据光电效应制造感光器件，把光转化成电压或电流，然后再量化为数值,每个感光单元采集一组数据，构成一个像素,像素的形状通常认为是正方形，这是为了理解起来比较方便，事实上可能稍有变化,像素的排列通常是光栅型，这是为了制造图像采集设备的方便,数字图像：图像采集,一幅图像由许多像素组成,数字图像：图像采集,像素分量和像素值,如果每个采集单元可以采集,RGB,三个分量的值，就得到彩色图像；,如果每个采集单元只采集亮度的值，就得到灰度图像；,每个像素的所有分量的值构成的组合称为像素值,数字图像：图像采集,各种设备的非线性,人的主观感觉和光子的数量或能量之间不是线性的关系,摄影机、照相机等图像采集设备的光电转换是非线性的,CRT,、液晶等显示设备的电光转换是非线性的,在用计算机处理图像的时候，我们希望像素值对应的人的感觉是线性的，这对控制失真非常重要,例如灰度值,30,和,31,之间的亮度差和灰度值,32,与,31,之间的亮度差应该相等,数字图像：图像采集,校正,各种非线性基本上都可以用幂函数来近似，即,输出,=(,输入,),了解了非线性的特性，就可以在图像采集的最后进行校正，使输出的像素值对人的主观感觉是线性的，即,最终输出,=(,输出,),-,在显示图像的时候，也可以进行校正，使像素值的显示对于人的主观感觉是线性的，有时又叫预失真,数字图像：图像采集,数字图像：图像采集,像素深度,表示每个像素值所用的位数,例如，用,R,，,G,，,B,三个分量表示的彩色图像，若每个分量用,8,位表示，那么一个像素共用,24,位表示，就说像素深度为,24,位,像素深度决定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数,例如，像素深度为,24,位时，可以表示,2,24,=16777 216,种颜色,数字图像：图像采集,像素深度（续）,像素深度大，表达的颜色数目就越多，图像看上去越逼真，效果越好,像素深度大，所占用的存储空间越大,由于受到设备能力的限制，像素深度不会太大，一般是,24,位，少数设备可以做到,30,位或,36,位（每个分量,10,位或,12,位）,根据人眼的分辨能力，不一定要追求特别深的像素深度,数字图像：图像采集,图像分辨率,(resolution),图像中像素的,数量和分布情况,叫做图像分辨率，也称空间分辨率,(spatial resolution),或像素分辨率,(pixel resolution),，,640 x480,图像分辨率表示图像的精细程度,对同样内容的图像，如果像素数目越多，则说明图像的分辨率越高，看起来就越逼真。相反，图像显得越粗糙,分辨率越高，像素就越多，要求存储容量就越大,计算,数字图像：图像采集,在图像显示应用中的图像分辨率表示法,像素,/,行,行：,640,像素,/,行,480,行 或,640 x480,图像分辨率与设备分辨率是不同的概念,打印机：用多少点每英寸,(dots per inch,，,DPI),表示，如,300 DPI,数码相机：用像素总数表示，如,500,万像素,扫描仪：用像素每英寸,(pixels per inch,，,PPI),表示，如,300PPI,模拟电视机：用扫描线数表示，例如,525,线、,625,线、,1080,线,电脑显示器、数字电视机：用,像素,/,行,行表示，如,640,像素,/,行,480,行,数字图像：图像采集,rawdata,rgbrgb.,rrrrr.g.b.,bmp,文件,文件头,位图头,调色板：可选,像素值：,从下到上,，从左到右，每行数据四字节对齐，,数字图像：数据格式,视频是（连续的活动的）图像序列,分辨率、颜色空间、像素深度等参数完全相同,时间上间隔相等，每秒钟内图像的个数叫做帧速率或帧率，相邻两幅图像的时间间隔叫做帧间隔或帧周期,数字视频：帧速率,人眼的视觉暂留特性要求帧速率,=12,动画片的帧率为,12,电视的帧率为,25,或,30,电影的帧率为,24,刷新率（显示时）,电视为,50,或,60,电影为,72,数字视频：帧速率,从采集到重现使用了两类颜色空间,采集和重现使用了,RGB,颜色空间,中间处理使用,YUV,型颜色空间,数字视频：颜色空间,应用,颜色空间,NTSCYIQ,PAL,和,SECAMYUV,SDTVBT.601 YCbCr,，,HDTVBT.709 YCbCr,，,HDTVYPbPr,数字视频：颜色空间,颜色匹配曲线是采集和再现颜色的基础,分辨率、颜色空间、像素深度等参数完全相同,对同样内容的图像，如果像素数目越多，则说明图像的分辨率越高，看起来就越逼真。,小型相机一般使用镜间快门，而单反相机常用焦平面快门。,line_y=y0,y1,.,快门速度越慢,曝光时间越长,运动的物体就会留下流动的影像,这也是摄影中表现动感的一种独特方法之一,根据人眼的分辨能力，不一定要追求特别深的像素深度,表示每个像素值所用的位数,小型相机一般使用镜间快门而单反相机常用焦平面快门。,像素深度大，所占用的存储空间越大,例如，用R，G，B三个分量表示的彩色图像，若每个分量用8位表示，那么一个像素共用24位表示，就说像素深度为24位,如果每个采集单元只采集亮度的值，就得到灰度图像；,再比如奇偶校验10011010，最后一个比特是冗余,分辨率越高，像素就越多，要求存储容量就越大,数字视频：电视扫描方式,像素值：从下到上，从左到右，每行数据四字节对齐，,同一帧的各像素同时曝光,BT.601 YCbCr,CCIR,于,20,世纪,80,年代初制定，用于,SDTV,Y16,235,，,Cb,，,Cr16,240,都用,8,位表示,0.299 0.587 0114,是在,1953,年确定的,数字视频：颜色空间,逐行扫描,(progressive scanning),逐行扫描,数字视频：电视扫描方式,图像中像素的数量和分布情况叫做图像分辨率，也称空间分辨率(spatial resolution)或像素分辨率(pixel resolution)，640 x480,空间冗余：图像中相邻像素的颜色之间往往存在着空间连贯性。,颜色匹配曲线是采集和再现颜色的基础,电影的曝光时间与电视完全不同，更像照相机,如果每个采集单元可以采集RGB三个分量的值，就得到彩色图像；,再比如奇偶校验10011010，最后一个比特是冗余,数字视频：电视扫描方式,视觉冗余：有些信息是人的眼睛无法察觉到的，这些信息被记录在原始数据里，就产生视觉冗余。,分辨率越高，像素就越多，要求存储容量就越大,每个像素的所有分量的值构成的组合称为像素值,数字视频：电视扫描方式,人眼对图像细节的分辨能力有一定的限度,隔行扫描：一帧由两场构成，奇场、偶场,数字视频：电视扫描方式,数字视频：电视扫描方式,例,1,：,horseriding(720 x576i),例,2,：,fireworks(720 x576p),数字视频：曝光时间,电视的曝光时间有两个特点,同一帧的各像素按扫描顺序依次曝光,曝光时间等于帧间隔,电影的曝光时间与电视完全不同，更像照相机,同一帧的各像素同时曝光,曝光时间不一定等于帧间隔,数字视频：曝光时间,例,3,：,tabletennis(720 x576i),例,4,：,opening(1920 x1080p),f355,对色差信号使用较低的采样频率的方法,是一种简单的图像压缩技术,依据,人眼对色度信号的敏感程度比对亮度信号的敏感程度低,人眼对图像细节的分辨能力有一定的限度,数字视频：色差下采样,YCbCr,样本空间位置,数字视频：色差下采样,数字视频：原始数据格式,设空间分辨率为,WH,.yuv,无头文件,=frame0,frame1,.,frame=data_y,data_cb,data_cr,data_y=line_y0,line_y1,.,共,H,行，从上到下,line_y=y0,y1,.,，共,W,个亮度值,data_c=line_c0,line_c1,.,行数和色差下采样有关,line_c=c0,c1,.,，每行色差值数和色差下采样有关,压缩的必要性,图像的原始数据量,size=width,heightbpp(bit),bpp(bits per pixel),表示每个像素的比特数,单位是比特,视频的原始数据量和数据速率,size=width,heightbppframenum(bit),framenum,表示帧数,bitrate=,width,heightbppfps(bps),fps(frames per second),表示帧速率,压缩的可行性,冗余的概念,统计冗余,空间冗余,时间冗余,结构冗余,视觉冗余,知识冗余,压缩的可行性,广义的冗余就是不必要的、重复的部分,在数据处理领域，冗余就是相对于最精简的表示而多出来的比特,比如,15902131564,，其中,1,就是冗余,再比如奇偶校验,1001101,0,，最后一个比特是冗余,压缩的可行性,由于数据中每个值出现的概率不相等，如果为出现概率大的值设计较短的码字，为出现概率小的值设计较长的码字，那么相对于固定长度的码字就可以节省总比特数。,图像和视频的原始数据都采用固定长度码字，没有考虑数据的统计特性，存在冗余，这种冗余称为信息熵冗余或统计冗余,压缩的可行性,空间冗余：图像中相邻像素的颜色之间往往存在着空间连贯性。但是原始数据没有利用这种连贯性，而是忠实的记录了每一个像素的值，这就产生了空间冗余。,压缩的可行性,时间冗余：视频中相邻的两帧图像之间存在着很强的相关性，但是视频的原始数据没有利用这种相关性，这样就产生了时间冗余。,压缩的可行性,结构冗余：在某些场景中，存在着明显的图像分布模式，这种分布模式称作结构。例如：方格状的地板，蜂窝，砖墙，草席等图案。原始数据没有利用这种结构就产生了结构冗余,压缩的可行性,视觉冗余：有些信息是人的眼睛无法察觉到的，这些信息被记录在原始数据里，就产生视觉冗余。,比如人的眼睛对色差信号的分辨力低于对亮度信号的分辨力，如果采用同样的分辨率记录亮度和色差信号，就产生视觉冗余,感谢观看,