数字视频处理课件 4.ppt

单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多媒体技术基础与应用,第四章 立体视频,(,3D Video,),4.1,立体视觉基本原理,古埃及壁画,立体视觉,早在五千多年前的古埃及，人们就己经有了对立体成像技术的追求,考古发现当时对人物形象的画法造型，全身侧面造型，唯有双肩体位保持正面,大部分都把脸表达成侧面的姿态，显示出额头、鼻子和嘴唇的轮廓，而眼睛和上身的位置都是正面的，整个人物从头到脚有两次,90,度的转向,立体视觉,真人或站或坐都无法保持这种姿势，但这种奇特的造型却可使人物具有立体感和厚重感。古代尚且能以此实现立体视觉的梦想，当代的人们就更不满足于平面场景,古埃及壁画,4.1.1,立体视觉定义,立体视觉是人眼在观察事物时所具有的立体感,人眼对获取的景象有相当的深度感知能力（,Depth Perception,），而这些感知能力又源自人眼可以提取出景象中的深度要素（,Depth Cue,）,立体视觉的形成因素有两类，一类为生理因素，一类为心理因素,4.1.2,立体视觉的生理因素,双眼观察景物能分辨物体远近形态的感觉,双眼同时注视某物体，双眼视线交叉于一点，叫,注视点,从注视点反射回到视网膜上，这两点将信号转入大脑视中枢合成一个物体完整的像。不但看清了这一点，而且这一点与周围物体间的距离、深度、凸凹等等都能辨别出来，这样成的像就是立体的像,单眼视觉,单只眼睛视觉的例子：,单眼视觉,从不同方向,(A,B),来的光，落在视网膜的不同区域,(a,b),上，因此可以加以辨别，但是由于在同一方向上的所有各点,(A1,A2,A3),投射于视网膜的同一区域，则无法确定哪一点更远或哪一点近，因此视网膜点只能表明客体的方向不能表明它的距离,辐辏,眼球的旋转汇聚运动可称之为,辐辏,（形容视线聚集像车辐集中于车毂一样）,两眼对一观察点的两视线所夹的角称为,辐辏角,辐辏,其中,a1,a2,分别为点,Fl,和,F2,的辐辏角。,Fl,和,F2,两点远近不同，因此，辐辏角,a1,a2,也不同，眼球旋转运动的程度也不一样，这样就产生了,深度感觉,辐辏,看近处，双眼视轴较集中，看远处物体时，双眼视轴趋于分散；当距离达到一定程度时，双眼视轴接近平行,双眼视差,在观看空间某个对象时，人的双眼就从左右两边稍有差别的角度进行观察，因此被观察的物体在人的左右眼视网膜上所形成的像存在,略微的差异,，这种差异就是,双眼视差,。视差的产生是由于人的左右眼之间有一定的距离,双眼视差,双眼视差,把一本书放在眼睛正前方大约,25,厘米的地方，使书脊朝向人脸并向下倾斜,45,度角，这时左眼就能看到书的封底，而右眼能看到书的封面。当左右眼视网膜产生的影像同时传向视觉中枢时，人就能感到眼前的这本书有立体感,书脊成像过程,双眼视差,当把书逐渐离开观察者时，书上的每一点相对左右眼所形成的视角就逐渐减小，所形成的视差也就逐渐变小，到达一定距离时，视差消失。物体距离眼睛太远时，就不会产生有深度感的视觉了。所以，物体越近，视差越明显，人眼就是由此获得深度信息的,双眼视差,眼的调节,通过睫状肌的收缩与舒张，晶状体发生凸度和曲率的改变，使视网膜上的像得以清晰，这是保证视差存在的基本条件。假如视网膜上的像是模糊的，这种视差就会小很多，有时甚至会消失，因而形成立体感能力就差得多,双眼立体视觉,双眼视差、眼的调节和双眼的辐辏是人眼立体视觉的生理因素，是以人眼的生理活动为基础的，而不像单眼立体视觉中含有很多的心理（经验）因素,立体显示原理,L,和,R,分别代表左眼和右眼所在位置，,S,和,T,在,LR,的中垂线上，,PQLR,。双目注视,S,点，即通过自适应调节聚焦到,S,点，由于辐辏效应，左右眼中的,S,合成一点,立体显示原理,点,T1,和,T2,分别代表,T,点在左右眼中形成的,2,个像，让这,2,个像互不干扰地进入左右眼，由于大脑已经习惯了看辐辏以后的效果，所以大脑会自动将,T1,和,T2,合成,T,点，和参考点,S,相比，,T,点有了纵深的效果，从而产生立体的感觉,双眼单视,物体在两眼视网膜上单独成像，这两个物像是同时产生的，大脑皮层能将这两个物像融合成一个物像，这就是双眼单视,将双眼视觉像融合为一个视觉像的机能称为融合机能,4.1.3,立体视觉的心理因素,立体视觉除了生理因素之外，还受心理因素影响,心理因素,线性透视,视线方向上平行线上对应两点随着视距的增大，在视网膜上所成像点的距离线性减小。这种方法常常用在绘画上，用以表现景物的远近深度,当眺望远方时，远处景物看起来尺寸很小,心理因素,线性透视,心理因素,相对大小,当同时或短时间相继观察两个不同大小的相似或相同形状的物体时，通常感觉比较大的刺激离我们较近，这种线索称为相对大小,心理因素,熟悉的尺寸,通常情况下，我们知道周围环境中许多物体的实际大小，所以我们能够根据记忆和观察到的远处此物体现在的大小推测其离我们的距离,心理因素,运动视差,当物体相对于观察者而运动时，由于背景连续的光变化，视网膜上的图像也随之不断变化，并通过时间序列的比较，使立体视觉成为可能,心理因素,结构级差,大多数物体的表面都以其纹理或结构等微观形式而相互区别。当我们观察具有结构的表面时，随着距离的增加，组成结构的成分的密度越大,心理因素,朦胧透视,随着距离增大，景物的对比度降低从而产生深度觉，这就是空气的透视作用,当观看远处弥漫着烟雾的风景照片时，会有一种强烈的深度感觉,心理因素,朦胧透视,心理因素,朦胧透视,A scene along the coast of California that illustrates atmospheric perspective,心理因素,遮挡,遮挡是指一个物体遮蔽了另一个物体的一部分,如果一个物体部分遮挡另一个物体，那么我们就会知觉到完全暴露的物体离我们近,遮挡是判断物体深度秩序的重要条件，但是不能判断事物间的距离,心理因素,遮挡,两个物体的前后位置关系会提供相应的深度线索。图中的,a,d,提供了深度线索。而,b,c,没有深度线索,心理因素,遮挡,心理因素,阴影,阴影是由不透明或半透明物体的阻碍所引起的表面亮度的变化。通常情况下认为暗的部分是由于光线被遮挡，亮的部分是光线的直接照射,心理因素,颜色,同一视标由于颜色的不同，有时看起来近，有时看起来远。因此当观察同一个物体时，根据该物体颜色的变化也可以获得该物体深度变化的心理暗示,亮度相同的颜色，波长较长的光线给人近的感觉，波长较短的光线则相反,心理因素,视场,大视场更有利于提高立体感和现场感，比如说人们看电影和电视的感觉就不一样,心理因素,电视、电影的立体感会比照片和图片强很多，可能的原因是什么？,立体作品,美国震撼,3D,壁画展现了一个灾难场景，由于太过逼真，在马上完成时，这幅灾难画引起了消防队的注意，他们甚至停下车，想去采取营救行动,立体作品,立体作品,立体作品,立体作品,立体作品,立体作品,立体作品,立体作品,第四章 立体视频,(,3D Video,),4.1,立体视觉基本原理,4.2,立体电影,立体电影,耗资,5,亿美元的电影,阿凡达,，让观看者享受到一种身临其境的震撼视觉体验，成为,2010,年初最热门的话题，狂卷全球,20,亿票房，也引爆,3D,这个名词,4.2.1,立体电影概述,1839,年，英国科学家查理,惠斯顿爵士根据,“,人类两只眼睛的成像是不同的,”,发明了一种立体眼镜，让人们的左眼和右眼在看同样图像时产生不同效果，这就是今天,3D,眼镜的原理,1922,年，世界上第一部,3D,电影是,爱情的力量,，遗憾的是，影片很早之前就已经遗失了。早期,3D,电影都是以展示立体效果为主，常以指向观众的枪、扔向观众的物体为噱头,立体电影概述,1952,年，讲述非洲探险的,非洲历险记,被认定为是史上第一部真正的,3D,长片。该片的口号是,“,狮子在你腿上，爱人在你怀里,”,。尽管,生活,杂志在当时称该片,“,廉价、荒谬,”,，但观众们仍然热情地挤进电影院去体验片中的,“,自然视角,”,立体电影概述,立体电影概述,1953,年，,恐怖蜡像馆,等一批,3D,恐怖片应运而生，,3D,片在上世纪五十年代进入了黄金时期,1954,年，当时世界上最伟大的导演们，绝大多数都对,3D,电影低眼相看，认为那只不过是在玩魔术而已，根本不是艺术。然而，希区柯克不这么想，他在,1954,年拍摄了,3D,版的,电话谋杀案,，成为了当时,3D,片中为数不多的精品,立体电影概述,1962,年，我国的天马电影制片厂拍摄了国内第一部,3D,立体电影,魔术师的奇遇,，桑弧导演，陈强主演。后来又陆续出现了,欢欢笑笑,快乐的动物园,靓女阿萍,侠女十三妹,等,立体电影概述,1982,年，迪士尼拍摄了短片,魔法之旅,，虽然这部短片只有,16,分钟，但通过,CGI(Computer Generation Image),与真人表演的混合，打造出了在当时令人惊讶的,3D,效果,1982,年，,13,号星期五,第三部上映，令,80,年代的,3D,电影慢慢复苏,立体电影概述,1983,年，,3D,版的,大白鲨第三集,轰动一时，放映首周就赚得,1300,万美元的票房。但因为电影本身水准低下，,3D,效果也无过人之处，很快就让观众失去了兴趣,1985,年，,魔晶战士,成为世界首部,3D,动画长片,立体电影概述,2004,年，第一部,IMAX 3D,长片,极地特快,诞生。该片在,2000,块普通,2D,银幕上放映，,3D IMAX,银幕只有,75,块。然而就是这,75,块,3D IMAX,银幕，获得的票房占全片总票房的百分之三十。,3D+IMAX,的,“,超强组合,”,，让发行方看到了巨大的商业潜力,极地特快,立体电影概述,2005,年，迪士尼的动画片,四眼天鸡,(,鸡仔总动员,),采用了新型投影技术放映，减轻了以往看,3D,电影时容易产生的眼睛疲劳,立体电影概述,2008,年，,U2 3D,演唱会,是第一部完全用,3D,摄影机拍摄的真人影片，这个音乐纪录片堪称先锋,立体电影概述,2009,年，环球影业的动画片,鬼妈妈,是第一部采用停格动画形式的,3D,电影,立体电影概述,2009,年，,阿凡达,成为有史以来制作规模最大、技术最先进的,3D,电影。阿凡达（,Avatar,）是一部科幻电影，由著名导演詹姆斯,卡梅隆执导，二十世纪福克斯出品。该影片预算超过,5,亿美元，成为电影史上预算最高的电影,立体电影概述,大卫,斯莱德执导的,暮光之城,3,：月食,于,2010,年,6,月,30,日上映，影片采用,3D IMAX,技术,暮光之城,4,：破晓,上集于,2010,年秋季开拍，并于,2011,年,11,月在北美上映，,暮光之城,4,：破晓,下集则将在,2012,年,11,月上映,立体电影在中国,3D,电影在国内大范围上映实际始于,2008,年的,地心历险记,。近在咫尺的细微生物、呼啸而过的珍奇异兽、过山车般身临其境的美妙感觉,100,元的高昂票价和前所未有的视觉冲击力，让该片在有限的,80,块,3D,银幕放映,27,周，票房达,6700,万元，平均每块银幕票房,80,万元,立体电影在中国,以票房,3.2,亿元的,赤壁,(,上,),为例，它在,3600,块银幕放映合每块银幕票房,8,万多元。比较两部影片，,3D,电影平均银幕票房数是普通影片的,10,倍！,“,卖一部电影的票房就收回了放映设备的投入,”,，堪称奇迹,立体电影在中国,一系列引进的,3D,大片掀起了,3D,热潮，国内众多院线纷纷扩建、更新放映设备，力推,3D,电影。,08,年中国的,3D,银幕数量还只有,86,块，一部,地心历险记,6700,万的票房极大的刺激了各院线老板的胃口，纷纷上马升级,3D,银幕和设备，到暑期,冰河世纪,3,上映之时，中国的,3D,银幕数量已经迅速发展到,350,块,立体电影在中国,阿凡达,上映之时，中国的,3D,银幕数量将突破,600,块，成为紧随美国之后的全球第二大,3D,电影市场。中国,3D,银幕数量,2010,年是,1300,块，直追美国目前的,2000,多块,立体电影在中国,中国,3D,电影市场一不留神成为全球第二，成长速度可谓一日千里。同时，一批优秀的影视、动画工作者也投入到了,3D,电影的制作。中国第一部真人实景拍摄的,3D,电影,乐火男孩,已于,2009,年,8,月上映，开创了国产,3D,电影的先河,观看距离,与传统电影的观看方式会有不同，由于,3D,电影技术的目的是让人感到身临其境，所以在影院观看时，坐在前排要比坐在中后排的位置的效果好。由于前排距离银幕近，视角大，画面会将眼球转动的范围完全覆盖，让人会有身处电影环境之中的完美感觉,眼球的适应,初看,3D,电影的观众，偶尔会感到看不到,3D,效果，或是立体效果不明显，这种现象的根本原因可能与戴上了眼镜这种观看方式有关，毕竟影院所提供的眼镜是大众尺寸的，不舒服的感觉和镜片的距离等方面的因素，分散了观影的注意力,4.2.2 IMAX,IMAX(Image Maxium),是加拿大的,IMAX,集团所研发的一种巨型银幕电影,除了一般的,IMAX,影片之外，,IMAX,后来又发展出了,IMAX 3D,技术，所以,IMAX,电影并不一定是,3D,立体电影,IMAX,3D,立体电影设计是通过观众所戴的,3D,立体眼镜分别接收左右眼影像后呈现成,3D,立体的效果,传统的,3D,胶片技术，将左右眼视觉影像同时存放在同一个胶卷中，而,IMAX 3D,技术不仅使用世界最大的,IMAX,底片，并且使用双胶片分开录制、播放左眼及右眼的影像，使得影像更立体清晰，色彩也更鲜明,IMAX,使用,Imax 3D,影片时，,Imax,摄影机装有两个相同的镜头，镜头间距正好是人眼间距,65mm,，两幅图像被分别记录到两条同步运行的空底片上。在,Imax 3D,影院，专用的,Imax 3D,立体放映机分别把左右两条影片上的图像通过一对放映镜头放映到巨幕上,立体电影拍摄,数字立体电影拍摄,IMAX,Imax,胶片采用独特的,70mm,横排以造成巨幅效果。如图所示为几种常见的电影胶片，从左到右分别是：,70mm Imax,胶片（仅一个镜头的胶片）、,70mm,胶片、,35mm,胶片（电影院里看的电影，几乎全部是用,35mm,胶片放映的）、,16mm,胶片。（前些年还有,8mm,胶片，不过已经绝迹了）这些胶片是按照宽度来命名。除了,Imax,，其他胶片都是竖着放映的,Imax 3D,胶片与其他胶片的区别,Imax 3D,胶片与其他胶片的区别,4.2.3,立体电影的观看方式,立体电影的观看方式主要有：色分法、时分法、光分法等,观看方式,立体观察效果,成本,观看要求,色分法,彩色画面较差,低,红绿眼镜,光分法,效果稳定并适合长时间观看,很高,偏振眼镜,时分法,效果稳定，易疲劳,较高,同步快门式眼镜,4.2.4,色分法,色分法是把两幅具有适当视差的同一景物分别制成红色和绿色图像，再把这两幅图像组合在一起,红绿立体形成的基本原理就是将左右图像用红绿两种补色同时显示出来并用相应的补色观察，即分别用红色绘出左眼图像，用绿色绘出右眼图像,色分法,观察者戴上红绿眼镜观看，其中的红色镜片滤掉绿色图像，看到红色图像，绿色镜片滤掉红色图像，看到绿色图像。这样，观察者的每个眼镜就只能看到一个图像,，就,实现了分像。因此通过红绿眼镜将具有视差的两张图各自反映到大脑，使人产生逼真的立体感,色分法,色分法,目前较为常见的滤光片颜色是红蓝、红绿或者红青，目前采用这种技术的影院已经越来越少了，毕竟跟不上用户体验度的需求,优点：技术难度低，成本低廉,缺点：,3D,画质效果不理想，画面边缘容易偏色,色分法,4.2.5,时分法,时分法的技术原理是在发送端用两台摄像机，模拟人的左、右两眼进行摄像，产生一对视差图像信号，编码成一路信号进行传送。接收端解码成两路信号，在屏幕上同时显示两幅图像，由人的两眼分别观看，从而获得,立体感,左右,眼的视图在不同时刻无交叉地交替显示,时分法,时分法需要显示器和,3D,快门式眼镜的配合来实现,3D,立体效果。时分法所采用的立体眼镜构造有些复杂，当然成本也高。两个镜片都采用电子控制，可以根据显示器的输出情况进行状态的切换，镜片的透光、不透光切换使得人眼只能看到对应的画面（透光状态下），双眼看到不同的画面就能够达到立体成像的效果,时分法,优点：应用得最为广泛，资源相对较多,缺点：,戴上眼镜之后，亮度减少较多,3D,眼镜快门的开合在日光灯作用下与左右图像不完全同步，会出现串扰重影现象,快门式,3D,眼镜相对较贵，并且需要安装电池或充电使用,4.2.6,光分法,光分法立体电影是用两个镜头如人眼那样从两个不同方向同时拍摄下景物的像，制成电影胶片；在放映时，通过两个放映机，把用两个摄影机拍下的两组胶片同步放映，使这略有差别的两幅图像重叠在银幕上，这时如果用眼睛直接观看，看到的画面是模糊不清的,光分法,要看到立体电影，就要在每架电影机前装一块偏振片，它的作用相当于起偏器，从两架放映机射出的光通过偏振片后，就成了偏振光，左右两架放映机前的偏振片的偏振化方向互相垂直，因而产生的两束偏振光的偏振方向也互相垂直，这两束偏振光投射到银幕上再反射到观众处，偏振光方向不改变,光分法,通过眼镜的过滤，把分离后的左右影像送到各个眼睛，大脑再把这两个影像合成,3D,立体感,其他立体显示方法都有晕眩感，观看半小时以上需要中间休息以缓解视力疲劳，而光分法则没有，因此具有独特的优点,第四章 立体视频,(,3D Video,),4.1,立体视觉基本原理,4.2,立体电影,4.3,立体电视,4.3.1,立体电视的发展,4.3.2,立体电视技术,需要辅助眼镜,左右眼图像的偏振光调制技术：被动式，采用偏振片，不同偏振方向的光进入不同的眼睛。采用隔行扫描，分辨率受限,时间域调制技术：主动式，同一位置不同的时间给出两个图像。左眼图像出现时，右眼眼镜关闭，右眼图像出现时，左眼眼镜关闭。采用逐行扫描，分辨率较高，可实现真正的,1080p,立体电视技术,无需辅助眼镜,-,裸眼,3D,裸眼直视自动立体显示技术，该类技术主要通过光学系统将左右眼图像分别在空间不同方向进行传播，从而在特定位置使左右眼观看到不同图像内容来实现立体显示,被动偏振眼镜式,一部分,3D,液晶电视采用了被动偏振眼镜式。在屏上，另有一层偏振导向膜，交错将每一行的光线偏振方向做方向扭转，奇数行扭转到与左眼镜片偏光方向相同的角度，偶数行扭转到与右眼镜片偏光方向相同的角度（也可奇数行对右眼，偶数行对左眼）,被动偏振眼镜式,主动偏振眼镜式（快门式）,显示屏高速交替显示左右眼画面，眼镜左右眼也分别高速切换开关，显示左眼画面时，眼镜左眼打开右眼关闭，显示右眼画面时，眼镜右眼打开左眼关闭。所有的等离子,3D,电视和一部分液晶,3D,电视使用这种技术形式,目前三星、,LG,、,SONY,等厂商所推出的,3D,电视主要使用的就是这种,3D,显示技术,主动偏振眼镜式,主动偏振眼镜式,通过提高画面的快速刷新率（至少要达到,120Hz,），左眼和右眼两个,60Hz,的快速刷新图像才会让人对图像不会产生抖动感，并且保持与,2D,图像相同的帧数,优点：资源相对较多，厂商宣传推广力度大，,3D,效果出色,缺点：快门眼镜价格昂贵,主动偏振眼镜式,裸眼式,柱状透镜式,在屏表面上有一道道紧密排列的半圆柱形透镜，利用这些柱镜的折射角度不同，将左右眼的图像分开,优点：不需要眼镜，使用方便，制作成本相对较低，亮度较高,缺点：分辨率损失较严重，,2D,兼容性不好,裸眼式,柱状透镜式,裸眼式,平行光栅式,在屏前或屏与背光板之间再加一层遮蔽物，把部分方向的光线遮住，只让某些角度的光线可以发出去，将左右眼的图像分开,优点：不需要眼镜，使用方便，如果遮蔽物使用可以切换状态的材质，则可以很好的兼容,2D,缺点：制作成本相对较高，亮度较低，分辨率损失也较严重,裸眼式,平行光栅式,多视点技术,如图,(a),所示，视区,1,表示观看者眼睛位于该视区时只能看到第一幅视差图像；同理视区,2,表示观看者眼睛位于该视区时只能看到第二幅视差图像。当观看者左眼位于视区,1,而右眼位于视区,2,时，就能感知到立体图像,多视点技术,若观看者水平移动一定距离就会使得左眼位于视区,2,而右眼位于视区,1,，从而产生,伪立体（赝立体）,。采用双视点技术，观看者只能在相对固定的位置观看到立体图像，缺乏自由度,多视点技术,为了给观看者提供较大的观看自由度，可采用,多视点技术,所谓多视点技术，即有,N,（,N2,）幅视差图像信息,N,幅视差图像交错排列在平板显示屏上，借助光栅的分光作用，当观看者水平移动时，总有两个最佳视差图像进入左眼和右眼，从而形成立体视觉,多视点技术,多视点技术中也存在伪立体，即左眼位于视区,N,而右眼位于视区,1,时，但相对于双视点技术而言，伪立体视区要小得多,2D,到,3D,图像转换技术,转换的核心工作主要由两部分构成：识别出物体和背景、深度赋值,立体电视面临的问题,无比混乱的市场可以说是,3D,市场目前面临最大的难题。作为一种新型的显示技术，,3D,技术目前正处于蓬勃发展的阶段，但是整个,3D,行业却无统一标准，不仅消费者晕头转向，有些厂商的技术人员也为之头疼,立体电视面临的问题,3D,画面长时间观看很容易出现头晕、头痛。另外，电影院内光线比较暗，观众瞳孔自然就会放大，,3D,画面对于眼睛刺激性也特别大，眼压也会随之升高，出现眼干、眼痛等症状,立体电视面临的问题,想看,1080p,高清视频？网上随便一搜便琳琅满目。但是,3D,内容呢？虽然支持,3D,的游戏已经多达百款，但是每年在影院放映的,3D,电影还寥寥无几，其他诸如,3D,图片等资源更是为数稀少，在这种情况下，消费者又有什么理由耗费数倍的价钱去购买一款,“,华而不实,”,的产品呢？,立体电视面临的问题,真正的,3D,电视应该是裸眼就可欣赏到,3D,效果的，但目前已知的,3D,电视产品基本都需戴专门的,3D,眼镜才能观看。在裸眼,3D,电视真正成熟之后，,3D,电视才可能普及。否则，不单是,3D,眼镜的售价高昂，一些近视人群的佩戴舒适度等因素都将阻碍,3D,的推广,立体电视发展动态,三星电子于,2010,年,1,月,27,日正式宣布，开始大批量的生产,3D LED,电视和,3D LCD,电视,三星高端超薄,LED 8000,系列,65,寸,3D,电视,立体电视发展动态,2010,年,1,月，松下公司宣布已经开发出全球最大的,152,英寸、拥有,4K*2K,超高清分辨率、支持,3D,显示的等离子电视,立体电视发展动态,英国天空电视台,(British Sky Broadcasting)2010,年开通欧洲首家,3D,电视台，对阿森纳,Vs,曼联的英超重头戏进行,3D,现场直播,中国中央电视台将于,2012,年开通,3D,频道,