计算摄像学专题第12讲.ppt

-1-计算摄像学专题第十二讲DepthofField(DoF)戴琼海 王雁刚清华大学 自动化系1.-2-本节课小结三第十二讲提纲第十二讲提纲问题的由来一处理方法Tradeoff二2.1多张图像拍摄2.2单张图像拍摄2.-3-什么是什么是Depth of Fieldp什么是DepthofFieldn反映透镜或相机的属性n物平面的共轭像平面上呈清晰像的轴向深度p思考n nDepth of Field Depth of Field 与上节课所讲与上节课所讲Time of Filght(ToF)Time of Filght(ToF)获取的深度有何异同？获取的深度有何异同？3.-4-Depth of Field的推导的推导主平面 主平面物平面象平面4.-5-Depth of Field的推导的推导5.-6-Depth of Field的推导的推导p当极限分辨角确定后，允许的弥散斑大小还与眼睛到图像的距离有关p为了获得正确的空间感觉，不发生景象的歪曲，必须要以适当的距离观察图像p思考n n如何才能获得正确的空间感觉？如何才能获得正确的空间感觉？n n观察距离到底如何确定？观察距离到底如何确定？6.-7-Depth of Field的推导的推导p我们说要获得正确的空间感觉，应当使得成像平面上个点对眼睛的张角与直接观察空间时，各对应点对眼睛的张角是相同的入射光瞳出射光瞳ABBAE7.-8-Depth of Field的推导的推导8.-9-Depth of Field的推导的推导9.-10-什么会影响什么会影响Depth of Field10.-11-什么会影响什么会影响Depth of Field11.-12-F数与数与Depth of Field此式说明：光圈的此式说明：光圈的此式说明：光圈的此式说明：光圈的F F F F数数数数与景深呈线性关系。与景深呈线性关系。与景深呈线性关系。与景深呈线性关系。实际上，实际上，实际上，实际上，F F F F数越小，表数越小，表数越小，表数越小，表明光圈越大明光圈越大明光圈越大明光圈越大12.-13-F数与数与Depth of FieldF/2.8F/32思考：1）F/2.8与F/32对应的光圈分别在何种情况下使用？2）如果迫不得已必须采用F/2.8的光圈，如何才能增大DepthofField？3）若我们可使用F/32的光圈采集，如何才能获得F/2.8“突出重点”的效果？13.-14-Depth of Field的深入思考的深入思考14.-15-光场的相关理论光场的相关理论15.-16-光场采样与图像获取光场采样与图像获取16.-17-光场采样与图像获取光场采样与图像获取p三维空间的光场到二维平面光场的简化处理与直观感觉17.-18-光场采样与图像获取光场采样与图像获取18.-19-Depth of Field的深入思考的深入思考19.-20-Depth of Field的问题及小结的问题及小结pDepthofField与Defocus的关系n存在的原因是：sensor、人眼等感光器都存在极限分辨率nDepthofField造成的blur，本质上是因为outoffocuspDepthofField涉及的两个重要问题n增大DepthofFieldp针对必须使用大光圈的拍摄情形n获得DepthofField“突出重点”的效果p美学设计p检测、识别等领域20.-21-Depth of Field的问题及小结的问题及小结pDepthofField的正问题与逆问题增大减小V.S.21.-22-本节课小结三第十二讲提纲第十二讲提纲问题的由来一处理方法Tradeoff二2.1多张图像拍摄2.2单张图像拍摄22.-23-Depth of Field问题的解决思路问题的解决思路p重新阐述DepthofField的两大类问题n“增大”DepthofFieldn“减小”DepthofFieldp增大DepthofFieldn降低感光器的极限分辨率n选取更小的光圈n在不改变极限分辨率、不使用小光圈的情形下，通过计算摄像的技术手段来获得更大的景深p思考：如何思考：如何“减小减小”Depth of Field？23.-24-Depth of Field问题的解决思路问题的解决思路p在前面的讨论中，我们已经知道nDepthofField存在的根本原因是：传感器、人眼等感光器存在极限分辨率n一些有意思的题外话p眼大无珠p贼眉鼠眼p闪烁着智慧光芒的小眼睛24.-25-Depth of Field问题的解决思路问题的解决思路p由于极限分辨率的存在，原本清晰成像的焦平面可以扩展到成空间的深度范围p增大DepthofField的技术手段是否可以按照如下思考的方式n n多张图像拍摄：多张图像拍摄：相机分别聚焦于不同平面，然后融合拍摄的多组图像?n n单张图像拍摄：单张图像拍摄：p捕获光场，重新积分不同角度的光线，得到图像?p想办法使得单张图像的整体模糊与深度关系可控?如，模糊核一致或模糊核清楚地知道25.-26-本节课小结三第十二讲提纲第十二讲提纲问题的由来一处理方法Tradeoff二2.1多张图像拍摄2.2单张图像拍摄26.-27-多张图像拍摄相关文献多张图像拍摄相关文献pUSPatent1987pDepth of focus Imaging process methodpIEEEConferenceonComputerVision1993pEnhanced Image Capture Through Fusionp27.-28-多张图像拍摄的关键技术多张图像拍摄的关键技术p融合多幅图像信息，以期望获得更大景深的效果是一种很直观的想法p这里仅做简要介绍，感兴趣的同学可翻阅相关的视觉文章p牺牲时间，换取景深。该想法关键问题是如何如何融合融合不同焦不同焦距平面上的图像？距平面上的图像？28.-29-多张图像拍摄的关键技术多张图像拍摄的关键技术pSIGGRAPH2004pInteractive Digital Photomontage29.-30-多张图像拍摄的关键技术多张图像拍摄的关键技术p此方法分为两个步骤n分割Graph-cutn融合梯度融合方案pGraph-cut可以用户指定，也可全自动计算p梯度融合则是保证图像的视觉效果30.-31-本节课小结三第十二讲提纲第十二讲提纲问题的由来一处理方法Tradeoff二2.1多张图像拍摄2.2单张图像拍摄31.-32-单张图像的单张图像的Depth of Field增强增强p多张图像拍摄增加DepthofField，只能针对静态场景p如何实时地增加动态场景的DepthofField成为一个棘手的问题p问题是：p能否利用单张图像增加Depth of Field？p答案是：p这是可以做到的，我们将重点介绍几类单张图像Depth of Field增强的方案32.-33-单张图像的单张图像的Depth of Field增强增强ppLight Field CameraLight Field Cameran2005.Lightfieldphotographywithahand-heldplenopticcameran2010.FocusedplenopticcameraandrenderingppDepth-Invariant BlurDepth-Invariant Blurn1995.Extendeddepthoffieldthroughwave-frontcodingn2010.Flexibledepthoffieldphotographyn2010.DiffusioncodedphotographyforextendeddepthoffieldppDepth-Varying BlurDepth-Varying Blurn2007.Imageanddepthfromaconventionalcamerawithacodedaperture33.-34-单张图像的单张图像的Depth of Field增强增强Coded apertureLevin et al.07Veeraraghavan et al.07Depth-varying blurDepth estimation requiredWavefrontcodingDowski&Cathey 94Focus Sweep Hausler 72 Nagahara et al.08Depth-invariant blurDiffusion Coded PhotographyOliver et al.10光光场场相相机机Version 2.0 Georgiev et al.10Version 1.0 N.g.Ren et al.0534.-35-单张图像的单张图像的Depth of Field增强增强ppLight Field CameraLight Field Cameran2005.Lightfieldphotographywithahand-heldplenopticcameran2010.FocusedplenopticcameraandrenderingppDepth-Invariant BlurDepth-Invariant Blurn1995.Extendeddepthoffieldthroughwave-frontcodingn2010.Flexibledepthoffieldphotographyn2010.DiffusioncodedphotographyforextendeddepthoffieldppDepth-Varying BlurDepth-Varying Blurn2007.Imageanddepthfromaconventionalcamerawithacodedaperture35.-36-光场相机与光场相机与Depth of Fieldp光场相机的目的是为了记录光场的角度信息与位置信息p传统相机将所有的角度信息积分到固定位置处，前面我们已经讲到这个知识点。请同学们特别注意这个重要的观点与思想p光场相机需要牺牲空间分辨率来获得角度分辨率p因此，使用光场相机来获得DepthofField可以说是将多张图的技术移植到了单张图像上36.-37-光场相机拍摄出的图片光场相机拍摄出的图片37.-38-传统相机与光场相机传统相机与光场相机38.-39-光场相机原理光场相机原理p传感器单元上，微透镜阵列对应位的像素值等效于主透镜上同一位置的光线p主透镜平面可以用来刻画不同角度的光线p我们称主透镜平面为角度平面，传感器平面为位置平面思考：若把不同微透镜阵列后的像素组合起来若把不同微透镜阵列后的像素组合起来构成一幅新的图像，该图像反映了什么构成一幅新的图像，该图像反映了什么？39.-40-光场相机原理光场相机原理pSub-apertureImagep这是一个很重要的成像观点p也就是说，图像的形成过程可以如此思考p假设我们所拥有的主透镜可以任意地开不同位置的小孔p显然，每个小孔都会有成像视差效应p对这些小孔所成的图像进行叠加，构成主透镜的图像？40.-41-光场相机原理光场相机原理p网络学堂，我给出一些Raw-data，感兴趣的同学可以用Matlab尝试一下41.-42-光场相机的几项关键技术光场相机的几项关键技术p如何保证不发生混叠？42.-43-光场相机的几项关键技术光场相机的几项关键技术p数字重聚焦(DigitalRefocusing)43.-44-数字重聚焦数字重聚焦44.-45-单张图像的单张图像的Depth of Field增强增强ppLight Field CameraLight Field Cameran2005.Lightfieldphotographywithahand-heldplenopticcameran2010.FocusedplenopticcameraandrenderingppDepth-Invariant BlurDepth-Invariant Blurn1995.Extendeddepthoffieldthroughwave-frontcodingn2010.Flexibledepthoffieldphotographyn2010.DiffusioncodedphotographyforextendeddepthoffieldppDepth-Varying BlurDepth-Varying Blurn2007.Imageanddepthfromaconventionalcamerawithacodedaperture45.-46-Depth-Invariant Blurp波前编码技术(Wave-frontCoding)n设计合理的相位板p灵活的景深采集技术n不同深度的积分拍摄p漫反射体编码技术(DiffusionCoding)n设计有效的漫反射体p使用一些传统的去模糊方法来处理拍摄得到的图像46.-47-波前编码技术波前编码技术p技术难题在于如何设计合理的相位板使得拍摄的图像与focus的敏感程度降低?p两个假设n长方形的Aperture是可分离的n拍摄到的图像不是最终生成的图像，而只是中间结果图像，需要后续处理p理论基础nAmbiguityfunctionnWignerdistributionfunction47.-48-波前编码的数学基础波前编码的数学基础48.-49-波前编码的数学基础波前编码的数学基础49.-50-波前编码的数学基础波前编码的数学基础p长方形Aperture的Ambiguity变换50.-51-波前编码的数学基础波前编码的数学基础51.-52-波前编码的数学基础波前编码的数学基础52.-53-波前编码的数学基础波前编码的数学基础53.-54-Depth-Invariant Blurp波前编码技术(Wave-frontCoding)n设计合理的相位板p灵活的景深采集技术n不同深度的积分拍摄p漫反射体编码技术(DiffusionCoding)n设计有效的漫反射体p使用一些传统的去模糊方法来处理拍摄得到的图像54.-55-灵活的景深采集技术灵活的景深采集技术55.-56-采集的图像采集的图像56.-57-去除去除blur后的结果后的结果57.-58-Depth-Invariant Blurp波前编码技术(Wave-frontCoding)n设计合理的相位板p灵活的景深采集技术n不同深度的积分拍摄p扩散编码技术(DiffusionCoding)n设计有效的扩散板p使用一些传统的去模糊方法来处理拍摄得到的图像58.-59-扩散编码技术扩散编码技术59.-60-扩散编码技术扩散编码技术60.-61-单张图像的单张图像的Depth of Field增强增强ppLight Field CameraLight Field Cameran2005.Lightfieldphotographywithahand-heldplenopticcameran2010.FocusedplenopticcameraandrenderingppDepth-Invariant BlurDepth-Invariant Blurn1995.Extendeddepthoffieldthroughwave-frontcodingn2010.Flexibledepthoffieldphotographyn2010.DiffusioncodedphotographyforextendeddepthoffieldppDepth-Varying BlurDepth-Varying Blurn2007.Imageanddepthfromaconventionalcamerawithacodedaperture61.-62-Depth-Varying Blurp此类方法不像Depth-Invariant方法，要求图像具有整体一致的模糊核p图像的模糊核可变p保证选择最优的可变模糊核p问题在于：如何选择最优的可变模糊核？如何选择最优的可变模糊核？62.-63-透镜以及离焦面的形成透镜以及离焦面的形成透镜透镜点扩散点扩散函数函数点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面63.-64-透镜以及离焦面的形成透镜以及离焦面的形成透镜透镜点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面点扩散点扩散函数函数64.-65-透镜以及离焦面的形成透镜以及离焦面的形成透镜透镜点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面点扩散点扩散函数函数65.-66-透镜以及离焦面的形成透镜以及离焦面的形成透镜透镜点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面点扩散点扩散函数函数66.-67-透镜以及离焦面的形成透镜以及离焦面的形成透镜透镜点光源形成的点光源形成的图像图像焦平面焦平面光圈光圈传感器平面传感器平面点扩散点扩散函数函数67.-68-局部去模糊处理局部去模糊处理不同深度上已经校准的模糊核不同深度上已经校准的模糊核输入待去模糊输入待去模糊的图像的图像68.-69-局部去模糊处理局部去模糊处理深度深度深度深度 k=1:深度深度深度深度 k=2:深度深度深度深度 k=3:输入待去模糊输入待去模糊的图像的图像局部子区域局部子区域图像图像锐化的子区锐化的子区域图像域图像深度深度 校准后校准后的模糊核的模糊核69.-70-方法总述方法总述大点的尺度大点的尺度用不同尺度大小的滤波器处理用不同尺度大小的滤波器处理不管怎样，选择最合适的尺度不管怎样，选择最合适的尺度?试试正确的尺度正确的尺度小点的尺度小点的尺度70.-71-存在的问题存在的问题很难辨别正很难辨别正确的尺度确的尺度输入输入Richardson-Lucy 反卷积算法反卷积算法?即使模糊核已知，即使模糊核已知，结果也不尽如人意结果也不尽如人意大点的尺度大点的尺度正确的尺度正确的尺度小点的尺度小点的尺度71.-72-编码光圈编码光圈光圈平面添加掩膜（光圈平面添加掩膜（Mask）使得不同深度的模糊核可以很好地进行区分使得不同深度的模糊核可以很好地进行区分传统光圈传统光圈编码光圈编码光圈72.-73-掩膜的设计掩膜的设计73.-74-掩膜的设计掩膜的设计p通过最大化不同尺度下的KL距离来选择合理的掩膜Sampled aperture patternsConventional apertureMore discrimination between scalesScoreLess discrimination between scales74.-75-利用自然图像的先验去模糊利用自然图像的先验去模糊_2+_+2?卷积误差卷积误差梯度误差梯度误差High Low 相同的卷积误差相同的卷积误差75.-76-本节课小结三第十二讲提纲第十二讲提纲问题的由来一处理方法Tradeoff二2.1多张图像拍摄2.2单张图像拍摄76.-77-本节课小结本节课小结pDepthofField存在的原因是：极限分辨率pDepthofField的处理方法有两大类n采集多幅图像n采集单张图像p其中，采集单张图像的优势体现在可采集动态场景，方法又分为n光场相机n深度不变的模糊核n深度可变的模糊核77.-78-谢谢大家谢谢大家78.