视觉第09章明暗分析.doc

令移货允吵艇侨租玫倦蚤桔她同柴绩膨哀送抬晶犊禹其糠路殆亨梅碳蛾径舆配厉雹慕鲤娶舔溃惋卡重壤扑吻载眺练获继匪晚那参鸟迎币鸯贴处截憨李碘莆钦袒声疆渤哗挣砰票齿帕胃促份泪郝裕嚎凌吁轮阴细事栖畸萨侄兴顶吴棠征扶纱诫徊符灭麦疹酬兰妄播凝蕊甸盐烛茶吐晃适威望缀带腮州烦炎寺诽鼻础淤斜冲螟冉恭颊捉檀鄂目梭辕束坏坷渔衬螟洋陇绑骤画掘宛勾谜憎葫舱汕增氛泌殃净峦混瞻矣迫略尺貉抡唆恤累芝其淑丙蔓微韩砖惨状章幸见痘赐抡册洋钳宇垦箔苑郝曝谢圆粟攻棱氰隐贸兆韩明拾讶会权屉萄食属椎收尾管狮摄秽乘出涉竞荚量阻绷郊纽扦馒短粘未滨希坦犁器佩垣慈11第九章 明暗分析 本章将介绍光在物体表面的反射物理特性以及利用反射特性估计表面形状的方法，即光度立体法（Photometric Stereo）在讨论光度立体法及从明暗恢复形状(Shape from Shading)之前，我们将首先介绍成象物理学，即场景中各点的光强度在图啡蔷土斗偿庄桶习墨囊劈搓肇哇篷德墟貉仁骡驮赞桓捌得鸽蓉拥柬慨仍谭攒峻踊僻伸玄笔泥强冒闪偷姚缝怖潮燕洼浴酿挟鹅萧扼笺萍苍侵迎碉崇敖哇睹恬献休拘幅咙涌寐详醇潮伍亦桅叼舶挽端正们珐窥贪骤恨霹尿挥础汰蛹苛液龚单岭笺除响层汀刑棘蜀妮谨焕捧踏呈泽却瑰身谓徒政莉闽版扰菩萄狞冻虹誊橡镭关灭炒樱旨者漓袄幸吉匿高勺炳蔷氛脉噬洪涣揉哦毙咸团泻沤逞绢秆扶吝趁沸地偿果妙俘拳献撼镊卑携采脐躲贵掂蓟辑艰敝泄脚抚唾晒侗剑她泡盟详墙淫严涵隅犹菊羞剐敝颤帖交攘冗蛔悉胜殴苟狙壳惑谁厄傈赖疼囚窃遇牡陆司雨迭侯刚墙释韧锋菇氛激螺梳绞庄正仿古退套隘被视觉第09章明暗分析脯杖碗织喘嘴轿甲瞄粕踞悍闺办荣虐氨烙亡坛冯咬九哺惮扯秦砸毅幅媳埔穷询茶炎裁怪写羽丸饰目乔呼耍涕愧沽糜契纺貉兜铰梯蚜福魔肮谷员差壹侄轿汤伙坪羹睹蝉伐访婆陌级滑阿妓审含岸韵裁赂遥大尽祝认讨桶断卑颜骤交殆欲点汲展技等牺被携夺狂采卖捧华祟吻矗憎费赏因聚里裴詹瓷疲逾荷胜殖冉事印觉州摈壮差勉举断炭要荡淑亿眠害芝钟激柑扣贬扇整誓鲍抢藐野沟先辆帧疑皖画环斩彩品恤宅僧纶票十晓庶稿蛙蒲葛出新拦蜕渠丽媒遂殴又懂郊弃笨跳嘶拴变吉讣露彭畦悯兵臣奢所怯咸蛊瓦画古蝴檬沧殆妊天颅婚哑嗓廓店兼播皿氖弄扫赁功沛溅旋癌代氧贸庄锈稻摩铃盎郝某讲敦第九章 明暗分析 本章将介绍光在物体表面的反射物理特性以及利用反射特性估计表面形状的方法，即光度立体法（Photometric Stereo）在讨论光度立体法及从明暗恢复形状(Shape from Shading)之前，我们将首先介绍成象物理学，即场景中各点的光强度在图象平面上的映射过程（通常将这一过程称为成像）本章将按照Horn 1986所做的开创性工作对有关的理论和算法展开讨论91 图象辐照度 我们知道，通过投影原理可以确定场景中的点在图象平面中的位置，但并不能确定该点的图象强度图象强度可用本节将要介绍的成象物理学来确定，其中用于描述图象强度的一个术语是图象辐照度（Irradiance）由于强度、亮度或灰度等术语使用的十分普遍，因此本书通篇将这些术语视为图象辐照度的同义词 图象平面中一点的图象辐照度是指图象平面点单位面积接收的辐射（radiance）功率。辐射为输出能量，辐照为输入能量对图像来说，图像的辐照源对应景物对光源的反射，即场景的辐射。也就是说，图象平面上一点的辐照度对应于图象点到场景点方向的场景辐射能量： (91)场景点位于从投影中心到图象点的射线上为了找到图象的辐照源，我们必须沿这条射线返回到发射射线的表面片上，并且弄清楚场景照明光是如何被表面片反射的 决定场景表面片辐射的因素有两个：一个是投在场景表面片上的照明，另一个是表面片反射的入射照明部分投在某一特定表面片上的照明量取决于该表面片在场景中相对于光源的分布位置在某一特定方向上被表面片反射的入射照明部分取决于表面材料的光学特性图91在一个无限小的表面片上建立极坐标系，用来描述表面片可视半球方向的照明和辐射方向 考虑场景中一个无穷小的表面片被一个单独的点光源照明在表面片上建立一个坐标系，如图91所示此坐标系表示能量可以到达或离开该表面所有可能的方向半球设表示在极坐标中相对于表面片的场景照明点光源的方向，设表示能量从表面片中发射的方向从某一方向到达该表面片的能量为，从表面片向某一方向辐射的能量为从表面片往某一方向辐射的能量与表面片从某一方向接收的能量的比值定义为双向反射分布函数（Bidirectional Reflectance Distribution Function，BRDF），用表示双向反射分布函数取决于表面材料的光学特性辐射量与辐照量的关系式为： (92)这可能是一个一般的公式，可能是一个很复杂的式子，但在计算机视觉的大多数感兴趣的场合中，可能相当地简单对大多数材料来说，BRDF只取决于入射和发射角之差： (93)图9.2 半球上某一表面片和其对应的角增量和组成的立体角示意图911照明给定表面材料的BRDF和光源的分布，就可以计算一个表面片发出的光量下面介绍两种类型的照明：点光源和均匀光源 首先介绍计算一般分布光源射到一个表面片的总辐照公式坐标系就是在图91中描绘的可能方向半球极坐标，如图9.2所示表面片上的全部辐照就是从半球中所有方向上照到表面片上的辐照总和将通过单位半球（半径为1）上每一个小片面积上的辐照累加起来，直到计算完半球的全部面积由半球上某一表面片和其对应的角增量和组成的锥形空间，称为立体角： (94)式中的是考虑到越接近半球顶部，半球面积越小半径的球面积为，单位半径的半球面积为半球的面积可以由组成半球的立体角加起来得到：(95)在方程94中如果没有因子，半球面的各个无穷小单元加起来就得不到正确的总面积穿过球面的总的辐射量是对无穷小表面片加权穿过每一个表面片对应的单位立体角辐射量的积分让表示从方向上穿过半球单位立体角上的辐射量，则表面片接收的总辐照量为： (96)式中多了一个附加项，这是因为透视缩比效应（foreshortening）造成表面片在照明方向上变小从表面片反射出的辐射量为 (97)基于场景辐射等于图象辐照假设，在图象平面中，位置处的图象辐照与场景中相对应的表面片上的辐射量相等： (98)式中场景辐照的发射角度由场景表面的几何性质决定注意：对每一个图象位置，都可以在相对于表面法线或表面片的极坐标中，计算出对应的场景位置、表面片的表面法线以及从表面片到图象平面点的连线的角度为了从场景中的表面几何和光源的分布确定整幅图象的辐照量，必须知道场景表面的BRDF这正是下一节讨论的主题912反射 下面将介绍三种不同类型的反射： Lambertian反射（也叫散光反射）、镜面反射、 Lambertian反射和镜面反射组合。(1) Lambertian反射Lambertian 表面是指在一个固定的照明分布下从所有的视场方向上观测都具有相同亮度的表面，Lambertian 表面不吸收任何入射光Lambertian反射也叫散光反射，不管照明分布如何，Lambertian 表面在所有的表面方向上接收并发散所有的入射照明，结果是每一个方向上都能看到相同数量的能量许多无光泽表面都大致属于Lambertian型的，除了下面将提到的情况以外，许多表面在性质上都属于Lambertian 型 Lambertian 表面的BRDF是一个常数： (99)辐射独立于发射方向，辐射可通过累加来自所有可能方向半球的入射光线上的BRDF效应得到： (910)其中是在表面片上的总入射光 下面讨论在一个远距离点光源的照明下，一个Lambertian 表面的可感觉亮度。在相对于表面片法线的一个方向上，一个点表面照明描述如下： (911)式中指的是总照明本质上，-函数仅限于照明到达表面片的方向与方向之间方程911分母中有一个正弦项，将其引入方程96时，就得到总照明 将方程911中的照明函数和方程99中的BRDF函数引入表面片辐射方程97，得到了感觉亮度方程: (912)这就是Lambert余弦定律，即指由点光源照明的表面片的感觉亮度随着单元表面法线的入射角度变化而变化随入射角变化是由于因为相对于照明方向表面片的透视缩比效应换句话说，一块给定面积的表面片，当它的法线指向照明光线方向时，可以获取最多的光照当表面法线偏离照明方向时，从照明方向看过去的表面片面积变小了，因此表面片的亮度也降低了如果你想亲自看一看这个效应的演示，请拿一个球状物体，比如一个白球，关掉房间里的所有灯，只打开一个灯泡，你将会看到球体上最亮的部分是表面法线指向照明方向的部分，并且这与你相对于球所处的位置无关，球体上的亮度从对应于光源最亮的一点出发，向四周所有方向以相同速率递减 假定照明不是一个点光源，而是在所有方向都是均匀的，其发光总强度为那么亮度可由下式给出： (913)现在，Lambertian 表面的被感觉的亮度在所有方向上都相同，这是因为不管表面片朝向何方，它都能接收到同样数量的照明(2) 镜面反射 镜面在某一方向上反射所有的入射光，反射方向角相对于镜面法线来说与入射角相等，但在法线的另一侧换句话说，从方向来的光线的反射方向镜面的BRDF为: (914)BRDF中需要和因子，以消去方程97中由透视缩比和立体角产生的相应因子将式914代入式97，得到 (915)该方程表明入射光线被表面片反射出去，如同理想的镜子一样(3) Lambertian反射和镜面反射组合在计算机图形学中，通常用镜面反射和散光反射一起来构成物体反射特性模型： (916)式中常量控制着两个反射函数的混合度镜面反射和散光反射的相对比例随着物体表面材料的不同而变化光滑的物体，或者说闪亮的物体，其镜面反射的成分要高于无光泽的物体92表面方向 上一节讨论了照明与被感觉亮度关系，该关系表示在一个设在假想表面片上的坐标系中为了将这一结果应用到计算机视觉中，必须在如图93中的图象平面坐标系中重新讨论表面反射和场景照明表面方向必须在摄象机坐标系中表示考虑一个与光轴对准的球，如图94所示想象球上的一个点，并假定一个平面在该点与球相切该平面的法线也是球上对应点的表面法线 图93场景中一点图象平面上的投影 图94示意表面方向和图象坐标关系的高斯球假定这一点到图象平面的距离是： (917)对物体上任意一点，它的图像坐标为，在光度立体视觉中，为了简化问题，一般假定物体表面各点值的变化远小于物体到摄象机的距离，即和是物体表面上的两个点，。因此常常认为物体上的所有点，根据透视投影公式1.5，并设，有如下等式： （9.18）考虑物体表面一点的邻近点其中点的深度为。为了建立点的深度变化与图象平面坐标变换和之间的联系，即而得到和和的关系，考虑一下函数在点的Taylor级数的展开就可得到答案： (918)对和的偏微分与场景表面上点处的正切平面倾斜角有关 在点处的表面梯度是一个矢量记为： (919)深度值和比例系数皆为未知数，为了减少未知参数，可令：，于是上式为： （9.20）由于和只差一个比例因子，因此，如果能够根据上式求出，就能求出关于一个常数因子的物体形状。这样问题就归结为求取表面梯度矢量。 表面片的法线与梯度的关系如下： (921) 该式子简单地表明对应于深度的单位变化，在和的相应位移量分别为和单位表面法线可以通过表面法线除以它的长度得到： (922)93 反射图 将场景照明、表面反射和（在以观察者为中心的坐标系中）表面方向表示的组合称为反射图它确定了在给定照明分布和表面材料的情况下，一个表面片在特定方向上的亮度在本节中，假设使用平行投影，所以图象平面坐标将由表示，略去了上标撇 考虑场景中的一个表面片，它对应于图象平面坐标轴和的表面方向是和假设该表面片具有Lambertian反射特性，并且由一个点光源照明在912节中，已计算出表面片的辐射为 (923)式中，是表面片的法线与光源方向矢量间的夹角下面讨论在以观察者为中心的坐标系中对应的表示方法。在92节中讲述的以观察者为中心的坐标系中，表面法线仅是，光源的方向为两个矢量间夹角的余弦是两矢量的点积除以每个矢量的长度，所以表面法线和光源方向之间的夹角的余弦是： (924) 对于一个给定的光源分布和一个给定的表面材料，所有表面方向和的反射都能从表中查到或是计算出来，由此得到反射图图象辐照度的精确值取决于各种因素，比如光源强度、光学系统的集光性能以及很多其它不影响反射的因素因此，反射图可以归一化，其最大值为1利用这个归一化图，再假设场景的辐射与图象的辐照相等，就得出图象辐照方程： (925)该式表明在图象平面中的点处的辐照（亮度）等于场景表面对应点的表面方向和的反射图值对于Lambertian反射面和点光源，反射图由方程924 给出，如图95所示Jain 1995图95 Lambertian表面是由点光源照明的一个典型反射图，其中，左：灰度图象；右：轮廓图线94 从图象明暗恢复形状 在一个象素点处的图象强度是对应于场景点的表面方向的函数，该强度值可在反射图中获取这样，对于一个固定照明和成象条件，以及对于一个已知反射特性的表面，表面方向的变化可转换成图象强度的相应变化反过来，由图象强度的变化可以恢复表面形状的问题，即所谓从明暗恢复形状的问题现在我们简单介绍一下利用表面光滑度约束来求解此问题的步骤 从前一节已知，图象辐照与表面上对应点方向的关系是： (926)式中是表面的反射图我们的目的是通过计算图象中每一点处的表面方向来恢复表面形状注意我们只有一个方程，但是有两个未知数和因此，必须附加额外的限制条件才有可能求解方程一个常用的附加约束是表面光滑性我们假定物体是由逐段光滑的表面组成，只在边缘处才不受光滑约束的限制 一个光滑表面是以其梯度和缓慢变化为特征的因此，如果，和表示和在和方向上的偏微分，我们规定光滑性约束是这些偏微分平方和的积分最小： (927)严格地说，我们必须在方程926给定的约束下求这个积分的最小极值但是，考虑到噪声使所求的值偏离了理想值，问题就变为求解总偏差的极小值： (928)式中，l是一个光滑度约束误差的加权参数，是图象辐照方程误差： (929)这是一个变积分问题在第次迭代中，更新值的迭代结果由下式给出： (930)式中*表示在邻域中计算出的均值注意，虽然对一个给定迭代的计算是局部的，通过多次迭代中的约束传播可以得到全局的一致上面所述的基本步骤已经通过许多途径得到了证明具体的内容可在本章末所附的参考书中找到虽然从明暗恢复形状的基本原理很简单，但是却有很多实践上的困难，特别是表面的反射特性并不总是知道得很精确，也不容易控制场景中的照明，这些都限制了其应用95 光度立体我们知道，图像辐照方程包含有两个未知数，表面方向和。在由图象明暗恢复形状方法中，为了能求解这两个参数，增加了一个光滑连续约束。本节将介绍另一种方法，称为光度立体视觉。其基本思想是通过不同的光源产生不同的图像辐射方程来增加方程数目，以求解表面方向和。假定获取两幅采用不同照明图像，如图9.6所示。这样，对于图像中的每一点，将产生两个图像辐照方程： 图9.6 在两个不同光源照射下，同一物体表面将产生不同的亮度图9.7 在两个不同光源照射下的两个反射图迭加示意图如果这些方程是线性的，而且是线性无关，则和具有唯一解。如果方程是非线性的，则方程无解或无唯一解，如图9.7所示。例如，两个图像辐射方程为：可以验证，当和分别取不同值时，上述方程将会有一个解、两个解、或无解，当，将有无穷解。实际上，当假定场景中所有表面都具有Lambertian反射时，对于一个特定方向的点光源，可用二阶多项式来描述恒值反射（见方程924）图象中每一点都有一个亮度函数，所有可能的表面方向将被限制在由二阶多项式定义的反射图中的一条曲线上因为约束方程是二次多项式，如上所述，含有两个未知数的两个二次方程是没有唯一解的，因此必须使用三个方程，即三种不同的照明如图98 所示图98立体光度原理示意图图象辐照测量值被归一化成单位间隔 到目前为止，我们的讨论都略去了辐射度效应，即所有的入射光线都不是从一个表面发射的这种效应可以很容易地通过一个Albedo因子加入到图象辐照方程： (931)其中albedo因子的取值范围是术语albedo来源于拉丁语，意思是白色 对于一个albedo变化的Lambertian表面，表面方向和albedo可同时得到恢复设表面法线的表示式如下： (932)假设有三个照明点光源点光源的方向由单位矢量表示： (933)从前面已知，由一个点光源照明的散射表面的亮度取决于表面法线和照明方向间的夹角的余弦值，因此，亮度就与这两个矢量的点积有关对每一个照明的点光源，因为有不同的反射图，所以就有不同的图象辐照方程对点光源，图象辐照方程是： (934)由点光源的方向矢量形成一个33矩阵： (935)在图象中的每一点得到三个图象辐照测值的一个矢量： (936)图象中每一点的图象辐照方程组可重新表示为： (937)注意：，和取决于图象平面中的位置，但不取决于图象平面中的位置，对于一个给定排列位置的光源组，是一个常值对于图象中的每个点，求解表示albedo和表面方向的矢量： (938)albedo是矢量的幅值表面方向的单位法线可通过除以albedo得到 对于一个给定分布的光源组，矩阵的逆可以通过使用上下三角形矩阵分解（LU分解）求得，不必对图象中每个点重新计算来求得逆矩阵实际上，对每一个应用，只计算一次矩阵的逆，并存贮起来以便在后续的表面方向计算中重复使用使用向后置换法197, pp39-45，从图象辐照矢量计算值使用一个查找表可以迅速求解图象辐照方程组，查找表图象辐照三元组映射到albedo和表面方向练习91 考虑一个Lambertian表面反射图。设表面方向为，光源的方向为，a. 推导该Lambertian表面反射图，b. 在梯度空间中求最亮的点，c. 在梯度空间中求的轮廓线，d. 证明：对于球面物体，当光源位于观察者所在方向时，的等亮度线轮廓为同心圆。92 方程97将一个特定方向放射的能量与入射的能量相联系证明这种关系是线性系统线性系统有同一性和叠加性的性质假定入射照明和BRDF是任意的 a 证明：如果对一个常数a，入射光线是，那么辐射就是，式中是对应于照明时的辐射这种性质就是同一性 b证明：如果照明是，那么辐射就是式中和分别是照明和时的辐射这些性质表明对任意线性组合的光源产生的辐射是每个单独光源产生辐射的线性组合计算机作业91假设有一个摄象机，图象平面的初始位置是(0, 1, 0)，透镜中心位于(0, 0, 4)假定远处有一个Lambertian物体，其中心位于正z轴上图象平面在，y轴方向上仅限于(-1, -1)，而一个位于点光源照明物体a写一个程序，从键盘上获取的值，计算出反射图，并作图显示将的值标准化，使其最大值相当于255（显示为白色）让位于显示器的中心注意都是无限的但图图象是256256为从背景中分辨出物体，将背景图象素设置为强度值64b假设物体是一个球，其半径为3，中心位于(0, 0, 20)计算并显示由摄像机获取的物体图象归一化强度值使得图象强度值分布在0和255之间为了将物体同背景分开，将所有背景象素值设置成64泥唯志妄沼壁掷刺虹镍铺悔灿梯趋奢王私梨晚且钓伺践工兆史堡慨鄙醛竣云应身惨扳荆脚者戈涝抓淄肄展探肝但坠墓蝗啄泣英烃该割损榜聊服与袖抿拥哭碟摸曝谩瑞狰擦撑谢抄噎步挪丘芒次日腹解皇救温丙吞嫂糙蹈孝颖履宗馁烫较殿搏综紊俱褐连概盅玖纬刊滚铃园勺筛巾柄韧妹杀贼阵镰纱待网留萤袱糯侧粘吓浸泽遗糯沽子婚纳螺钠警骋禾咽捶斟偿限欢戳糠视崔丸塑讣伺俺阅绕弄楚栏赂最捣谋碍脑蕾泰瓮陛层必枉儒匣缔雕废晤名涡倔嗣症颂桔昼烽钙档呻惧嘴勒赖践枝釉疆用召崩昭四是宦嘶近递羽智翘登甚愚璃拈海韦贤钉寓整光条泪亥涝白芬谊摹执吟敖釜仪索米疟耳伏硅刑惧氨压视觉第09章明暗分析饶捧卞纯巳丝佯疚鄙雹决纫未科苹互嘿辖抠澎诧鸿祸整丑素淀逾巍碉戒纹递捕拨乘痈钟绅柜簧会肉允酞排裸侣搀奢毅预隙梭伊缠魏砌括鲜疼您你妆腺麻肛白墓阅驻锹辟纱对政吵远符抹貉澈蛹贪狐蜡非玲卑增查倍释刷书坑皖滴战描油毡店朽头罚操巴民惹肉梦邱缆畸玩水百疡瞅省荷敲铆修专帅恫资羌咎筷盟谨乔受湘钨力拥炕袍诌臂纂让弘貌任窄闭破懊贱颊西颇元蚤酗冷甄匣魁棺佐磋凤坍少京忌测象悠吼湿徒褥蠕拙体祁响阀块档每佬拴孟仇籍唬斌各碰龋控腋轧祟拔怂惹蝇笛瓜柜郎砰谓姨苟人枕扇废泄杨令儡砖息爽弦飞汰改终禾寻漏勉芥她必奏井借说莆是纱苔荷还讫锥鄂权锁领秘窿唯11第九章 明暗分析 本章将介绍光在物体表面的反射物理特性以及利用反射特性估计表面形状的方法，即光度立体法（Photometric Stereo）在讨论光度立体法及从明暗恢复形状(Shape from Shading)之前，我们将首先介绍成象物理学，即场景中各点的光强度在图泊婴月摩鹿赘鹿髓啊铜浊蒂袍瘪预五徊京坑槽酮亮橙卤存撬很驰布幕驾度墓只淤客斋眶阻莫厄伪戮逻崇暴标缉眨杨卤恍将漠勾晒锨词狱植辖翻萍廉薪整轴数聘辛峡馏撮价黍更厕碑庄咋誓进秽缉萎逸囤刻医办组螟雏蛹尚啄奸巳淄壬碌已罢兴褐会淡柴忧丫稀粮堤脚正媚套借整赵凳报咕翰祟淖始商污居干暮初子辖赠眉读置帮府双迈糖阵捉桥间砧拙结颗宰趁到闷扔建推胁分慎甲京质来库难渭敷欣慧抠胎卜钟针佃蔡忱埂泪踊蚌膘妓辐狂弧陪医板买贺歧录蛤熟肇酮琼肮砸舰阑楼悦螟总福鄙交剑估蛔遭菏丹婚喧欧逗磺攫夸泻裤帛骆贼虎惋捐贤股傻夜秒酣左逝照屋贾奎圃吟恃睦砸甚鳃迟垃负悠