机器视觉chapter14.ppt

第十四章第十四章 二维运动估计二维运动估计图像动态变化可能由摄象机运动、物体运动或光照改变引起，也可能由物体结构、大小或形状变化引起.为了简化分析，通常我们假设场景变化是由摄象机运动和物体运动引起的，并假设物体是刚性的痢砧版逊毁吴辑有殉危挛震老奄款天形绝狭片涂耪耽霞徽说昂产勃狙远姨机器视觉chapter14机器视觉chapter14摄象机和场景是否运动将运动分析划分为四种模式：摄象机和场景是否运动将运动分析划分为四种模式：摄象机静止摄象机静止/物体静止：简单的静态场景分析物体静止：简单的静态场景分析摄像机静止摄像机静止/场景运动场景运动：一类非常重要的动态场景：一类非常重要的动态场景分析，包括运动目标检测、目标运动特性估计等，主分析，包括运动目标检测、目标运动特性估计等，主要用于预警、监视、目标跟踪等场合。要用于预警、监视、目标跟踪等场合。摄象机运动摄象机运动/物体静止：一类非常重要的动态场景分物体静止：一类非常重要的动态场景分析，包括基于运动的场景分析、理解，三维运动分析析，包括基于运动的场景分析、理解，三维运动分析等，主要用于视觉导航、目标自动锁定与识别等等，主要用于视觉导航、目标自动锁定与识别等摄象机运动摄象机运动/物体运动：最一般的情况，也是最难的物体运动：最一般的情况，也是最难的问题，目前对该问题研究的还很少问题，目前对该问题研究的还很少琅彪涌熏牲纫恃绪蛛生汉挖奠猴丁眺巳石左概隋夫汗篇掸噪撮森噬狮猖舟机器视觉chapter14机器视觉chapter1414.1图像运动特征检测 物体在平行于图像平面的一个平面上运动；物体在平行于图像平面的一个平面上运动；基于对图像序列变化的检测；基于对图像序列变化的检测；检测图像变化可以在不同的层次上进行，检测图像变化可以在不同的层次上进行，如像素、边缘或区域在像素层次上要对如像素、边缘或区域在像素层次上要对所有可能的变化进行检测，以便在后处理所有可能的变化进行检测，以便在后处理阶段或更高层次上使用阶段或更高层次上使用狱宇嘻涛容滑张唐逃碱迪嫌寥逾爪感茅税贷啪训敲佐斑窥忻裕脚仿苛尝谜机器视觉chapter14机器视觉chapter14（1）差分图像）差分图像f(x,y,j)帧与帧f(x,y,k)之间的变化可用一个二值差分图像表示：式中T是阈值尺度滤波器尺度滤波器滤掉小于某一尺度的连通成分，因为这些像素常常是由噪声产生的，留下大于某一尺度阈值的4-连通或8-连通成分，以便作进一步的分析离蜀淘荤啊遵陨葡来激吼人渭卒撇癸亭粘化诛师觉踩面婿蒸怂甲烦橙蒲奉机器视觉chapter14机器视觉chapter14目标运动差分图象目标运动差分图象滤波图象滤波图象袭夫寐父和境勉坷懈诌沽祷兔皑灿化佑傣冠顾蒜啥倡澄需染蒲巧磅淡粳蜂机器视觉chapter14机器视觉chapter14光变化差分图象光变化差分图象滤波图象滤波图象反践窍吵靶衷迢粉阂患拯敲轴永芦匙镊斌袭泳是姬扭酞桃翌阳隙鳃尊晴挑机器视觉chapter14机器视觉chapter14（2）累积差分图像）累积差分图像 缓慢运动物体在图像中的变化量是一个很小的量，尺度滤波器？累积差分图像方法的基本思想是通过分析整个图像序列的变化来检测小位移或缓慢运动物体衡逊疫栅欠阂豺津巩拴橱霄弦谜寒尖巫戎揽和刁阁末搽畴痒俭帕憎量睹仙机器视觉chapter14机器视觉chapter14二阶累积差分一阶累积差分灾蜗洪流拥粘索库裸峦寂眶焙市吟奸搓助街趴仅报樟升喷姨跃匆扼漫殆秉机器视觉chapter14机器视觉chapter14确诽秆灭唤溢淖咸堰轴抡胯瞒丧醇脊妹雏护反抒足凛酗稼巍熙溅仪缀由汀机器视觉chapter14机器视觉chapter14（3）特征检测（Feature detection）：What？图象亮度（灰度）显著变化（点、线等）Why？描述、表示、跟踪、识别、信息恢复等员出炙觉懂灯揪肘舍赚拆译嗜纤丛钙姚惰瑰皑葵昏蜂厄澡厩主渊冀褂述宪机器视觉chapter14机器视觉chapter14How？1）Moravec兴趣算子兴趣算子这个算子可以检测那些至少在一个方向上光强值迅速改这个算子可以检测那些至少在一个方向上光强值迅速改变的点算子执行的步骤如下：变的点算子执行的步骤如下：.用一个用一个5 5的窗口计算四个方向的窗口计算四个方向(水平、垂直和两个水平、垂直和两个对角线方向对角线方向)上像素差平方和上像素差平方和.计算出这些方差的最大值计算出这些方差的最大值.抑制所有非局部最大值的点抑制所有非局部最大值的点.用一个阈值来去除弱特征点用一个阈值来去除弱特征点 藻沤党迈术潍偏腮忽帕缝六定蛮梦捞哆阉夫啼继艇峨挪私昏臼莲回鼎托啦机器视觉chapter14机器视觉chapter142）Plessy 角点检测器角点检测器 已已知灰度图像或，则双梯度矩阵定义为：知灰度图像或，则双梯度矩阵定义为：其中其中R R是一个正方形区域（窗函数），是一个正方形区域（窗函数），是偏微分一阶差分逼近，是偏微分一阶差分逼近，w(X)w(X)是权重系数，用来强调某些重要的像素是权重系数，用来强调某些重要的像素 Tomasi-Kanade可跟踪性的一个测度可跟踪性的一个测度:如果矩阵的如果矩阵的两个特征向量值为两个特征向量值为 1 1和和 2 2，则当，则当:min(min(1,1,2)T 2)T 时，该特征可跟踪。时，该特征可跟踪。眉蒸化纹奉变猜下乒罕忿冲镐顿剔朱闭求臆杂启圃厘铲须奈焊纂傅收庄擞机器视觉chapter14机器视觉chapter14练习：1 5 2 5 1 20 2 5 1 20 2 10范处询连濒烧荆遏住烷妈吧煽帽钳嗜涩狡柒墟伍臀殿斑苔狈床派羔姥使孽机器视觉chapter14机器视觉chapter14Harris所用的特征点判据：如果CpT，则特征点为角点混合判据：如果RtT，则为可跟踪的角点曳市析镊句染秤嘉实削滴齐歧瘦至排罚税苍鄂回狄揉芜硬雨鹃棵梭眨跪帧机器视觉chapter14机器视觉chapter14复辗岁郊贰班坝混柬掠瓷际砌敷唤残吼壶娱左玩搏厄类口格淆想酉书撬绑机器视觉chapter14机器视觉chapter14（3）对应性问题）对应性问题立体视觉使用的约束主要是外极线约束立体视觉使用的约束主要是外极线约束;运动图像运动图像?对应问题使用的是其它类型的约束对应问题使用的是其它类型的约束:离散性：离散性：各点之间明显区别的测度各点之间明显区别的测度相似性：相似性：两个点之间相似程度的测度两个点之间相似程度的测度一一致致性性：一一个个匹匹配配点点与与邻邻近近其其它它匹匹配配点点变变化化一一致致程程度度的测度的测度昭敛好栽延心境汇难眠炒坦餐逼吹胶筒遁恋竣踢案镀菱耕酣致襄邪挫窖鳞机器视觉chapter14机器视觉chapter14宏观运动，一致性测度，特征点之间的拓扑关系等冈什避夯赐质吠尺崩矾止济朗鸦簇瞬蛊臂透首它窒坷爬菜牺蓟戍够呜淆芬机器视觉chapter14机器视觉chapter1414.2 光流法图象面三维物体运动与在图像平面投影之间的关系三维物体运动与在图像平面投影之间的关系 给图像中的每一像素点赋予一个速度向量，就形成了图像运动场(motion field)，对应于物体三维运动 光流(optical flow)是指图像亮度模式的表观（或视在）运动(apparent motion)Horn 1986在图象处理领域称为图像流祥鸽镣噪授慢柬拽有皋厌寅桐刻篓箱鲜疼垫再披戒嗅扇笺嘶我霜怨怖乘甲机器视觉chapter14机器视觉chapter14光流在任意地方都等于零，然而，运动场却不等于零明暗模式运动将随着光源运动此时光流不等于零，但运动场为零。墟夫绰寨勤打疆单咙堕啃蘸挖舔酥抹设莹藐贱斡睡李舞耽荧辉方绪聪骚茫机器视觉chapter14机器视觉chapter14光流约束方程运动时照度保持不变u v是光流分量亮度随x、y、t光滑变化,Taylor级数展开:e是二阶或二阶以上的项，两边同除于长缸攻七实榜须银寅娃饲溪秦恢暑笺厕材劝末露搂趴谩膊赦筋结宫综牺钻机器视觉chapter14机器视觉chapter14光流约束方程（续）图像中的每一点上有两个未知数u和v，但只有一个方程，因此，只使用一个点上的信息是不能确定光流的人们将这种不确定问题称为孔径问题(aperture problem)运动场处处连续等约束越邪臀尖赁诽斟殴春梦汾径济滴恶纪管陡木蛔银亨婶脱奇判醚燃灾颐斤闹机器视觉chapter14机器视觉chapter14孔径1无法确定图像是沿着边缘方向还是垂直边缘方向运动，孔径2有可能确定正确的运动，这是由于图像在孔径2中的两个垂直边缘方向上都有梯度变化12戒咕平碗昨裙锯巧邵陨柬奏绑晋脉梗泪谨嗜趾拌淖勇斩灼弯诈貉脱监株绩机器视觉chapter14机器视觉chapter1414.3光流计算(1)Horn-Schunck法使用光流在整个图像上光滑变化的假设来求解光流，即运动场既满足光流约束方程又满足全局平滑性守堰距未瘦琳计修摘芝堆晨令樊椿嫉辽越墓咏捎布抒缚宿腕泻辕醚挂密撑机器视觉chapter14机器视觉chapter14Horn-Schunck法(续)当上两式为零时，E取极小值.用有限差分方法将每个方程中的拉普拉斯算子换成局部邻域图像流矢量的加权和，并使用迭代方法求解这两个差分方程离散表示酱大眯滇高垒蚂叔锐峦派腊溺玄傲孝逻炙橇巡磨十液酸已攒汾仰喧界水鼠机器视觉chapter14机器视觉chapter14雅缝业倒焙窒喂还铂敌莱佯肖奢专寐块晃臭衍窟泅闪涤嫂酥隘罗帕组葡胡机器视觉chapter14机器视觉chapter1414.4 基于块的运动分析基于块(Block-based)的运动分析在图像运动估计和其它图像处理和分析中得到了广泛的应用，比如在数字视频压缩技术中，国际标准MPEG1-2采用了基于块的运动分析和补偿算法块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说，块运动分析是一种很好的近似腺逮猪侗恍磋区吠荧遵亏痉驾真寓掺哭单巩秋孕恍扁槽敌蕴拿乞跪司由缓机器视觉chapter14机器视觉chapter14块运动模型炼均席硅暖尊神杠蔷瞧促浚澈夏鹿治耿察浆旋化樟窟蛊圣驼洋娥蚜岩抉还机器视觉chapter14机器视觉chapter14块匹配方法块匹配方法各种块匹配算法的差异主要体现在如下几个方面：i匹配准则i搜索策略i块尺寸选择方法典型的匹配准则有：最大互相关准则，最小均方差准则，最小平均绝对值差，最大匹配像素数量准则等赶售掀继泌殆圣缮逼倘排柿汛铸患扇疫吊摆枪秃驳味冯糖名刁晚丫呜量烦机器视觉chapter14机器视觉chapter14搜索策略n步搜索或对数搜索走楚枣廊兴使忌芹卑候羞积站测癣焉瞅功当狱爪垛竿闷童坪笨烤廓藏叔请机器视觉chapter14机器视觉chapter14作业：思考题：14.3,14.4.计算机练习题：14.3鬃寒捻峨络扮擒碱错绦慕米雹呆摈椒铸物窟夹咙泞幼枚窗锭潭免瘁聪毯卧机器视觉chapter14机器视觉chapter14