基于图像处理的应用.ppt

,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,自动调焦理论与方法,1,1)常用自动调焦方法,2)基于图像处理的自动调焦,3)调焦评价函数,4)调焦搜索策略,机器视觉系统,工业相机,光源照明,控制系统,图像处理,软件编程,自动调焦方法,1.1,成像公式,：,光学成像模型,基于图像处理的自动调焦,1.2,镜头系统点扩散函数PSF,自动调焦三个核心问题,1.2,要解决三个核心问题,1、清晰度评价函数的选择,3、镜头移动搜索策略,2、调焦窗口的选择,清晰度评价函数,1.3,（1）无偏性：只有物平面与焦平面重合时，评价函数取极值。,（2）单峰性：调焦函数曲线形状应呈现单峰,（3）抗噪性：在一定噪声的干扰下，评价值反映到离焦信号。,（4）快速性：在实时测量系统中，要求快速，计算量要小。,（5）稳定性：在反复的判断情况下，反映的离焦信息是一致的。,（6）平滑性：评价曲线平滑。,1.3,清晰度评价函数常用方法,梯度评价函数,频率评价函数,统计学函数,熵评价函数,测试序列图像,序列1,序列2,序列3,1.3,梯度评价函数,（1）,图像梯度和函数,1.3,梯度评价函数,（2）,图像灰度梯度向量模平方和函数,1.3,梯度评价函数,(3)Roberts 梯度和函数,：,1.3,梯度评价函数,根据情况可以取不同的模板,：,0,-1,0,-1,4,-1,0,-1,0,评价函数：,(4)拉普拉斯函数：,对图像进行二阶微分运算,1.3,变化量影响,目标静止,目标有变化,限制条件,1.3,制约的因素,在不能改变目标本身移动量条件下，通过提高帧频，缩短前后帧的间隔时间，使前后帧取样图像的尽可能相似。再有通过扩大两帧间的离焦量，使得评价值克服的变化量的影响。,既要采样速度快，又要两帧间有一定的离焦量，这是一个相互制约的因素,1.3,图像稳定性判断,帧间变化率：,设一个阈值T，前后帧灰度差在阈值内的像素为相似点,统计：,事先设定阈值,当序列图像的相似度在阈值内，认为图像稳定，可以进行自动调焦。,相关性：,1.3,基于排序梯度和评价函数,把评价的焦点定位在梯度大的边缘上，忽略小梯度的值,1.3,对大于某一阈值的梯度按大小顺序，,取排在前n位的梯度和做为调焦评价函数，,1、梯度的值,2、大梯度的数量,排序梯度和函数实验结果,1.3,评价曲线的平滑性优于前面介绍的评价函数。,基于排序梯度和评价函数在没有进行非线性平方运算的前提下，,既保持了良好的陡峭尖锐性，也避免放大脉冲噪声带来对评价曲线的影响,基于阈值梯度数比较函数,前提：对不同清晰程度的图像，大于某一阈值的梯度数量与清晰度成正比。,1.3,为进一步减少噪声的影响，提出一种基于阈值梯度数方向帧评价函数的方法。以前后帧大于某一阈值的梯度数量来比较清晰度,从梯度数量而不是值的大小的角度来评价。,基于阈值梯度数函数,1.3,基于阈值梯度数函数,1.3,基于阈值梯度数函数,1.3,阈值,阈值,梯度,k-1帧,k帧,k+1帧,基于阈值梯度数函数,评价函数有着良好的抗干扰性能,1.3,抗干扰性能实验,（一）,目标尺寸的大小变化，处于准焦位置,目标清晰程度接近，期望评价值仅反映相对清晰度,。,1.3,试验结果与分析,(a)梯度平方和函数 (b)排序梯度和函数 (c)基于阈值梯度数函数,梯度平方和函数，目标的面积减小，参加计算的梯度数相应减小，使得尽管清晰程度接近，但评价值却出现了大幅下降，失去了调焦评价的作用。,对于排序梯度和函数与阈值梯度数函数来说，表现明显优于梯度平方函数，尽管目标变化较大，但评价值基本保持稳定，波动的范围很小。评价值与图像的清晰程度保持了很好的对应关系，受目标大小变化的影响有限。,1.3,抗干扰性能实验（二）,一组目标大小变化，同时清晰程度也变化的图像，,序列开始和结尾属于目标大，但是离焦量也大，模糊程度高，,在序列中间，目标变小，离焦量也变小，清晰度相对高。,清晰度与目标大小均变化序列,1.3,试验结果与分析,梯度平方和函数受到了明显的干扰，在序列的中间段找不到最清晰的位置，,这是由于目标大小变化，导致前后帧的梯度数量波动引起的。,对于排序梯度和函数与阈值梯度数函数表现相当稳定，,有良好的可靠性，准确性、平滑性，在目标有变化情况下，,也仍然符合调焦评价函数的要求。,1.3,调焦搜索策略,调焦系统的搜索策略就是准确快速的找到评价函数的峰值位置，搜索的方向就是相前或向后，属于求解一维函数极大值的问题,1.4,爬山法（MCS）,斐波那契(Fibonacci)法,曲线拟合,爬山法,1.4,判断前一步图像和当前图像清晰度评价函数值的大小，,决定下一步的方向,调焦搜索策略,搜索的步数要少，速度优先于精度,1.4,搜索不能大范围往复移动,步距的选择要体现两幅图像评价值的区分度，,也要克服目标变化量带给评价曲线的影响,改进搜索策略,1.4,(1)方向搜索,第一类：,第二类：,第三类：,第四类：,改进搜索策略,1.4,（2）位置搜索,用当前的评价值与前面两步评价值的均值比较，,防止评价曲线上某个点出现异常波动引起判断失误,由于动目标的特点和齿轮间隙的影响。,测量电视的调焦难以达到很精确的准焦位置。,在准焦位置附近反复搜索的方式不能保证找到准焦点，,反而会对成像质量带来影响，比如抖动问题,第一类型方式，找到第三类型，然后反向两步停止,单帧图像清晰质量判定,1、,图像质量判断必要性,2、,图像质量评价方法,3、,图像边缘类型,4、,单帧图像清晰度判定,5、,实验结果,2,图像质量判断必要性,2.1,连续自动调焦流程：,动态调焦就是在测量电视或动目标观测的整个过程中，,间隔一段时间或一定帧数后，触发自动调焦,如果调焦初始时，当前帧图像本身是清晰的。那么在调焦初始，,盲动扫描中，镜头会离开准焦面，这样反而造成图像变模糊。,对目标跟踪的稳定性和测量精度造成不良影响,图像的客观质量评价方法,2.2,图像的客观质量评价方法,均方误差(MSE)和峰值信噪比(PSNR),图像的主观质量评价方法,2.2,主观质量评价尺度,级别,绝对测量尺度,相对测量尺度,1,很好,一群中最好的,2,较好,好于该群中平均水平,3,一般,该群平均水平,4,较差,差于该群中平均水平,5,很差,该群中最差的,无法应用数学模型对其进行描述，从工程应用的角度看，难以应用到,实际系统。因此，图像的主观质量评价方法受到了严重限制。,调焦系统图像判断特殊性,2.3,调焦系统图像判断特殊性,上述图像清晰质量的评价判断适用于多帧图像的比较，或处理后的图像与原始图像的比较，不能根据单帧图像的信息判断图像的清晰质量。,连续自动调焦系统的工作过程，要求在调焦前，先判断当,前图像的清晰度，如果在可接受范围，就不再调焦。,需要采用一种数学手段来建立人的主观判断和图像清晰度的对应关系,数字图像边缘模型,2.3,对数字图像来说，边缘过渡区剖面是一个斜坡，过渡区的宽度取决于从初,始灰度变化到最终灰度的斜坡的长度。,这个长度又取决于斜度，而斜度是由图像的模糊程度约定的。,(a)理想数字边缘模型 (b)斜坡数字边缘模型,边缘的法向梯度值变化趋势,2.3,不同模糊度图像,法向梯度值变化图,单帧图像清晰度判定,2.4,边缘方向和位置,区域内有无边缘判断,单帧图像清晰度判定,2.4,边缘灰度过渡参数m,1,和m,3,单帧图像清晰度判定,2.4,试验结果,2.5,优点：根据边缘法向梯度的分布特征来判断目标成像的清晰程度，原有的算法是比较两幅以上的图像，只能得到图像的相对清晰质量，只需要对当前一帧图像判断就能得到与主观清晰程度对应的参量。,缺点：该算法对背景简单的扩展目标，具有良好边缘的目标有较高的判断成功率。,对于小目标，复杂背景图像，以及边缘比较杂乱的图像判断效果不好。,程序演示,调焦窗口规划技术,1、,选择调焦窗口的原因,2、静态目标调焦窗口规划技术,3、动态目标调焦窗口规划技术,4、试验结果,3,选择调焦窗口的原因,3.1,1、处理速度的要求,2、调焦准确性的要求,处理图像的幅度,评价函数的复杂程度,执行机构响应处理速度,静态目标调焦窗口规划技术,3.2,中央选窗口法,多区域选窗口法,基于黄金分割点的窗口,调焦窗口规划,3.2,皮肤探测算法,皮肤探测算法可以主动寻找人物所在的位置，优于固定区域的窗口选择方案，但是皮肤探测算法只能应用在有明显皮肤特征的图像，而且，与皮肤颜色接近的物体也很多，可靠性不是很高,非均匀采样窗口,调焦窗口规划,3.2,帧差阈值算法,帧差阈值算法适用与目标有位置移动，两帧间或一定间隔时间内有体现帧差的位置移动量。,同时背景要处于静止状态，否则背景的差别也被检测出来，影响对焦的准确性,。,质心跟踪窗口规划,3.3,动态阈值质心跟踪,目标在画面上的位置不确定，采用固定区域或非均匀采样窗口的方式是不合适的，,同时由于摄像机随目标移动，背景有变化，使得帧差方式也不能满足要求。,需要让调焦窗口在画面上跟着目标移动,目标,窗口,背景小窗,计算目标区域与背景区域的平均灰度，由此判断目标的亮暗信息。,质心跟踪窗口规划,3.3,质心跟踪窗口规划,3.3,可以把目标的主体部分分割出来。由于对快速目标的跟踪，,只要能够找到目标主体或特征部位，就可以确定目标的位置，,以在目标位置为中心取一个大小固定的窗口，作为调焦窗口。,质心跟踪窗口规划,3.3,基于目标质心跟踪的对焦窗口具有计算简单，运算速度快的优点，,可以应用在实时处理的自动聚焦场合。在背景简单（天空），,目标大小合适的画面，具有良好的跟踪性能，目标的质心可以作为,调焦窗口的中心位置。,当背景中出现云层、成像质量差、受光照影响引起目标变光、,图像对比度低等情况，质心跟踪方式难以准确提取出目标特征，,引起跟踪失败。,基于相关跟踪的调焦窗口规划,3.3,二维最小绝对差累加和算法MAD：,基于最多邻近点距离 MCD：,相关跟踪的调焦窗口规划,3.3,自适应相关匹配跟踪思想,相关跟踪的调焦窗口规划,3.3,相关跟踪的调焦窗口规划,3.3,相关跟踪的调焦窗口规划,3.3,实验结果,3.4,离焦图像,准焦图像,基于图像处理的连续变焦技术,4.1,基于图像处理的连续变焦技术,4.1,固定阈值分割,4.2,固定阈值分割,自适应阈值分割,4.2,自适应阈值分割,基于边缘灰度阈值分割,4.3,数值插值的方式得到整幅图像的阈值曲面。,根据各位置阈值，对图像分割,自动调焦变焦实验系统,5.1,驱动电路示意图,5.1,控制板命令流程,5.1,调焦软件流程图,5.2,变焦流程图,5.2,调焦变焦试验系统,6.1,调焦实验结果,调焦前图像,调焦评价曲线,最清晰的图像,调焦后图像,6.2,调焦实验结果,6.2,变焦实验模拟环境,6.3,变焦实验结果,6.3,变焦前,变焦后,