图像识别匹配技术原理要点.docx

第1章绪论
1. 研究背景及意义
数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩格式进展传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。
数字图像处理（Digitalmage Processin是通过计算机对图像进展去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速开展主要受三个因素的影响:一是计算机的开展;二是数学的开展特别是离散数学理论的创立和完善）;三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。
图像配准（Image registrati^j是将不同时间、不同传感器成像设备）或不同条件下天候、照度、摄像位置和角度等）获取的两幅或多幅图像进展匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。
图像配准的方法迄今为止，在国外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定围的应用领域，也具有各自的特点。比方计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。
基于灰度信息的图像配准方法一般不需要对图像进展复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的开展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法〔也称模板匹配法〕、序贯相似度检测匹配法、交互信息法。
目前主要图像配准方法有基于互信息的配准方法，基于相关性的配准方法和基于梯度的配准方法。其中基于梯度的方法根本很少单独使用，而作为一个辅助
z.性的测度与其它方法相结合起来使用。基于灰度的配准算法是医学图像配准研究的开展方向，也是目前研究的热点之一。基于灰度的配准方法与基于特征的配准方法的区别在于前者没有提取图像特征的步骤，直接对图像中的灰度进展处理。基于灰度的配准方法计算复杂度高、对图像的灰度、旋转、形变以及遮挡都比较敏感。
灰度相关的配准方法是从待拼接图像的灰度值出发，图像拼接故而成为灰度相关的配准算法的一个根底。图像拼接（image mosa豉）术是将一组相互间重叠局部的图像序列进展空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。
灰度相关的图像配准算法在图像处理技术中起着十分关键的作用，它是图像处理技术得以开展的一个重要根底。它推动着图像处理技术在医学、生物、信息处理和其他很多高科技领域的应用，它已渐渐开展成社会生活中不可别离的一种技术，对于图像处理技术开展及应用具有重要意义。
1.图像配准方法概述
配准技术的流程如下：首先对两幅图像进展特征提取得到特征点；通过进展相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进展图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进展提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。
图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择多图像中的一图像作为参考图像，将其它的相关图像与之配准，其坐标系统是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来进展配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制RCP。
目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将
z.图像配准方法分为三个主要类别：基于灰度信息法、变换域法和基于特征法，其中基于特征法又可以根据所用的特征属性的不同而细分为假设干类别。以下将根据这一分类原则来讨论目前已经报道的各种图像配准方法和原理。
1.研究现状
国外从20世纪60年代就开场在图像配准领域进展研究，但直到1980年代才开场引起学者们的关注。到上世纪末，单模图像配准问题已根本解决，但多模图像配准由于涉及模式和领域的复杂性，仍需密切关注。国际上对图像配准技术曾做过调查，其结论是199 0年代初技术就明显增加。而国从199 0年代初才开场涉足此领域。与灰度相关的图像配准算法是图像配准算法中比较经典的一种，很多配准技术都以它为根底进展延伸和扩展。
针对多光谱遥感图像，提出了一种基于局部灰度极值的配准方法：通过在基准图像和待配准图像中同步寻找含有灰度极值的小区域，再用多项式对极值区域进展曲面拟合，最后，分别计算小区域的极值点作为特征点进展配准。并用真实和模拟多光谱图像进展了试验结果显示该课题提出具有算法简单和配准精度高的特点。这是与灰度相关图像配准算法有关的一个扩展应用。
1.研究问题及容
本文在分析了灰度相关的图像配准算法中的线匹配法、比值匹配法和块匹配法，利用这三种方法分别实现两幅图像在水平垂直位移上的配准，而本课题研究的容是提出一种基于灰度相关的算法，不仅能实现两幅图在水平和垂直位移的配准，同时也能实现在绕光轴旋转情况下的图像配准。这里提出了一种方法，多尺度模块匹配法。在这三种匹配的环境下，它能实现水平垂直位移上的匹配、缩放以及旋转。同时通过在Matlab编程环境下编程实现相关算法，通过实际图像的配准试验，利用这些结论最终得到准确地配准结果。
z.
第2章图像配准根本理论
2.1图像配准的根本介绍
2.1.1图像配准的描述
图像配准是对取自不同时间，不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像配准广泛用于多模态图像分析，是医学图像处理的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域中的关键技术之一，也是图像融合中要预处理的问题，待融合图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就是将这些图像变换到同一坐标系下，以供融合使用。
2.1.2图像配准的定义
对于二维图像配准可定义为两幅图像在空间和灰度上的映射［4，如果给定尺寸的二维矩阵F1和F 2代表两幅图像，F1(X ,Y)和F 2(X ,Y)分别表示相应位置(X,Y)上的灰度值，则图像间的映射可表示为：F2(X,Y) G (F1(H (X,Y))),式中H表示一个二维空间坐标变换，即(X',') H (X,Y)，且G是一维灰度变换。
2.1.3图像配准的步骤
图像配准的根本过程可以分为三个步骤：第一步是为每一个图像信息模式各定义一个坐标系F(X,Y)，然后再定义这些参考特征之间的失调或相似函数；第二步是分割出图像的参考特征，再定义这些参数特征之间的失调或相似函数；第三步是应用优化算法，使第二步中失调〔相似〕函数到达全局最小〔最大〕值，到达两幅图像的配准。其中参考特征和对应优化算法的选择是配准的核心，也是不同配准算法的差异所在。
2.2®像配准的相关概念
2.2.1 配准基准
通常，图像配准中根据配准基准的特性，可分为基于外部基准的配准和基于
z.部基准的配准[5],外部基准是指强加于待配准对象的各种人造标记，这些标记必须在各种配准模式中都清晰可见且可准确检测到。部基准是指由图像本身得到的位置相对固定且图像特征明晰的各种配准标识。
2.2.2映射变换与配准区域
设fl和f2表示两幅待匹配的图像，I1(x) I1(x, y)和I2(x') I2(x',y')分别表示两幅图像的密度函数，其中x (x, y)和x' *矿)分别表示在图像D1和D2中的像素坐标。图像匹配就是要找到一个把图像fl映射到图像f2的变换M (x) U (x, y),V (x, y)),使得变换后的图像I3(M (x))和I2(x')具有几何对应性。这种映射变换有刚体变换、仿射变换、投影变换以及曲线变换等。配准时的变换区域根据实际需要又分为局部配准和全局配准。局部变换一般很少直接使用，因为它会破坏图像的局部连续性，且变换的双映射性会影响图像的再采样。从近期关于图像配准方面的文章看，一般刚性和仿射多用于全局变换，而曲线变换多用于局部变换。
2.2. 3配准的交互性与优化
根据人的参与程序配准又可分为全自动式，交互式和半自动式三种。全自动式中使用者仅需给相应算法提供图像数据以及图像获取的一些可能信息；交互式中使用者必须亲自进展配准，软件仅给目前变换提供一个可视的或数字的感官印象以及初始变换的一个可能参数；半自动式中，交互式有两种方式：一种是使用者须初始化算法，如分割数据，另一种是指导算法，如拒绝或承受配准假设。
配准变换的参数可以是直接计算出的，也可以是搜索计算出的。直接计算的最优化方法一般已完全由实例决定，所能研究的工作也仅限于如何使用非常少的信息把此计算方法应用于实际。搜索计算的最优化方法大多都可以用待优化的变换参数的一个标准数学函数来表达配准实例，此函数力图使图像在*一变换时两幅图像可到达最大相似。这些函数通常在单模配准中能简单一些，因为此时图像的相似性更能容易直接定义。我们可以通过使用一个标准的、适宜的最优化方法使相似函数到达最优。
目前应用比较广泛的方法有Powel的方法、Downhill Simpl蕨法、Bren的方法以及一系列一维搜索算法、Levenberg-Marquar最优化算法、Newton-Raph son迭代算法、stochast搜嗦算法、梯度下降法(gradientescentmethods)、遗传算法
z.
(genetimethods)、模拟退火法(simulatednnealing)粒子群算法(particeworm),蚁群算法(ant，)几何散列法(geometric hash in多分辨率如金字塔)和多尺度方法可以加速最优化的收敛速度。许多实际应用中使用了不止一种最优化方法，一般是先使用一种粗糙但快速的算法，然后再接着使用一种准确但运算速度慢的算法。
2. 2. 4图像成像模式与配准方法的分类
有单模式和多模式等，单模(monomodalit图像配准是指待配准的两幅图像是同一种成像设备获取的。多模(multimodali黝像配准［6是指待配准的两幅图像来源于不同的成像设备。基于灰度信息的图像配准方法一般不需要对图像进展复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的开展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法〔也称模板匹配法〕、最大互信息法和基于小波变换的图像配准法。
⑴互相关法
对于同一物体由于各种图像获取条件的差异或物体自身发生的空间位置的改变而产生的单模图像配准问题常常应用互相关法。在互相关法中互相关值的大小反映了配准的效果。互相关法的思路是找出使各图像之间相关性最大的空间变换参数来实现图像的配准。该方法通过优化两幅图像间的相似性测度来估计空间变换参数〔刚体的平移和旋转参数〕，采用的相似性测度可以是多种多样的，例如相关系数，差值的平方和及相关函数等。其中最经典的相似性测度是归一化的相关系数(correlation coefficient, CC)即：
,(2. 1)
式中，F为模板图像，F f N 1, f为图像F的灰度；G为与F有一样大nn 1 n
小的目标图像G g N1, g为图像G的灰度；f和g分别为图像F和G灰nn 1 n
度的均方值。由于要对每种变换参数可能的取值都要计算一次相似性测度，
.z.
互相关法的计算量比较庞大，因此近年来开展了快速搜索算法，例如，用相位相关傅立叶法估算平移和旋转参数；用遗传算法和模拟退火技术减少搜索时间和抑制局部极值问题。
尤其注意的是互相关法受到不同模态成像特点的影例如同一物体在不同的模态图像中表现出纹理和密度的非线性差异使相关性计算无意义，故互相关性法主要局限于单模图像配准［7。对于条件不好或曲线不完全闭合的图像配准，Kaneko 等提出 了 一种选择性相关系数法(selective correlation coef即iCC©n)，SCC实际上是CC的扩展，SCC在每次为其计算时间仅仅依靠两幅图像灰度的比较过程，故其代价非常小甚至可以忽略不计。
(2)最大互信息法(Ma*imization of Mutual Information)
互信息是信息论的一个根本概念，是两个随机变量统计相关性的测度。最大互信息法几乎可以用在任何不同模式图像的配准，特别是当其中一个图像的数据局部缺损时也能得到很好的配准效果。当含有一样容的两幅图像通过几何变换在空间对齐时，它们所包含的灰度值的互信息量最大。因此最大化的互信息量可以作为图像配准准则。
基于最大互信息［8的配准过程实质上是搜索最正确的几何变换参数，使两幅图像的互信息到达最大。该方法采用整幅图像的所有像素共同组成特征空间，再根据特征空间确定一种空间变换，使一幅图像经过该变换后和另一幅图像的互信息最大，最终实现配准。
互信息(Mutual Information,；是^信息论中的一个测度，用于描述两个变量间的统计相关性，或一个变量中包含的另一个变量中的信息的多少，表示两个随机变量之间的依赖程度，一般用熵来表示。熵表达的是一个系数的复杂性和不确定性。变量A的熵定义为：
H (A)P (a)logP (a),(2. 2)
AA
a
H (A,B)P (a,b).loP (a,b),(2. 3)
ABAB
a,b
将待配准的两幅医学图像定义为浮动图像A和参考图像B,它们是关于图像灰度的两个随机变量集。设它们的边缘概率分布分别为PA (a)、PB (b),联合概率分布PAB (a,b),则它们的互信息MI (A,B)为：
z.
Ml皿力二丑⑷+耘0) - %孔肉二z % (%也).1 %
&心)
已0)占性,(2.4)
当两幅图像的空间位置到达一致时，其中一幅图像表达另一幅图像的信息，即其互信息应为最大。继互信息测度提出后，学者们对基于Shannon熵的方法做了进一步的研究，相继提出了比互信息更为稳定的，其它一些形式的熵测度，称为归一化的互信息，例如Studholme提出了归一化互信息测度(nrimalizedutualinformatioNMI ):
,〔2.〕
⑶基于小波的图像配准方法
近年来图像配准的重要开展之一是采用小波变换进展图像局部特征提取，该方法的关键技术是二维离散小波分解。设在x,y平面的二维图像f (xi, yi),基于二维离散小波变换的图像分解是将该原始图像在*一尺度上分别在x,y方向上进展小波分解，每次分解后的低频局部用L表示，高频局部用H表示。
在*一尺度上，图像可以经过x方向和y方向的离散小波变换后分解为4个子图像，在x方向和y方向都是高频子图像fHH (xi, yi),在x方向是低频，在y方向是高频子图像fLH (xi,yi)和在x方向是高频y方向是低频的子图像fHL(xi,yi)o低频子图像给出了原图像的概貌，高频子图像给出了原图像的细貌。
对于二维正交小波变换有其快速算法-Malla算法，它把小波变换的计算问题转化为小波变换后系数的计算问题：在实际操作中，给出M 1尺度层上的离散采样值｛fM 1(m,n)｝数据，要计算M尺度层上的小波变换系数，即分解算法的问题。基于小波变换的图像配准方法有多分辨率分析的优势，能够提高配准的速度。
2. 灰度相关的配准方法
基于灰度信息的图像配准方法一般不需要对图像进展复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的开展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法〔也称模板匹配法〕、序贯相
Z.似度检测匹配法、交互信息法。
互相关法是最根本的基于灰度统计的图像配准［9方法，通常被用于进展模板匹配和模式识别。它是一种匹配度量，通过计算模板图像和搜索窗之间的互相关值，来确定匹配的程度，互相关值最大时的搜索窗位置决定了模板图像在待配准图像中的位置。
序贯相似度检测匹配法（Sequential Similarity Detection AlgOSDAthmS由Barnea等人提出来的。SSDA方法的最主要的特点是处理速度快。该方法先选择一个简单的固定门限T，假设在*点上计算两幅图像残差和的过程中，残差和大于该固定门限T，就认为当前点不是匹配点，从而终止当前的残差和的计算，转向别的点去计算残差和，最后认为残差和增长最慢的点就是匹配点。这种方法的根本思想是基于对误差的积累进展分析。所以对于大局部非匹配点来说，只需计算模板中的前几个像素点，而只有匹配点附近的点才需要计算整个模板。这样平均起来每一点的运算次数将远远小于实测图像的点数，从而到达减少整个匹配过程计算量的目的。
交互信息法最初是Viol等人于1995年把交互信息引入到图像配准的领域的，它是基于信息理论的交互信息相似性准则。初衷是为了解决多模态医学图像的配准问题。
交互信息用来比较两幅图像的统计依赖性。首先将图像的灰度视作具有独立样本的空间均匀随机过程，相关的随机场可以采用高斯一马尔科夫随机场模型建立，用统计特征［顼概率密度函数来描述图像的统计性质。交互信息是两个随机变量A和B之间统计相关性的量度，或是一个变量包含另一个变量的信息量的量度。交互信息图像配准方法一经提出，有不少基于此类的研究，尤其在医学图像的配准问题上。比方将交互信息和梯度结合起来改善其极值性能的算法、多分辨率图像金字塔法等等。但交互信息是建立在概率密度估计的根底上的，有时需要建立参数化的概率密度模型，它要求的计算量很大，并且要求图像之间有很大的重叠区域，由此函数可能出现病态，且有大量的局部极值。
本文接下来将要述灰度相关的几种配准方法，大致可分为：线匹配法、比值匹配法和块匹配法。比值匹配法是指将待配准图像的一定间隔的行或列的像素的比值作为模板；块匹配法是指将待配准图像的形区域的像素的集合作为模板。比值匹配法是从一幅图像的重叠区域中局部相邻的两列上取出局部像素，然后以它们的比值作为模板，在另一幅图像中搜索最正确匹配，这种算法计算量较小，但
z.精度低；块匹配法是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大。而设计一种基于灰度相关的算法，既能实现水平、垂直位移上的配准，同时也能实现绕光轴旋转这种情况是本文的核心。
z.
第3章线匹配法
3. 线匹配法根本介绍及原理
针对图像的平移、旋转、尺度变换等整体匹配，提出了一种图像线性变换的匹配算法［11］首先定义待匹配图像匹配点间的线性变换模型，以对应像素灰度差平方和作为图像匹配误差函数，然后借助最小化误差函数确定参数迭代增量，由迭代法求得最正确线性变换参数。为减少计算量与提高收敛速度提出了三种改进策略：增加权函数、图像网格点采样和增加加速运动量。实验显示对于小围平移、旋转及尺度变换的图像能进展准确快速的整体匹配，而改进策略能有效提高匹配速度。
3.2线性变换图像匹配模型
令待匹配的两幅二维图像为F和G，两幅图像中任意一对匹配点的坐标满足线性变换关系。令图像G中*一坐标为X ［x,yh，它与图像F中的坐标Y对应(X,Y R21)。上式中上标T表示转置运算。坐标X与Y之间存在一个偏移量T，定义如下：
a ax ay - 牛八T123全 x a,(3.1)
aaxay
456
X E0,0,*)0,0,0，虬 y
a a ,a ,a ,a ,a ,a T (3.3)123456
因此坐标变换可以表示为Y X T ,即像素G (X)与F(X T)对应。
3.线匹配法具体的算法实现
如果给定条件，两幅图像容整体间存在*种线性变换，则通过求解变换系数能实现配准。这对很多问题是一种合理假设。基于这一思想，为解决图像整体匹配问题，本文针对图像的平移、旋转、尺度变换等整体匹配，提出一种带6个参数的坐标线性变换图像匹配新模型，该模型将匹配误差定义为图像整体误差，通过最小化误差函数确定参数迭代增量，由迭代法求得最正确线性变换参数。并且
-考试资料-针对收敛速度提出了增加权函数、图像网格点采样和增加加速动量项三种策略及具体实现方法。
〔1〕误差函数及参数求解算法
图像匹配的误差函数定义为：
E[F (X T) G (X)} ,(3.4)
x R
该公式中领域R与图像G的分辨率一致。这种领域设置与光流模型的领域设置存在显著不同，它对噪声更不敏感。通过最小化误差函数可以求出变换参数a ,它决定各像素的偏移量T为建立迭代求解模型，引入增量a ,代入式(3.得到0
T ,新的模型如下：
a R61, T R21, (3. 5)
E[F (X T T) G (X)》(3.6)
x R
为求解增量a,上述函数需要对a求偏导。一种可行方法是将F函数一阶泰勒展开：
F (X T T) F (X T) F'(X T) T (3.7)上式中点号表示积。将(3.7代入(3.6)对a求偏导，并令偏导为零，则得到下式：
-T- T一 T——
[(X F ')X F 'T] a G (X) F (X T))X F，(3.8)
X RX R
上式中F，表示F'(X T),它用图像F中坐标*+T处得灰度梯度近似。XT F '表示六维列向量。求a只需对方程(3.乘以[(XTF')XTF'T ]的逆矩阵即可。
X R
〔2〕迭代方法求解变换参数
求解图像G与图像F间的匹配，可以用增量迭代法计算变换参数a向量，算法如下：
① 初始化a向量为零向量；
② 按式(3.计算参数增量a ；
③ 更新参数a : a a a；
z.
④ 如果a的二数小于*一阈值，则表示迭代收敛，程序退出；假设大于该阈值则转到步骤②继续迭代；如果迭代次数超过最多限定次数则程序退出，提示不收敛。判断收敛的条件也可设置为最近n次迭代a的二数之和小于*一阈值，n的典型取值为3。
3.实验结果和分析
首先利用配准图像库中的图像，生成具有不同相对位移的子图像；平移配准参数可以在程序中进展调整，图3.1及图3.2为配准参数为rx 112, cy 112时生成一对尺寸为4x 4的两幅图像。
图3.1 Lena参考图像图3.2 Lena待配准图像
图3.3及图3.4为配准参数为rx 224; cy 224时生成尺寸为288 x 288的两幅图像。
图3.3 Lena参考图像图3.4 Lena待配准图像
图3.5及图3.6为配准参数为rx 56;cy 56生成尺寸为456 x 456的两幅图像。
图3.5 Lena参考图像图3.6 Lena待配准图像
图3.为采用线模板匹配方法的实验结果。黑色线段表示选取的线模板，连线表示线段两端点为匹配点对。
图3.7 Len钱匹配效果图
由实验可知，线模板匹配是在参考图像中选定一行上取出局部像素的灰度值，在搜索图中搜索最正确匹配。线匹配法的优点是准确直观，缺点是操作复杂，重复步骤较多，实用性不强。它只能处理简单的平移变换下的图像配准，容易受光照的影响，不能实现图像旋转和缩放情况下的配准，故而存在一定的局限性，适用性不强。
第4章比值匹配法
z.
4.1比值匹配法根本介绍及原理
比值匹配法［12算法思路是利用图像中两列上的局部像素的比值作为模板，即在参考图像(a)的重叠区域中分别在两列上取出局部像素，用它们的比值作为模板，然后在搜索图b)中搜索最正确的匹配。匹配的过程是在搜索图b)中，由左至右依次从间距一样的两列上取出局部像素，并逐一计算其对应像素值比值;然后将这些比值依次与模板进展比较，其最小差值对应的列就是最正确匹配。这样在比较中只利用了一组数据，而这组数据利用了两列像素及其所包含的信息。
图4.1为图像模板选取示意图，其中，图1(a)为W H )像素的图像，图1b)
1
为W H)像素的图像，W和W可相等，也可不等。图1 (a)和图1 b)为左右重
212
叠关系，图1(a)在图1b)的左边。
j j+span j j+span
(a) W H)像素的图像 b) W H)像素的图像
12
图4.1图像模板选取示意图
在图4.1(a)的重叠区域选取间隔为span的2列像素〔第j列和第j span列〕，
计算其对应像素比值，即a为模板。
a (i) P (i, j) /P (i, (j span)) (4.1)
11
式中，i (1,H ) , j为选定的列。
在图4.1b)中从第1列开场依次取间隔为span的2列，计算其对应像素的
比值，即为b模板。
b(i, j) P (i, j)/P (i, j) (4.2)2122
计算a模板与b模板差值，即为c模板，函数表达式为：
c (i, j)(a(i, j)/b (i, j))2 〔4.〕
式中，i (1,H ) , j (1,Wspan) oc为二维数组，对c对应的列向量求得到sum。
2
sum (j) Hc(i,j)〔4.〕
i 1
.z.
sum (j)的大小就反映图1所示图像选定像素对应列的差异，sum (j)的最小值
sum min对应的列坐标Collable即为最正确匹配。
min
4.2比值匹配法具体的算法实现
该算法的具体实现步骤如下：
(1) 在参考图像(a)中间隔为c个像素的距离上的两列像素中，各取m个像素，计算这m个像素的比值，将m个比值存入数组中，将其作为比较的模板。
(2) 从搜索图(b)中在同样相隔c个像素的距离上的两列，各取出m n个像素，计算其比值，将m n个比值存入数组。假定垂直错开距离不超过n个像素，多取的n个像素则可以解决图像垂直方向上的交织问题。
(3) 利用参考图像(a)中的比值模板在搜索图b)中寻找相应的匹配。首先进展垂直方向上的比较，即记录下搜索图(b)中每个比值数组的最正确匹配。再将每个数组的组最正确匹配进展比较，即进展水平方向的比较，得到的最小值就认为是全局最正确匹配。此时全局最正确匹配即为图像间在水平方向上的偏移距离，该全局最正确匹配队应的组最正确匹配即为图像间垂直方向上的偏移距离。
本算法的思路是在第1幅图像的重叠区域中分别在2列取出局部像素，用
它们的比值作为模板；在第2幅图像中由左至右依次从间距一样2列取出局部像素，并逐一计算其对应像素值比值；然后将这些比值依次与模板进展比较，其最小差值所对应的列就是最正确匹配。
4.3实验结果和分析
以下是光照效果由弱到强的比值匹配仿真实验结果图。比值匹配和线匹配相比不同之处是通过不同亮度的调节可检测到配准参数，由此可以看出它们的区别。比值匹配是利用两条线段的比值进展匹配。灰度比值匹配法较线匹配法多了一项光照对平移参数的影响，下面我们以平移参数为主，着重研究输入图像存在亮度差异时，仿真图像配准的实验效果。
图4.2为待配准图像与参考图像之间存在亮度差异为-20%时的配准效果图。
图4.2 Len灰度比值匹配图〔亮度差异-20%〕
z.
图4.3为待配准图像与参考图像之间存在亮度差异为+5%时的配准效果图。
图4.3Lena灰度比值匹配图〔亮度差异+5%〕
图4.4为待配准图像与参考图像之间存在亮度差异为+20%时的配准效果图。
图4.4Lena灰度比值匹配图〔亮度差异+20%〕
由图4.2图4.4可以看出灰度比值匹配的优缺点如下：
(1比值匹配法的优点：
3.算法思路清晰简单，容易理解，实现起来比较方便。
b.匹配计算的时候，计算量小，速度快。
(2)比值匹配法的缺点：
3利用图像的特征信息太少。只利用了两条竖直的平行特征线段的像素的信息，没有能够充分利用了图像重叠区域的大局部特征信息。虽然算法提到，在搜索图b)中由左至右依次从间距一样的两列上取出局部像素，计算其对应像素的比值，然后将这些比值依次与模版进展比较，好似是利用了搜索图b)中的重叠区域的大局部图像信息，但在参考图像(a)中，只是任意选择了两条特征线，没有充分利用到参考图像(a)的重叠区域的特征信息。
b. 对图片的采集提出了较高的要求。此算法对照片先进展垂直方向上的比较，然后再进展水平方向上的比较，这样可以解决上下较小的错开问题。在采集的时候只能使照相机在水平方向上移动。然而，有时候不可防止的照相机镜头会有小角度的旋转，使得拍摄出来的照片有一定的旋转，在这个算法中是无法解决的。而且对重叠区域无明显特征的图像，比较背景是海洋或者天空，这样在选取特征模版的时候存在很大的问题。由于照片中存在大块纹理一样的局部，所以与模版的差异就不大，这样有很多匹配点，很容易造成误匹配。
c. 不易对两条特征线以及特征线之间的距离进展确定。算法中在参考图像(a)的重叠区域中取出两列像素上的局部像素，并没有给出选择的限制。然而在利用拼接算法实现自动拼接的时候，如果选取的特征线不是很恰当，则这样的特征线算出来的模版就失去了作为模版的意义。同时，在确定特征线间距时，选的过大，则不能充分利用重叠区域的图像信息。选择的过小，则计算量太大。
第5章块匹配法
z.
5.块匹配法根本介绍及原理
块匹配法［13是指将待配准图像的形区域的像素的集合作为模板。块匹配法是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大。
灰度信息包含了最大量的图像信息，而边缘信息则反映了图像在的性质，它不易受外界光照条件的影响而产生剧烈的变化。因此相比灰度信息，边缘信息，使得其抗灰度和几何畸变能力强，采用边缘信息构建模板在图像拼接［17中可获得更加可靠的稳定性。因此我们以图像的边缘为特征寻找基准块。
应用块匹配算法，首先要有搜索最正确匹配的标准，这里称之为价值函数:均方误差(MSE)、绝对误差和(SAD)、平均绝对误差(MAD)、方差和(SSE)、绝对变化误差和(SATD)都可以作为价值函数。其中常用的是均方误差(MSE)和平均绝对误差(MAD)，如方程(1和(2。其中N为块边长像素数〔为方便搜索块一般划分为形〕，Cij和日分别为当前宏块和参考宏块相应像素的灰度。
MSE 上N 1N 1C R )2，〔5. 1〕
N 2ij ij
i 0 j 0
MAD土 N1N1|CR，〔5.2〕
N 21 ij ij
i 0 j 0
具体步骤首先要将当前和参考帧图像分块，选取的参考帧为当前帧的前一帧，一般宏块为16x16像素大小，然后确定搜索围大小，一般为以宏块为中心的30 x 30像素区域，最后在参考图像相应搜索区域中寻找价值函数最小的宏块，运动矢量从参考宏块位置指向当前宏块位置，如图5.1所示。
图5.1块匹配原理
5.映匹配法具体的算法实现
首先需要对图像进展边缘检测，这里我们使用sobel算子获得原图像的边缘
z.
图E(i,j),然后我们以图像中每个像素点的邻域边缘量(NEA )来定义此位置的边缘信息大小：
NEA (i, j)A A E (i m,j n),(5. 3)
m An A
其中，E (i, j)为原图像所对应的二值边缘图，A为在点(i, j)处所取邻域的1/2边长。以NEA (i,j)值为依据，找出最大值所对应的点(i,j)作为基准点，然后以此点为中心点选择大小适中的块就可以找到基准特征现14］这种算法我们可以称之为传统的块匹配算法。
具体步骤首先要将当前和参考帧图像分块，选取的参考帧为当前帧的前一帧，一般宏块为16x16像素大小，然后确定搜索围大小，一般为以宏块为中心的30 x 30像素区域，最后在参考图像相应搜索区域中寻找价值函数最小的宏块，运动矢量从参考宏块位置指向当前宏块位置。
5.3实验结果和分析
通过三、四章的阐述，我们已经得出线匹配法只能处理平移操作下的图像配准，而灰度比值法在线匹配法的根底上多了一个光照变换对平移参数的影响。这两种算法都存在自身的缺乏，那就是不能实现图像在旋转、缩放情况下的配准。由此我们研究一种更加完善的匹配法一一块匹配法，它不仅能实现水平、垂直方向上位移变化的图像配准，同时也能在小的图像旋转缩放变形的情况下的实现配准。图5.2是块匹配的效果图，接下来我们将具体描述平移、旋转和缩放情况下的图像配准。首先利用对图像做小的旋转、缩放，再进展配准，旋转情况下研究旋转对求得平移参数的影响，缩放情况下研究配准参数的误差情况。
图5.2 Len块匹配效果图
5.3.1构造平移、旋转、缩放图像
利用Lena彩色图像的灰度处理，将生成的灰度图像做小的旋转，缩放，在
Matlab上实现图像的微小变化，运行结果如下：
z.
图5.2选用Lena原图图5.3 Len灰度处理后
图5.4平移〔20 2〕的Lena图像图5.5旋转3°的Lena图像
图5.6缩放2% Lena图像
5.3.2块匹配算法下的平移、旋转、缩放配准仿真实验
分别对经过平移、旋转、缩放后的图像进展配准，结果如图5.7图5.9所示。
图5.7采用块模板匹配方法的Lena图像平移配准
图5.8旋转3°的Lena图像配准
图5.9放大2%的Lena图像配准
由实验结果可知，块匹配法较以上两种匹配法的优点是它能够实现两幅图像不仅在平移，而且在旋转。缩放的情况下也能实现图像的配准。块匹配法的优点是能准确找到匹配点，打破灰度配准不能实现旋转和缩放情况的结论，缺点是计算量大。
z.