基于视频图像序列的目标运动轨迹提取技术样本.doc

资料内容仅供您学习参考，如有不当或者侵权，请联系改正或者删除。
摘要
基于视频图像序列的目标运动轨迹提取技术是已经成为精确制导武器的关键技术之一, 能够提高武器打击精度及力度; 同时更能体现目标跟踪监控系统的智能化和自动化。而在众多模式下的基于视频图像序列的轨迹提取技术中, 基于固定参照物视场变动模式的轨迹测量技术不受相机视野限制, 能够有效地扩大目标跟踪范围, 更有着重要的研究意义和工程应用价值。
固定参照物视场变动模式的轨迹测量技术要求相邻两帧之间必须具有一定的重复。由于运动目标瞬时空间位置坐标是经过相对前一时刻空间位置坐标的相对变化得到, 因此存在轨迹计算的累积误差较大的问题, 同时由于目标体运动过程中的姿态变化、 参照环境的复杂性等因素, 导致轨迹计算的精度很难得到保证。
本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研究, 设计开发了基于视频图像序列的目标运动轨迹提取系统, 针对目标在运动过程中的姿态变化导致的相机坐标系变化问题, 提出了成像系统外参实时校正方法, 经过陀螺仪获取的数据和空间坐标系变换关系对相机姿态角参数实时校正; 针对SIFT特征匹配算法中的欧式距离无法自适应调节问题, 提出了多目标优化的SIFT特征匹配算法, 建立了以相关系数和特征点之间的欧氏距离为目标函数, 以置信度为约束条件的多目标优化模型, 减少了特征点的误配率; 最后经过车载CCD实验对系统功能和精度进行验证, 数据表明该系统能够精确的实现运动目标的轨迹测量, 并具有较强的适应性和可靠性。

1绪论
1.1课题研究背景及意义
基于视频图像序列的目标运动轨迹提取技术是动态视觉领域中一个具有重要意义和实际价值的研究课题。目标运动轨迹是反映一段时间内目标的运动路线, 它的精确提取能够实现测量和分析目标的运动参数、 运动行为评估等。在军事领域中, 该技术已经成为精确制导武器的一项关键技术, 它能够有效地提高武器的打击精度, 强化武器的打击力度; 同时在民用领域, 以该技术为基础建立的人机交互系统, 能够实现运动目标的智能跟踪、 行为监管等, 真正地体现运动目标监控系统的自动化和智能化。因此无论在民用上还是在军事领域中, 该技术的研究都具有较强的理论意义和研究价值。
当前基于视频图像序列的目标运动轨迹提取技术根据相机视场和参照物的不同可分为固定视场内参照物运动、 变化视场内参照物运动和固定参照物视场变动情况下的运动目标跟踪及轨迹检测。固定视场内参照物运动方式中, 相机及其视野固定, 对视野内的运动目标进行跟踪检测, 具有空间和时间上的区域限制, 仅能得到固定区域、 固定时间段中的目标运动轨迹; 变化视场内参照物运动是对固定视场方式的一种改进, 经过云台等多维运动系统实现相机视野的变化, 能够拓展运动目标跟踪的范围和时间得到扩展, 可是由于镜头等光学器件的限制, 当运动目标超出一定范围则无法成像或成像目标体的”点化”现象; 固定参照物视场变动模式下, 相机视野随运动目标的运动变化, 利用相邻两帧图像中的固定参照物的空间位置不变特性实现运动目标的轨迹计算, 此类方法不受相机视野的限制, 能够有效地提高运动体轨迹提取的作用范围, 可是要求相邻两帧之间必须具有一定的重复。由于运动目标瞬时空间位置坐标是经过相对前一时刻空间位置坐标的相对变化得到, 因此存在轨迹计算的累积误差较大的问题, 同时由于目标体运动过程中的姿态变化、 参照环境的复杂性等因素, 导致轨迹计算的精度很难得到保证。
本论文针对固定参照物视场变动模式下运动目标轨迹提取问题进行深入研究, 设计开发了基于视频图像序列的运动目标轨迹提取系统; 提出了成像系统外参实时校正算法、 多目标优化特征提取算法, 有效的解决了累积误差较大、 坐标计算精度低等问题, 实现了运动目标轨迹的精确测算。
1.2课题相关领域研究现状
1.2.1基于卫星定位导航系统的运动目标轨迹提取技术
随着科学技术的不断进步, 卫星定位导航系统与计算机视觉技术相结合在目标运动轨迹跟踪提取领域得到了广泛的应用。经过接收至少4颗卫星不间断发送自身星历参数和时间信息, 对地面目标进行精确定位, 从而能够有效地对目标运动轨迹进行跟踪和定位。当前, 可实用的卫星导航系统有美国全球卫星定位导航系统(GPS)、 前苏联的全球导航卫星系统(GLONASS)、 欧洲”伽利略”以及中国自主研发的”北斗”卫星导航系统。
美国的全球定位系统GPS在20世纪60年代末开始研发。1978年发射第一颗卫星, 迄今共经历了在轨验证试验的第一代GPS-1和实用组网的第二代GPS-2、 GPS-2A、 GPS-2R、 GPS-2F等不断改进的型号。二十多年来, 经过不断改进, GPS卫星的寿命得到不断的延长, 抗干扰能力和导航精度不断提高, 并增强了地面站的保密性能及星间链路安全性。美国的GPS系统无论在军事还是民用方面都对全球产生了重大影响; 俄罗斯全球导航系统GLONASS是一个由俄军方控制使用的全球卫星导航系统, 1982年开始正式发展, 1996年宣布建成。GLONASS的发展大致可分为两个阶段, 。第一阶段是1982至1985年的试验阶段, 共发射11颗第一代试验卫星; 第二阶段是1985年至1995年的部署阶段, 共发射57颗三种型号的卫星, 使系统达到满星座运行。但GLONASS卫星寿命较短, 建成之后又不能及时进行补网卫星发射, 导致在轨可用卫星少。GLONASS的应用普及远远不及GPS; 1992年2月10日欧盟执行机构欧洲委员会公布了欧洲导航卫星系统Galileo计划。 3月26日, 欧盟15国交通部长会议一致决定正式启动Galileo计划。 5月26日, 欧空局15个成员国就联合开发Galileo系统达成协议, 解决了阻碍Galileo计划顺利实施的投资与利益分配问题。 7月11日, Galileo系统的首批两颗卫星合同授出。
中国在 首先建成北斗导航试验系统。 4月14日, 成功发射了第一颗北斗导航卫星, 4月15日, 中国在西昌卫星发射中心用”长征三号丙”运载火箭成功将第二颗北斗导航卫星送入预定轨道。 1月17日, 成功将第三颗北斗导航卫星送入预定轨道。根据系统建设总体规划, 左右, 系统将首先具备覆盖亚太地区的定位、 导航和授时以及短报文通信服务能力; 2020年左右, 建成覆盖全球的北斗卫星导航系统。
自从卫星导航定位系统投入运行以来, 其应用领域不断扩展, 应用潜力也不断得到开发。同时, 对定位精度、 实时性方面的要求也越来越高。对卫星定位导航系统中定位精度较高的GPS而言, GPS卫星的空间几何分布也会对定位精度产生一定程度的影响。在忽略美国SA政策的情况下, 普通GPS接收机定位精度约为30 m左右。消除定位精度带来的影响一般是采用差分GPS, 实时差分GPS (DGPS)定位的精度能够达到2 m--5 m。对于普通的定位和导航应用如陆地车辆、 海上船舶、 空中飞机以及个人等的定位和导航而言, 上述的位置精度己经足够了。可是, 在一些特殊的应用领域, 如目标运动轨迹精确提取、 测绘、 地震监测、 飞机进场着陆以及其它精密测量领域, 要求达到分米级、 厘米级甚至毫米级的精度, 普通差分GPS就不能满足要求了。另一方面, 有时由于道路两旁地物特征复杂, 又受高大建筑物、 隧道、 立交桥、 树木等地物的反射和遮蔽等影响, 卫星定位导航系统将产生盲区, 影响目标跟踪及定位的精度。
由于上述原因, 使用卫星定位导航系统无法精确地对目标的运动轨迹进行测算和提取, 必须增加其它约束条件, 但都需要很高的成本。
1.2.2基于图像的运动目标轨迹跟踪技术的研究现状
基于图像的目标运动轨迹提取技术是对摄像机采集的图像序列进行特征提取, 并根据这些特征对图像序列中的目标进行关联、 匹配, 得到运动目标的运动轨迹。当前该技术根据相机视场和参照物的不同可分为固定视场内参照物运动、 变化视场内参照物运动和固定参照物视场变动情况下的运动目标跟踪及轨迹检测。
对于固定视场内参照物运动和变化视场内参照物运动两种情况下的运动目标轨迹提取技术, 国内外各国学者都已展开了相关研究, 并取得了很多优秀成果。目标跟踪的基本概念首先是由Wax在1955年提出的; 1964年, Sittler在包括数据关联等内容的多目标跟踪理论方面取得了突破性进展。随着经过多年的研究与发展, 视频监控系统取得了很大的进步和成就, 1997年, 美国DARPA ( Defense Advanced Research projects Agency ) 就设立了以卡内基梅隆大学为首的视觉监控重大项目VSAM( Visual Surveillance And Monitoring) , 其目标是建立一个能在城市或战场等复杂环境下应用多个摄像机对人、 车等的行为进行监控的系统, 用于实现人力监控费用昂贵、 非常危险或者人力无法到达的场合的监控; 开始, 美国DARPA又资助了HID( Human Identification at a Distance) 项目, 其任务是开发多模式、 大范围的视觉检测技术, 实现远距离人的检测、 分类和识别。有26个高校公司参与了该项目。Berkelye 分校从上世纪90年代初开始对实时交通监控方面进行研究, 在运动物体分割、 运动物体跟踪、 遮挡处理等技术方面的研究上取得了一定的成果, 并发表了多篇相关科学研究论文。
在国内, 对于这两种情况的轨迹提取技术的研究研究起步较晚, 发展水平相对较低。中国从1986年开始对图像跟踪正式立项研究, 图像跟踪算法理论研究取得了很大的发展。 刘永信等人探讨了基于Kalman滤波理论的渐消记忆递归最小二乘法在重建图像背景中的应用; 同年, 张辉等人研究了如何实现出格点检测和聚类自动检测; 1999年王栓等介绍了一种基于差分图像的运动目标检测算法, 检测结果是符号化了的图像, 其中运动目标由外接矩形表示, 然后根据连续性约束假设, 实现了运动目标的跟踪; 隋晔等讲述了交通监控系统中应用视频图像流来跟踪运动目标并对目标进行分类的具体过程和原则, 基于目标检测提出了双差分的目标检测算法, 目标分类应用到了连续时间限制和最大估计的原则。
而对于固定参照物视场变动情况下的图像分析研究当前还处于目标的检测、 跟踪和测量上, 还没达到轨迹精确测算的理论高度。如: 美国MIT的Lincoln实验室自90年代以来, 在航拍图像处理方面做了大量的工作, 她们综合利用高分辨率多极化航拍图像的多种特征进行目标的自动识别, 因其高分辨率的数据特性, 可采用二维匹配的方法确定目标的位置及方位角, 最后采用盒维数对目标进行检测、 跟踪。同时, 西欧各国也投入了大量的人力物力从事航拍目标识别、 跟踪的技术研究, 如英国学者采用MUM( Mergeusing Moments) 算法和最大似然估计对航拍图像的纹理特征进行分类, 法国Sheffield University的学者采用模板匹配运用互相关及K-S相关( Kolmogorov-Smirnov) 算法提取特征, 都得到了很好的效果。国内发展也较快, 已经有很多研究机构投入到航拍图像分析研究中, 中北大学、 国防科技大学、 东南大学以及中国科学院电子学研究所38所等单位一直在积极开展固定参照物视场变动情况下的图像跟踪、 检测方面的研究。上述研究成果虽然能够很好地实现固定参照物视场变动情况下的目标识别、 跟踪等图像分析工作, 可是很难实现运动目标的轨迹测算。这是因为在轨迹测算过程, 需要解决相机视场中相对位置精确提取, 相机的瞬时姿态校正、 轨迹误差累积消除等关键技术。当前这些相关技术还处在理论研究阶段, 还未组成应用于实际的成型系统。
1.3课题来源
本课题来源于中北大学申请的山西省自然基金”基于时、 空图像信息融合的三维测量技术( 基金号 01 ) ”。在此基金的支持下, 论文主要是利用图像序列的时、 空信息实现运动的目标运动轨迹的精确测算。
1.4主要研究内容
本文在深入研究图像的时、 空信息的基础上, 组建了基于视频图像序列的目标运动轨迹提取系统。在该系统中, 研究了成像系统外参实时校正算法、 多目标优化特征提取算法, 有效的解决了累积误差较大、 坐标计算精度低等问题, 实现了运动目标轨迹的精确测算。具体研究内容如下:
第一章介绍了课题的研究背景、 目的和意义, 综述了目标轨迹提取的研究现状, 然后对基于GPS 的目标运动轨迹提取技术和基于图像的目标运动轨迹跟踪技术的两种形式分别做了介绍。最后提出了本文的研究内容, 确定了本文的研究方向。
第二章在了解了本课题的研究目的和应用背景的基础上, 组建了目标运动轨迹提取系统。该系统融合了图像实时采集、 图像处理、 目标运动轨迹测算和提取以及数据存储的功能。然后分别详述了视频采集子系统、 相机姿态实时获取子系统、 光照自适应子系统以及详细说明了各个子系统之间的关系和功能, 为后面章节中的算法模型建立和实验验证提供了可靠的系统平台。
第三章在分析了系统组成的基础上, 研究了相机参数标定及姿态校正技术。首先分析了相机成像模型和相机参数标定方法, 然后利用两步法对相机参数进行标定。其次在对空间坐标系分析的基础上, 经过陀螺仪获取的数据和空间坐标系变换关系对相机姿态实时校正。
第四章针对基于多目标优化SIFT特征匹配算法, 研究了多目标优化理论及优化模型的构建, 建立了以相关系数和特征点之间的欧氏距离为目标函数, 以置信度为约束条件的多目标优化模型, 并经过实验仿真对本文提出的算法模型进行验证。最后研究了实际运动轨迹提取并进行了实验验证。
第五章对论文的主要研究成果和创新之处进行了总结, 分析了论文中存在的问题, 为今后进一步的研究指明了方向。

2运动目标轨迹提取系统的设计
2.1系统原理及构成
系统的硬件组成: 计算机、 陀螺仪、 千兆网采集卡以及摄像机。如图2.1所示。

图2.1 系统硬件组成
系统的软件组成主要分为三个软件处理模块: 视频采集模块( CCD成像系统和图像采集) 、 目标姿态实时获取模块、 光照调节模块以及图像处理模块( 包括图像预处理、 特征点提取以及目标匹配) 。如图2.2所示。

图2.2 系统软件组成
系统的工作流程如下: 摄像机的模拟信号经过千兆网线传送至计算机。计算机经过千兆网卡将模拟视频信号转换为数字信号, 该转换输出的数字图像一方面在计算机显示, 另一方面千兆网采集卡的输出同时传送至内存进行目标检测和跟踪。经过对图像序列的特征点提取和匹配结果获得相邻帧图像间的距离变化以及角度变化。最后依据陀螺仪实时获取的坐标系角度变化和空间坐标系的转换关系, 实现目标运动轨迹的实时跟踪和提取。
2.1.1 视频采集模块
( 1) 摄像机
摄像机是监控系统的重要部件。工程应用中大量采用的是电荷耦合式CCD(Charge Coupled Devices), 在图像采集领域, CCD传感器是一种新型的固体成像器件。利用这种芯片, 借助于必要的光学系统和合适的外围驱动电路, 能够将景物图像, 经过光敏区上逐点的光电信号转换、 储存和传输、 在输出端产生系列时序视频信号, 从而把一幅按空间域分布的光学图像, 变成一列按时间域分布的离散电信号。
作为一种固体成像器件, CCD具有以下特点: 体积小、 重量轻、 电压及功耗低、 可靠性高、 寿命长等一系列优点; 且具有很高的空间分辨力、 光敏元间距的几何尺寸精确、 能够获得很高的定位精度和测量精度; 具有较高的光电灵敏度和大的动态范围; 数据速率可调, 可适用于动态与静态等各种条件下的测量。
随着技术的快速发展,使用于各种环境的CCD相机的视频采集系统正在被不断地开发出来。一般, 系统在工作时由CCD相机将采样的数据传输给计算机。然而随着实时获取图像要求的不断提高和图像质量的不断改进, 数据传输速率呈现出显著的增长趋势, 如何保证传输过程的稳定和可靠成为设计中越来越需要重视的问题。常见的数字图像采集系统与计算机的传输接口主要有三种: PCI总线, USB总线, 以太网。
( 2) 图像数据采集模式
①图像采集卡
图像采集卡是视频采集子系统的重要组成部分, 其主要功能是对相机所输出的图像数据进行实时的采集, 并提供与PC的高速接口。

图2.3图像采集卡
采集卡与CCD相机间经过点对点物理层接口进行数据传输, 高速数据采集卡接收到数据并经过PCI总线将数据写入计算机内存, 然后利用采集卡的存储功能将数据经过IDE接口写入计算机硬盘。这种方法虽然简单可靠, 但对多通道、 高速图像数据的采集在数据传输和存储方面有一定的局限, 容易引起数据帧的丢失, 而且随着传输通道的增多, 引起传输导线数量增加, 系统功耗及噪声也随之增大。
②USB视频采集
USB总线即通用串行总线。USB(universal serial bus)是由Intel、 ComPaq、 Digital、 IBM、 Microsoft、 NEC、 Northem Telecom等7家世界著名的计算机和通信公司共同推出的一种新型接口标准。它基于通用连接技术, 实现外设的简单快速连接, 达到方便用户、 降低成本、 扩展PC连接外设范围的目的。它能够为外设提供电源, 而不像普通的使用串、 并口的设备需要单独的供电系统。另外, 快速是USB技术的突出特点之一, USB的最高传输率可达12Mbps, 比串口快100倍, 比并口快将近10倍, 而且USB还能支持多媒体。
在USB系统中, 不同类型的USB设备使用相同的接口, 因而用户在连接时, 不需要考虑连接接口的类型以及接口的硬件电气特性。USB设备具有热插拔、 即插即用的特点。用户能够在开机的情况下, 对设备进行插拔操作。USB总线带有5V的电源线和地线, USB设备能够从系统总线上获得+5V、 小于等于500mA总线供电, 因而, 在USB设备设计时可选择采用总线供电或外接电源。根据USB系统规范, USB总线上总共能够连接127个USB设备, 用户只需直接把设备连接到空闲的USB接口上。由于USB接口不占用系统的I/O口、 地址总线和中断向量, 当总线上的接口不够时, 用户只需经过USB集线器来扩展更多的USB接口即可。
通用串行总线USB数据采集: USB 2.0的理论速度能够达到480Mbps/s, 采用USB 2.0能够实现CCD相机的数据高速采集, 具有连接方便、 无需外接电源、 即插即用、 支持热插拔、 高带宽、 低功耗、 低成本、 动态加载驱动程序, 级联星型拓扑结构扩充外设数量等特有优点, 在主机和数据采集系统之间能够实现简单、 快捷、 双向、 可靠的连接和通讯。
③以太网接口
以太网是当前应用最广泛的计算网络技术, 在它上面应用的TCP／IP协议也已经发展的比较成熟并得到了广泛的认可。当前10Mbps的以太网已家喻户晓, lOOMbps的快速以太网已开始广泛应用, 1000Mbps以太网技术也已逐渐成熟, 10Gbps以太网亦即将投入使用。其速率能够满足对带宽有更高要求的需要。
在图像数据传输方面, 以太网能够高速传输和存储图像数据, 不容易引起数据帧的丢失, 系统功耗小等特点能够完全满足系统的实时图像数据处理的要求, 同时, 由于几乎所有的编程语言都支持以太网的应用开发, 具有很好的发展前景。因此, 如果将以太网引入视频图像存储系统, 能够保证经过图像实时记录高速运动目标的运动规律, 既而为高速运动目标的运动参数测量、 跟踪、 制导提供可靠的数据支撑。
在本课题中, 由于固定参照物视场变动, 相机跟目标一起运动, 则需采用高帧率的图像采集设备, 才能实时记录目标的运动规律; 相应地在图像数据传输方面, 对传输效率和图像存储速度也提出了很高要求。为此课题采用以太网技术实时数据获取方案, 将数据接收的任务交由一台通用PC机来实现, 很好地解决了数据传输问题。该方案具有简便、 有效、 能适用于各种高速运动目标等优点, 有助于目标运动轨迹的精确提取。
2.1.2目标姿态实时获取模块
在目标运动轨迹提取过程中, 由于外界环境复杂和目标自身运动引起相机的俯仰角、 滚动角以及偏航角变化, 相机自身的坐标系轴也发生了相应地变化。此时反应到图像坐标系中角度变化并不是实际的角度变化量, 从而使得标定后的相机参数及标定坐标系发生紊乱, 影响后续轨迹测算的精度, 最终导致空间坐标系转换以及轨迹提取产生误差。此时, 很难继续对目标运动轨迹进行精确提取。在图像处理过程中如果知道相机在惯性坐标系下的姿态, 将为目标运动轨迹跟踪提供辅助定位信息, 从而能有效地提高轨迹提取的精度。可是仅仅经过图像序列之间的相互关系无法精确且实时获取相机的运动姿态。
陀螺仪能感应目标的空间姿态变化, 是定姿定向应用中的关键器件。它是一个质量分布均匀的、 具有轴对称形状的刚体, 其几何对称轴就是它的自转轴。在一定的初始条件下, 陀螺仪会在不停自传的同时还绕着另一个固定的转轴不停地旋转, 旋转轴所指的方向在不受外力影响时, 是不会改变的。陀螺仪是一种能够精确地确定运动物体的方位以及运动姿态的仪器。它不但能够全面地检测到几乎所有的运动参数, 而且还有一个极大的优点, 陀螺仪是完全自主式的测量方法, 它不依赖外部的光线, 电磁波, 声音, 磁场等等的外部信息来测量相机角运动, 其工作完全不受自然的和人为的干扰影响。经过陀螺仪能够检测目标运动过程中相对于惯性空间所转动的角度, 然后再经过相应的数学模型和空间坐标系的变换得出相机在运动过程中的俯仰角、 滚转角以及偏航角, 能够避免因为相机坐标系轴的角度变化引起的累积误差, 经过陀螺仪实时获取的相机运动位置和姿态, 进而提高目标运动轨迹测算的精度。
为此系统在运行过程中, 装载陀螺仪, 实时获取目标运动姿态的变化, 为目标运动轨迹的提取提供可靠的辅助定位。
2.1.3 光照调节模块
在目标运动轨迹提取过程中, 外界光线的变化和地面图像本身特征点不明显的各种因素, 可能对图像的采集结果产生影响, 以至于在后续图像处理过程中的特征点提取、 图像匹配以及轨迹提取的精度环节造成较大误差。光照自适应子系统就是借助外光源使得在图像采集过程中获得较为理想的图像。
①软件调节
曝光是用来计算从景物到达相机光通量大小的物理量, 只有使感光芯片CCD获得正确的曝光, 才能获得高质量的照片。曝光过度, 照片看起来就太亮, 即灰度过大; 曝光不足, 照片看起来就会太暗, 即灰度过小。
在实验过程中, 由于受外界环境光线变化的影响, 往往无法获得满意的曝光效果, 使得相机获得的图像灰度大小不一, 继而会影响到后续的特征点提取和图像匹配精度。如果能够根据光线或者图像序列灰度均值的变化情况自动调节相机的曝光量, 那么就能够达到较为满意的曝光效果。因此在系统中融入自动曝光控制模型。它经过将整幅图像的某一区域的灰度均值与预先设定的参考值比较, 来进行CCD相机曝光量的自动控制。
根据实验要求建立数学模型如下:
( 2.1)
其中为曝光时间, 为曝光量调节函数, 为灰度均值, 为单个像素灰度值, M为曝光量调节所针正确图像区域像素个数。
具体算法流图如下所示:

图2.3自动曝光流程图
首先对采集获得的图像计算灰度均值, 根据图像灰度值与参考值的比较, 其中为预先设置的参考值, 为阈值。如果满足判断条件, 则曝光时间调整结束; 反之, 则对曝光时间进行相应地调整。当时, 减少曝光时间; 反之, 增加曝光时间。
②机械辅助调节
由于相机的局限性和外界光线变化的随机性, 有时仅仅依靠软件调节曝光量也无法达到较好的效果。此时能够经过安装光源和遮光罩尽量使得光线变化趋于均匀和稳定。光照自适应子系统的机辅助调节部分主要包括光源、 可调节型遮光罩、 套筒等辅助设备。

图2.4总体结构示意图
如上图所示, 套筒固定在车体后方两车轮之间上, 它也是整个机械辅助调节系统的主体装置, CCD相机装置在套筒的前端, 如虚线所示部分。最外层是装置在套筒中部开放性的可调节性遮光罩。可调节型遮光罩安装在相机及辅助光源的外围。遮光罩能够起到防止成像光、 散射光以及干扰光进入镜头, 某种程度上还能够为镜头遮挡风沙、 雨水等。

图2.5 LED灯圆环形光源
CCD相机和镜头在整个辅助性设备的中间位置, 周围由数个LED灯组成环形光源, 套在相机外围且将相机放置在圆环形光源的中心, 并经过最外层的可调节性遮光罩使辅助光源的光线能够均匀的补充到相机视场。
2.2成像设备选型分析
摄像机是基于视频图像序列的目标运动轨迹提取系统中的重要部件。它的正确选取对后续的图像采集和目标运动轨迹测算具有重要的影响。下面主要研究分析相机的测量理论以及相机的选取依据。
2.2.1相机理论测量分辨率

图2.6 相机理想线性成像模型
根据图2.6, 假设相机的焦距为, 物距为, 视场宽为, 视场中特征提取区域宽度为, 所对应的像宽为, 所对应的像宽为。
由相机理想线性成像模型得:
( 2.2)
当相机随目标体向前运动时, 同时保证图2.6中的特征区域在当前图像中仍存在, 则相机的理想成像模型如图..所示。

图2.7相机向前平移后的理想成像模型
由上图可知, 当位置沿着光轴垂直方向移动, 不改变物体在相机焦平面上像的大小。则能够利用图2.6和图2.7进行对比分析, 能够获得当相机前移时, 特征区域在相机焦平面上的移动的像素数。
由图2.7可知, 根据和的相似关系, 能够求得特征区域在相机焦平面上移动的距离为:
( 2.3)
根据公式( 2.2) 、 ( 2.3) 能够为CCD相机和镜头的选择, 提供一定的理论依据。
2.2.2成像设备选型
在分析了相机理论测量分辨率技术的基础上, 根据实验时相机载体的运动速度、 物距以及相机成像速度等因素, 确定相机的分辨率、 成像范围、 帧率等参数, 进而实现摄像机的正确选取。
( 1) CCD相机和镜头选择
相机距离地面的高度为100cm, 采用16mm的镜头。假设车往前行走5cm, 如果测量精度为厘米级, 在图像上至少要反应5个像素的变化。根据公式( 2.3) 计算相机的分辨能力为0.8mm。而1/2尺寸16mm镜头的水平视场角为: 22.2°, 则水平方向视场大小为: 392.4mm, 相机水平方向的分辨率至少为491个像素。
为了保证后序车行轨迹提取的可行性, 假设两帧图像之间存在1/3的重合区域, 那么车在采集两帧图像的时间内车行驶距离为36.67cm。则如果要满足在50km/h的速度下, 仍能很好地提取车辆行驶轨迹, 则需在1s内采集53帧。
针对上述分析特选择维视的MV-VS030 FM / FC相机和维视的VS-1614M镜头, 具体参数如表2.1和2.2所示:
表2.1 选择的工业相机的主要性能参数
性能类型
参数
性能类型
参数
型号
MV-VS030FM / FC
同步方式
外触发或连续采集
最高分辨率
640×480
输出方式
IEEE 1394a
象素尺寸
5.6*5.6μm
数据传输距离
4.5米(加中继可达72米)
传感器类型
数字面阵CCD
可编程控制
图像尺寸、 亮度、 增益、
帧率、 曝光时间
光学尺寸
1/4”
镜头接口
CS口或C口
输出颜色
黑白
供电要求
正常供电12V
数据位数
10位AD, 8位输出
功耗
2.4W
帧率
60fps
外形尺寸
50.8×50.8×70(mm)
I/O接口
数字I/O触发接口
净重
265g
信噪比
>46dB
工作温度
-10—45°C
曝光方式
帧曝光

表2.2 相机镜头主要性能参数
性能类型
参数
性能类型
参数
焦距
16mm
相对孔径
1/1.4
接口
C
尺寸
1/2"
水平视场
22°12´
外形尺寸
Φ28*37.5
重量
45g
最近物距
0.15m
( 2) 千兆网卡选择
根据MV-VS030 FM / FC相机参数, 每秒采集60帧, 图像大小为640×480, 位数为8位, 则一秒所要进行的传输的字节数为:

为此, 选用Intel PWLA8492MT千兆网卡。
2.3本章小结
本章根据论文的实验要求组建了目标运动轨迹提取系统。然后分别详述了视频采集子系统、 相机标定子系统、 目标姿态实时获取子系统以及光照自适应子系统。最后针对本课题的实验要求选取了相应地成像设备, 从而后面章节中的算法模型建立和实验验证提供了可靠的系统平台。

3、 相机参数标定及姿态校正

3.1 相机参数标定
在基于视频图像序列的目标运动轨迹提取系统的研究领域中, 相机参数是必不可少的部分。对于该系统而言, 系统轨迹的精确测算和提取是在相机经过初始标定的基础上进行的。相机参数的标定精度、 标定速度以及标定模型的可移植性直接决定着轨迹提取精度等。为此在本系统研究过程中, 初始位置的相机参数标定过程显得尤为重要。
相机标定能够确定相机的几何光学特性(内部参数)包括焦距、 畸变系数和非确定性标度因子以及在特定的世界坐标系中相机的位姿(外部参数)包括括世界坐标系相对于相机坐标系的正交旋转矩阵和平移矩阵。从而建立起三维世界坐标和二维计算机图像坐标之间的关系, 以实现二维信息和三维信息的相互转换。因此, 摄像机标定结果的精度及算法的稳定性直接影响后续处理的准确性。
其标定过程是在确定成像模型的基础上, 建立空间坐标系中物体点同它在图像平面上像点之间的函数关系。因此在对相机标定之前, 首先要根据CCD相机的成像原理建立CCD相机成像模型
3.1.1相机成像模型分析
( 1) 透视成像模型
视频图像是成像系统利用摄像机获取的时变三维空间场景的二维投影, 从三位空域场景到二维图像平面的不同投影方式。分为透视( perspective) 投影和正交( orthographic) 投影。
正交投影也称为平行投影( parallel projection) ,是实际图像处理的一个近似方法。这种投影模型假设所有从三维场景出发到图像平面的光线走向相互平行。不论相机与三维空域场景之间的距离相距多远, 总能够产生相同的图像, 当场景与相机之间的距离大大超过场景上的点相对于自身坐标系的深度时, 正交投影将提供更好的近似表示, 且在这种情况下, 由于正交投影为线性投影, 能够在图像处理时使数学推导和计算较为简单。可是, 正交投影不能很好的描述相机与场景之间的距离、 空间角度等一系列透视特性的变化规律。
透视投影是用中心投影法将形体投射到投影面上, 从而获得的一种较为接近视觉效果的单面投影图。它具消失感、 距离感、 相同大小的形体呈现出有规律的变化特性, 能逼真地反映形体的空间形象。透视投影符合人们心理习惯, 即离视点近的物体大, 离视点远的物体小, 远到极点即为消失, 成为灭点。因此, 透视投影更适合本实验的要求。
透视投影使用一种基于几何光学原理的理想小孔( ideal pinhole) 成像原理来描述二维图像的形成。多有从三位空域场景中出发的光线均经过称为”投影中心”的透镜中心, 当投影中心位于场景与图像平面之间时, 透视投影原理如图3.1所示:

图3.1 透视投影原理图
上图所示, 图像平面与全局坐标系的平面重合。根据图中的结构, 描述三维空域场景中的点与二维图像平面上的透视投影对应点之间坐标变换关系的数学表示式为:
( 3.1)
其中: 为投影中心与图像平面间的距离。
如果移动投影中心与全局坐标系原点重合, 如图3.2所示

图3.2投影透视原理图
则公式( 3.1) 变为:
( 3.2)
( 2) 目标的空间位置确定
在计算机视觉处理中, 我们一般所研究的视频图像序列是由相机对三维空间中的场景经过采样、 映射等过程形成的。相机在拍摄三维空间中的场景时, 其拍摄范围为位于正对摄像机的某一夹角范围内的空间景物, 设拍摄空域范围为。在时刻时, 对于所拍摄的空间中某目标点, 经过一定波长的光照, 在该点有一定的反射能量, 形成某种反射信息, 这里我们假设信息模型为经过摄像机的投影成像, 在成像平面上会形成三维空间中的一个二维图像。沿着时间轴多个这样的投影成像就构成了视频序列图像。因此有必要研究三维空域中摄像机成像模型, 即描述场景中物体的三维结构、 运动( 位移和旋转) 和相机机三维运动( 缩放、 旋转和平移) 以及她们相对运动的数学模型。
一个物体的三维空域位置变化能够用以下的仿射变换来表示:
( 3.3)
其中, 和分别表示刚体外表面上的一个点在时刻和相对于坐标中心的坐标矢量。
, ( 3.4)
为代表旋转变换的一个的旋转矩阵。表示一个三维平移变换矢量, 其为:
( 3.5)
三维旋转的矩阵能够用相对于三个坐标轴的欧拉( Eulerian) 角来表示

图3.3 旋转变换欧拉角表示
矩阵沿三个坐标轴的顺时针旋转矩阵为:
( 3.6)
( 3.7)
(3.8)
表征三维场景中旋转变换的旋转矩阵表示为
( 3.9)
由于视频图像相邻帧之间的间隔时间很短, 因此场景中运动物体的旋转角度很小, 能够近似认为有公式( 3.6) ( 3.7) ( 3.8) , 表征三维旋转矩阵R为:
( 3.10)
由公式( 3.3) , 三维空域中物体在不同时刻和的位置变化可表示为:
( 3.11)
即:
( 3.12)
将旋转矩阵R进行分解如下
( 3.13)
将公式( 3.13) 代入公式( 3.12) , 能够得到
(3.14)
3.1.2 相机参数标定方法分析
当前常见的相机参数标定方法主要有: 线性标定法、 非线性标定法、 两步法、 双平面标定法。
线性标定法的优点是不需迭代、 求解简单、 速度较快。缺点是相机的系统误差不能加进去, 因而不能进行系统误差的校正, 另外加上噪声及镜头误差的影响, 使得标定精度不高。
非线性标定方法, 由于充分考虑了成像过程中的各种因素, 能够得到比较高的标定精度, 然而由此带来的问题是:
(1)相机标定的结果取决于相机的初始给定值, 如果初始给定值取得不恰当, 很难经过优化程序得到正确的标定结果。
(2)优化程序非常费时, 无法实时得到标定结果。
双平面标定方法的优点是利用线性方法求解有关参数, 不需要非线性优化。缺点是: 未知数个数比较多, 至少24个, 存在过分参数化的倾向, 图像坐标和实际坐标间的变换是基于实验的, 从而造成最终结果的不确定性。
而两步法利用线性变换方法或者透视变换矩阵求解相机参数, 再以求得的参数作为初始值, 考虑畸变因素, 利用非线性优化方法提高标定精度。该方法既解决了利用透视变换矩阵进行