无人机地面目标跟踪系统的建模与控制.pdf

：无人机地面目标跟踪系统的建模与控制!辛哲奎!方勇纯（南开大学机器人与信息自动化研究所天津 ）摘要对无人机地面目标跟踪系统进行了分析，并建立了各个子系统的数学模型，针对跟踪过程中可能导致目标丢失的两个关键问题 无人机的飞行轨迹和云台摄像机的控制，给出了一种轨迹规划与跟踪算法，该算法既可以使无人机与目标保持一定距离，又保证了无人机在飞行过程中机头始终朝向目标。此外，设计了一种云台摄像机控制方法，该方法利用无人机与目标的相对位姿和目标偏离图像中心的偏差作为反馈信息对云台摄像机进行控制。仿真结果表明本文所设计的无人机地面目标跟踪系统具有良好的性能。关键词无人机，目标跟踪，建模，云台控制 引 言近 来，无人机（，）一直是一个非常活跃的研究领域。小型无人直升机具有在狭小空间和复杂环境中垂直起降和悬停等能力，这使其成为完成侦察、监视、追踪等任务的理想平台。无人机地面目标跟踪系统在民用、反恐防爆和军事打击等方面都有重要应用，得到了国际上的极大关注。地面目标跟踪系统是指在低空飞行的无人机上携带摄像机的云台运动控制系统，它利用摄像机获得的视觉信息，自动调整机载云台的旋转和俯仰角度，使被跟踪的地面移动目标始终保持在摄像机的图像中心，并将图像和位置信息传回地面指挥中心。在地面目标跟踪系统中，无人机、摄像机和目标三者均在运动，而无人机的控制技术还不是很成熟，因而系统存在很多研究难点。在文献 ，中，等人设计并实现了一种基于视觉的目标跟踪系统，他们通过将摄像机和 相结合的方法来估计目标的位置，这种方法没有涉及机载云台运动的控制，跟踪的对象主要为静止物体。文献，的研究主要集中在由机载摄像机得到的目标图像对运动目标的位置和速度进行估计和滤波。文献 针对跟踪目标运动的平滑性不够好，视频图像跳动、模糊以及目标丢失等问题，提出了一种基于仿生眼球运动的机载云台摄像机控制方法。从国内外的研究现状来看，无人机地面目标跟踪系统的研究尚处在发展阶段。本文首先对无人机地面目标跟踪系统进行分析，并对各个子系统建立了数学模型。然后，针对跟踪过程中可能导致目标丢失的两个关键问题 无人机的飞行轨迹和摄像机的姿态控制，提出了一种基于几何约束的方法来规划跟踪飞行轨迹，同时利用无人机的位姿和目标图像信息作反馈，设计了一种摄像机姿态控制方法，使得跟踪过程中目标始终位于图像的中心。在 模块下对该轨迹规划方法和摄像机姿态控制方法进行仿真的结果验证了系统的跟踪性能。问题描述首先对无人机地面目标跟踪系统的工作过程作简单介绍，然后着重分析跟踪过程中可能导致目标丢失的两个关键问题：无人机的飞行轨迹和摄像机的姿态控制。无人机地面目标跟踪系统的整体结构如图 所示。整个系统可以分为两部分：第一部分由视觉信息处理和摄像机姿态控制器组成，控制器根据目标图像等信息调整摄像机的姿态使目标始终位于摄像机的视野范围内，实现视觉跟踪。第二部分由无人机轨迹规划和机载飞行控制器组成，即首先根据自身的飞行位姿和摄像机的姿态等信息估计目标的位置，然后规划飞行轨迹，最后控制无人机跟踪该轨迹 高技术通讯 年 第 卷 第 期：!男，年生，博士；研究方向：无人机导航与控制，机器人视觉伺服；联系人，：（收稿日期：）国家自然科学基金（）、教育部“新世纪优秀人才支持计划”（）和天津市应用基础研究计划（）资助项目。万方数据实现目标跟踪飞行。图!无人机地面目标跟踪系统通过以上对无人机地面目标跟踪系统的分析，我们不难发现，在跟踪目标的过程中，目标相对无人机的位置完全由机载摄像机的图像计算得到。因此，如何规划并控制无人机的飞行轨迹以便摄像机能更好地跟踪目标，以及如何控制云台摄像机的姿态使得目标始终处在图像中心以避免目标丢失，成为无人机地面目标跟踪技术的两个关键问题。地面目标跟踪系统的运动学建模本节主要针对图 中的无人机地面目标跟踪系统建立运动学模型，以便于随后的跟踪系统分析和控制器设计。在地面目标跟踪系统中，无人机利用摄像机捕捉到的图像信息来估计动态目标物体的运动状态，在此基础上，通过控制无人机的运动以及云台的转角来实现稳定跟踪。为此，需要利用无人机的位姿信息和摄像机的图像信号来获得动态目标体的位移信息，因此需要建立无人机地面目标跟踪系统的运动学模型。图 给出了跟踪过程中无人机、摄像机和目标的相对位姿。图中 表示世界坐标系，和 分别表示无人机和摄像机的连体坐标系。图 无人机对地面目标跟踪过程示意图在跟踪过程中，根据几何分析容易得知：动态目标的位置!可用式!（）计算。其中，向量!表示无人机在坐标系 下的位置向量，它和无人机的姿态角都可以由机载传感器（如加速度计、陀螺仪等）直接测量得到；向量!则为无人机质心到摄像机光心的距离，它可以由式!（）计算得到。其中!表示摄像机坐标系与无人机坐标系之间的偏移，它可以通过标定预先得到，因此在本文中为已知向量。!为坐标系 到坐标系 的旋转矩阵，它由无人机的姿态角，决定：（）其中，代表 （），代表 （）。（）式中，向量!表示摄像机到目标的距离，它满足如下关系：!（）其中，!为目标在摄像机坐标下的表示，它可以利用图像信息计算得到；!为坐标系 到 的旋转矩阵，计算如下：（）式中 为摄像机的水平旋转角，为俯仰角，它们可以利用云台上的码盘信息获得。地面目标的位置向量!，可将（）式和（）式分别代入（）式得到：!（）在跟踪系统中，云台摄像机安装在无人机上，根据摄像机成像模型可以计算出目标相对于摄像机的位移!，：（）式中 表示摄像机的焦距，则表示目标的图像坐标，它可以根据摄像机的图像利用角点检测等方法获得。设地面目标的位置!，综合式（）和式（）可以得 !（）辛哲奎等：无人机地面目标跟踪系统的建模与控制万方数据根据（）式可以得到三个方程，方程右边的变量可以由各种机载传感器得到，剩下左边的三个未知数 ，通过解方程组可以得到：（）（）（）（）（）其中 表示矩阵!的第 行第 列元素，表示向量 !的第 个元素。由公式（）和（）可以计算目标的位置。无人机目标跟踪控制系统设计本节根据第 节计算得到的目标位置设计无人机目标跟踪控制系统，使无人机可以跟踪目标飞行。根据图 给出的跟踪系统整体结构，我们将分三部分设计控制系统：首先根据目标的位置规划无人机的理想飞行轨迹；然后设计飞行控制器使无人机跟踪该轨迹，实现跟踪目标飞行；最后给出一种摄像机姿态控制方法使得跟踪过程中目标始终位于图像中心，实现视觉跟踪。!基于几何约束的无人机飞行轨迹规划无人机在跟踪目标飞行过程中，目标的位置是由摄像机拍摄的图像计算得到。因此，无人机的飞行轨迹不仅要保证与目标的相对距离保持不变，同时还要考虑摄像机姿态角的限制。本节首先分析跟踪过程中无人机与目标的相对位姿对摄像机视觉跟踪目标的影响，然后给出一种基于几何约束的方法，计算无人机跟踪目标飞行的理想轨迹：包括无人机在世界坐标系下的三维位置和偏航角。图 给出了简化后的无人机偏航角、摄像机水平旋转角与目标位置的关系，其中，偏航角!为无人机机头的朝向与 轴的夹角，水平旋转角为摄像机的光轴与无人机前向的夹角。图中 是由无人机在平面 的投影（，）与目标（，）确定的线段，它与 轴的夹角!可以由下式计算：!()（）无人机与目标的水平距离!为!（）（）（）图!无人机与目标的相对位姿从图中我们不难发现，当摄像机正对目标时，无人机的偏航角!、摄像机的水平旋转角与!满足!（）从式（）可以看出：当无人机的偏航角!时，摄像机的水平旋转角位于 就可以正对目标，而水平旋转角的范围一般在 与 之间，此时，如果目标突然偏离图像中心，摄像机有足够的调整空间使目标重新位于图像中心，最大程度地避免目标丢失。同理，图 给出了无人机与目标的水平距离与摄像机的俯仰角的关系。图中，俯仰角#为摄像机的光轴与平面 的夹角，表示无人机的飞行高度，当摄像机正对目标时，俯仰角#与距离!满足下式：#!（）摄像机的俯仰角#的范围在 与 之间，为了使!处于 时摄像机可以正对目标，要求无人机与目标的距离满足!。图#无人机与地面目标相对位姿通过上面的分析可以得出如下约束条件：约束 跟踪过程中应实时地调整无人机的偏航角使机头朝向目标；约束 无人机与目标的水平距离应尽量等于飞行高度。下面给出一种基于几何约束的方法来计算满足以上两个条件的飞行轨迹，即#，!。高技术通讯 年 月 第 卷 第 期万方数据在本文中，轨迹规划的目标是根据无人机和跟踪目标前一时刻的位姿信息来计算无人机下一时刻的轨迹。为了便于描述，设 1时刻无人机在坐标系 S 下的三维位置和偏航角为 1，1，1，!1T，它们可以通过安装在无人机上的传感器测量得到。同时，利用摄像机拍摄的目标图像信息可以估计目标的运动特性，并预测其在 时刻目标的位置为（0，0，）。无人机和跟踪目标在平面 的相对位置关系参见图 5。图!轨迹规划示意图如前所述，为了便于跟踪，在设计跟踪控制系统时使无人机的飞行高度保持不变，因此在 时刻有 （16）式中 为预先设定的无人机飞行高度。当目标在 时刻运动到（0，0，）时，根据约束 2 的要求，无人机与目标的水平距离应等于飞行高度 ，即（0，）2（0，）!2 （17）显然，上式要求无人机在 时刻应位于以目标位置（0，0，）为圆心，飞行高度 为半径的圆周上（即图 5 中虚线所示的圆周）。从图 5 中不难证明：在该圆周上，与无人机当前时刻（1，1）距离最近的点，应为（0，0，）和（1，1）之间的连线与圆周的交点（即图 5 中的点 A）。在轨迹规划时，我们取 A 点作为无人机在 时刻的理想位置，这可以使无人机从 1 时刻到 时刻的飞行距离最短，从而降低轨迹跟踪控制器设计的难度。显然，A 点坐标（，）应满足如下的线性方程：0，0，0，1 0，1（18）联立式（17）和式（18）求解可以得到无人机在 时刻的理想位置（，）：0，（0，1）（1 0，）2（1 0，）!2（19）0，（0，1）（1 0，）2（1 0，）!2（20）此时，为了使无人机的机头朝向目标，可以得到偏航角!，计算公式如下：!（）arctan 0，0，()（21）综合式（16）、（19）、（20）、（21）可以得到无人机的理想飞行轨迹 。.#无人机的轨迹跟踪控制轨迹跟踪控制的主要任务是：寻找合适的反馈控制律对无人机进行控制，使其可以按照 3.1 节给出的参考轨迹 飞行。本文采用小型直升机在悬停状态下近似得到的线性模型来设计无人机轨迹跟踪控制器，该模型由式 =+（22）=（23）给出7，8。式中 R!12 1为系统的状态变量，包括无人机在机体坐标系 B 下表示的三维位置、线速度和角速度，欧拉角表示的姿态角。R!4 1为系统的输入变量，包括主旋翼总距等。R!4 1为系统的输出，即无人机的飞行轨迹，包括坐标系 B 下表示的三维位置和偏航角。矩阵 R!12 12，R!12 4，R!4 12的具体参数可以参见文献 9。在 3.1 节中，通过轨迹规划计算得到了参考轨迹 。值得指出的是，这个轨迹是在世界坐标系 S 下表示的，而式（23）中，系统输出 则是相对于无人机连体坐标系 B 下的表示。为了便于定义控制误差，我们先通过变换得到坐标系 B 表示下的参考轨迹 R!4 1：=001 （24）式中 =-1表示坐标系 S 到坐标系 B 的旋转矩阵（的具体形式见式（3）。在此基础上，定义跟踪误差如下：=-（25）将（23）式代入（25）式，求导后得到 =-（26）然后将（22）式代入（26）式可得开环误差方程如下：=-（27）其中矩阵 R!4 12，矩阵 R!4 4。对于无人机系统而言，通常情况下 （）=4，因此 为可逆矩阵，因此可以设计如下形式的跟踪控制器：104辛哲奎等：无人机地面目标跟踪系统的建模与控制万方数据 （）（）其中 !为对角正定矩阵。将控制器（）代入式（）得到闭环误差方程如下：（）由于 为对角正定矩阵，因此控制器（）可以使跟踪误差 指数收敛于零，即可以使无人机跟踪给定的参考轨迹 。定理 反馈控制律（）可以使跟踪误差 （）渐进趋于零，即 （）（）摄像机的控制本节设计摄像机姿态控制器，使无人机跟踪目标飞行时目标可以始终位于图像中心。在控制摄像机的姿态时，需综合分析无人机和目标的相对位姿信号，以及目标偏离图像中心的偏差这两部分信息，利用他们进行反馈对摄像机实施控制。摄像机姿态控制器的整体结构如图 所示。控制器由两部分组成，首先，目标点在图像平面的运动主要是由于目标相对于无人机的运动引起，因此，根据机载传感器测得的无人机运动信息与由图像估计的目标运动信息设计控制量，用来补偿由无人机和目标的相对运动引起的目标点在图像平面的运动，使目标靠近图像中心。另外，由于受到气流等不确定因素的影响，无人机与目标的相对位姿在飞行过程中可能产生波动，这将使目标偏离图像中心。我们采用目标偏离图像中心的偏差作为反馈信号，设计比例控制器对摄像机的姿态闭环控制。图 摄像机姿态控制器结构图 仿真及分析对于本文所设计的无人机地面目标跟踪控制系统，在 模块下建立了仿真系统，对其性能进行了测试。其中，无人机的初始状态选为 ，目标的起始点为（，），此时将云台摄像机的姿态设为!，使目标点位于图像中心（，）。无人机的飞行高度 保持不变。在第一组仿真实验中，地面目标以与 轴成 角的直线匀速运动，无人机跟踪飞行结果如图 所示，图中虚线表示目标的运动轨迹，实线则是无人机的运动轨迹。图 记录了跟踪过程中目标在图像坐标系的坐标。从仿真结果可以看出，无人机可以较好地跟踪目标，同时目标在图像中心点的偏差较小。图 目标和无人机的运动轨迹图 跟踪过程中目标偏离图像中心的偏差第二组仿真实验中，地面目标首先沿 轴直线运动，然后分别在（，）（，）两点改变运动方向。图 和图 给出了无人机和目标的轨迹以及目标在图像坐标系的坐标。从仿真结果可以看出，即使对于相对复杂的运动轨迹，无人机仍然可以较好地跟踪目标。但是，由于目标运动轨迹较第一组相对复杂，导致目标在图像中心点的偏差增大。图 目标和无人机的运动轨迹 高技术通讯 年 月 第 卷 第 期万方数据图 跟踪过程中目标偏离图像中心的偏差 结 论本文对无人机地面目标跟踪系统进行了分析，并对各个子系统建立了数学模型。针对跟踪过程中，可能导致目标丢失的两个关键问题：无人机的飞行轨迹和云台摄像机的控制，提出了一种基于几何约束的轨迹规划算法和一种云台摄像机控制方法，最后在 下对该控制系统进行仿真测试。仿真结果表明，无人机可以较好的跟踪目标并使目标点保持在摄像机的图像中心。在实验过程中发现，本文所采用的无人机轨迹跟踪控制器在跟踪某些特定的轨迹时效果并不好，这主要是由于控制器的设计是在机体坐标系下进行的，而在给定轨迹从机体坐标系变换到世界坐标时引入了非线性。另外，本文没有考虑跟踪过程中目标丢失的情况，以及无人机在跟踪过程中的避障问题。以后的工作将重点在以上三点展开。参考文献 邹海荣，龚振邦，罗均 无人飞行器地面移动目标跟踪系统研究现状与展望 宇航学报，（）：，：，（）：，：，：，：，：，（）：，（）：，：，（，）（），：，辛哲奎等：无人机地面目标跟踪系统的建模与控制万方数据无人机地面目标跟踪系统的建模与控制无人机地面目标跟踪系统的建模与控制作者：辛哲奎，方勇纯，Xin Zhekui，Fang Yongchun作者单位：南开大学机器人与信息自动化研究所,天津,300071刊名：高技术通讯英文刊名：CHINESE HIGH TECHNOLOGY LETTERS年，卷(期)：2009,19(4)被引用次数：3次 参考文献(10条)参考文献(10条)1.邹海荣;龚振邦;罗均 无人飞行器地面移动目标跟踪系统研究现状与展望期刊论文-宇航学报 2006(B12)2.Saripalli S;Sukhatme G S;Mejias L O Detection and tracking of external features in urbanenvironment using an autonomous helicopter 20053.Luis M;Srikanth S;Pascual C Visual servoing of an autonomous helicopter in urban areas usingfeature tracking外文期刊 2006(04)4.MacArthur D K;Crane C D Unmanned ground vehicle state estimation using an unmanned air vehicle20075.Dobrokhodov V H;Kaminer I I;Jines K D Vision-based tracking and motion estimation for movingtargets using small UAVs 20066.Hairong Z;Zhenbang G;Shaorong X A pan-tilt camera control system of UAV visual tracking based onbiomimetic eye 20067.Mettler B;Tischler M B;Kanade T System identification of small-size unmanned helicopter dynamics19998.Kim B;Chang Y;Lee M System identification and 6-DOF hovering controller design of unmanned modelhelicopter外文期刊 2006(04)9.Cheng R P;Tischler M B;Schulein G J RMAX helicopter state-space model identification for hover andforward-flight外文期刊 2006(02)10.Bergerman M;Amidi O;Miller J R Cascaded position and heading control of a robotic helicopter 2007 本文读者也读过(5条)本文读者也读过(5条)1.黄大庆.甘琼.Huang Daqing.Gan Qiong 一种新颖的无人机侦察图像分区域压缩算法期刊论文-南京航空航天大学学报2009,41(z2)2.李志宇.徐烨烽.杨国梁.LI Zhi-yu.XU Ye-feng.YANG Guo-liang 跟踪地面目标的小型无人机飞行控制仿真研究期刊论文-科学技术与工程2008,8(5)3.祝国浩 基于无人机机载电视成像的地面目标跟踪学位论文20094.鲁恒.李永树.李何超.何敬.任志明.LU Heng.LI Yongshu.LI Hechao.HE Jing.REN Zhiming 无人机影像数字处理及在地震灾区重建中的应用期刊论文-西南交通大学学报2010,45(4)5.张剑锋.刘秉华.贾彩娟.ZHANG Jian-feng.LIU Bing-hua.JIA Cai-juan 无人机的自动着陆控制期刊论文-控制理论与应用2009,26(12)引证文献(3条)引证文献(3条)1.刘运学.钟华.吴镇炜 CAN-PELCO协议转换的实现期刊论文-自动化与仪表 2011(3)2.辛哲奎.方勇纯.张雪波 小型无人机地面目标跟踪系统机载云台自适应跟踪控制期刊论文-控制理论与应用2010(8)3.XIN Zhekui.FANG Yongchun Control System Design for an Unmanned Helicopter to Track a Ground Target期刊论文-中国机械工程学报 2011(3)本文链接：http:/