水面无人艇单目视觉伺服自主控制研究综述.pdf

本文网址：http:/www.ship- J.中国舰船研究,2024,19(1):1528.HE H K,WANG N,ZHANG F Y,et al.Review of research on monocular visual servo-based autonomous control of un-manned surface vehiclesJ.Chinese Journal of Ship Research,2024,19(1):1528(in Chinese).水面无人艇单目视觉伺服自主控制研究综述扫码阅读全文何红坤1,3，王宁*2，张富宇2，韩冰41 大连海事大学 船舶电气工程学院，辽宁 大连 1160262 大连海事大学 轮机工程学院，辽宁 大连 1160263 江苏海洋大学 海洋工程学院，江苏 连云港 2220054 上海船舶运输科学研究所，上海 200135摘 要:单目视觉伺服采用相机模仿人眼视觉功能，感知周围环境和测量运动状态，是提高无人艇航行感知与控制自主性的重要手段。首先，从基本原理出发，简述视觉伺服技术分类、相机透视投影原理和无人艇运动数学模型，为文献综述分析提供框架基础。然后，根据任务复杂度，依次综述单目视觉伺服在无人艇航向控制、镇定控制、轨迹跟踪控制和集群控制等典型应用场景下的研究进展和挑战。最后，系统性地总结无人艇单目视觉伺服自主控制的潜在研究方向和发展趋势。关键词：无人艇；单目视觉伺服；航向控制；镇定控制；轨迹跟踪控制；集群控制中图分类号:U664.82文献标志码:ADOI：10.19693/j.issn.1673-3185.03230 Review of research on monocular visual servo-based autonomous control ofunmanned surface vehiclesHE Hongkun1,3,WANG Ning*2,ZHANG Fuyu2,HAN Bing41 College of Marine Electrical Engineering,Dalian Maritime University,Dalian 116026,China2 College of Marine Engineering,Dalian Maritime University,Dalian 116026,China3 School of Ocean Engineering,Jiangsu Ocean University,Lianyungang 222005,China4 Shanghai Institute of Ship Transportation Science,Shanghai 200135,ChinaAbstract:The monocular camera can both perceive the surroundings and measure the motion states of an un-manned surface vehicle(USV)by imitating the functions of human vision,such that the monocular visualservo is an important means of improving the navigation perception and control autonomy of USVs.Startingfrom basic principles,the classification of visual servo methods,perspective projection model of the cameraand mathematical model of the USV are briefly described so as to provide a fundamental framework for the lit-erature review.According to task complexity,the research progress and challenges of monocular visual servo-based USV control are then summarized in four typical scenarios,namely course control,stabilization control,trajectory tracking control and swarm control.Finally,the future trends of the monocular visual servo-basedautonomous control of USVs are systematically summarized.Key words:unmanned surface vehicle(USV)；monocular visual servo；course control；stabilization con-trol；trajectory tracking control；swarm control 0 引言海洋是全球气候变化的引擎、生物矿产资源的宝库、水上交通运输的命脉、国家安全防卫的要地。关心海洋、认识海洋和经略海洋离不开海洋装备。作为集成多种高科技的海洋机器人，水收稿日期:20221226 修回日期:20230502 网络首发时间:20230720 10:49基金项目:国家自然科学基金资助项目（52271306）；船舶总体性能创新研究开放基金资助项目（31422120）;辽宁省中央引导地方科技发展专项资金资助(2023JH6/100100010）作者简介:何红坤，男，1988 年生，博士，讲师。研究方向：无人船艇视觉伺服运动控制。E-mail：王宁，男，1983 年生，博士，教授，博士生导师。研究方向：自主海洋机器人。E-mail：n.wangieee.org张富宇，男，1999 年生，硕士生。研究方向：无人船艇视觉伺服控制。E-mail：*通信作者:王宁 第 19 卷 第 1 期中 国 舰 船 研 究Vol.19 No.12024 年 2 月Chinese Journal of Ship ResearchFeb.2024面无人艇（以下简称“无人艇”）具有隐蔽性好、机动性强、活动范围广等优点1-4，可以替代人类完成重复和危险的作业任务，已广泛应用于水文信息采集、海洋气象观测、渔业资源调查、海底形貌测绘、海事巡逻执法、海上灾害救援、海岛安全巡护、军事隐蔽侦察等领域5-7。目前，无人艇多采用全球定位系统（GPS）确定自身位置，实现自主运动控制，包括镇定控制8、航向控制9、航路点跟踪控制10、路径跟随控制11、轨迹跟踪控制12、集群编队控制13等任务。然而，GPS 需要接收外源星基信号，在桥梁和河道等遮挡水域面临信号丢失和衰减问题，并且定位精度只有米量级14。其他定位方式，如惯性测量单元（IMU）采用积分方式计算无人艇位置，定位误差会随时间的累积不断增大15；激光雷达通过扫描无人艇周围环境实现相对定位，但传感设备成本较高16。与之相比，相机价格低廉、携带轻便、采集的图像信息丰富，具有极强的环境交互能力和较高的定位精度17。显然，赋予无人艇人眼视觉功能不仅能够增强其航行态势感知的智能性，而且能够提高其在 GPS 拒止环境下的运动自主性18。在人工智能快速发展的推动下，基于视觉伺服的运动控制已成为提高无人艇运动自主性的研究热点之一。机器人视觉伺服涉及图像处理、计算机视觉和控制理论等学科。实际上，具有视觉功能的机器人最早出现于 20 世纪 60 年代，其视觉系统通过图像处理和位姿解算向机器人提供一次控制信息，但囿于当时计算机运算能力的限制，该系统不再参与整个控制过程，机器人处于开环控制状态19。1973 年，Shirai 和 Inoue20采用相机直接测量目标物的位置误差，通过误差反馈形成控制闭环，提高机器人装配任务的控制精度，由此首次提出“视觉反馈”的概念。随着技术发展，图像处理能力得到很大提升，视觉系统能够在较短时间内生成反馈信号。为了强调整个控制闭环的运算实时性，Hill 和 Park 于 1979 年首次提出“视觉伺服”的概念21。由于“视觉反馈”只注重从图像信息里提取反馈信号，而“视觉伺服”概念包含了从图像采集到运动控制的全部实时过程，因而被广泛采用22。20 世纪 80 年代以后，计算机运算能力不断增强，数字相机快速发展，市场上还出现了专门处理图像的硬件设备。在此背景下，机器人视觉伺服在理论研究和实际应用方面均得到蓬勃发展23。早期机器人视觉伺服主要应用于工业机器人目标定位、抓取、跟踪等任务24，后来扩展至移动机器人运动控制，如无人机25、无人车26、水下机器人27等。早在 1996 年，Hutchinson 等28撰写了工业机器人视觉伺服控制教程，旨在介绍视觉伺服控制的基本概念框架。Chaumette 等29首先详细综述了工业机器人视觉伺服的基本控制方法，然后又报道了先进视觉伺服概念和一系列最新控制方法30。Staniak 等31总结性地对伺服控制框架进行分类，分析讨论了相机标定误差对工业机器人控制性能的影响。Azizian 等32-33分别从直接视觉图像和层析图像两个角度阐释了视觉伺服在医疗机器人领域的研究现状，总结了当前面临的主要挑战和未来潜在应用价值。林靖等19从系统结构、图像处理和控制方法 3 个方面介绍了机器人视觉伺服控制研究现状。赵清杰等23讨论了视觉伺服中图像特征选择的问题，介绍了人工神经网络在视觉伺服中的应用情况。王麟琨等34针对机器人视觉伺服面临的主要问题，详细阐述了相应的解决方案。薛定宇等35重点介绍了两类机器人视觉伺服控制方法，详细分析了视觉伺服系统的动态过程。倪受东等36回顾了机器人视觉伺服的发展历程，详细阐述了智能算法在机器人视觉伺服控制中的应用。方勇纯17针对视觉伺服的主要研究方向和问题，介绍了机器人位姿提取、系统不确定性、图像空间路径规划、智能视觉伺服等内容。贾丙西等37从视觉系统、控制方法和实现策略等方面对机器人视觉伺服进行综述，重点介绍了系统动态性能、噪声处理、模型不确定性和约束控制等内容。徐德38对单目视觉伺服的运动映射关系、误差表征和控制律设计等方面进行综述，给出了单目视觉伺服在不同领域的典型应用。杨月全等39针对无标定视觉伺服，详细分析了雅克比在线估计、雅克比自适应估计和深度独立雅克比估计等方法。Wu 等40综述了基于学习的机器人视觉伺服策略，尤其是模型预测控制方法，并对基于神经网络和强化学习的算法进行了讨论。Huang 等41以无人车视觉伺服控制为主题，从自抗扰控制视角综述了两种视觉伺服系统的建模与不确定性处理方法。以上文献从不同角度综述了视觉伺服在机器人控制领域的研究现状，为开展无人艇视觉伺服控制研究提供了重要借鉴。然而，这些文献多关注于室内六自由度工业机器人视觉伺服控制问题，而专门介绍无人艇视觉伺服自主控制的综述文献还鲜有报道。由于无人艇海上生存能力有限，往往只能在较低海况下正常工作，因此，无人艇的垂荡、俯仰和横摇运动幅值一般较小，可忽略不计，而控制器设计往往只考虑纵荡、横荡和16“无人船艇自主性技术”专辑第 19 卷艏摇 3 个自由度的运动行为。此外，无人艇在水面航行时难免会受到水和空气两种不同介质的综合影响，其运动动态表现出高度的非线性、复杂性、不确定性和强耦合等特征。这些因素都为基于视觉伺服的无人艇运动控制带来了新的实际困难和理论挑战。幸运的是，相比于陆上拥挤复杂的交通环境，无人艇的海上工作场景结构相对简单，十分有利于机器视觉对周围环境的认知与理解。虽然视觉伺服在无人艇自主控制领域尚处于初始应用阶段，但近年来涌现出了许多研究成果，所以很有必要有针对性地对目前研究现状和面临的挑战进行综述，共同推动无人艇视觉伺服自主控制在理论和实践这两个方面的快速发展。目前，在无人艇上最常采用的是单目相机来作为视觉传感器，因此本文将主要综述单目视觉伺服方法在无人艇自主控制领域的应用。首先，从基本原理出发，简述视觉伺服方法的分类、相机透视投影模型和无人艇的运动数学模型，以便于文献讨论和分析。然后，根据任务复杂度，依次梳理单目视觉伺服在无人艇的航向控制、镇定控制、轨迹跟踪控制和集群控制场景下的研究现状及其所面临的独特挑战。最后，对无人艇的单目视觉伺服自主控制研究方向和发展趋势进行总结和展望。1 基本原理 1.1 视觉伺服方法分类如表 1 所示，根据不同标准，无人艇视觉伺服方法可分为不同类型。按照相机数量，视觉伺服可分为单目视觉伺服、双目视觉伺服和多目视觉伺服39。虽然双目视觉伺服和多目视觉伺服具有更广的视野，但是其需要处理更多的图像，使用费用和维护成本也更高。相比之下，单目视觉伺服处理较少的图像，更能满足伺服过程对运算实时性的要求38。因此，无人艇视觉伺服系统多采用单目相机作为感知和测量单元。表 1 视觉伺服方法分类Table 1 Classification of visual servo methods分类标准类型名称主要特点相机数量双/多目视觉伺服相机视野广、使用和维护成高单目视觉伺服处理图像少、满足计算实时性相机位置固定相机系统定位精度高、使用场景受限手眼系统灵活性强、运动范围广误差类型基于图像的视觉伺服局部稳定、对标定误差不敏感基于位置的视觉伺服全局稳定、依赖标定精度按照相机的安装位置，视觉伺服可分为固定相机系统（eye to hand）和手眼系统（eye in hand）。为了开展无人艇动力定位控制算法研究，Srensen42和 Wang 等43将多个相机安装在实验水池的墙壁上，利用固定相机系统实现了无人艇高精度视觉定位。Hu 等44同样采用该系统定位无人艇位置，用于验证多无人艇运动目标环绕包围控制算法的有效性。需要强调的是，固定相机系统将视觉传感器安装在工作环境中，使得无人艇只能在有限的可视空间范围内运动。与其不同的是，手眼系统将相机安装在无人艇上，并随无人艇一起运动。该系统更像为机器人安装了“眼睛”，可使无人艇的运动范围更广。由于手眼系统具有显著的灵活性，在无人艇单目视觉伺服自主控制中也更为常见，因此本文着重综述这类视觉伺服形式。按照误差类型，视觉伺服分为两类：一是基于图像的视觉伺服（image-based visual servo，IBVS）29，二是基于位置的视觉伺服（position-based visualservo，PBVS）30。IBVS 直接在线比较当前图像和期望图像，在图像空间通过误差反馈形成伺服控制闭环。相反，PBVS 利用当前图像和相机标定参数提取位置或姿态信息，在欧几里得空间与期望信号构造伺服误差，形成无人艇运动控制闭环。IBVS 和 PBVS 各有优缺点，应根据具体任务场景选择合适的视觉伺服方式。此外，二者是从控制的角度对视觉伺服方法进行的分类，因此本文也以此为主线综述无人艇单目视觉伺服自主控制的研究现状。1.2 相机透视投影原理EXYZCXcYcZcBXbYbZbEXYZCXcYcZcXcBXbYbZbXbYbOXoYoXoYo根据手眼系统配置，如图 1（a）所示，无人艇上安装 1 个单目相机，用来感知周围环境和测量运动状态等。为了便于空间关系描述，如图 1（b）所示，按照右手定则分别建立地球坐标系、相 机 坐 标 系和 无 人 艇 附 体 坐 标 系，其中为东北下坐标系，原点E 固定在地球表面上；建立在相机光心C 上，轴为相机光轴；附着在无人艇上，轴和轴分别指向艇首和右舷。此外，为图像坐标系，原点 O 位于图像的左上角，轴水平向右，轴垂直向下。pcti=xcti，ycti，zctiTCXcYcZcm，m，mTpoti=xoti，yoti，1TOXoYo选择表示第 i 个特征点在的三维坐标，单位为；选择，表示其投影点在的齐次坐标(单位：像素）。根据相机透视投影原理 38，有poti=1xctiTcpcti(1)第 1 期何红坤等：水面无人艇单目视觉伺服自主控制研究综述17其中，Tc=xocax0yoc0ay100Tc(xoc，yoc)axay式中，为相机内部参数矩阵，其中，表示图像主点，和为相对焦距长度。pcti根据坐标变换关系，如图 1（b）所示，还可表示为pcti=Tcepeti(2)其中，peti=xeti，yeti，zeti，1T，Tce=Rce0tce1petiEXYZTceRce R33tce R3CXcYcZcEXYZ式中：为特征点在坐标系中的齐次坐标；为 相 机 外 部 参 数 矩 阵，其 中和分别为到坐标系中的旋转矩阵和平移向量。potiTcRcetcepctipeti需说明的是，采用 SIFT45，SURF46或 BRISK47等目标识别算法可以得到；利用 Tsai 两步法48、圆环点法49或张正友平面法50等可以在实验室标定出；通过姿态传感器可以测量中旋转角度变量；采用预先标定方式可以获知中部分平移参数。结合式（1）和式（2）可知：单目相机成像是一个复杂的非线性映射过程，若缺乏必要的约束条件，其难以实现视觉定位（即得到或信息），也是其所面临的固有问题。1.3 无人艇运动数学模型无人艇航行在水面上其三自由度的运动学模型可描述为 =R()(3)其中，R()=cossin0sincos0001=x，y，T，=u，v，rTEXY(x，y)m，m，radTBXbYb(u，v)m/s，m/s，rad/sTR()EXYBXbYb式中：为位姿向量，包括坐标系中的位置和艏摇角，单位为；为速度向量，包括坐标系中的线速度和角速率 r，单位为；为到的旋转矩阵。无人艇是二阶非线性系统，根据牛顿拉格朗日模型框架，其动力学方程表示为51M =C()D()+(4)M R33C()R33D()R33 R3 R3N，N，NmTC()D()式中：，为惯性质量矩阵，包括水动力引起的附加质量；和分别为科里奥利向心矩阵和水动力阻尼矩阵；和分别为控制输入向量和系统扰动向量，二者单位均为。假设原点 B 位于无人艇的旋转中心，通过半经验方式、软件包和物理实验等方法可辨识到 M 和中的模型参数52，但中的参数很难或不可能精确辨识53。另外，包含了未建模内部动态和风、浪、流所引起的外部扰动。因此，其变化动态很难通过数学模型精确地表述出来。2 研究进展与挑战在不同的任务场景下，无人艇单目视觉伺服将面临不同的自主控制问题。按照任务复杂度，本文将依次详述单目视觉伺服在无人艇航向控制、镇定控制、轨迹跟踪控制和集群控制任务场景下的研究现状及面临的挑战。2.1 单目视觉伺服航向控制无人艇单目视觉伺服航向控制是根据艇载单目视觉系统所采集的图像信息设计控制输入，实现无人艇航行方向控制。如图 2 所示，在无人艇接近水上桥梁时，GPS会出现信号丢失问题，这将严重威胁无人艇航行安全。Zhao 等54-55采用单目相机感知无人艇前方航行环境，利用图像处理和阈值分割方法将桥洞轮廓从图像中分离出来，根据桥洞投影中心和图像中心计算无人艇航向偏差角度，根据桥洞轮廓和图像边缘计算无人艇航向偏差距离，以及结合以上两个测量变量和艏摇角速率，设计了无人艇单目视觉伺服比例微分控制器，然后通过调节艇(a)无人艇、单目相机、图像和特征点(b)地球、附体、相机和图像坐标系单目相机无人艇Y cY bZ cZ bX oY oyotiOY oxotiPotiPetiPctiX oX cOEZYXX bBC图像特征点图 1相机透视投影模型Fig.1 The perspective projection model of monocular camera18“无人船艇自主性技术”专辑第 19 卷尾两个螺旋桨的电压差来改变无人艇的航向，使无人艇能够安全地穿越桥梁。在室内比赛场地，GPS 无法测量无人艇航行赛道位置。Ekelmann 等56采用红色和绿色浮桩作为航道标志物，便于无人艇的艇载视觉系统识别；在无人艇附体坐标系下，计算航道偏离角度和距离，并据此设计比例控制器，用于合成推进器控制电压指令，分别调节无人艇航行方向和速度，使无人艇顺利通过预设航道。图 2基于单目视觉的无人艇穿越桥梁任务54Fig.2 The brigde crossing task of USV based on monocular visu-al servo54 由于视觉在近距离具有高精度定位优势，无人艇单目视觉伺服航向控制广泛应用于移动目标对接任务。徐海彬等57将高清单目相机安装在无人艇上，采用视觉检测网络识别悬浮托架开口，根据其图像投影坐标计算无人艇相对于托架中心的偏转角度，并利用偏转角度及其微分信号设计S 面控制器，将合成的舵角指令发送到无人艇的底层控制系统，以及在油门恒定的条件下，通过控制舵机和推进器改变无人艇运动方向，实现无人艇自主回收。如图 3（a）所示，Martins 等58假设黄色潜航器漂浮于水上，且只有小部分体积露出水面，便于艇载单目相机精确测量该潜航器的相对位置和姿态，并根据无人艇和潜航器对接任务所处的运动阶段，设计了混合控制操纵方案，按照事件触发条件，在不同控制模态下调节艇尾螺旋桨的转速差，控制无人艇的纵荡速度和艏摇角度。针对该对接问题，如图 3（b）所示，Dun-babin 等59同样采用艇载单目相机测量水面目标物的相对位置，然后根据视觉测量距离计算目标物对无人艇产生的虚拟吸引力和排斥力，将二者的合力方向作为无人艇的期望艏摇角，并利用艏摇角偏差设计比例控制器，通过调节两个螺旋桨的推力差来改变无人艇的航行姿态，直至实现无人艇与水面目标物的对接。值得注意的是，以上视觉伺服策略以单目相机为导引装置，通过计算无人艇姿态和位置偏差，获得无人艇航向控制反馈信号。由于没有直接利用图像定义误差，因此上述策略均属于 PBVS(xoc，yoc)(ax，ay)xcti方法。然而，如式（1）所示，这类方法需要预先标定相机内部参数，如和等，才能计算出无人艇航向偏差信息54-57。由式（1）和式（2）可以看出：在单目视觉相对定位时，由于缺乏图像深度信息，PBVS 需要标定相机外部参数作为额外约束条件，如 Martins 等58要求已知单目相机距离水面的高度、Dunbabin 等59要求标定相机高度和俯仰角度。可见，PBVS 方法依赖于相机标定精度，而标定误差会不可避免地引入到无人艇单目视觉伺服航向控制系统中。因此，定量分析标定误差对控制性能的影响及消除这些不利影响是这类方法所面临的主要挑战。另外，如式（4）所示，无人艇系统具有非线性、强耦合和高度不确定等特性，如何调节控制参数使无人艇单目视觉伺服航向控制系统稳定同样是不小的挑战。除了 PBVS 外，IBVS 也应用在无人艇单目视觉伺服航向控制中。Kim 等60采用当前图像和期望图像直接定义无人艇对接任务误差，以增强控制算法对相机模型误差的鲁棒性，首先利用伪逆技术设计了比例控制器，在运动学上实现无人艇航向控制，然后考虑无人艇动力学系统存在的复杂扰动，采用强化学习方法设计了无模型的视觉伺服策略，研究表明，该方法是抵抗干扰的有效途径。由于 IBVS 在图像空间构造伺服误差，容易导致无人艇在欧几里得空间产生不合逻辑的运动行为，且存在局部收敛和控制奇异等问题，因此IBVS 在无人艇运动控制中较少应用。2.2 单目视觉伺服镇定控制无人艇单目视觉伺服镇定控制是利用艇载单目相机所拍摄的图像信息，将无人艇由当前位姿(a)无人艇与潜航器的对接任务58(b)无人艇与水面目标物的对接任务59目标物相机水面W相机ZYXBZBYBXBCZCvu目标物YCXCchc图 3基于单目视觉的无人艇对接任务Fig.3 The USV docking task based on monocular visual servo第 1 期何红坤等：水面无人艇单目视觉伺服自主控制研究综述19镇定到恒定的期望位姿。在无人艇单目视觉伺服镇定控制中，自主靠泊是典型的应用场景。如图 4 所示，张山甲等61将红色矩形面作为泊位标志物，采用艇载单目相机感知泊位周围环境；首先，利用标定的相机内部参数计算无人艇的艏向偏差角；然后，根据已知的标志物高度重构无人艇三维工作场景，并将矩形面的垂线作为虚拟航线，计算无人艇的偏航距离；最后，将以上两个测量变量作为反馈误差，设计了基于 PBVS 的比例微分控制器，通过调节两个推进电机的电压差，使无人艇沿着叠标线靠近泊位。因为该无人艇操纵能力受限，具有欠驱动属性，所以当标志物的实际与期望投影面积差值小于设定阈值时，即认为靠泊任务完成，无人艇停止控制输入。图 4基于单目视觉的无人艇靠泊任务61Fig.4 The USV berthing task based on monocular visual servo61 xcti由于 PBVS 方法需要繁琐地标定相机外部参数，这给实际工程应用带来一定困难。Wang 和He62以平面上的特征点作为视觉目标，利用单应性分解技术从当前图像和期望图像中直接重构无人艇伺服镇定误差，避免了相机外部参数标定，方便了实际应用；结合无人艇运动学模型（式（3）和动力学模型（式（4），建立了基于单应性视觉伺服（homography-based visual servo，HBVS）镇定控制系统。值得强调的是，利用二维图像进行三维重建是欠约束的病态问题，因此 HBVS 方法恢复出来的伺服误差与无人艇实际位姿误差之间存在着未知的尺度因子。幸运的是，该尺度因子与期望图像的深度有关，因此，Wang 和 He62采用在线估计的方式，提出了基于参数自适应的无人艇单目视觉伺服镇定控制器，在无人艇模型参数已知和系统扰动可忽略的条件下，实现了无人艇单目视觉伺服镇定系统渐近稳定。本质上，HBVS 以具有尺度因子的位姿误差作为反馈信号，属于PBVS 的特殊形式。由于图像信号独立于控制闭环之外，HBVS 与典型的 PBVS 一样，存在视觉目标丢失问题。尤其是当无人艇靠近视觉目标时，当前图像接近于期望图像，如式（1）所示，图像深度逐渐减小，投影点的变化对无人艇的运动将变得更为敏感，相机的视野问题也变得更为突出，故要求无人艇镇定控制应有较高的稳态精度。然而，在 HBVS 系统中，未知的图像深度必然出现在运动学子系统中，表现为非匹配的视觉不确定性。另外，海洋环境扰动建模和无人艇动力学模型参数辨识并非易事，不确定性同样存在于无人艇的动力学子系统中。在匹配和非匹配不确定性的综合作用下，无人艇的镇定控制品质难以保证，如何提高系统的抗干扰能力是无人艇HBVS 镇定控制所面临的巨大挑战。Wang 和 He63采用反步法将无人艇 HBVS 系统中的匹配和非匹配不确定性归结为集总未知项，提出双通道极速学习机制，将单隐层前馈神经的输入层和输出层直接连接起来，加快了该未知项的辨识速率和精度，在内部动态和外部扰动均未知的情况下，使得无人艇镇定误差收敛到原点的任意小邻域内。Wang 和 He64研究了无人艇运动速度未知问题，根据 HBVS 恢复的位姿误差设计了有限时间速度观测器，可快速精准地观测无人艇速度状态，而集总不确定性由模糊逻辑系统在线辨识，最大限度地减少了视觉目标脱离相机视野的风险。何红坤和王宁65假设外部扰动可忽略不计且视觉目标始终位于广角相机视野之中，来研究欠驱动无人艇的镇定控制问题，提出了连续时变的输出反馈控制器，其在图像深度、无人艇速度和模型参数均未知的前提下可使欠驱动无人艇 HBVS 系统渐近稳定。He 和 Wang66专门研究了 HBVS 系统的视野受限问题，在无人艇部分模型参数已知的条件下，提出了基于预设性能的无人艇单目视觉伺服镇定控制器，严格地将镇定误差约束在可见性范围内。遗憾的是，在预设性能函数设计时，由于图像空间的相机视野受限问题很难等价地映射到欧几里得空间，因此该方法的可见性约束条件将变得更加保守。2.3 单目视觉伺服轨迹跟踪控制无人艇单目视觉伺服轨迹跟踪控制是根据艇载单目相机所反馈的图像信息，通过自动调整位置和姿态使无人艇跟踪上时变期望轨迹。需要指出的是，IBVS 根据预先人工拍摄的图像序列来定义期望轨迹，需要消耗大量的存储空间。相反，PBVS 根据平面地图在欧几里得空间规划期望轨迹，与抽象的图像空间并无关联，对于工程实践而言更加直观。如前所述，PBVS 需要精确地标定相机外部参数，将视觉定位问题转化为经典的 PnP 问题67。但其最大的挑战是该参数一旦标定后，不会自动修正，那么标定误差会20“无人船艇自主性技术”专辑第 19 卷引入到控制系统中，降低轨迹跟踪精度。为了解决该问题，如图 5 所示，Wang 等68假设无人艇动力学模型（式（4）中可忽略不计，其他模型参数均已精确辨识，并根据文献 69 的轨迹跟踪控制器形式，提出了基于单目视觉的自适应位置估计器，以避免相机外部参数标定。该方法的工作原理是：首先，根据相机的成像原理（式（1）和式（2）以及无人艇的估计位置生成预测图像；然后，依据预测图像和实际图像巧妙构造差异变量，使该变量与无人艇的位置估计值相关，这需要一定的设计技巧；最后，利用李雅普诺夫理论设计自适应律，在该差异变量驱动下更新无人艇估计位置，使位置估计误差渐近稳定。图 5基于单目视觉的无人艇轨迹跟踪任务68Fig.5 The USV trajectory tracking task based on monocular visu-al servo68 自适应位置估计器最早出现在文献 70 和文献 71 中，通过融合视觉、姿态和速度等多源数据，实现室内移动机器人轨迹跟踪控制。假设跟随者可以获得领航者的速度信息，自适应位置估计器还被扩展到机器人编队控制中，用于跟随者估计领航者的相对位置72。由于不依赖外源星基信号，同时不需要预先标定相机外部参数，因此自适应位置估计器具有较好的环境适应性，有益于提高无人艇的运动自主性。值得强调的是，自适应位置估计器的直接设计目标是缩小预测图像和实际图像之间的差异，只能使视觉定位误差渐近稳定73。然而，在基于 GPS 的无人艇轨迹跟踪控制中，有限时间控制方法74-76已广泛报道。为了实现更高精度的无人艇单目视觉伺服轨迹跟踪控制，自适应位置估计器在定位精度和定位速率方面还有待提高。另外，为了实现闭环控制，PBVS 和 IBVS 均要求视觉目标始终保持在相机视野之中，例如 Wang 等68要求无人艇的工作环境中有足够多的静态视觉目标。然而，海上客观条件未必能够满足该假设，这也限制了自适应位置估计器的应用场景。因此，无人艇单目视觉伺服轨迹跟踪控制面临的另一挑战是解决相机的视野问题。在机器人视觉伺服控制中，可用多种方式解决相机视野问题。基于优化的运动规划方法77-79根据相机的可见性约束条件，预先在图像空间或欧几里得空间规划出一条可行的路径或轨迹，从而引导机器人到达期望位姿，降低视觉目标丢失风险。解决相机视野问题的另一种方法是混合控制方法80-82，其原理是预先设计出多种控制方案，当视觉目标接近图像边界时，控制方式由工作模态切换到应急模态，从而优先保证视觉目标的可见性。若控制任务属于 IBVS 系统，预设性能控制83-85利用变换函数的有限逃逸属性，能够严格保证图像误差在相机视野内演化，是解决相机视野问题更为普遍的方法。需要强调的是，上述方法要求相机和机器人之间保持固定的位姿关系。然而，这种固定配置要求机器人始终面向视觉目标，这使机器人只能在与相机有限视野相兼容的小区域内工作。相比之下，主动视觉86-90采用云台相机专门跟踪视觉目标，使机器人在更大工作空间里完成预定的控制任务，为解决无人艇单目视觉轨迹跟踪控制的相机视野问题提供了重要借鉴。Fang 等86和 Chen 等87仅利用云台相机在左右之间运动的自由度，在图像水平方向上跟踪视觉目标。Wai 等88仅利用云台相机的上下运动自由度，在图像垂直方向上跟踪移动物体。当然，视觉目标在水平或垂直方向均有可能离开图像平面。若同时利用云台相机的左右和上下运动自由度跟踪视觉目标，那么目标跟踪系统将变得相当复杂，即时变雅可比矩阵具有潜在奇异、不同通道间存在运动耦合、未知图像深度引起系统不确定性等。Freda 等89假设目标跟踪误差动态只与云台相机的左右和上下旋转角有关，通过简化该跟踪系统，为云台相机设计了比例控制器。在不做任何简化的情况下，Ma 等90采用参数自适应方法在线估计图像深度，提出了自适应比例控制器，并额外地设计了比例控制器和切换控制规则，利用混合控制方法避免控制奇异。值得注意的是，以上文献只关注了目标跟踪误差的稳态性能，而最大超调量可能会违反视野可见性约束，将不可避免地导致视觉伺服失败。在此背景下，相机的视野问题还没有完全解决。2.4 单目视觉伺服集群控制无人艇单目视觉伺服集群控制是指多艘无人艇以艇载单目相机为感知与测量传感器，按照一定的交互规则协作地完成预设任务，最终涌现出群体的智能行为。与单艇相比，多无人艇可在更大范围内、以第 1 期何红坤等：水面无人艇单目视觉伺服自主控制研究综述21更高效率、执行更复杂的海洋任务，如海上联合作战91、协同海洋测绘92、通信自组网93等。为了使多艘无人艇涌现出集群行为，编队控制方法常应用于无人艇集群运动，包括领航跟随法94、虚拟结构法95和基于行为的方法96等。为了减轻通信负担，文献 9799 在领导跟随控制框架下，采用单目相机测量领航者的相对位置，广泛开展了无人艇单目视觉伺服集群控制研究。如图 6 所示，Wang 等97采用艇载单目相机测量领航无人艇的视线距离和方位，在无人艇动力学模型（式（4）完全已知的条件下，根据反步法分别设计了运动学和动力学控制器，使无人艇保持期望的编队构形。由于领航无人艇容易脱离跟随无人艇的视野，他们还设计了切换控制器，利用混合控制方法优先保证相机视野。Panagou 等98同样关注了相机视野问题，采用偶极向量场设计无人艇编队控制器，并根据相机视野约束函数设计切换控制律，将领航无人艇保持在视觉感知范围内。为了避免编队瞬时状态违反相机视野约束，Wang 等99分别提出位置误差重映射方法、艏摇角误差重映射方法以及二者相结合方法，通过放大位置或艏摇角反馈误差来确保领航无人艇不脱离跟随无人艇的视野，并根据反步法设计了基于模型的无人艇动力学控制器，使 3 艘无人艇保持固定的三角形编队，且编队误差渐近稳定。跟随者 idFilLFiLFi2领航者图 6基于单目视觉的无人艇集群任务97Fig.6 The USV swarming task based on monocular visual servo97 值得注意的是，单目视觉伺服编队控制方法往往要求多无人艇间保持固定的距离和方位，以此保持刚性的编队结构100。然而，这种方式会使无人艇缺乏自主决策个体行为的能力，同时也在一定程度上丧失了整体结构的灵活性。对于多无人艇集群控制而言，最基础的问题是按照何种集群机制使其涌现出更加灵活智能的群体行为。实际上，自然界中广泛存在着集群行为，如鱼群、鸟群和牛群等。受这些生物行为的启发，Reynolds101首次提出著名的 Boid 集群模型，包括聚集、分离和速度一致的 3 个集群原则，用于计算机模拟生物集群行为。在 Reynolds 规则的基础上，Vic-sek 模型102、CuckerSmale 模型103和Couzin 模型104等也相继被提出，丰富了计算机模拟生物集群行为的类型。在机器人集群控制领域，研究人员也提出了许多 Reynolds 规则的变体和扩展方法，使集群个体具有更强的灵活性105。Cheah 等106提出基于区域的多机器人群集方法，只要求机器人间保持安全距离，同时保持在预设的集群区域内，不指定机器人的次序和位置。类似于 Boid 模型，柔性集群机制107-112也在无人艇集群控制中流行起来。这种柔性集群机制的全局控制目标更像是生物的集群行为，即保持期望的群体规模，而每艘无人艇个体并不指定具体的位置和艏向。在柔性集群机制下，无人艇采用 GPS 测量位置，Qin 等107采用分级控制方法合成无人艇动力学控制器；Li-ang 等108提出了新颖的分布式自组织集群控制框架；Liang 等109