基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法.pdf

第6卷 第5期2023年10月无人系统技术Unmanned Systems TechnologyVol.6 No.5October 2023基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法朱凡1，潘宝峰1，马勇2，3，4，6，祝贵兵1*，吴中岱5，6（1.浙江海洋大学船舶与海运学院，舟山316022；2.武汉理工大学水路交通控制全国重点实验室，武汉430063；3.武汉理工大学航运学院，武汉430063；4.武汉理工大学国家水运安全工程技术研究中心，武汉430063；5.中远海运科技股份有限公司，上海200135；6.中远海运集团院士工作站，上海200135）摘要：针对智能船舶的自主航行障碍物视觉快速检测与测距需求，提出一种基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法。从障碍物检测速度和计算量的角度出发，该方法可提升智能船舶环境感知能力。首先，针对障碍物检测问题，在Yolov4检测模型的框架下，构建基于MobileNet特征提取网络的DIS-Yolo水面障碍物检测模型，实现模型网络结构的轻量化改进。其次，针对障碍物测距问题，基于所构建的障碍物检测模型和COMS成像模型，提出水面障碍物测距机制，实现水面障碍物的高精度测距。最后，通过模拟实验验证所改进模型的有效性与测距函数的精确度。所提出的方法可提升智能船舶的航行安全性，同时可为智能船舶环境感知需求提供新的思路。关键词：深度学习；智能船舶；单目视觉；Yolo；MobileNet；视觉检测；障碍物测距中图分类号：U664.82 文献标识码：A 文章编号：2096-5915（2023）05-017-11DOI：10.19942/j.issn.2096-5915.2023.05.45Deep Learning-based Lightweight Water Surface Obstacle Visual Detection and Distance Measurement Approach for Intelligent ShipsZHU Fan1，PAN Baofeng1，MA Yong2，3，4，6，ZHU Guibing1*，Wu Zhongdai5，6（1.School of Naval Architecture and Maritime，Zhejiang Ocean University，Zhoushan 316022，China；2.National Key Laboratory of Waterway Traffic Control，Wuhan University of Technology，Wuhan 430063，China；3.School of Navigation，Wuhan University of Technology，Wuhan 430063，China；4.National Engineering and Technology Research Center of Water Transport Safety，Wuhan University of Technology，Wuhan 430063，China；5.Cosco Marine Technology Co.LTD，Shanghai 200135，China；6.Cosco Marine Technology Co Academician Workstation，Shanghai 200135，China.）Abstract:Aiming at the requirements of rapid visual detection and ranging of obstacles for autonomous 收稿日期：2023-05-23；修回日期：2023-08-11作者简介：朱凡，硕士研究生。通讯作者：祝贵兵，博士，副教授。引用格式：朱凡，潘宝峰，马勇，等.基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法 J.无人系统技术，2023，6（5）：17-27.Zhu F，Pan B F，Ma Y，et al.Deep Learning-based Lightweight Water Surface Obstacle Visual Detection and Distance Measurement Approach for Intelligent Ships J.Unmanned Systems Technology，2023，6（5）：17-27.第 6 卷无人系统技术navigation of intelligent ships,a deep learning-based lightweight water surface obstacle visual detection and ranging method is proposed for intelligent ships.From the perspective of obstacle detection speed and computational complexity,this method can enhance the environmental perception capabilities of intelligent ships.For the obstacle detection problem,the DIS-Yolo water surface obstacle detection model based on the MobileNet feature extraction network is constructed within the framework of the Yolov4 detection model,achieving a lightweight improvement of the model network structure.For the obstacle ranging problem,a water surface obstacle ranging mechanism is proposed based on the constructed obstacle detection model and COMS imaging model,realizing high-precision ranging of water surface obstacles.Finally,the effectiveness of the improved model and the accuracy of the ranging function are verified through simulated experiments.The proposed method can improve the navigation safety of intelligent ships and provide new ideas for the environmental perception needs of intelligent ships.Key words:Deep Learning；Smart Ship；Monocular Vision；Yolo；MobileNet；Visual Detection；Obstacle Ranging1 引 言 船舶在水上航行时，确保安全和高效是至关重要的。船舶遇到的障碍物如漂浮物、礁石、其他船只等，可能会对船舶的正常航行造成严重影响，甚至可能引发事故。因此，实时、准确地检测水面上的障碍物对于船舶航行至关重要1。传统的障碍物检测方法如声呐和雷达虽然取得了一定的效果，但在应对复杂环境和识别不同类型障碍物时仍然面临挑战2。近年，深度学习技术在机器视觉领域取得了显著的进展，为检测水面障碍物提供了新的可能。深度学习凭借强大的特征自学习和应用泛化能力，在船舶环境感知领域已经得到大量的应用3，众多基于深度学习神经网络的目标检测模型也相继被提出。Lee等4通过Unity虚拟视景采集船舶图片制作数据集再对Yolov3进行训练，实现了海上船舶目标检测。Lin等5将通道注意力机制引入Faster R-CNN，通过抑制冗余特征并将水面目标的检测精度提升了4.5%。李国梁等6使用残差网络对红外和可见光图像进行特征提取，然后通过注意力机制对两个图像的特征进行加权融合得到融合图像，在目标检测和识别应用场景中，该算法的表现优异。Chen等7在检测模型中使用高分辨率的卷积特征图来提取特征并在多层卷积图中提取不同的尺度以提升对小目标的检测能力，该方法的检测精度对比传统方法提高了约 7%。Wei等8对SAR舰船图像进行预处理，在Faster-RCNN中引入拓展卷积，对比原始模型，目标检测精度提升了约3.3%。钱坤等9在Yolov5的网络架构基础上将随机池化的多卷层引入原有的空间金字塔池化网络，从而将检测精度提升了3.2%。王文杰等10使用Ghost网络结构改善Yolov5主干网络卷积结构，并引入注意力机制加强特征感知，在检测精度上对比原始模型实现了2.7%的提升。然而，上述学者提出的深度学习目标检测模型均存在模型网络结构臃肿、复杂度高与计算量过大等问题。同时，上述模型依赖大量的样本数据驱动，使得基于深度学习的船舶环境感知模型普遍需要依赖硬件系统强大的计算能力。而实用级的深度学习目标检测模型普遍部署在具有强大计算能力的本地计算机端。因此，如何将深度学习目标检测模型进行轻量化改进并高效地部署在资源受限的终端设备，从而在低功耗的环境下进行智能前移是目前目标检测技术应用中极具挑战性的难题。为解决上述问题，我们提出了一种融合几何推导和深度学习的轻量级水面障碍物识别与测距方法。主要贡献可以概括为以下几点：（1）本文对 Yolov4 与其他主流的单阶段和双阶段目标检测模型在水面障碍物检测任务中的性能进行了比较，并评估了CSPDarkNet11、ShuffleNet12、ResNet5013、MobileNetV214、ResNet1815等五18第 5 期朱凡等：基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法种识别分类模型在此类任务中的检测与测距性能；（2）在Yolov4的基础上提出了轻量化水面障碍物检测模型 DIS-Yolo；（3）基于摄像头 COMS 的成像原理与几何模型，求出水面坐标系与像平面坐标系的对应关系，提高测距方法的精度。为验证所提方法的有效性和可靠性，在模拟器中进行了实验并与现有方法进行了比较。实验结果表明，本方法在障碍物检测和距离测量方面具有较高的精度和稳定性，有助于提升智能船舶的环境感知能力。基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法整体框架如图1所示。2 相关工作 2.1Yolov4目标检测模型Yolo 是一种先进的单阶段目标检测框架16。Yolov4 为 Yolo 系 列 的 第 四 代。Yolov4 选 择CSPDarkNet53作为主干网络，传入图像经主干网络处理后输出三张尺度为 5252、2626、1313的特征图，每个不同尺度的特征图包含不同的语义信息。在特征金字塔结构中，Yolov4将特征提取网络使用了特征金字塔结构和路径聚合网络相结合的方式，进一步提升了模型的性能。特征金字塔结构通过使用不同大小的池化操作，将输入图像的不同尺度的特征信息提取出来，从而适应不同大小的目标。路径聚合网络通过上采样和下采样来连接底层特征和高层特征，缩短了各层之间的路径并提升了网络特征的提取能力。预测网络是用来对目标进行分类和定位的部分。它通过将各层特征图进行卷积操作，将检测结果输出为边界框和类别概率分数。预测网络采用多尺度预测策略，可以检测不同大小的目标。Yolov4和Yolov5相比，两者在框架上基本一致17，不同之处在于Yolov5在主干网络输出部分增加了Focus与CSP结构，从而提升了目标检测的精度，但这也使得Yolov5网络结构更为复杂。为了提升Yolov4的检测精度，本文在Yolov4的框架下，用Focal Loss损失函数替换目标置信度损失函数，并用MobileNet网络结构和深度可分离卷积分别替代了原模型结构中的CSPDarkNet53和卷积结构，从而实现水面障碍物目标检测模型的轻量化。2.2MobileNetV2网络与深度可分离卷积近年来有很多轻量化的卷积神经网络结构被研究出来，如MobileNet与ShuffleNet等。MobileNetV2网络为Google团队提出的MobileNet系列轻量化网络结构的第二代，其继承了MoblieNetV1网络的思想，使用深度可分离卷积作为构建模块，针对MobileNetV1网络易在训练的反向传播过程中出现梯度消失问题引入逆残差连接模块，并将激活函图1基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法整体框架图Fig.1Overall framework diagram of deep learning-based lightweight water surface obstacle visual detection and distance measurement approach for intelligent ships19第 6 卷无人系统技术数由 Rule 更换为 Rule6，以减少特征信息丢失。MobileNet系列网络成功实现轻量化的主要原因是使用深度可分离卷积代替传统卷积，通过减少参数和网络计算的数量来实现网络结构的轻量化18。但随着网络结构检测的参数量的减少，网络结构检测精度将略微下降。因此，通过使用深度可分离卷积代替普通卷积是权衡检测精度和计算能力后得到的最优解。图2与图3描述了标准卷积与深度可分离卷积的结构。与使用、输入数据深度相同的多个卷积核实现卷积求和的标准卷积相反，深度可分离卷积将标准卷积过程分解为两个步骤：逐通道卷积和逐点卷积。传入的图片首先进行逐通道卷积再进行逐点卷积，在逐通道卷积过程中，一个卷积核只负责一个通道，卷积核数与通道数相同。逐通道卷积过程生成的特征图再进行逐点卷积，逐点卷积与标准卷积较为相似，设M为输入端的通道数，其卷积核尺寸为11M，逐点卷积对逐通道卷积生成的特征图在深度方向上进行加权组合，输出最终的特征图。3 方 法 3.1Focal Loss损失函数为确保算法的实时性，单阶段深度学习算法选择在整张图片上回归预测目标的坐标，相较于双阶段深度学习算法省去了生成目标候选框过程。水面障碍物多数存在目标较小、背景像素居多的特点，这造成大部分候选框位于背景区域使得正负样本不均衡。当正负样本分布不均衡时，损失函数会更偏重样本更多的类，即模型会朝向与所预期不同的方向进行优化。DIS-Yolo 通过借鉴Focal Loss损失函数改进二元交叉熵损失函数以减轻正负样本失衡的影响19。Yolov4算法总损失包括目标置信度损失、类别损失与边框回归损失三部分，其中目标置信度损失函数由二元交叉熵函数形式构成。Focal Loss在二元交叉熵的基础上引入平衡系数与调制系数，平衡系数代表正负样本的权重参数，用于降低负样本对模型的影响；调制系数表示可调节因子，用于控制易分类样本和难分类样本的权重，越大表示目标置信度越高，样本越容易区分，反之亦然。式中，的值域为0到1，大于0。在本文模型训练中，经实验，与的值沿用文献 15 中的结果，当平衡系数取0.25，调制系数取2，效果最好。通过改进后的目标置信度损失函数为Loss(cf)=-obji=0s2j=0BIobjijCji(1-Cji)ln(Cji)+(1-Cji)ln(1-Cji)-nobji=0s2j=0BIobjijCjiln()Cji+(Cji)()1-()1-Cjiln()1-Cji（1）3.2DIS-Yolo模型网络介绍本文设计了轻量级的水面障碍物检测模型DIS-Yolo，融合 MobileNetV2 和 Focal Loss 损失函数，实现网络轻量化的同时尽可能地保证检测精度。本文所改进的DIS-Yolo模型框架可分为主干网络MobileNetV2、加强特征提取网络Neck和头部网络 Yolo Head 三个部分。其中，Neck 主要包括SPP-Net（空间金字塔池化网络）与PANet（路径图2标准卷积结构图Fig.2Standard convolution structure diagram图3深度可分离卷积结构图Fig.3Depthwise separable convolution structure diagram20第 5 期朱凡等：基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法聚 合 网 络）。为 减 少 网 络 结 构 参 数，使 用MobileNetV2 网 络 结 构 代 替 CSPDarkNet53 作 为Yolov4的主干网络，并用深度可分离卷积代替网络框架中的所有常规卷积。网络的特征输出采用3种尺寸的特征图，输入图像像素为4164163，输出5252、2626、1313尺寸的3种特征图。替换模型的优化器，将SGD替换为Adam。Adam相比SGD，增加了一阶动量和二阶动量，使得损失函数更接近全局最小值。借鉴Focal Loss函数思想，对原模型中的目标置信度损失函数进行改进，以降低数据集样本不平衡问题的影响，引入平衡系数 与调制系数，用于降低负样本对模型的影响。通过上述方法改进后的DIS-Yolo模型网络结构如图4所示。3.3单目视觉与障碍物测距算法图像采集步骤是将真实世界的三维水平面坐标系投影到单目摄像头的COMS成像平面坐标系中，而测距步骤为图像采集步骤的倒序。因此对目标测距需先获得该目标在COMS成像平面的坐标参数，再结合单目摄像头的横向视角、纵向视角、俯仰角度和摄像头水平高度等参数，将COMS成像平面坐标转化为三维水平面坐标，并通过转换关系计算出目标与单目摄像头间的距离。其中，单目摄像头的横向视角与纵向视角角度为固定值，单目摄像头的俯仰角度和摆放高度需人为设置。单目摄像头CMOS成像模型如图5所示，三角形ABC表示水面，摄像头放置于点M处，O点为坐标原点，L点为摄像头于水面的投影点，LM为摄像头距水面的高度设为h，x轴为坐标系中X轴在COMS成像平面上的虚拟投影，摄像机的横向视角为2。规定Y轴正方向为船艏方向，H点为目标位置，I、J分别为点H在X、Y轴上的投影。COMS成像平面坐标系如图6所示，矩形bcde为水平面BCDE映射到COMS平面中的成像画面。图4DIS-Yolo模型网络结构图Fig.4DIS-Yolo network structure diagram图5单目摄像头COMS成像模型示意图Fig.5Monocular camera COMS imaging model21第 6 卷无人系统技术COMS 成像平面中的 h 点对应三维水平面坐标系中的H点，COMS平面中的g、f、k、n、i、j点对应三维水平面坐标系中的 G、F、K、N、I、J。COMS成像平面纵向分辨率与横向分辨率，分别记为H与W。图 7 为 Y 轴正方向侧面摄像机成像模型示意图。点N、n分别为目标物体在水平面坐标系Y轴和成像平面坐标系y轴上的投影。光轴MO与目标在Y轴上的投影点N的夹角为，摄像头的纵向视角为2，摄像头的俯仰角度为。y轴为水平面Y轴在COMS成像平面的映射轴。由三角关系和几何原理可以推导出水面坐标系与COMS成像平面坐标系的对应关系，其表达式如式（2）与式（3）所示。YH=2hyhtan(1+tan2H-2ytantan)（2）XH=OI()AO+YHAO=2xhhtan()AO+YHAOWcos（3）综上，通过式（2）与式（3）可得到三维水平面坐标系中被检测物的坐标与COMS平面坐标的映射关系。通过 DIS-Yolo 检测模型得到的目标在 COMS平面上的坐标h（xh，yh），代入式（2）与式（3）可求解出目标位置H（XH，YH），并通过勾股定理推导出测距DIS函数为DIS=KH()htan+YH2+X2H（4）将单目摄像头采集到的图像输入到DIS-Yolo中进行检测，输出目标底框中间点坐标代表其在二维成像平面上的初始位置，传入距离函数求解距离。4 实 验 4.1实验平台实验平台硬件配置：计算机CPU为Intel（R）Xeon（R）Silver 4210R，频率为 2.4 GHz，内存为192 Gbyte，内存频率为 3600 MHz，显卡型号为Nvidia Quadro RTX5000，显存 16 Gbyte2。操 作系统为 Ubuntu 20.04LTS，64 bit。深度学习框架为 Pytorch1.11，并 行 计 算 框 架 为 Cuda11 配 合Cudnn8.2版本的深度神经网络加速库。4.2实验数据集与模型训练本文所提出的水面目标定位模型使用自建数据集进行模型训练。数据集部分图片如图 8所示。为提高DIS-Yolo的自适应能力，在训练预处理阶段使用 Mosaic11数据增强方法后再使用Mixup20数据增强方法，Mosaic数据增强方法通过在训练集中随机抽取四张图片进行位移、旋转、裁剪、缩放和色域变换等方式重新组合形成新的训练集图片，数据通过Mosaic数据增强方法处理后可有效增强模型的泛化能力和检测精度；Mixup数据增强方法在经过Mosaic增强方法处理过的图片中随机抽取两个样本进行随机加权求和。选择的优化器种类为Adam，学习率下降方式为Step方式，使用 Momentum 方法对网络参数进行迭代调整。训练损失情况如图9所示。4.3评价指标为验证目标检测模型的有效性，本文主要采图7Y轴正方向侧面摄像头成像模型示意图Fig.7Schematic diagram of the side camera imaging model in the positive direction of the Y axis图6COMS成像平面坐标系Fig.6COMS imaging plane coordinate system22第 5 期朱凡等：基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法用 平 均 精 度（AP）、参 数 量（Par）、计 算 量（GFL）和每秒检测帧数（FPS）来评估算法的性能。AP为平均精度，查准率P与查全率R曲线下的面积进行积分得到的结果。查准率用于描述模型预测为正样本中正确的比例，如式（5）所示；查全率用于描述正样本中被模型检测出来的概率，如式（6）所示。P=TPTP+FP（5）R=TPTP+FN（6）式中，TP为预测为正且实际为正的样本，FP为预测为正但实际为负的样本，FN为预测为负但实际为正的样本。由此可得AP的表达式为AP=01P()R dR（7）参数量表示模型中参数的总数，模型在内存中所需的空间大小与参数量有直接关系。所需算力表示每秒十亿次的浮点运算数，用于衡量模型所需的计算量，此数值越小，模型所需计算量越少。FPS为每秒传输的帧数，可表示模型检测的速度，帧数越大，模型检测速度越快。4.4实验结果及分析本文所提的检测模型基于 Yolov4 改进而来，将本文所提方法与Yolov4进行不同方式改进后的结果进行对比，并将所提的目标检测模型与一些主流的目标检测模型相比较。每个实验中的训练集、验证集和评价指标完全相同。4.4.1DIS-Yolo模型相关参数对比在本节中，为了验证主流的Yolo对水面目标障 碍 物 的 检 测 能 力，本 文 将 Yolov4、Yolov5、YoloX、单阶段检测模型 SSD、双阶段检测模型Faster-Rcnn和改进的DIS-Yolo模型进行对比，其检测对比结果如表1所示。另为验证 DIS-Yolo 替换主干网络的有效性，选用Yolov4模型作为Baseline，将Yolov4更换不同主 干 网 络 后 进 行 测 试。相 关 结 果 如 图 1012所示。由图1012可知，Yolov4在将主干网络替换为GhostNet后，计算量和参数量都是最低的，但是AP 也是最低的。在将 Yolov4 的主干网络替换为图8训练样本Fig.8Training Data图9损失情况图Fig.9Change curve of loss value表1主流目标检测模型实验数据与DIS-Yolo实验结果对比Table 1Comparison of experimental data of mainstream target detection model and DIS-Yolo experimental resultsModelsYolov4Yolov5-sYoloX-nanoF-RCNNSSDDIS-YoloAP/%78.4878.2479.9270.6973.2177.10Par/M63.9346.6354.15136.6826.2810.37GFL59.76114.24155.31369.9169.797.5723第 6 卷无人系统技术MobileNet 系列后，我们观察到 MobileNetV1 至MobileNetV3 之间的参数量和计算量差异并不显著，然而，MobileNetV2 的 AP 表现最优。因此，本研究选用MobileNet作为DIS-Yolo模型主干网络的决策基于对模型精度、计算量和参数量的综合权衡与优化。综合对比上述参数可知，使用MobileNetV2作为主干网络的DIS-Yolo模型所需算力较少。且在参数量上远少于其他模型。在 AP 的对比中，YoloX-nano取得了最高的得分，但DIS-Yolo的参数 量 与 计 算 量 只 有 YoloX-nano 的 19.15%和6.63%。在算力资源、内存资源受限的水面船舶平台，DIS-Yolo更适合进行水面障碍物检测。4.4.2检测速度对比在船舶航行过程中，需动态检测水面障碍物。因此，有必要比较改进的模型与其他主流目标检测模型的检测速度。为充分验证模型的检测速度，本文使用检测模型分别对单张图像和一段视频进行检测，并测量每个模型在检测单幅图像和视频时的FPS参数。相关结果如图13和图14所示。图 12 比较了五种主流模型检测单幅图像的FPS值。由图可知，DIS-Yolo检测单幅图像的FPS值 远 高 于 Yolov4 和 轻 量 化 的 Yolov5-s 网 络。YoloX-nano的运行速度最快，但YoloX-nano模型大小与所需算力远高于DIS-Yolo，且FPS仅仅高出6.54。图13重点比较了DIS-Yolo、Yolov4和单阶段目标检测模型Faster-RCNN在检测视频时的处理速度。由图可知，DIS-Yolo平均检测速度最快。图10替换不同主干网络后模型的AP对比Fig.10Comparison of AP quantities of models after replacing different backbone networks图11替换不同主干网络后模型的参数量对比Fig.11Comparison of parameter quantities of models after replacing different backbone networks图12替换不同主干网络后模型所需的算力对比Fig.12Comparison of GFLPOS of models after replacing different backbone networks图13五种模型检测单幅图像的FPS对比Fig.13FPS comparison of five models to detect a single image24第 5 期朱凡等：基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法4.4.3Focal Loss损失函数为验证DIS-Yolo模型改进损失函数的有效性，本文在改进模型网络结构基础上，选择Focal Loss作为目标置信度损失函数，具体参数如表2所示。由表2可得，使用Focal Loss作为目标置信度损失函数后，AP提升了2.53%。另针对 Focal Loss 中平衡系数、调制系数 的取值进行对比实验，实验结果如表3所示。由表3可得，当取0.25、取2时，DIS-Yolo模型检测精度最高。综上所述，DIS-Yolo可以快速检测水面障碍物，并极大地减少了模型所需的算力和参数量，并且这些改进是在不显著牺牲计算精度的前提下实现的。DIS-Yolo在检测精度、所需算力、模型大小和检测速度之间实现了极佳的平衡。4.5测距结果与分析本文使用船商大型船舶操纵模拟器NTPro5000对测距算法进行验证。该模拟器具有模拟仿真不同种类船舶在不同港口和海域的运动态势，并可在电子海图上实时显示船舶与其他目标的距离信息。通过模拟器视景导出图像，图像分辨率为19201080，其横向可视角度为60，纵向可视角度为90。视景距水面高度为12 m，俯仰角度为87。通过模拟器在船舶前方水域40120 m处，每间隔5 m安置一艘船舶作为水面目标进行测距。船舶模拟器视景如图 15 所示，电子海图如图 16 所示，所测数据如表4所示。实验结果表明，在实际距离100 m内，平均误差为0.8687 m，最大误差为3.8780 m。实际距离在100 m以外，因成像面积减少与视角的俯仰角度误差较大等因素造成测距误差增大。本文所提测距算法与传统测距算法测距结果图14三种模型检测视频时FPS参数对比Fig.14Comparison of FPS parameters when detecting video using three models表2添加Focal Loss损失函数后模型AP对比Table 2Comparison of AP quantities of the model after adding Focal Loss function模型DIS-YOLODIS-YOLO+Focal LossAP/%74.5777.10表3参数对比实验Table 3Parameter comparison experiment参数取值=0.25=0.5=176.28%73.71%=277.10%75.31%=374.06%74.72%图15NTPro5000船舶模拟器视景Fig.15NTPro5000 ship simulator view图16电子海图示意图Fig.16Electronic chart diagram25第 6 卷无人系统技术对比如图17所示。传统测距算法采用宽度比值原理，需预先输入被测目标的实际宽度，其计算公式为D=W FP（8）式中，D为所求距离，W为被测距目标的实际宽度，F为单目摄像头焦距，P为被测船舶在检测图像中的像素宽度。本文所采用的测距方法与传统测距方法相比，在相同距离下的测量误差均有较大幅度的降低。本文测距方法无需提前获知被测障碍物的实际宽度，更符合船舶实际航行过程中对水面障碍物的测距需求。5 结 论 针对智能船舶的自主航行障碍物的视觉识别与测距需求，提出一种基于深度学习方法与视觉定位方法相结合的智能船舶水面障碍物检测与测距方法，并在模拟器中验证该方法。本文所提方法主要分为障碍物识别与障碍物测距两部分。在障碍物识别部分，使用改进的障碍物检测模型DIS-Yolo对水面障碍物进行识别，解决了传统目标检测模型网络结构复杂与检测速度慢的问题；实验结果表明，DIS-Yolo模型与Yolov4相比，在计算量与参数量上分别降低 87.33%和 83.77%，FPS提升57.32%，实现轻量、高速且准确的障碍物检测。在障碍物测距部分，通过CMOS成像模型与几何原理推导出水面障碍物定位模型；实验验证结果表明，本文所提方法100 m内障碍物的平均测距精度为99.13%，实现简单、快速且精确的水面障碍物测距。本文所提的水面障碍物识别与测距方法可提高智能船舶的环境感知能力，在一定程度上提升智能船舶航行的安全性。但本文所提方法存在一定的局限性：首先，在水面障碍物识别部分，深度学习方法需依赖大量的样本数据不断训练以达到更高的识别准确率与更丰富的障碍物识别类型；其次，在恶劣海况下，船舶的纵荡与垂荡导致单目摄像头的俯仰角度与距水面高度发生变化将影响障碍物的测距精度。在未来的工作中，将针对水面障碍物遮挡、能见度低和通航密度大等复杂情况进行算法改进，以提高船舶水面障碍物检测的能力和精度。参 考 文 献1 Liu B，Wang S Z，Xie Z X，et al.Ship recognition and tracking system for intelligent ship based on deep learning framework J.TransNav：International Journal on Marine Navigation and Safety of Sea Transportation，2019，13（4）：699-705.2 Shao Z Y，Lyu H G，Yin Y，et al.Multi-scale object detection model for autonomous ship navigation in maritime environment J.Journal of Marine Science and Engineering，2022，10（11）：1783-1803.3 Thombre S，Zhao Z，Ramm-Schmidt H，et al.Sensors 表450120m距离内的测距结果Table 4Ranging results within a distance of 50120m实际距离/m50556065707580859095100105110115120测量距离/m50.321655.248761.053666.948671.643275.329779.218883.607688.076891.315997.6794100.6454114.0056115.9827114.6805测距误差/m0.32160.24871.05361.94861.64320.32970.78111.39231.92313.68402.32054.35454.00560.98275.3194测距误差率/%0.64320.45221.75612.99802.34750.43970.97641.63802.13683.87802.32064.14723.64150.85464.4329图17测距结果对比图Fig.17Comparison chart of ranging results26第 5 期朱凡等：基于深度学习的智能船舶轻量化水面障碍物视觉检测与测距方法and AI techniques for situational awareness in autonomous ships：a review J.IEEE Transactions on Intelligent Transportation Systems，2020，23（1）：64-83.4 Lee W J，Roh M I，Lee H W，et al.Detection and tracking for the awareness of surroundings of a ship based on deep learningJ.Journal of Computational Design and Engineering，2021，8（5）：1407-1430.5 Lin Z，Ji K，Leng X G，et al.Squeeze and excitation rank faster R-CNN for ship detection in SAR images J.IEEE Geoscience and Remote Sensing Letters，2018，16（5）：751-755.6 李国梁，向文豪，张顺利，等.基于残差网络和注意力机制的红外与可见光图像融合算法 J.无人系统技术，2022，5（02）：9-21.7 Chen W，Li J L，Xing J C，