基于船载的可视化智能航标巡视.pdf

NAVIGATION航海41航标巡视，是指运用视觉或其他等效技术手段对航标位置、涂色、结构、灯光、无线电信号等助航效能进行的完好性检查。上海航标处作为上海辖区管理维护单位，负责辖区 1400 多座航标的巡视维护工作。按照交通部海事局关于航标的管理要求，每年要对航标开展多次的巡视工作，工作任务艰巨，劳动强度较大。由于经费较为紧张，加之巡视工作要求较高，都给日常的航标维护工作提出了迫切需要解决的难题。上海航标处探索采用多种信息化手段进行巡视，加上遥测遥控系统的数据支持，可对辖区内航标的巡视工作进行全面的监控，以达到履职的要求。上海航标处为了降低运维成本，已经开展了利用在大型航标船出海起吊作业同时开展航标巡视工作，但对于人员的工作强度并未有效降低。基于目前视频技术的高速发展，通过在航标船加装智能视频采集终端，在航行过程中实现自动捕捉航标的图像及视频情况，并将数据与正常航标数据模型进行比对，智能化提出疑似有问题航标的名单，从而实现更加精准的自动化巡视，从而降低人工巡视取证强度，还能客观展现航标巡视的任务工作量，并优化原有航标巡视流程，在降本增效方面具有重要意义。1 智能航标巡视技术框架智能航标巡视是将航标作业船舶作为水中移动平台，并在作业船舶上添加遥感设备和高分辨率摄像机等设备，再借助计算机对获取的数据信息的进行处理和分析，最终按照需求的精度情况，将这些数据信息制作成为相关图像。智能航标巡视技术源自于计算机视觉技术和人工智能技术，目标是在航标图像与巡视作业之间建立一种映射关系，使计算机从纷繁的现场视频图像中定位、识别和跟踪水上航标，实时分析和判断航标的外观，根据预定的规则进行相应的报警或处理动作，从而能在航标失常时及时做出反应，做到早期的侦测和防范。基本框架如图 1 所示，包括以下 3 个阶段。图 1 基本框架1）智能航标巡视的前期工作主要是对船载智能摄像机传来的视频流进行预处理，包括去抖动、图像增强、阴影抑制、背景建模等。2）智能航标巡视的中期工作主要包括各种航标的检测、识别、分类和跟踪，是智能视频分析的关键。航标检测将航标从视频图像的背景中分割提取出来，以备后续步骤的使用；在智能航标巡视的视频中有多种航标，比如：航标灯浮和灯桩，需要根据一些特征值利用分类算法对航标进行分类；航标跟踪属于更高级的计算机视觉问题，它为下一步的行为理解提供充基于船载的可视化智能航标巡视基于船载的可视化智能航标巡视摘要：基于船载的可视化的智能航标巡视是一种建立在船舶基础上拍摄航标的方式，可以有效完成传统人工巡视期间拍摄和测量不能完成的任务。该方式通过利用物联网、大数据、人工智能等技术，通过无线传感器、GPS 定位等设备实现对航标的自动化监测和管理，旨在提升船舶智能巡视的效果，推动智能航标巡视的发展和进步。关键词：船载；可视化；航标；巡视李 锋（交通运输部东海航海保障中心上海航标处，上海 201208）NAVIGATION航海42Marine Technology航海技术分的数据，包括特征选取、航标名称估计和特征匹配等。3）智能航标巡视的后期工作通过建立航标数据模型，对检测航标的类别进行语义分析和自然语言描述，判别出具体航标、异常状态并进行事件报警。2 视频航标识别跟踪中的难点对于智能航标巡视跟踪问题，主要面临的挑战表现在航标背景在跟踪过程中发生的复杂变化，这些变化包括：航标消失、航标形变、背景干扰以及航标移动等情形。上述情况往往导致视频序列中跟踪航标所依赖的特征，如外观、形状或背景等信息，随时间变化存在较大的不一致性，使得跟踪器在后续视频帧中无法准确识别和跟踪航标。1）航标消失：航标消失是视频航标跟踪中最具挑战性的问题之一，主要包括在某段时间内航标（或部分航标）被其他物体遮挡或移出相机视野范围，当航标重新出现时如何继续跟踪航标。影响此类问题的因素主要包括遮挡范围和遮挡时间，若航标全部被遮挡或长时间被遮挡，往往会造成跟踪器无法有效更新，从而跟踪失败。2）航标变化：航标变化是视频航标跟踪中最常见的问题之一，主要包括航标形变、航标旋转、航标倾斜等情形。通常来说，非刚性物体在跟踪过程中都会发生不同程度的形变。3）背景干扰：背景干扰也是航标跟踪问题经常出现的问题，主要表现是背景杂乱和光照变化等情形。如何有效地进行前背景分离，从而精确地抓取前景抑制背景也是航标跟踪的根本问题。而光照变化不仅对背景造成干扰，也使得航标前景本身的外观特征发生一定程度的变化。强烈的光照变化通常造成不同帧序列之间航标外观差异增大，而同一帧之内航标前背景差异减小，从而加大跟踪的难度。4）航标移动：视频航标跟踪所研究的对象主体往往是运动的航标，航标移动对航标跟踪造成的困难主要包括航标快速运动和航标运动模糊等情形。由于航标跟踪通常采取在航标前一帧所处位置周围区域进行搜索的策略，因此航标快速移动可能造成航标与前序帧位置差异较大，甚至超出搜索区域。另一方面，航标移动本身造成的运动模糊也会造成航标前景虚化，从而影响航标特征表达。同样的，相机移动甚至会造成整幅图像的模糊，也是影响航标跟踪效果的挑战之一。3 智能巡视的航标识别技术 3.1 基于时域的航标图像识别（1）帧间差分法。借助航标图像 2 个像素点之间存在帧数连续关系，分析相同位置像素点之间的灰度情况，完成对航标的分析任务，进而判断航标是否处于移动状态。这类分析方式，获取帧间的差分图，再分析像素绝对值，如果绝对值较大的区域，则可以将这个区域作为航标的移动区域。相反，如果航标图像像素绝对值较小，则认为的像素点区域为背景区域。帧间差法，具有清晰、直接等特点，可以顺利完成对航标的检测。（2）背景差分法。在展开巡视拍摄前，需要对航标背景进行预设。完成后，获取航标检测图像和预先设置的背景图像的差值。获取差值后，将其与预先设置阈值进行比较，根据比较结果获取航标的具体情况。背景差分法受到航标背景图像和预先设置的航标背景图像两者之间的质量影响，如果两者的质量均能得到保障，则可以识别准确完整的航标。3.2 基于空域的航标图片识别（1）基于区域信息的航标图片识别方法。借助航标背景区域和航标区域的中像素点的灰度情况、颜色等信息，完成对航标图像区域的划分。划分完成后，保障每个区域之间没有重叠。再根据划分后的航标图像信息，运用阈值法、松弛法等，完成对航标的识别。（2）基于边缘信息的航标图片识别方法。这类识别方式主要对获取航标图像的边缘进行灰度值变化比较。具体的比较方法是结合微分、二阶微分等方式。再完成对边缘点的分割，获得有效的分割区，从而完成航标识别。4 智能航标巡视的跟踪方法 水中移动航标跟踪即通过航标的有效表达，在视频中寻找与航标模板最相似候选航标位置的过程。智能航标巡视视频分析中移动航标跟踪，对环境和航标自身变化具有很强的适应性，并且要克服航标实际变形过程对跟踪的影响。在智能航标巡视中，使摄像机能够自动跟踪水上航标，在航标超出该摄像机监控范围之后，自动驱动摄像机继续进行追踪。采用一定的搜索算法对未来时刻航标的位置状态进行估计假设可以缩小航标搜索范围。其中比较常用的方法是预测移动体下一帧可能出现的位置，在其相关区域内寻找最优点。依据移动航标的表达和相似性度量，移动航标跟踪算法可以分为：基于区域的跟踪、基于移动估计的跟踪和基于航标模型的跟踪。4.1 基于区域的方法 基于区域的方法，是智能航标巡视视频序列中运用部分存在近似性特点的帧图像，对当前帧图像和前一帧图像的相似像素区的检测，从而完成对航标在两个帧图像的差异比较，并获取的所要追踪的航标，最终完成航标的跟踪。具体的方法如下：（1）拟定一个或多个航标，且在背景图像中的将跟踪NAVIGATION航海43航标展示出来，将其作为模板；（2）于后续视频序列中，获取航标的基本特征，且通过航标图像检测获取的航标进行标记；（3）对标记的航标进行分析，并通过航标位置的修正，完成对航标的跟踪。4.2 基于移动估计的跟踪 基于移动估计的跟踪，属于较为常见的跟踪方法，主要是借助航标图像检测获取航标的基本信息和移动航标的相关移动规律，再结合得到的移动规律，对水中移动航标在下一帧图像中的具体位置进行预测，完成航标跟踪拍摄。4.3 基于航标模型的跟踪 基于航标特征的跟踪方法，是将航标特征作为航标的基础，并将这一特征作为下一帧图像的基础，对航标的进行确定，且划定相关航标区域，完成对航标的跟踪。具体的方法为：（1）获取航标的基本特征信息，且根据某一具体帧图像中航标图像的特征信息，构建航标的移动模型；（2）结合航标的移动模型，对下一帧图像中航标区域和航标位置的预测；（3）预测完成后，将航标可能存在的特征区域进行提取；（4）提取后，将原航标特征信息和提取的疑似航标特征进行比较，其中匹配度最高的航标则为跟踪航标。选择航标特征跟踪方法，具有跟踪效果明显的特点，能够顺利完成对航标的跟踪。5 智能航标巡视具体方式智能航标巡视利用船舶和航标的特点，充分运用目标识别和跟踪技术，设计出一套集数据管理、智能标注、模型自动化训练、资源自主调度、模型在线校验、模型在线发布、存储功能、高性能缓存加速、数据全链路安全保障等服务于一体的AI 算法航标模型训练系统。能够根据航标专业需求采集到的数据训练出航标专属的 AI 算法模型，可以方便地部署到边缘设备端或云端，为航标巡视应用赋予智能分析能力，助力航标作业拥抱AI，享受智能技术带来的高效和便利，如图2所示。图 2 智能航标巡视方式示意图5.1 全景取证视频终端智能化视频采集终端（见图 3）选用了全景摄像头，该设备主要由取证主机、全景云台、手控器、高清触摸显示屏、三防PAD组成，可实现抓拍、全景拼接、本地高清录像存储、3G/4G&WIFI 无线网络传输、支持双卡传输、卫星定位、远程指挥操控、标记取证、夜间补光拍摄等功能，完全满足各种状况下全天候工作的需求，功能全面、操作简单，可应用于图片抓拍、安全保卫、应急指挥等多个移动视频监控领域。图 3 智能化视频采集终端5.2 部署构架巡视引擎应用场景多样化，如数据保密的因素考虑，可选择专网/局域网进行数据传输，也可以采用互联网进行数据传输，如图 4 所示。图 4 互联网数据传输示意图（1）数据感知层：前端摄像机部署于船舶的顶层甲板开阔区域。通用视频可存储于边缘端 NVR 设备中，巡视抓拍图片可存储在服务器自带硬盘中，也可单独配置中心存储进行存储。（2）网络传输层：数据也可采用局域网/互联网的方式进行传输。公网环境良好时摄像机采用互联网传输数据，NAVIGATION航海44Marine Technology航海技术平台软件需要有固定公网 IP。（3）行业应用层：航标管理部门可以通过平台通道进行回传图片预览和抓图。也可直接与前端摄像机进行对接，进行现场的航标作业情况预览和抓图。另外，前端摄像机可以选择 AI 开放平台摄像机，实现抓图自动分析判断，完成远程智能巡视，巡视结果可选择进行人工复核。5.3 模型构建在模型训练阶段，航标管理人员选择模型应用类型、训练数据集、训练标签和调优模式，系统通过自动深度学习技术，实现航标模型自动化训练。训练平台基于高性能并行训练推理集群与自研深度学习框架，由数据管理、模型训练、模型部署三大服务模块组成，通过 B/S 与 C/S 两个客户端向航标管理人员提供可视化操作功能，如图 5 所示。图 5 训练平台（1）数据管理提供数据导入、数据智能标注、数据质量诊断、数据概览的一站式数据服务功能，帮助航标管理人员高效地处理和管理训练样本。（2）模型训练基于平台特性，提供自动化航标模型训练服务，并提供可视化航标模型校验、模型性能评估功能。（3）模型部署根据航标管理人员选择的目标推理平台，基于 AI 编译器提供的训练推理一体化框架，实现模型自动化编译，提供模型导出、模型云端发布服务。5.4 巡视方案巡视引擎服务使用数据模型对巡视对象类型和检测点基础数据进行管理，数据模型的信息从数据管理服务中获取，如果现有模型不能满足要求，可在数据管理服务中添加。支持预置一些巡视对象类型和检测点类型（如监控点、环境量等用于检测对象状态的探测手段）常见的巡视方法包括移动现场巡视、视频巡视、抓图巡视、AI 智能巡视等多种巡视方法。按任务执行方式不同，巡视方法包括线上自动巡视、线上人工巡视、线下人工巡视。执行方式说明如下：（1）自动巡视：利用智能分析服务器、AI 摄像机、AI开放平台等智能分析能力，通过对视频或图片进行分析得出结论，减少人工参与，还可利用热成像测温、物联传感等方式进行自动巡视，见图 6。图 6 自动巡视（2）远程巡视：通过登录平台查看视频或图片进行巡视，无须到现场，减少交通成本。（3）现场巡视：巡视员到现场进行巡视，见图 7。图 7 现场巡视通过对智能摄像头导入不断学习的数据模型，平台会不断地完善巡视对象类型，从而更精准地对数据进行抓取入库，达到航标巡视的标准要求，实现智能化航标巡视。6 结束语智能航标巡视的有效运行很大程度上依赖于智能分析技术各种算法的精确性，本文针对智能航标巡视中所用的智能视频分析中的关键技术进行了分析。未来随着智能视频分析技术的不断发展，以及网络摄像机的图像采集能力、监控网络的传输能力、视频信息处理的速度等不断提高，智能航标巡视的技术及应用在水上航标巡视中越来越重要。