提升算法下船舶AIS航迹数据压缩方法.pdf

第45卷第16 期2023年8 月舰船科学技术SHIP SCIENCEANDTECHNOLOGYVol.45,No.16Aug.,2023提升算法下船舶AIS航迹数据压缩方法吴晓阳(桂林理工大学，广西南宁53 0 0 0 1)摘要：为保证船舶AIS航迹数据的有效管理，提升船舶管理水平，研究提升算法下船舶AIS航迹数据压缩方法。该方法通过IEC61162-1标准和ITU1371-1协议，转换AIS轨迹数据格式，采用基于偏序集的规则链方法清洗转换后的AIS数据，并完成数据中经度和纬度的坐标转换。将数据存储在SQLite数据库，并按照时间顺序将其导人提升算法中，通过该算法压缩船舶AIS航迹数据，获取船舶AIS压缩后航迹数据。测试结果显示：该方法的压缩率均在9 0.6%以上，数据长度损失率最大值为0.11%，压缩效果较好，并且可保证压缩后数据的完整性；压缩后可较好地保存船舶转向行为数据点，确保数据的效用成果，提升船舶的管理水平。关键词：提升算法；船舶AIS航迹；数据压缩；数据格式转换；数据清洗；坐标转换中图分类号：U675文章编号：16 7 2-7 6 49(2 0 2 3)16-0 157-0 4Ship AIS track data compression method under enhancement algorithmAbstract:In order to ensure the effective management of ship AIS track data and improve the level of ship manage-ment water,a compression method for ship AIS track data under the improvement algorithm is studied.This method firstconverts the AIS trajectory data format through the IEC61162-1 standard and the ITU1371-1 protocol,and then uses a rulechain method based on partial order sets to clean the transformed AIS data;After completing the coordinate conversion oflongitude and latitude in the data,it is stored in the SQLite database and imported into the lifting algorithm in chronologicalorder.The ship AIS track data is compressed using this algorithm to obtain the ship AIS compressed track data.The test res-ults show that the compression rate of this method is above 90.6%,and the maximum data length loss rate is 0.11%.Thecompression effect is good,and the integrity of the compressed data can be guaranteed.After compression,the data points ofship turning behavior can be well preserved,ensuring the effectiveness of the data and improving the management level ofthe ship.Key words:enhancement algorithm;ship AIS trajectory;data compression;data format conversion;data cleans-ing;coordinate transformation0引言船舶自动识别系统（AutomaticIdentificationSys-tem，A I S）是船舶航行必须安装的船载AIS设备，其主要作用是实现船舶导航和监控。目前海上管理系统不断完善，已经形成AIS基站的基础网络体系 2。随着船载AIS设备数量的逐渐增加，设备信息的收集和管理逐步完善，形成了海量的船舶AIS轨迹数据。该数据可为船舶异常识别、交通情况监测等提供可靠依收稿日期：2 0 2 3-0 3-18作者简介：吴晓阳（19 8 1），男，硕士，讲师，研究方向为数据库和数据分析。文献标识码：AWU Xiao-yang(Guilin University of Technology,Nanning 530001,China)据 3。但是该数据量较大、维度较高，并且数据格式存在一定差异，导致数据的查询效率、效用程度受到影响，同时数据的传输耗时较大 4。因此，数据压缩成为解决该问题的有效手段。在压缩过程中，如何保证数据的完整性，避免数据在压缩过程中发生损坏，成为重点研究内容。刘歌等 5为保证多维数据的压缩效果，以MVC架构为核心，通过正交变换的方式实现数据重构，并对重构后的数据进行编码，以此完成多维数据压缩。该方法在应用过程中，可实现数据降doi:10.3404/j.issn.1672-7649.2023.16.033158维，但是无法实现不同数据格式的处理。张晓梅等 6 为实现数据压缩，利用边缘计算较好的计算能力，实现数据无损压缩。但是该方法在应用过程中，对于维数较高数据的压缩率较低。提升算法属于框架算法，该算法能够强化数据点的处理效果，常见的提升算法包扩道格拉斯-普克算法（D o u g l a s-Pe u c k e r,D P）、机器分类算法等。本文以DP算法为核心，提出船舶AIS航迹数据压缩方法。1船舶AIS航迹数据压缩1.1AIS数据处理1.1.1AIS轨迹数据格式转换AIS在使用过程中，仅可实现可打印的AIS字符传输，该字符的有效范围为0 X200X7E，在该范围内，可将字符划分为保留、有效和未定义3 种字符。其中保留字符指的是传输数据中，用于控制数据格式的关键字 7，有效字符用于描述能够用于打印的AS-CI字符，未定义字符用于描述无法直接进行传输的字符。AIS数据的每条记录均由开始符（！）开始，以结束符（）结束。采用封装方式对AIS数据进行处理，利用高级链接HDLC（高级数据链路控制）进行传输，对其进行不归零倒置编码并进行数字调制解调，同时插人同步和停止位，最后经由甚高频进行传输，以此可通过IEC61162-1标准和ITU1371-1协议，完成AIS轨迹数据格式的转换，将其从暗码转换成明码。1.1.2AIS轨迹数据清洗由于AIS数据中包含静态数据、动态数据等所有和船舶航行相关的数据，这些数据在采集过程中，会受到网络性能、采集环境以及采集设备性能的影响，导致数据不完整、错误或者重复，影响数据的效用水平。因此，完成AIS数据格式转换后，需对AIS数据进行清洗，清洗的主要目的是删除AIS数据中的不完整数据，并且清除数据中的错误数据，同时对重复的数据进行筛选，只保留一条数据记录。本文针对AIS数据的清洗需求，采用基于偏序集的规则链方法完成AIS数据清洗，整体结构如图1所示。该方法整体分为标准模块、业务模块以及自动模块，将格式转换后的数据作为该方法的输入，结合数据清洗需求按层选择相应规则，以此生成每一层的规则链，最后依据规则链完成数据清洗，并输出清洗后的AIS数据。1.2AIS轨迹数据库设计海量的AIS轨迹数据的存储和调用，是实现该数舰船科学技术选择规则链自动生成AIS层规则链轨迹数据层规则链层规则链图1AIS轨迹数据清洗方法结构Fig.1AIS track data cleansing method structure据快速压缩以及显示的主要基础，如何高效完成所需AIS数据的提取，并按照时间顺序将其导人DP算法中进行压缩，是待解决的首要问题。为保证AIS轨迹数据的快速压缩，采用SQLite数据库进行AIS轨迹数据的管理，清洗后数据存储在数据库中，为轨迹数据压缩提供支撑。数据库的管理方案如图2 所示。该数据库以单TRACK表库结构为主完成构建，并且单表的各条记录中包含MMSI（数据识别码）、经度、纬度以及时间4个字段。单表的一条记录则对应AIS设备一次发送的数据，以此实现AIS轨迹数据的可靠管理，保证AIS轨迹数据的高效压缩。分饲器解析器接口B-Tree图2 AIS轨迹数据库结构Fig.2 AIS trajectory database structureAIS轨迹数据中，主要是依据经度和纬度描述船舶的地理位置，在进行数据压缩前，先对经度和纬度进行转换，形成墨卡托坐标，在此基础上进行转换使其形成屏幕坐标进行显示。在上述转换过程中，依据等角正圆柱投影原理完成，如果船舶在某处的经度和纬度坐标用(g,)表示，平面坐标用(x,J)表示，将经度和纬度转换至平面坐标的转换公式为：ro=V1-e2sin?oxcos9第45卷规则库编辑标准层业务层自定层编译器代码生成Os接口Pager服务器a配置数据清洗虚拟机清洗后数！据(1)第45卷q=In tan(吴晓阳：提升算法下船舶AIS航迹数据压缩方法e1+esingp2421-esinp159(2)dx=rox,(y=roxq。式中：ro为基准纬度圈半径；a和e分别为地球椭圆球长轴半径和第一偏心率；q表示等量纬度；$为基准纬度。依据上述公式即可完成所有AIS轨迹数据中，船舶位置数据的转换，转换后的数据存储在数据库中。1.3基于DP算法的AIS轨迹数据压缩AIS轨迹数据压缩的主要目的是快速获取AIS数据中的目标数据，实现船舶航行轨迹的识别监测。DP算法属于一种曲变形逼近算法，主要采用以直代曲的理念，保留AIS航迹中的关键航迹点，舍弃其中的非关键航迹点，以此高效实现船舶AIS航迹数据压缩。该算法的详细压缩过程如下：步骤1船舶轨迹离散点为Pi(x1,y1),P2(x2,y2),Pn(xn,n)，A=Pi(x 1,y 1)，B=Pn(x n,y n)，连接A和B后，形成线段AB。步骤2 在AB的范围内进行寻找，获取该范围内的和AB之间距离最远的点，用C表示；C和AB之间的距离用d表示。步骤3 设定AIS轨迹数据的压缩阈值n，如果dn，则定义C为关键点，并对船舶航迹进行划分，使其形成两段曲线，如图4所示。采用步骤1步骤3，对两段曲线分别处理。CidA图3 船舶原始航迹曲线Fig.3Original ship track curve步骤4按照上述步骤完成整个航迹数据处理后，连接航迹曲线AB上的所有关键点，以此获取原始船舶航迹曲线AB的压缩航迹数据。2测试结果与分析为验证本文方法对于船舶AIS航迹数据压缩的处理效果，以某公司的船舶AIS航迹数据为例，进行相关测试。该数据主要以csv的文件格式进行存储，共(3)BdAlFig.4Dividedtrackcurve包含2 56 艘船的航迹数据，共计12 0 0 条，部分数据详情如表1所示。表1部分船舶AIS航迹数据详情Tab.1 Details of AIS track data for some ships信息识别码经度336645121.17820120.66070121.636441652123.051432236122.0703220554121.55462113365123.28940124.66030126.21273353522123.07064131105122.08为验证本文方法的船舶AIS航迹数据压缩效果，采用压缩率、数据长度损失率1作为评价指标，计算公式分别为：(4)N。N-11=PnPn+1,n=1li=lo-ls,lLlRlo式中：N。和N,均为船舶航迹数据点数量，前者对应压缩前，后者对应压缩后；1为船舶航迹总长度；l为长度损失；l。和1，则表示压缩前和压缩后的船舶轨迹长图4划分航迹曲线纬度船首真航向37.055851134.08082137.060651137.3166037.055851137.0558037.366251137.00331737.30071636.3166038.402511N。-Ns数据源AIS_NWSAIS_NWSAIS_NWSAIS_NWSAIS_NWSAIS_NWSAIS_NWSAIS_NWSAIS_NWSAIS_NWSAIS_NWS(5)(6)(7)160度；lR为原始船舶航迹数据点数量；PnPn+1为2 个相邻船舶航迹电脑之间的距离。压缩率的期望结果在90.6%以上，数据长度损失率期望结果在0.15%以下。依据上述公式计算本文方法在不同航迹数据点数量下的压缩率和数据长度损失率，结果如表2 所示。可以看出，采用本文方法对船舶AIS航迹数据进行压缩后，其压缩率均在9 0.6%以上，数据长度损失率最大值为0.11%。满足使用需求，可保证AIS航迹数据的压缩效果。表2 压缩率结果和数据长度损失率测试结果Tab.2 Compression rate results and data length loss rate test results数据点数量/个压缩率/%数据长度损失率/%数据点数量/个压缩率/%数据长度损失率/%为验证本文方法对于船舶AIS航迹数据的压缩应用性，随机选择一艘船舶的AIS航迹数据，对该数据进行转换和清洗后，进行数据压缩，并且获取压缩前后的AIS轨迹结果，如图5和图6 所示。可知，船舶AIS轨迹数据压缩前，原始数据中包含若干个数据点，采用本文方法对数据进行压缩后，共剩余13 个数据点，这些数据点完好保存了船舶转向行为数据点，能够精准描述船舶的操纵情况，不会遗漏船舶航行过程中的关键点，完好保存船舶运动特性。因此，该方法具有较好的应用性，能够在保留AIS轨迹特征数据的前提下，完成数据压缩，为船舶航行情况管理提供可靠依据。3 结 语船舶航行情况监测、运动模式识别等是船舶管理的重要部分，在管理过程中，由于AIS数据量较大，并且数据中存在一定的重复或者损坏数据，导致数据的效用水平较低，直接降低船舶的管理效率。因此，为提升船舶的管理效果，针对海量AIS船舶航迹数据，提出提升算法下的船舶AIS航迹数据压缩算法，舰船科学技术终点图5压缩前船舶的AIS轨迹Fig.5AIS trajectory of the ship before compression起#10020094.795.20.0710.08460020095.694.80.0630.055第45卷起点轨迹点30040093.696.10.0660.05880040096.395.90.0440.06950092.80.074100092.20.062点点轨迹点图6 压缩后船舶的AIS轨迹Fig.6AIS trajectoryofcompressed ship并对该算法的应用效果进行测试。结果表明，本文所提方法具有较好的船舶AIS航迹数据压缩性能，并且压缩后数据能够可靠描述船舶航行过程中操纵情况，为船舶航行管理提供可靠保障。参考文献：1高大为，朱永生，张金奋，等.基于AIS数据的船舶航迹多维预测方法 J.中国航海,2 0 2 1,44(3):56-6 3.2鄢博冉，高大为，朱永生，等.基于低信噪比AIS数据的船舶航迹精准预测.船舶工程,2 0 2 1,43(10):111-117.3 陈晓杰，李斌，周清雷.RTL级可扩展高性能数据压缩方法实现.电子学报,2 0 2 2,50(7):1548-1557.4】卢民荣，郑建宁.基于极值点特征识别的大规模时序数据压缩分析.统计与决策,2 0 2 1,3 7(2 0):3 9-43.5刘歌，芮国胜，田文飚，等.序贯压缩感知下的海洋监测数据在线重构方法.西安电子科技大学学报，2 0 2 2,49(1):173-180.6】张小梅，曹，娄平，等.基于边缘计算的数据无损压缩方法.计算机科学,2 0 2 2,49(S2):842-847.7】姜琨，刘征，朱磊，等.基于有向无环图的倒排链等字长划分压缩算法 J.计算机应用，2 0 2 1,41(3)：7 2 7-7 3 2.