基于注意力机制的LSTM-CNN航道洋流速度预测方法研究.pdf

第 51 卷收稿日期：2022年11月10日，修回日期：2022年12月19日作者简介：包锋，男，硕士，教授，研究方向：大数据、数据挖掘等。刘恺轩，男，硕士研究生，研究方向：深度学习，大数据等。张春江，男，高级工程师，研究方向：航保信息化。1引言近年来，伴随着经济全球化，海洋运输成为国际贸易运输的主要方式。但与此同时，受到天气等多种因素的影响，海洋运输会遇到很多风险，航道洋流就是影响海洋运输的重要不利条件之一1。自从探索时代以来，水手们就需要知道洋流的速度和方向来引导他们的船只在港口内航行，并沿着贸基于注意力机制的 LSTM-CNN 航道洋流速度预测方法研究包锋刘恺轩张春江（东北石油大学计算机与信息技术学院大庆163318）摘要当前随着经济的快速发展，航道水域的交通状况趋于复杂，而且受到天气等影响，海洋运输的航期不固定，很容易遇险，航道洋流就是其中很重要的因素，所以航道洋流的实时预测具有重要意义。为了对航道洋流进行预测，针对航道洋流的历史速度数据集，提出了一种基于注意力机制的LSTM-CNN网络的预测方法。首先，对航道洋流历史速度的缺失值进行上一层和下一层加和的平均值处理，以及离散数据的清除。然后，对该预测模型包括隐藏层层数、超参数和预测过程优化算法等进行设计。最后，将该算法与长短期记忆网络、卷积神经网络和BP神经网络在不同时间的步长上进行对比，验证其可行性。以预测误差最小为目标，来实现对短期航道洋流速度的预测。实验结果表明，新提的预测模型对于短期航道洋流速度预测来说，有一定的实用价值。关键词航道；基于注意力机制的LSTM-CNN；短期航道洋流速度；时间序列；预测中图分类号O141.4DOI：10.3969/j.issn.1672-9722.2023.05.017Prediction of Ocean Current Velocity Based on AttentionMechanism in LSTM-CNN NetworksBAO FengLIU KaixuanZHANG Chunjiang（School of Computer and Information Technology，Northeast Petroleum University，Daqing163318）AbstractAt present，with the rapid economic development，the traffic conditions of waterway waters tend to be complicated，and affected by weather，etc.，the voyage period of ocean transportation is not fixed，and it is easy to be in danger.Waterway oceancurrent is a very important factor，so the real-time prediction of waterway ocean current is of great significance.In order to predictocean currents in waterway，a prediction method based on attention mechanism LSTM-CNN network is proposed according to thehistorical velocity data set of ocean currents in waterway.Firstly，the missing value of the historical velocity of ocean currents in thechannel is processed by adding the average value of the upper layer and the lower layer，and the discrete data is cleared.Then，theprediction model is designed including the number of hidden layers，the super parameters and the optimization algorithm of the prediction process.Finally，the proposed algorithm is compared with LSTM，convolutional neural network and BP neural network in different step sizes at different time to verify its feasibility.With the aim of minimizing the prediction error，the current velocity ofshort-term channel can be predicted.The experimental results show that the new prediction model has certain practical value forpredicting the speed of ocean current in short-term channel.Key Wordschannel，LSTM-CNN based on attention mechanism，short-term channel current velocity，time series，predictionClass NumberO141.4总第 403 期2023 年第 5 期计算机与数字工程Computer&Digital EngineeringVol.51 No.510702023 年第 5 期计算机与数字工程易和探索路线航行。洋流的测量通常以节为单位，洋流速度可以用欧拉测量法2。后来，用一种叫戴维斯漂流器3来测量风力驱动的表面洋流，卫星计算出它的位置，并将信息传给接收站。为了监测深海洋流的特征，科学家们使用一种叫做剖面浮标的设备4。岸基洋流计5采用无线电天线和高频无线电探测和测距系统（雷达）来测量表面洋流的速度和方向。在日本，针对上升流，专门提出了一套浮标观测系统6，这套系统主要通过温度和盐度两个因素来分析上升流。我国的大学对上升流监测方面7有着丰富的研究。中国科学院南海海洋研究所利用卫星遥感和船舶对粤东沿岸的上升流进行了观测以及分析，中国海洋大学也用遥感卫星对浙江近海的上升流进行了监测与分析。以上测得的优势是数据范围大，但是数据的准确度不高。在过去几年，洋流监测的主要方式是在海洋中部署浮标，其精度很高，但是成本很大。所以，在未来利用海洋模型进行洋流监测是一个主要方向。现在是利用浮标监测真实洋流，然后用海洋模型模拟洋流的运动轨迹。最近几年，一些学者为了同化海洋模型89，提出了一些drifter数据，这样可以提高海洋模型的洋流模拟精度。Yizhen Li10把每个格网中的同一时刻与位置的drifter监测的平均洋流流动与ROMS模型模拟的平均洋流流动进行了比较。航道洋流预测属于时间序列预测研究范畴，目前还未发现相关研究。随着深度学习的飞速发展，为航道洋流时间序列的预测提供了研究思路和方法。处理时序数据最强大的模型是循环神经网络（Recurrent Neural Network，RNN）。在神经网络模型中，循环神经网络的计算结果便具备了记忆之前几次结果的特点。循环神经网络中，长短期记忆（Long Short-Term Memory，LSTM）网络增加了各层的阀门节点，解决了RNN的梯度消失的问题，使得循环神经网络不会失去短期延迟能力。基于LSTM的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、预测疾病、点击率和股票、合成音乐等任务。在电力领域，姜雨寒11建立了一种基于长短期记忆网络的电网运行参数预测方法。在航天领域，胡姣姣12提出了基于 LSTM 网络的预测方法，以预测飞行器遥测数据。在交通领域，陈韫13提出了优化的LSTM网络的模型，对城市道路路段的速度进行预测。在环保领域，郭豪14在GRU神经网络的基础上，采用随机失活、批归一化等方法进行优化。本文根据秦皇岛港两个站点的历史航道洋流速度数据，建立了基于注意力机制的 LSTM-CNN短时预测模型，并与BP神经网络、卷积神经网络和长短期记忆网络预测模型在不同时间步长进行实验仿真对比。实验仿真结果证明，所提的新算法在航道洋流速度预测中最优。2航道洋流速度预测模型的相关技术2.1LSTM模型LSTM是一种改进后的循环神经网络模型。由于RNN的梯度在反向传播的过程中，不断连乘，数值不是越来越大就是越来越小，这样就会出现梯度爆炸或梯度消失，而LSTM就可以解决RNN无法处理长距离的依赖问题。所有的 LSTM都具有一种重复神经网络模块的链式形式，每个模块都由三个门（遗忘门、输入门、输出门）和一组内部记忆单元组成。LSTM 模型训练过程采用的是BPTT 算法，BPTT算法将LSTM看作一个展开的多层前馈网络，其中每一层对应每一时刻，依次按照时间的顺序计算误差，再从最后一个时间步将积累的误差传递回来。在LSTM训练过程的参数更新方法中，有随机梯度下降等算法，其中，Adam优化算法15是AdaGrad和RMSProp两种随机梯度下降扩展式的优点集合，可以为不同的参数设计独立的自适应性学习率。所以，综合所有性能表现，本文采用Adam优化算法。2.2注意力机制注意力机制（Attention）又称注意力模型，是一种将有限的计算资源来处理更重要信息的方式，借鉴人脑解决信息过载机制，通过自上而下的信息选择机制来过滤掉大量得到无关信息。当用神经网络来处理大量的输入信息时，只选择一些关键的信息输入进行处理，来提高神经网络的效率。2.3卷积神经网络卷积神经网络（Convolutional Neural Network，CNN）是一种带有卷积结构的深度神经网络。卷积神经网络包含卷积层、池化层、全连接层。通过卷积运算我们可以提取出时序数据的特征，通过卷积运算可以使得某些特征增强，并且降低噪声；对时序数据进行池化，可以减少数据处理量，同时保留有用信息。通常有均值池化（mean pooling）和最大池化（max pooling）两种形式。由于CNN简化了模型复杂度，减少了模型的参数，在时间序列预测方面也有一定的优势。本实验的CNN采用一维卷积层和最大池化层来处理这个时间序列问题。1071第 51 卷3基于注意力机制的 LSTM-CNN模型根据航道洋流速度数据集的特点，以及该预测模型的相关技术，本文构建了基于注意力机制的LSTM-CNN预测模型的结构，如图 1所示。图1基于注意力机制的LSTM-CNN的结构针对时间系列预测中卷积神经网络（CNN）无法获取洋流的全局特征、长短期记忆网络（LSTM）无法聚焦洋流局部特征的问题，提出一种基于注意力机制的CNN网络和LSTM网络进行融合的模型。该模型该模型有三部分构成：第一部分为基于注意力机制的一维卷积，在标准CNN网络上增加注意力分支，解决时间序列预测中无法关注重点特征的问题；第二部分为LSTM，获取洋流的全局特征；第三部分为单独的一维卷积层。网络训练时的参数优化采用 Adam 算法，网络预测时为了逐层预测，采用迭代的方式。4实验验证本节在秦皇岛港两个站点的航道洋流速度数据集上，对提出的新预测模型展开实验验证，证明其有效性。4.1数据预处理与平台环境本文数据来源于秦皇岛航标处提供的航道洋流速度数据集，采集于两个测流站的洋流速度，两个测流站点的采集时间都为每 10min 采集一次。站点一的洋流速度采集于 2016.05-2019.09，从距海平面1.5m开始，每隔1m深度就采集一次，一共分为 20层，到水下 20.5m，如图 2为站点一洋流速度的部分截图，单位为mm/s。站点二的洋流速度采集于 2016.01-2019.09，从距海平面1.5m开始，每隔1m深度采集一次，一共分为 15层，到水下 15.5m，如图 3为站点二洋流速度的部分截图，单位为mm/s。原始时间序列数据中有一些缺失值的存在，所以对原始数据中存在缺失的数据进行上一层和下一层加和的平均值处理，以保证数据的真实性。为了解决数据集过大、运算时间效率方面的问题，对数据进行标准化操作。数据标准化是将数据按比例缩放，使之落入一个小的特定区间。本实验运用最小最大值标准化，将结果落到合理的01的范围区间。图2站点1部分航道洋流速度图3站点2部分航道洋流速度实验所使用计算机的配置如下：处理器为Intel core CPU i5-10210，CPU 频 率 为 1.60 GHz 和4.20 GHz；运行内存为 8.00 GB；操作系统为 Windows 7（64 位）；程序设计语言为 Python 3.5.2（64位），集成开发环境为 Pycharm Community Edition2020.2.1，LSTM 和 CNN、BP 模型由 Python 的 Tensorflow 0.12.0rc0程序包实现。4.2评价指标本文选择 MAE、RMSE 和 MAPE 作为评估指标：平均绝对误差（Mean Absolute Error，MAE）、均方误差（Root Mean Square Error，RMSE）和平均绝对百分误差（Mean Absolute Percentage Error，MAPE）是使用最多的方法。假设把时间序列的第t期的真实值记为yt，对第t期的预测值记为Ft，那么预测误差为et=yt-Ft。如果训练集有n期数据，验证集有v期数据，则验证集的时间范围为t=n+1，n+2，n+v，为简单起见，把验证集的时间范围记为 t=1，2，v。平均绝对误差（Mean Absolute Error，MAE），计算公式为MAE=1vt=1v|et|均方误差（Root Mean Square Error，RMSE），计包锋等：基于注意力机制的LSTM-CNN航道洋流速度预测方法研究10722023 年第 5 期计算机与数字工程算公式为RMSE=1vt=1ve2t平均绝对百分误差（Mean Absolute PercentageError，MAPE），计算公式为MAPE=1vt=1v|etyt|100%4.3实验仿真测试4.3.1实验模型参数设置表1神经网络超参数设置表设置参数输入节点数输出节点数隐藏层节点数定义学习率激活函数优化算法迭代数据集划分描述输入属性预测航道洋流速度静态学习率循环节点优化算法训练集迭代数训练集与测试集比例设置值20/1520/15640.001ReLUAdam1090%/10%4.3.2LSTM神经网络隐藏层数量的对比实验本文通过对比不同LSTM模型的隐藏层层数，来选择最佳隐藏层。根据秦皇岛港站点一、站点二的航道洋流速度数据集，通过实验对比来看隐藏层数的增加对预测结果的影响，如表2、表3。表2站点一LSTM神经网络隐藏层数量的对比实验隐藏层数1层2层3层4层5层RMSE48.837548.355747.846249.312149.4414MAE31.769631.033530.665930.731630.8450MAPE0.49700.49140.48500.48790.5023表3站点二LSTM神经网络隐藏层数量的对比实验隐藏层数1层2层3层4层5层RMSE71.058169.732868.383170.426570.9690MAE46.064145.291044.410044.969045.3831MAPE0.50380.49940.48420.50260.5088从表2、表3可以看出，隐藏层层数过多或者过少都会降低两个站点航道洋流速度的预测精度，误差逐渐增大，随着设置神经隐藏层的数量增加，从1层增加3层，RMSE、MAE、MAPE逐渐下降，从3层增加5层，RMSE、MAE、MAPE逐渐上升，实验结果表明，隐藏层选为3层预测效果最佳。4.3.3不同模型的预测对比实验本文将基于注意力机制的LSTM-CNN模型与LSTM、CNN 神经网络、卷积神经网络模型进行实验对比，在不同时间步长上进行测试，其中评价指标为MAE、RMSE、MAPE。本实验采用最经典的三层BP神经网络和隐藏层为三层的LSTM模型，CNN采用一维卷积层和最大池化层来处理这个时间序列问题。表4、表5是四种模型在站点一和站点二航道洋流速度数据集上的不同预测误差结果，单位mm/s。表4站点一模型预测结果比较算法模型BPCNNLSTM基于注意力机制的LSTM-CNN评价指标MAERMSEMAPEMAERMSEMAPEMAERMSEMAPEMAERMSEMAPE30min38.428354.77320.589332.546049.47260.559630.665947.84620.485030.122446.47220.46581h40.817356.29530.650635.576051.49050.563334.321049.75000.521732.637847.15550.51312h41.611256.94250.66936.152952.15240.578434.840951.31970.535833.437148.50220.5278表5站点二模型预测结果比较算法模型BPCNNLSTM基于注意力机制的LSTM-CNN评价指标MAERMSEMAPEMAERMSEMAPEMAERMSEMAPEMAERMSEMAPE30min56.897086.40840.640449.024578.22210.556944.968868.78340.489642.858465.32980.47021h57.556187.32160.650350.044278.95130.565345.291069.73280.499443.117167.08640.47962h57.836087.69740.654550.630980.46020.569146.064171.05810.517945.064469.23980.4968实验结果表明，通过对站点一、站点二航道洋流速度预测的综合对比，不同算法的模型预测性能差异较大，其中预测性能最优是基于注意力机制的LSTM-CNN 模型。该模型预测值和 LSTM、CNN、BP网络预测值与真实值相比，发现基于注意力机制的LSTM-CNN模型的预测值比CNN、BP预测值更接近真实值。在时间步长30min、1h、2h的航道1073第 51 卷洋流预测结果中，预测时间越长，预测的精度越低。在分别计算四种模型的准确率，BP神经网络准确率最低，但是时间复杂度最低；CNN模型准确率表现也很好，主要是因为CNN网络模型具有参数共享机制；LSTM准确率表现较CNN好，充分体现出 LSTM在处理前后序列高度关联的数据有很大的优越性；准确率最高的是基于注意力机制的LSTM-CNN模型，由于在循环神经网络的基础上，将CNN与LSTM进行结合，在提取航道洋流特征信息时，既可以让CNN提取洋流的局部特征，又可以让LSTM提取洋流的全局特征；结合注意力机制，可以进一步获取对洋流预测结果产生影响的重点特征。5结语本文基于注意力机制的LSTM-CNN构建了航道洋流速度的预测模型。首先对数据进行预处理，利用不同隐藏层层数的长短期记忆网络对采集的两个站点的航道洋流速度数据集进行了处理后的速度值进行了预测，结果表明具有三层隐藏层的长短期记忆网络预测精度最高。然后在相同条件下，利用新提的算法对航道洋流速度进行预测，并分析对比了 LSTM、CNN 以及 BP 神经网络，对未来30min、1h和2h的航道洋流速度值的预测结果，进行了误差比较，结果表明基于注意力机制的LSTM-CNN模型的预测精度更高，是一种有效且可行的方法，因此在航道洋流速度预测中具有一定的实用价值。在接下来的研究中，将对影响洋流速度的特征进行相关性分析，把众多影响因子输入模型中，以提高新提算法模型的预测精度。参 考 文 献1闫玥.突堤码头通航安全因素研究 D.青岛：中国海洋大学，2014.YAN Yue.Study on navigation safety factors of jetty wharfD.Qingdao：Ocean University of China，2014.2Lloyd，J.BEighteen Miles of History on Long Beach Island J.Down The Shore Publishing and the SandPaper，Inc.，1986：204.3Ross，D.Introduction to OceanographyM.New York：HarperCollinsCollegePublishers，1995：199-226，339-343.4Pinet，P.R.Invitation to Oceanography M.Sudbury，MA：Jones and Bartlett Publishers，1998：596.5National Oceanic and Atmospheric Administration（NOAA），Ocean Explorer：TechnologyEB/OL.2005-12，http：/oceanexplorer.noaa.gov/technology/technology.html.6Nagamatsu T，Shima N，etalExperimental study on artificial upwelling device combined V-shaped structure withflexible underwater curtainJ.Minutes of the School ofWatercliff，Kamijima University，2006，55：27-35.7胡明娜，赵朝方.浙江近海夏季上升流的遥感观测与分析 J.遥感学报，2008（2）：297-304.HU Mingna，ZHAO Chaofang.Remote sensing observationand analysis of summer upwelling over the coastal area ofZhejiangJ.Journal of remote sensing，2008（2）：297-304.8Gregg A，Acobs，Brent P，et al.Data Assimilation Considerations for improved Ocean Predictability During the Gulfof Mexico Grand Lagrangian Deployment（GLAD）J.Ocean Modelling，2014（83）：98-117.9Molcard A，Poje A C，Ozgokmen T M.Directed DrifterLaunch Strategies for Lagrangian Data Assimilation UsingHyperbolic TrajectoriesJ.Ocean Modelling，2006（12）：268-289.10Li Y Z，He R Y，James P，et al.Coastal Connectivity inthe Gulf of Maine in Spring and Summer of 2004-2009J.Deep-Sea Research II，2014（113）：199-209.11姜雨寒.基于时间序列的电网运行参数预测方法研究与应用 D.济南：山东大学，2019.JIANG Yuhan.Research and application of power network operating parameter prediction method based ontime series D.Jinan：Shandong University，2019.12胡姣姣.基于深度学习的飞行器遥测时间序列数据异常检测与预测方法研究 D.西安：西安理工大学，2019.HU Jiaojiao.Research on Anomaly Detection and Prediction Method Based on Deep Learning for Vehicle Telemetry Time Series DataD.Xian：Xian University ofTechnology，2019.13陈韫.基于LSTM深度网络的城市道路短时交通状态预测模型研究 D.福州：福建工程学院，2018.CHEN Yun.Research on short-term traffic state prediction model of urban road based on LSTM deep networkD.Fuzhou：Fujian Institute of Technology，2018.14郭豪.基于深度学习的空气质量预测方法研究与实现D.北京：北京邮电大学，2019.GUO Hao.Research and Implementation of Air QualityPrediction Method Based on Deep Learning D.Beijing：Beijing University of Posts and Telecommunications，2019.15Kingma D，Ba J.Adam：a method for stochastic optimization C/International Conference for Learning Representations.San Diego：Faculty of Science，2015：7-13.包锋等：基于注意力机制的LSTM-CNN航道洋流速度预测方法研究1074