基于AE-RCNN的洪水分级智能预报方法研究.pdf

年 月水利学报 第 卷第 期文章编号：（）收稿日期：；网络首发日期：网络首发地址：?基金项目：国家重点研发计划项目（）；水利部重大科技项目（）；科技部重点领域创新团队（）；国家自然基金委创新团队（）作者简介：苑希民（），教授，主要从事防洪减灾与智慧水利研究。：通信作者：田福昌（），副研究员，主要从事防洪减灾与智慧水利研究。：基于 的洪水分级智能预报方法研究苑希民，李达，田福昌，何立新，王秀杰，郭立兵（天津大学 水利工程仿真与安全国家重点实验室，天津 ；天津大学 建筑工程学院，天津 ；河北工程大学 水利水电学院，河北 邯郸 ；宁夏回族自治区水旱灾害防御中心，宁夏 银川 ）摘要：复杂产汇流特性地区使用洪水分级预报方法可提高预报精度，本文提出一种基于自编码器（，）和残差卷积神经网络（，）的洪水分级智能预报方法，使用自编码器和 均值聚类算法实现对原始水文数据的特征提取和洪水分级，通过 模型提升卷积神经网络的有效训练深度，以山东省小清河流域黄台桥水文站为例开展洪水分级智能预报研究。结果表明应用降维数据聚类的 模型 指标、指标、指标分别为 、，优于 模型、模型和降雨聚类 模型。该方法能够有效提取水文数据特征、提高洪水预报精度。关键词：洪水分级智能预报；数据驱动模型；自编码器；残差卷积神经网络中图分类号：文献标识码：?研究背景在气候变化背景下，过去几十年来全球极端降水强度和频率显著上升，引发的洪涝灾害造成每年 亿美元以上的经济损失，给人类社会带来了严重危害 。洪水预报作为应对洪涝灾害的重要非工程措施之一，对水库调度、防洪预警、城市规划等具有重要指导作用。当前应用广泛的洪水预报模型主要包括概念性水文模型和数据驱动模型。概念性水文模型使用物理和经验参数来概括径流的形成过程，常用的概念性水文模型包括集总式的 模型、新安江模型和分布式的 模型、模型等 。概念性水文模型应用广泛，在很多流域取得了较好的模拟效果，但其内部不同意义的水文参数相互作用复杂，导致其有很强的不确定性，往往需要大量流域自然地理数据，或借助敏感性分析和优化算法辅助确定参数 。数据驱动的洪水预报模型通过挖掘历史数据中驱动因子与目标值之间的关系来预测径流 ，其内部的大量参数通过误差反向传播的方式自动更新，极大减小了率定难度，近年来取得了长足发展。熊怡等 提出一种基于自适应变分模态分解和长短期记忆网络的分解 预测 集成月径流预测混合模型，提升了金沙江上游石鼓水文站月径流预报精度。刘媛媛等 将数值模型与 神经网络相结合，提出了一种快速预测城市内涝风险的新方法。等 将 模型与 方法相结合，提出一种应用于数据稀缺干旱山区的洪水预报智能模型。等 应用 神经网络，结合 地理特征和历史径流过程对洪水过程进行预测，在洪峰和到达时间方面表现出了更好的准确性。数据驱动模型的效果主要受训练数据和模型结构影响，当输入数据与目标数据相关性不显著时可能会出现模型难以收敛的情况，而模型复杂度较高时则可能出现梯度消失的问题。当研究区域的产汇流特性较为复杂时，洪水预报模型使用一套参数往往难以实现对洪水过程的准确模拟，此时可对降雨径流数据进行分级处理，数据特征相近的洪水共用一套模型参数以提高洪水预报的准确性 。李志超等 利用径向基函数神经网络和降雨方差对洪水进行分级预报，提高了模型在四川省寿溪流域和陕西省青阳岔流域洪水预报的准确性。等 根据降水的时空分布、降水强度的时间方差和其他水文因子，对历史洪水进行 均值聚类，并采用粗糙集提取实时洪水预报的识别规则，提高了洪水预报准确性。郑彦辰等 将降雨时空分布特征作为洪水分类依据，聚类得到的不同洪水类型特征显著。以上研究使用不同聚类算法进行了洪水分级，但面对复杂的降雨流量序列，原始数据包含大量冗余信息，直接进行聚类计算量过大，通常是选取特定的数据特征进行聚类。其中数据特征的选择往往依赖于研究人员的自身经验，选定数据特征对原始数据的描述效果亦难以评定，可能丢失大量有效信息。因此，本文提出一种结合自编码器（，）与残差卷积神经网络（）的洪水分级智能预报方法，使用自编码器实现原始降雨径流数据的自动降维，再将降维后的数据通过 均值聚类算法进行洪水分级，最后利用残差卷积神经网络进行洪水预报。将 模型应用于小清河流域上游黄台桥水文站的洪水预报，并与使用未分级数据训练的 、模型，以及应用降雨数据进行分级训练的 模型进行对比，验证了 模型的聚类和预报效果。研究区域概况图 研究区域示意图黄台桥水文站位于济南市历城区华山镇前进桥，控制流域面积 ，是泰沂山北漏水区区域代表站，还是济南市重要防洪除涝河道小清河干流上的省级重点水文站（如图 ），属于华北暖温带半湿润季风型大陆性气候，年内四季分明，温差变化大；夏季炎热，气温较高，暖空气活动较频繁，雨量较多。年 月 日，济南市发生强降雨，降雨集中、汇流迅速，最大点雨量高达 ，平均降雨 ，导致径流峰高量大，黄台桥水文站超警戒水位 ，最终济南市直接经济损失达 亿元。针对黄台桥水文站展开洪水预报研究对于小清河干流与济南市城区防洪排涝具有重要意义。本次研究收集了流域内 年间部分年份的降雨数据与黄台桥水文站流量数据。通过对降雨数据进行反距离权重插值得到黄台桥汇水区形心降雨量，与黄台桥水文站流量数据结合得到 场洪水的逐时降雨径流数据。研究方法图 自编码器结构示意图 数据降维模型自编码器（）是一种自监督学习的神经网络架构（如图 ），通过将原始数据输入一个编码器网络编码成一个固定维度的隐藏变量，然后使用一个解码器网络对这个隐藏变量进行解码，从而得到输出数据。自编码器的目标是使得输出数据与原始数据之间的误差最小化，可以用于多种任务，例如数据去噪、降维、生成式模型等 。编码器网络在将原始数据映射到低维隐藏向量后，可以通过解码器网络得到与原始数据相似的输出，这表示隐藏向量中保留了原始数据的基本特征，因此将降维后的隐藏向量应用于聚类算法能够在大幅降低计算复杂度的同时实现对原始数据的聚类，这也避免了传统聚类算法人为选择数据特征带来的不确定性。洪水分级模型均值聚类算法是一种广泛应用的无监督学习算法，可以将集中的数据分成 个不同的簇（类别），具有简单易懂、计算效率高的特点 。该算法的核心思想是通过计算数据点之间的距离来将它们划分为 个簇，使得同一簇内的数据点彼此相似度较高，而不同簇之间的数据点差异较大。具体来说，均值聚类算法首先随机初始化 个聚类中心，然后将每个数据点分配到与其最近的聚类中心所在的簇，接着更新每个簇的聚类中心，直到达到收敛条件为止。洪水预报模型卷积神经网络（，）是一种广泛应用于图像识别和语言处理的前馈神经网络，其内部的卷积运算可以提取输入数据的局部特征，根据输入数据的维度不同可分为 、等。水文预报的时序数据可近似理解为自然语言处理中的一个句子，仅包含沿时间的一个维度，因此采用 进行预报。一维卷积的计算过程如图 所示，通过卷积核在输入数据上的移动提取局部信息，用于填补数据两侧的空缺，为卷积核移动的步长，具体计算公式如下 ：()（）式中：为第 层第 个节点的输出；为节点数 的范围；为卷积核，表示卷积运算；为偏置项；为激活函数。在卷积神经网络中，随着模型隐藏层和通道数量增加，可产生大量模型参数学习到更多信息特征，但这样也容易造成梯度消失等问题。残差网络（）是一种针对梯度消失问题的特殊网络结构，能够极大提高模型的有效训练深度。传统神经网络的信息通过层层递进的方式向前传播，而残差网络通过跳层连接实现了信息从低层到高层的直接传播，以此达到缓解梯度消失的目的 。如图所示，残差网络将上层输入的 跳层与卷积运算后得到的 （）进行相加作为输出 （），当 （）时，（），形成恒定映射，以保留上层输入特征，避免梯度消失问题。图 一维卷积示意图 传统网络与残差网络对比图 洪水分级智能预报方法综合上述理论方法，本文提出的 洪水分级智能预报方法训练流程如图 所示，其主要训练步骤包括：将原始的降雨流量数据分别归一化至 ，区间内，输入到 数据降维模型中进行数据重构，以重构数据的误差作为损失函数进行网络训练，待训练完成得到原始数据在 数据降维模型中的隐藏向量；对步骤 中得到的隐藏向量进行 均值聚类，根据聚类结果对原始数据进行分类，并将隐藏向量的聚类中心输入 数据降维模型的解码器得到原始数据的聚类中心，作为后续实际应用时进行洪水分级的依据；按照步骤 中的洪水分级结果分别进行 洪水预报模型的训练，保存生成的 类模型参数。在应用训练好的模型进行洪水预报时，需要将数据分别输入 类 洪水预报模型中得到 类预报结果，再将预报结果和各自聚类中心按洪峰时刻对齐，计算二者交集的欧氏距离作为参考，以参考距离最近的预报结果作为最优预报结果，参考距离的具体计算公式如下：图 模型训练预报流程图 （）（）槡（）式中：为预报结果和聚类中心按洪峰时刻对齐后取交集的时间序列长度；为 时刻的模型预报流量；为 时刻的聚类中心流量；为 时刻的预报降雨量；为 时刻的聚类中心降雨量，以上降雨流量数据均进行了与训练数据相同的归一化处理。模型评价指标选取误差平方和（）与轮廓系数（，）作为聚类效果的评价指标 ，主要用于确定 均值聚类算法的聚类中心数量和评估聚类效果，具体计算公式如下。（）式中：为第 个聚类；为第 个聚类中心；为属于第 个聚类的数据点；为聚类中心数量。，（）（）式中：为数据点 与所属簇内其它样本的平均距离，若簇内仅一个样本，则令 ；为数据点与其它簇的样本平均距离的最小值；为全部数据点的数量。选取平均绝对误差（）、均方根误差（）和纳什效率系数（）作为洪水预报效果评价指标，具体计算公式如下。（）()槡（）（）（珚）（）式中：为预见期时序长度；为预见期内时刻 的预报径流量；为时刻 的实测径流量；珚为实测径流量的平均值。结果分析 模型构建通过调整模型不同隐藏层卷积核的数量、大小、步长和填充参数，减小数据的时间分辨率（序列长 度）并 增 加 数 据 的 通 道 深 度，以 提 高 模 型 对 数 据 全 局 特 征 的 学 习 能 力。同 时 选 用 作为激活函数，解决了 容易梯度消失和 神经元死亡的问题，且相比 在训练中速度更快 。选用 作为损失函数，与 平 均 绝对 误差 相比平滑了趋近于 时的误差，与均方误差 相比对离群点更不敏感，增加了训练过程的稳定性 。结合黄台桥水文站汇水区域特点与历史洪水资料，选取洪峰前后各 的降雨数据 维、流量数据 维共计 维向量作为 数据降维模型的编码器输入，输出 维隐藏向量到解码器中进行数据重构。选取预报时刻前 的降雨流量数据和预见期（）内的降雨数据作为洪水预报模型输入，通过两个 网络提取前期降雨流量特征和预见期内降雨特征，将两类特征拼接后通过反卷积层实现对预见期内流量过程的预报。具体模型结构参数如表 、表 所示。数据降维结果分析在对构建的 数据降维模型进行 次训练后，通过 维隐藏向量解码得到的重构流量数据误差为 ，重构降雨数据误差为 ，部分重构降雨流量数据与原始数据对比如图 所示，其中重构流量数据能够反映原始数据的整体趋势，且在散点图中不同量级流量条件下表现出较为一致的重构效果。而重构降雨数据能够基本还原主要降雨过程，但降雨量较小时的重构效果略显不佳，其散点图也表现出相同的特点，部分较小的降雨存在重构值等于 的情况，但仍能保留原始数据大部分的降雨特征。由此可见，数据降维模型能够利用编码器得到的隐藏向量实现对原始降雨流量数据的基本还原，可以使用隐藏向量作为降维后的原始数据进行聚类分析。洪水聚类结果分析对 数据降维模型中编码器得到的隐藏向量进行不同数量聚类中心的 均值聚类，计算其 和 ，并将 同直接应用原始降雨数据的聚类结果进行对比，如图 所示。其中 下降速度突然变缓的拐点处对应的聚类中心数量被认为具有更好的聚类效果（肘部法则），则用于描述聚类后的轮廓清晰度，即代表聚类结果是相对紧凑的，越大则轮廓越清晰。在不同聚类中心数下，均大于 ，表明应用 降维数据的聚类效果优于直接应用原始降雨数据。且当聚类中心为 时，下降速度突然变缓且 最大，因此确定聚类中心 为 。表 数据降维模型结构参数功能网络层卷积核参数（、）数据维度（通道 序列）编码器输入层 卷积层 、卷积层 、卷积层 、卷积层 、卷积层 、卷积层、解码器输入层 反卷积层 、反卷积层 、反卷积层 、反卷积层 、反卷积层、表 洪水预报模型结构参数功能网络层卷积核参数（、）数据维度（通道 序列）前期降雨径流特征提取输入层 卷积层 、卷积层 、卷积层 、残差层 、残差层 、预见期降雨特征提取输入层 卷积层 、卷积层 、卷积层 、卷积层 、残差层 、残差层 、预见期径流预报输入层 反卷积层 、反卷积层 、反卷积层 、反卷积层、图 数据降维模型重构数据效果（图中 、为应用 降维数据的聚类结果，为应用原始降雨数据的聚类结果）图 、随聚类中心数变化图最终隐藏向量被分为 类，各类分别包含 、场洪水，将各隐藏向量聚类中心输入到 数据降维模型的解码器中得到原始数据聚类中心如图 所示，类别 的洪峰流量为?，最大 洪量为 万，最 大 降 雨 量 为 ，最 大 降 雨 量 为 ；类别 的洪峰流量为?，最大 洪量为 万，最大 降雨量为 ，最大 降雨量为 ；类别 的洪峰流量为?，最大 洪 量 为 万，最 大 降 雨 量 为 ，最大 降雨量为 。其中类别 的降雨持续时间较长，最大 降雨量最高，且最大 洪量也更多。类别 与类别 的最大 降雨量更高，但类别 的降雨量级比类别 大，对应的洪峰流量也更高。三种类别洪水的聚类中心存在明显差异，聚类结果可信度高。图 洪水聚类中心示意 洪水预报结果分析将洪水数据按 降维数据的聚类结果进行分级 洪水预报模型训练，选取 的洪水数据作为测试集，以 、模型和降雨聚类 模型作为对比，最终预报效果评价指标如表 、表 所示。模型在训练集和测试集中的模拟效果均优于 模型，表明 模型中的残差网络结构能够提升 的预报精度，更好地挖掘数据特征。模型预报结果的评价指标优于作为对比的其他三种模型。在测试集的洪水模拟中，模型的平均 、和 指标分别为 、和 ，较 模型分别提高了 、和 ；较 模型分别提高了 、和 ；较降雨聚类 模型分别提高了 、和 。同时在将测试集输入到 类 模型后的预报结果中，参考距离最小的预报结果模拟效果也最好，因此本文所提出通过参考距离判断未来洪水类别的方法是合理可行的。表 、模型洪水预报效果评价指标对比评价对象评价指标 模型 模型 模型 训练集 类别 测试集 参考距离 类别 测试集 参考距离 类别 测试集 参考距离 不同模型对测试集洪水的模拟效果如图 所示，其中 模型的模拟结果与实测洪水过程最为接近，散点图也距离标准线更为紧密。综上可得，数据降维模型能够通过对不同产汇流特性洪水的特征提取与快速聚类，使输入 的数据特征更为清晰，进而达到更好的模拟效果。表 降雨聚类 模型洪水预报效果评价指标评价对象 训练集 类别 测试集（降雨聚类）类别 测试集（降雨聚类）类别 测试集（降雨聚类）图 部分场次模拟洪水过程与整体测试集模拟结果散点图对比 结论与展望本文提出一种基于 的洪水分级智能预报方法，通过自编码器（）重构降雨径流数据实现对其自动降维，再结合 均值聚类算法进行洪水分级，对分级后的洪水使用残差卷积神经网络（）进行洪水预报。将该方法应用于小清河上游黄台桥水文站的洪水预报中，分析其聚类效果和洪水预报能力。主要结论如下：（）数据降维模型的编码器可将降雨、流量数据共 维输入向量提取为 维向量，经解码器还原后与原始数据的降雨径流过程基本一致，实现对洪水数据的自动降维，避免人工挑选数据特征对工作人员经验的依赖性。应用 降维数据的聚类效果优于直接应用原始降雨数据，可将洪水分为特征明显的三类。（）对比应用降维数据进行洪水分级的 模型和 模型、模型、降雨聚类 模型，模型在训练集和测试集中的各项评价指标均为最优。其测试集洪水模拟的平均 指标、指标、指标分别为 、，较 模型分别提高了 、和 ，较 模型分别提高了 、和 ，较降雨聚类 模型分别提高了 、和 。（）本文提出的 洪水分级智能预报方法主要应用了自编码器的降维功能，后续可考虑自编码器的变种 、等数据生成模型，使模型在重构提取数据特征的同时，能够生成具备原始数据基本特征但又有一定差异的新数据，对训练集进行扩充以进一步提高模拟效果。参考文献：吉戴婧琪，元媛，韩剑桥中国极端降水事件的时空变化及趋势预测 中国农村水利水电，（）：尹家波，郭生练，顾磊，等中国极端降水对气候变化的热力学响应机理及洪水效应 科学通报，（）：旷兰，田茂举，肖蕾，等 模型在中小河流洪水气象风险预警中的应用 水电能源科学，（）：，：，（）：刘永伟，王文，刘元波，等基于 法的径流数据同化对 模型参数优化效果评估 河海大学学报（自然科学版），（）：梁忠民，戴荣，李彬权基于贝叶斯理论的水文不确定性分析研究进展 水科学进展，（）：尹雄锐，夏军，张翔，等水文模拟与预测中的不确定性研究现状与展望 水力发电，（）：，（?）：熊怡，周建中，孙娜，等基于自适应变分模态分解和长短期记忆网络的月径流预报 水利学报，（）：，刘媛媛，刘业森，郑敬伟，等 神经网络和数值模型相结合的城市内涝预测方法研究 水利学报，（）：，（）：，：王秀杰，李丹丹，苑希民，等基于参数分级优化的水文气象耦合预报研究 天津大学学报（自然科学与工程技术版），（）：姬战生，刘小勇，王军，等基于系统聚类的分水江站水位分类预报和区间预报 水电能源科学，（）：徐冬梅，陈守煜，邱林基于可变模糊集理论的洪水分类研究 水电能源科学，（）：，李志超，张怡雯，邬强，等基于分级优化与 方法的中小流域洪水预报研究 水利水电技术（中英文），（）：，（）：郑彦辰，李建柱，荣佑同，等降雨时空分布量化及其在洪水过程分类中的应用 水利学报，（）：，：?刘可新，包为民，阙家骏，等基于主成分分析的 均值聚类法在洪水预报中的应用 武汉大学学报（工学版），（）：，陈建强基于卷积神经网络的海洋次表层叶绿素遥感反演研究 青岛：青岛科技大学，刘玉驰，蒋玉峰，王树青，等基于数据融合及残差卷积自编码器的结构损伤识别方法 振动与冲击，（）：杨亚兰，李晨鑫，秦毓毅，等基于卷积变分自编码器的日负荷曲线聚类研究?现代电力：?陈立，魏钰欣，刘斌基于生成对抗网络与 的细胞核图像分割 光电子激光，（）：?：，（，；，；，；，）：（）（），：；（责任编辑：耿庆斋）