基于雷达回波光流场的天气预报数据误差识别_郭艳萍.pdf

基金项目:山西省软科学研究计划项目(2019041023-5)收稿日期:2021-11-19 修回日期:2022-01-27 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0499-05基于雷达回波光流场的天气预报数据误差识别郭艳萍,高 云,吕丙东,彭 炜(山西大同大学计算机与网络工程学院,山西 大同 037009)摘要:天气预报数据具有相似度高、关联性强的特点,导致挖掘和分类的误差识别难度较大。为此提出新的天气预报数据误差识别方法。将雷达回波图划分为多个小空间区域,求解得到各空间的回波光流场。通过整合得到多普勒天气雷达测得的整个雷达回波光流场。利用解得的实际与预报回波相关系数,定量描述数据误差相关性,结合平均绝对误差与探测概率指标,定性补充预报数据误差分析结果。将预报数据误差的识别转换为数据挖掘与分类问题,以监督决策树理念为基础,建立误差识别模型。仿真以降水强度、位置以及形态展开误差识别检验。通过对错误、缺漏识别次数与识别时间等指标的验证,证明了所设计模型具有较高的误差识别精度,且短时预报的误差识别实时性较强。关键词:雷达回波外推技术;预报数据误差;误差识别;光流场;有监督决策树中图分类号:TP399 文献标识码:BError Identification of Weather Forecast Data Based onRadar Echo Optical Flow FieldGUO Yan-ping,GAO Yun,LV Bing-dong,PENG Wei(School of Computer and Network Engineering,Shanxi Datong University,Datong Shanxi 037009,China)ABSTRACT:Weather forecast data has the characteristics of high similarity and strong correlation.However,it isdifficult to identify mining errors and classification errors.Therefore,this paper puts forward a new method to identifyweather forecast data errors.The radar echo image was divided into several small space regions at first.And then echooptical flow field of each space was solved.After integration,the whole optical flow field measured by Doppler weath-er radar was obtained.Moreover,the correlation coefficients between actual and predicted echoes were used to quanti-tatively describe the correlation between data errors.Combined with the mean absolute error and detection probabilityindex,the analysis results of prediction data error were supplemented qualitatively.Then the identification of predic-tion data error was transformed into the problem of data mining and classification.Based on the concept of superviseddecision tree,a model of error identification model was built.In this simulation,the identification and test of errorwere based on precipitation intensity,position and pattern.Through the verification of error,missing identificationtimes and identification time,it is proved that the designed model has high accuracy of error identification and strongreal-time performance in short-term forecast error identification.KEYWORDS:Radar echo extrapolation technology;Forecast data error;Error identification;Optical flow field;Su-pervised decision tree1 引言强对流引发的灾害性天气1具有变化速度快、破坏性强的特点,其巨大的杀伤性对国民的生命财产安全造成严重威胁,灾害性天气预报技术逐渐成为气象领域的重要研究课题,雷达回波外推技术2应运而生。作为临近天气预报的主要手段,外推技术以多普勒天气雷达探测到的当前回波数据为参考依据,明确回波强度分布与回波体的运动方向与速度,经线性或非线性外推回波体,获取天气变化过程的回波数据。当前较为主流的雷达回波外推技术主要是变分回波跟踪算法3。该算法通过添加两个的约束条件,利用变分技术迭代计算雷达回波运动矢量场,实现强对流天气的临近预994报。对比传统交叉相关法,此算法在命中率、临界成功指数以及虚警率方面具有突出优势,外推预报效果优势显著。当雷达回波稳定性较为理想时,雷达回波外推技术具备精准跟踪回波运动变化的能力,一旦灾害性天气的危险程度呈急剧上升或衰减趋势,外推预报误差将随时间推移直线增加,严重影响制定抗灾决策的合理性。因此,预报数据误差识别是一个具有重大意义与价值的研究方向。利用预报与实际回波的相关系数,定量反映误差相关性,为后续识别奠定理论基础;融合平均绝对误差与探测概率,直观分析预报数据误差情况;应用有监督决策树理念,赋予误差识别描述性。2 基于外推技术的雷达回波光流场分析划分某个时刻的多普勒天气雷达回波图,得到多个小空间区域,假定光流在小空间 中处于恒定状态,其短时内连续帧的回波图像运动呈线性,因此光流目标函数式如下所示E=(x,y)W2(x,y)z(x,y)V+zt(x,y)2(1)式中,zt(x,y)表示 t 时刻像素点(x,y)的雷达回波强度;z(x,y)与 W(x,y)分别是该像素点的回波强度矢量微分值与窗口权值函数,其中,后者与此像素点到中心点的距离呈反比;V 表示像素中心点的光流4。若等式方程组(2)成立,则解得空间 的光流场5,如式(3)所示=z(x1,y1),z(x2,y2),z(xn,yn)TW=diagW(x1,y1),W(x2,y2),W(xn,yn)=-zt(x1,y1),zt(x2,y2),zt(xn,yn)T|(2)E=TW2TW2(3)其中,T 表示矩阵转置因子;、各是空间 的回波强度矢量微分值集矩阵与 t 时刻回波强度集逆矩阵;W指代窗口权值函数集的对角矩阵6;(x1,y1),(x2,y2),(xn,yn)表示小空间 内 n 个像素点的集合。TW2 是一个 22 矩阵,该矩阵中首行的两个列向量各是W2(x,y)z2x(x,y)、W2(x,y)zx(x,y)zy(x,y),末行的两个列向量分别为W2(x,y)zy(x,y)zx(x,y)、W2(x,y)z2y(x,y)。同理,解得各空间光流场。经过整合所有空间的光流场,得到整个回波的光流场。3 平均绝对误差与探测概率指标气象数据种类多样。当待预报对象是降水系统或风场时,则连续帧的回波图像运动在短时内为非线性,若利用以往的线性外推技术来预报数据,就会导致预报与实际的回波位置之间存在显著误差。求算研究区域 O 在同一预报时效下预报雷达回波与实际雷达回波的相关系数,定量反映出两数据间误差的相关性,为预报数据误差识别奠定理论基础。假设实际与预报的雷达回波光流场分别是 f、f,预报初始时间与时效各为 t0、,则采用下列计算公式,即解得预报雷达回波光流场与实际雷达回波光流场在预报时效为 时的相关系数()()=Of(t0+,p)f(t0+,p)dpdtOf(t0+,p)2dpdtOf(t0+,p)2dpdt(4)其中,p 指代雷达回波光流的当前位置7。通过下列微积分公式微分预报时效,获取去相关时间 LL=0()d(5)对由所有光流位置得出的相关系数取平均值,以更好地分析预报与实际光流场数据之间的误差。当两个雷达回波光流场间的相关系数(t)呈指数规律变化时,将去相关时间L 作为指数时间常数,反映所测雷达回波的可预报性8。为使预报数据误差分析更具直观性,结合平均绝对误差MAE 与探测概率 POD 两指标9,10加以定性补充说明,各指标计算公式分别如下所示MAE=1NN=1f(t0+,p)-f(t0+,p)(6)POD=NN+N(7)该式内,N 为雷达回波图像含有的总像素点数量;N、N各指代预报与实际回波像素点的两种共生状态。关于探测概率指标,结合预报结果影响因子产生的预报数据误差,逐个像素点比对预报回波与实际回波。若某像素点的回波值比预设阈值大,则判定其为有效;反之,则判定为无效。故当预报与实际的回波像素点均有效时,该像素点的状态为N;当预报回波像素点无效,实际像素点有效时,其状态为N。4 雷达回波外推技术预报数据误差识别将预报数据误差的识别阶段视为数据挖掘技术11的分类问题,应用有监督决策树理念12,建立出外推技术预报数据误差识别模型。由于预报结果的影响因素除气候条件外,还包含温湿度传感器的距离与角度,故在预报数据特征集合中加入传感距离与角度两指标数据,并按照以下步骤架构预报数据误差识别模型:1)合并所有预报数据特征属性,把所得属性集作为有监督决策树的根节点;2)遍历属性集中各属性的所有分割模式,完成分割点寻优处理。预报数据的属性值个数不尽相同,故应用信息增益率,评估分割点的寻优纯度,以防止确定分割点时偏向多属005性值的属性,降低决策树在误差识别模型中的适用性。信息增益率的计算流程描述如下:已知训练数据集 S 内 m 个属性的集合是 A=a1,a2,am,对应 k 个类别标识的集合为 C=c1,c2,ck,属性集划分数据集 S 为 m 个子集,所得子集的集合是 S=s1,s2,sm,训练集 S 中含有|S|个数据,其中,属性集为 ai(i=1,2,m)的训练数据个数是|si|,类别标识集为 cj(j=1,2,k)的数据个数是|cj|,当属性集为 ai的训练数据里含有类别 cj时,此类数据个数为|cja|;若类别标识集为 cj的发生概率为 P(cj),属性集为 ai的发生概率为 P(ai),属性集是 ai的数据集里存在类别 cj的概率为 P(cj|ai),则各概率的计算公式分别如下所示P(cj)=|cj|S|=freq(cj,S)(8)P(cj)=|si|S|(9)P(cj|ai)=|cja|si|(10)其中,freq 表示重采样频率13。采用下列公式求解各类别的信息熵info(C)=-jP(cj)lgP(cj)=-kj=1freq(cj,S)|S|lgfreq(cj,S)|S|=info(S)(11)利用下列公式计算各类别的条件熵info(C|A)=-jP(ai)iPcjai|lgPcjai|=-mi=1|si|ai|info(si)=infoi(S)(12)结合类别的信息熵与条件熵,推导出类别与属性的信息增益计算公式,如下所示G(C,A)=H(C)-H(C|A)=info(C)-info(C|A)=info(S)-infoi(S)=gain(a)(13)该式内,H(C)、H(C|A)指代类别标识与条件的信息量。经式(14)解得属性集合 A=a1,a2,am 的信息熵后,通过式(15)取得用于评估分割点寻优纯度的信息增益率info(A)=-iP(ai)lgP(ai)=-mi=1|si|S|lg|si|S|=split_info(a)(14)gain_ration(a)=G(C,A)H(A)=G(C,A)info(A)=gain(a)split_info(a)(15)其中,split_info(a)指代分裂信息。3)根据得到的最优分割点,划分属性集为两部分;4)利用第 2)3)步循环划分上步分类的两个部分,待剩余数据无法分割时终止迭代运行。面向所建预报数据误差识别模型,逐个结点统计错误分类次数,将下一叶子节点的错分次数作为当前结点的错分次数,当数值比识别模型预设的容错阈值大时,用任意叶子节点替换该结点并完成标记,以此实现识别模型的修剪与调整。5 仿真设计与结果分析雷达回波外推技术常用来预测降水量,因此选取某区域近七十分钟降雨量的实际数据与外推技术的预报数据作为研究目标,从降水强度、位置以及形态等角度,检验本文模型对预报回波数据误差识别的有效性与实践性。其中,实际降雨量由西北部的地面观测台站测得;预报时效为 10 分钟。图 1 所示为通过多普勒天气雷达14得到的目标区域实际降水与预报降水雷达回波图像。图 1 实际与预报降水的雷达回波示意图5.1 降水强度与位置的预报误差识别效果测试该实验环节中,采用本文模型识别雷达回波图像中降水强度误差与位置误差,得到各预报时效下缺漏识别、错误识别次数以及识别时长,如图 2 所示。由图 2(a)可知,第一次进行降水强度误差识别时未出现缺漏情况,最后一次误差识别时,缺漏与错误识别各自仅发生 4 次;从图 2(b)降水位置的两种无效识别结果可以看105图 2 误差识别效果评估示意图出,前两次均正确识别出了位置误差,且仅发生一次缺漏,最后一次的缺漏与错误识别各是 3 次。较低的无效识别次数说明本文模型融合平均绝对误差与探测概率指标,结合相关系数,定量且定性地综合分析了外推技术的预报数据误差,故识别精度相对较高。根据以上两组指标数据的变化趋势而言,无效识别次数与识别时长均随着时间的推移而大幅上升,这不仅对长期预报的识别精度有着极大的负面影响,而且极有可能发生因识别时间过长而导致模型无法顺利运行的情况。今后将针对该问题展开深入分析与探讨。5.3 降水形态的预报误差识别降水形态包含主、次轴特征长度以及覆盖面积等属性,将三个指标作为实际与预报数据的误差对比项。假设矩阵2即回波图中各像素点与中心的相对坐标集合,利用灰色关联度-主成分分析法15,求解出协方差矩阵 T的特征值1、2,即降水主轴特征长度与次轴特征长度;根据降水区域的雷达回波像素点个数,确定覆盖面积,因维度不同时各像素点的覆盖面积不尽相同,故采用下列计算公式解得降水区域的覆盖面积Q=Nn=1d2wcos(n)(16)该式内,dw表示像素距离,n表示第 n 个像素的维度。经本文识别实际与预报的降雨形态指标数据误差,得出图 3 所示的误差识别效果评估结果。图 3 基于降雨形态的误差识别效果评估示意图从缺漏、错误识别结果以及所用时长可以看出,该模型应用有监督决策树理念,将预报数据误差的识别阶段视为数据挖掘技术的分类问题,且在预报数据特征集合中加入了传感距离与角度两指标数据,因此,对比强度与位置的数据误差识别结果,错误、缺漏识别次数与识别时长均有所减少,具有更理想的识别精度与实时性,但变化发展趋势仍存在一定的消极性。6 结论雷达回波外推技术作为气象灾害的主要预警手段,在短时预报中得以广泛应用。由于当前应用的雷达回波外推技术正处于探索的初期阶段,预报数据仍存在一定误差,故研究一种误差识别方法,以提升外推技术的预报精准度。为综合优化误差识别各项指标,从以下几个角度着手改进:外推预报误差的产生因素除文中所提外,还有回波自身发生形变因素,下一阶段应添加回波增强与减弱趋势,完善模型的误差识别项;应尝试采用神经网络、傅里叶变换等人工智能算法,设计出高准度与高稳定性的雷达回波外推技术,从根本上减小外推预报误差。参考文献:1 刘艳华,曹蕾,白秀梅.灾害天气对黑龙江省高速公路交通安全的影响及精细化防御措施J.自然灾害学报,2019,28(3):214-218.2 张永宏,刘昊,田伟,等.基于 DeepLab v3 的西藏地区降雨云团分割方法J.计算机应用,2020,40(9):2781-2788.3 吴剑坤,陈明轩,秦睿,等.变分回波跟踪算法及其在对流临近预报中的应用试验J.气象学报,2019,77(6):999-1014.4 张能波,苏振斌,谢维信.Lasso 约束下融和光流信息的 DCF 目标跟踪算法J.信号处理,2019,35(5):911-918.5 周静,窦一民,李金屏.基于光流场分割的伪装色运动目标检测J.济南大学学报(自然科学版),2020 34(4):328-334.2056 杭礼辉,葛俊祥,张艳艳.基于奇异值比值的正则化矩阵修正方法J.现代雷达,2019,41(4):54-58+62.7 潘文秀.基于微分方程的大数据分类系统设计J.现代电子技术,2019,42(4):27-30,36.8 覃武,刘国忠,赖珍权,等.华南暖区暴雨预报失误及可预报性探讨J.气象,2020,46(8):1039-1052.9 张晗昀,罗昌荣,崔梦雪,等.利用 AMDAR 数据分析厦门,泉州双雷达三维风场反演误差J.大气科学学报,2020,43(4):699-706.10 郑益勤,杨晓峰,李紫薇.深度学习的静止卫星图像海上强对流云团识别J.遥感学报,2020,24(1):97-106.11 时庆涛,朱兴宇,于超.多光谱图像纹理特征数据挖掘方法仿真J.计算机仿真,2020,37(2):247-250.12 杨慧芳,马毅,刘荣杰,等.服务于赤潮高精度快速检测的决策树 RX 高光谱遥感算法J.海洋科学,2019,43(7):23-31.13 刘文康,景国彬,孙光才,等.基于两步方位重采样的中轨SAR 聚焦方法J.电子与信息学报,2019,41(1):136-142.14 周聪,闵锦忠,戚友存,等.基于线性规划方法处理 C 波段双线偏振多普勒天气雷达差分相位 C 数据J.气象科学,2019,39(5):617-625.15 周林义,钱玮,崔海蓉,等.基于灰色关联度-主成分法的高速公路雾灾评估模型 以沿海高速江苏段为例J.科学技术与工程,2020,20(1):64-68.作者简介郭艳萍(1976-),女(汉族),山西祁县人,硕士,讲师,研究方向:人工智能、深度学习。高 云(1976-),女(汉族),山西大同人,硕士,讲师,研究方向:人工神经网络、深度学习。吕丙东(1963-),男(汉族),山西大同人,统计师,研究方向:智能制造、单片机应用开发。彭 炜(1963-),男(汉族),湖南攸县人,硕士,副教授,主要研究方向:计算机网络、计算机网络安全等。(上接第 316 页)24 Jin Z,Tanaka-Ishii K.Unsupervised segmentation of Chinese textby use of branching entropyC.Proceedings of the COLING/ACL 2006 Main Conference Poster Sessions.2006:428-435.25 周强,俞士汶.汉语短语标注标记集的确定J.中文信息学报,1996,(4):1-11.26Goldberg Y,Levy O.word2vec Explained:deriving Mikolov etal.s negative-sampling word-embedding methodJ.arXiv pre-print arXiv:1402.3722,2014.作者简介邢 玲(1990-),女(汉族),河北省张家口市人,博士研究生,主要研究领域:自然语言处理、人工智能。程 兵(1963-),男(汉族),云南省昆明市人,博士,研究员,博士生导师,主要研究领域:大数据和人工智能、金融工程研究(通信作者)。(上接第 426 页)12 邱宇宸.基于 Actor-Critic 强化学习的倒立摆智能控制方法J.武汉冶金管理干部学院学报,2018,28(04):88-90.13 柯丰恺,周唯倜,赵大兴.优化深度确定性策略梯度算法J.计算机工程与应用,2019,55(07):151-156+233.14刘建伟,高峰,罗雄麟.基于值函数和策略梯度的深度强化学习综述J.计算机学报,2019,42(06):1406-1438.作者简介李凌霄(1997-),男(汉族),河北省邯郸人,硕士研究生,主要研究领域为强化学习。王伟明(1979-),男(汉族),河北省保定人,讲师,硕士研究生导师,主要研究领域为伺服控制技术。贺佳飞(1993-),男(汉族),河北省石家庄人,硕士研究生,主要研究领域为电机控制技术。闻 程(1985-),女(汉族),湖北省武汉人,讲师,硕士研究生导师,主要研究领域为电机控制。305