基于卷积神经网络的监控图像水位识别.pdf

第49 卷第5期2023年10 月D0I:10.3969/j.issn.1004-4701.2023.05-02江西水利科技JIANGXIHYDRAULICSCIENCE&TECHNOLOGY基于卷积神经网络的监控图像水位识别Vol.49 No.50ct.2023王述强1，张?飞？，艾小坚3（1.信江饶河水文水资源监测中心，江西上饶，3340 0 0；2.江西省水文监测中心，江西南昌，330 0 0 2；3.西安电子科技大学，陕西西安，7 10 0 7 1)摘要：基于水尺的水位监测由于其廉价和便携的特点而得到广泛应用。然而，在复杂的实际水文场景中，如何从水尺图像中准确检测水位仍然是一个棘手的问题。本文提出了一种水位测量的复合方法。与传统方法不同，该方法可以从复杂多变的场景中检测出水位的位置和数量，然后从变化的水位中准确地分割出水位线，最终得到准确的水位值。该方法首先通过上下文调整模块改进了FCOS模型，以满足边缘计算的要求，并保证了比较高的检测精度。其次，为了模块化语义关系，应用Deeplab-v3的上下文校正模块来分割水尺图像的水面以上区域，被分割的区域可以用来计算水位线的位置。最后，结合所有的结果来计算水尺图像的水位值。实验证明：本文提出的复合方法，解决了复杂水文场景下的水尺水位计算问题，计算的水位误差已经精确到1厘米，大大优于现有的方法。关键词：水位识别；水文监测；图像分割；深度学习；边缘智能中图分类号：TV214文献标识码：A文章编号：10 0 4-47 0 1(2 0 2 3)0 5-0 32 0-0 7复杂水文场景的检测能力，本文对FOCS和Deeplab-0引言水文监测是许多国家非常重要的研究领域叫，尤其是在河流区域较多的国家。河流在人类生活中起着至关重要的作用，也是洪水的源头。雨季洪水频发，造成大量经济损失和灾害性疾病。据中国国家减灾中心统计，洪水也是2 0 2 0 年的主要灾害，造成2 7 个省32 0 0万人受灾。因此，准确、快速地开展河流水位检测，迅速应对洪涝灾害迫在眉睫。本文引入卷积神经网络来检测水尺和水尺上的印刷数字。然后，使用语义分割模型对水面上的水尺进行分割，得到准确的水位线。前者是目标检测任务。本文采用改进的目标检测模型FCOS2来检测水尺和水尺编号。得到数值相关信息后，下一步就是检测水位线。文章通过在水面以上划分水尺来间接检测水位线。为了实现这一点，本文采用了Deeplab-v3+3,它是一种高效的语义分割模型。为了提升模型边缘计算和模型的对收稿日期：2 0 2 2-11-14作者简介：王述强（19 7 9-），男，工程硕士，助理工程师.v3+加入了上下文融合语义模块，分别将改进后的模型命名为 FCOS-CA,Deeplab-CA。1研究方法1.1水尺及数字区域检测模型本文提出的模型主要是用边缘计算的思想进行部署的。网络需要在确保准确性的同时尽可能小。本文提出的FCOS-CA模型使用ResNet-54作为主干网络。FCOS使用五个不同尺度的特征图进行进一步检测。由于任务是单个目标检测，因此这些不同尺度的特征图是不必要的。模型只使用三个特征图。回归和分类的特征也减少到了3个。采用上述修改后，本文提出的模型在检测精度和模型大小之间达到了平衡。FCOS的骨干网络充分提取了原始图像的语义特征。不同高度的特征图层包含不同层次的语义信息，较低层次的特征包含丰富的图像细节，较高层次的特征包含全局语义结第49 卷第5期构信息 4,5。因此，模型融合了相邻层之间的特征图，以充分保留源图像中的语义信息。基于这个想法，本文提出了上下文融合模块。该模块生成密集的像素级上下文信息，同时提高长连接路径中特征编码的效率。1.2水尺区域分割模型基于卷积神经网络的语义分割已经达到了很高的水平 6.7 ，在智慧水利上也有使用先例，从FPN到Deeplab 系列模型，语义分割的性能不断提升。未来水位识别模型需要在边缘设备而不是计算机上运行，因此模型的大小是有限制的。所以使用ResNet54作为Deeplab 的骨干网络。骨干网络的减少肯定会导致性能下降。为了缓解这个问题，对特征融合进行了改进。考虑到水面以上和以下水尺的分割精度，通过使用上下王述强等基于卷积神经网络的监控图像水位识别文融合模块改进了特征融合的方法，如图1所示。FerturemapFerturemapUpsamplingUpsampling1x1Conv1x1 ConvConvFeaturemap图1特征融合示意图改进后的Deeplab模型结构如图2 所示。3211x1Conv3x3Convrate63x3ConvAtrous Convrate123x3Convrate18ImagePoolingUpsampleby41x1ConvConcat1x1Conv3x3ConvUpsampleby 4图2 改进后的Deeplab结构图1.3水位识别1.3.1水位线提取Deeplab 分割的结果是一个多边形区域。需要提出一种算法来根据多边形计算水位的位置。首先计算该区域的最大包围矩形。为方便起见，只计算垂直矩形框。矩形框的关键是计算左上角右下角坐标。使用该方法来计算这些坐标。水位线提取示意图如图3所示。Observedwaterlevel lineDetected waterlevel line图3水位线检测示意图3221.3.2水位测量FCOS物体检测的结果显示了每个数字的像素坐标，可以计算每个数字之间的距离。水位线的分割结果显示了水位线的像素高度，然后可以计算它与最近数字的距离。FCOS模型的检测结果是矩形框，理想情况下可以给每个图一个矩形框。由于实际水尺背景复杂，FCOS模型的检测精度无法达到10 0%，导致存在漏检或误检的情况。需要利用刻度上数字的分布作为先验信息，即水尺从下到上均匀分布数字0 到9，并对检测结果进行处理，去除错误的检测结果。一个检测矩形代表一个数字区域，矩形左上角和右下角的坐标是已知信息。数字矩形中心的坐标记为h，其中x表示数字个数，而两个相邻检测数字之间的距离用d表示。由于每个数字是等距的，所以两个相邻数字之间的实际距离d可以用下式表示d=nZd.yn的值由数字之间的实际编号距离决定。如果模型只检测到“8 和2 两个数字，则n的值为6。任意一个数字的实际高度，即物理距离为5cm，相邻两个数字之间的实际物理距离为10 cm，即每单位像素高度的实际物理距离。每单位像素高度的实际物理距离表示为：d=d(2)10检测到的最小数x的中心坐标高度为hmin，检测到的水位线高度为hine，则实际水位值可通过以下方程计算：x-(hine-hmin/d,hime hrinx+(hmin-hine)/d,hinehmin2研究结果2.1评价指标本文描述的三个任务使用了不同的评估指标。对于水尺检测任务，本质上是一个物体检测问题，指标为准确率、召回率和均值平均精度。对于水尺区域分割任务，为像素精度和平均交叉合并率。对于水位识别任务，选择包括相对误差和绝对误差在内的指标。精确度和召回率这两个指标由四个基础指标组江西水利科技成，即TP、T N、FP和FN。T P表示正样本被预测为正样本。TN表示负样本被预测为负样本。FP表示负样本被预测为正样本。FN表示预测为负样本的正样本。精度和召回率计算如下。Precision=TP+FPTPRecall=-TP+FV同时，为了综合考虑这两个指标的评价，可以用这两个指标来绘制一条PR曲线，即以准确率为纵坐标，召回率为横坐标，然后是PR曲线所包围的面积，坐标轴可以作为新的测量值。对于单个目标，该指标称为平均准确度。对于多个目标，每个类别的AP平均值计算为mAP。每像素累积(Per-pixel acc）是预测的准确像素数（在分割任务中分割准确的像素数）与总像素数之比。(1)假设有n个类别，预测为i类像素的类像素数用TP表示，预测为类别的i类像素数用FN,表示。然后,Per-pixel acc 的表达式如下式所示：nPer-pixel acc=-i-02(TP+FP)i=02.2数据集由于水尺图像没有公共数据集，本文只在我们的水尺数据集上对其进行训练和评估。大部分水位数据来自江西婺源水文站。我们从该水文站的2 0 个监测点收集了56 0 幅水尺图像。此外，我们还从互联网上下载获得2 0 0 幅水尺图像。还对图像进行几何变换以扩展(3)数据集，包括翻转、旋转、裁剪、变形、缩放等。然后用12类注释量规和打印数字，并将原始图像裁剪为小尺寸。因此，分别使用5.6 K和0.6 K图像创建训练和测试分割。数据集的采样器如图4所示。2.3实验和分析2.3.1水尺及数字检测本文使用自制的水尺数据集对改进后的FCOS模型进行训练和测试，同时也选择了SSD、YO LO v 3目标检测模型作为对比模型。模型的测试结果如表1所示。本文改进的模型表示为FCOS-CA。从表1可以看出,FCOS-CA在三个指标上的良好结果表明该模型能够胜任水位检测任务。2023年10 月TP(4)(5)2TP(6)第49 卷第5期王述强等基于卷积神经网络的监控图像水位识别3232021年01608-16-2021星期-15:51:312021年0 0 月16 日里期16:排：40上精米文吴家站水情监测纯机上烧水文鲜P72012201708-16-2021星期-15:0 8:172821年0 册月16 日里期15152:54P8201308-16-2021星期-15:52:162011图4数据集样本表1不同模型的检测效果检测算法Pression/%SSD77YOLOv378FCOS91FCOS-CA9317:05:402015同时，本文还对水尺水位值识别中的7 个难点场景进行了测试，分别是：反射、风浪、逆光、水体透明度、Recall/%mAP/%72757477858786898月15日星期日19-2 2：0 3夜间补光、脏污和日影。其中部分难点场景检测结果如图5所示，效果较好。2.3.2水尺区域分割使用自制的水尺数据集对本文改进的Deeplab-v3+语义分割模型进行训练和测试，表示为Deeplab-CA。FCN和UNET分割模型也被选为比较模型。不同模2021年0 8 月16 日里期一16-18：40三上烧水文水文P8吴家2015祝蓝测球机图5水尺检测情况型的测试结果见表2。在水尺区域分割的实验结果中，表2 水尺区域分割模型性能对比将分割结果表示为浅绿色区域并叠加在原始图像之上，同时降低原始水尺图像的亮度以获得更可观的可视化测试结果。从表2 可以看出，在推理时间上，虽然Deeplab-CA模型稍慢，分别比UNET和Deeplab-v3+慢0.0 2 s和0.04s，但都有不同程度的提升。Deeplab-CA在三个指标上的良好结果表明，该模型能够胜任水位线分割的则球机算法Pixel Acc/%FCN72UNET+85Deeplab-v3+91DeepLab-CA93mIOU/%Inference time/s750.23780.15820.13850.17324任务。同时，本文还对水尺水位值识别中的七个难点场景进行了测试，分别是：反射、风浪、逆光、水体透明度、夜间补光、脏污和太阳阴影。其中部分分割结果如图6。对于图6 中的倾斜水尺,FOCS-CA模型准确区分江西水利科技了水尺区域上下两部分，也解决了“倾斜”带来的干扰。在水尺区域的分割指标方面，该模型实现了9 2%的像素分割准确率。从可视化分割结果来看,FOCS-CA模型不仅在实际复杂场景中分割效果显着，而且对实际场景中的七种特殊场景也取得了显着的分割效果。2023年10 月17:05:40监测（球机）图6 水尺分割结果2.3.3水位测量实验为了验证水位值识别的有效性，本文采用的评价指标是比较人眼观察到的水位线垂直高度与算法识别的水位线垂直高度的误差。这里的高度是水尺刻度下的高度，即由尺身编号构成的高度。水尺读数示意图如图7。51cm按照绝对误差分为若干范围，统计每个范围的样本结二果占所有样本的比例。该统计结果表明：本文提出的水5cm位识别算法取得了较好的效果。表3水尺测试集水位值识别统计结果误差范围X23528然后选取校园内不同人工湖中背景干扰程度不同的六组位置进行测试，测试结果见表4。表4实际监测点水尺水位测量结果监测点AB30.5031.77+1.270.5X1DE35.0036.9034.5338.53-0.47+1.631X227F65.3078.8065.8778.58+0.57-0.2210H58.9058.38-0.52第49 卷第5期人工读数由七名观察员进行人眼观察读数。对七组水位值数据的每个监测点水位图像，去除最大值和最小值以减少个体偏差引入的误差，最后取平均值作为水位图像的水位值。表4中算法识别值为本文通过算法识别的水位值。其中相对误差为“+”表示算法读数偏大，“_”表示偏小。从校园人工湖实际监测点的水位识别实验可以看出，FOCS-CA算法的识别效果与人工观测结果非常接近，绝对误差大部分在1cm以内，满足水位观测标准的要求。同时，本文测量了七种特殊复杂场景下水尺水位值的识别情况。测量结果见表5。读数人工读数/cm算法识别/cm相对误差/cm王述强等基基于卷积神经网络的监控图像水位识别3结语为了解决真实水文场景中的水位识别问题，本文提出了一种基于卷积神经网络的水位识别组合方法。这种组合方法包括水位数字检测模型、水位区域分割模型和水位线提取算法。实验结果表明，文中提出的方法有效地解决了基于水位图像的水位识别问题。目前的缺点是还不能将该方法应用于嵌入式AI设备。未来，我们将探索解决问题的方法，提高该方法应用效率和识别准确率。表5七种特殊场景下的水位值识别结果统计7种场景倒影逆光34.5047.0034.4646.73-0.04-0.27325夜间补光风浪32.5030.5032.0729.80-0.43-0.70赃污27.0026.00-1.00水体透明77.0075.90-1.11太阳倒影5.004.70-0.30参考文献：1田济扬，刘含影,刘荣华，等.大规模降雨监测数据异常识别方法 中国水利水电科学研究院学报,2 0 2 2,2 0（5)：438-448,463.2 Chen LC,Zhu Y,Papandreou G,Schroff F,Adam H.Encoder-decoder with atrous separable convolution for semantic imagesegmentation J.In Proceedings of the European conference oncomputer vision(ECCV),2018(801-818).3 Park T,Liu MY,Wang TC,Zhu JY.Semantic image synthesiswith spatially-adaptive normalization J.In Proceedings of theIEEE/CVF conference on computer vision and patternrecognition,2019(2337-2346).4 Yu J,Lin Z,Yang J,Shen X,Lu X,Huang TS.Generative imageinpainting with contextual attention J.In Proceedings of theIEEE conference on computer vision and pattern recognition,2018(5505-5514).5 Zhao H,Shi J,Qi X,Wang X,Jia J.Pyramid scene parsingnetwork JJ.In Proceedings of the IEEE conference on computervision and pattern recognition,2017(2881-2890).6 Lin G,Milan A,Shen C,Reid I.Refinenet:Multi-path refinementnetworks for high-resolution semantic segmentation J.InProceedings of the IEEE conference on computer vision andpattern recognition,2017(1925-1934).7许琳娟，曹文洪，刘春晶.基于图像处理的泥沙轮廓提取对比分析 J.中国水利水电科学研究院学报，2 0 15（1)：2 8-33.编辑：张绍付326江西水利科技Water level recognition based on convolutional neural network2023年10 月for monitoring imagesWANG Shuqiang,ZHANG Fei?,AI Xiaojian3(1.Xinjiang and Raohe Hydrological and Water Resource Monitoring Center,Shangrao Jiangxi,334000,China;2.Jiangxi Hydrology Monitoring Center,Nanchang Jiangxi,330002,China;3.Xidian University,Xian Shanxi,710071,China)Abstract:Water level monitoring based on water gauge is widely used due to its cheap and portable features.However,it is still a tricky problem to accurately detect the water level from water gauge images in complex real-worldhydrological scenarios.In this paper,we propose a composite method for water level measurement.Being dfferent fromthe traditional methods,this method can detect the location and quantity of water level in the complex and changingscenes,and then accurately segment the water level line from the changing water level,and finally get the accuratewater level value.Firstly,we improve the FCOS model by the context adjustment module to meet the requirements ofedge computing and ensure a relatively high detection accuracy.Secondly,to modularize the semantic relationships,weapply the contextual adjustment module of Deeplab-v3 to segment the water gauge image above its water surface.Then,the segmented region can be used to calculate the position of the water level line.Finally,we combine all the results tocalculate the water level value of the water gauge image.The experimental results demonstrate that the method solvesthe problem of calculating the water level of the water gauge in complex hydrological scenarios.In addition,the waterlevel error calculated by the method has been accurate to 1 cm,which is much better than the existing methods.Key words:Water level recognition;Hydrological monitoring;Image segmentation;Deep learning;Edge intelligence翻译：王述强(上接第319 页）Graph neural network driven technology for forcasting floods in basinsMA Senbiao(R&D Center of Fujian Zhongrui Network Co.,Ltd.Fuzhou Fujian,350108,China)Abstract:In this study,a graph guided spatiotemporal correlation prediction model(GSCPM)is proposed to solve theproblem of spatiotemporal relationship modeling and lag impact in watershed flood prediction.The model encodes thetime correlation of the historical attributes of each monitoring point through multiple long and short-term memorynetworks(LSTM),then uses graph convolution neural network(GCN)to find the geographic and spatial dependenciesbetween detection points.In addition,we propose rainfall delay features,flood discharge delay features and upstreamwater level delay features to find the lag effects between variables,and perform extensive experiments on real-worldwatershed dataset.The experimental results demonstrate that the GSCPM model is superior to LSTM,RNN and othermodels,which is suitable to be widely used in watershed flood prediction.Key words:Graph neural network;Long and short-term memory network;Feature coding;Delay feature;GSCPM翻译：马森标