基于嵌入式边缘计算的智能视频水位在线测量.pdf

吴婷1，2，褚泽帆1，2，孙勇3，丁超4（1.水利部南京水利水文自动化研究所，江苏 南京 210012；2.水利部水文水资源监控工程技术研究中心，江苏 南京 210012；3.高邮市水利局，江苏 扬州 225600；4.江苏省鸿源招标代理股份有限公司，江苏 南京 210019）摘要：研制了基于嵌入式Linux操作的边缘计算终端，推动系统由自动化向自主化发展，研究国内领先的AI图像识别技术，通过水尺自动定位算法进行水位识别，白天、夜晚水尺刻度清晰可见，根据视频图像法测水位在水库、灌区等应用中的特点，不断优化完善算法。关键词：边缘计算；嵌入式开发；形态学处理；Hough变换；畸变校正中图分类号：TP391文献标识码：B文章编号：1007-7839（2023）08-0055-0006收稿日期：2023-02-02基金项目：江苏省水利科技项目（2021070）作者简介：吴婷（1992），女，工程师，硕士，主要从事图像处理与模式识别研究工作。E-mail：wuting_基于嵌入式边缘计算的智能视频水位在线测量Research on intelligent video water level online measurementbased on embedded edge computingWU Ting1,2,CHU Zefan1,2,SUN Yong3,DING Chao4（1.Nanjing Automation Institute of Water Conservancy and Hydrology,Nanjing 210012,China；2.Rearch Center on Hydrology&Water Resources Monitoring,Nanjing 210012,China；3.Water Conservancy Bureau of Gaoyou City,Yangzhou 225600,China；4.Jiangsu Hongyuan Bidding Acting Co.,Ltd.,Nanjing 210019,China）Abstract:The edge computing terminal based on embedded Linux operation is developed to promote thedevelopment of the system from automation to autonomy and to study the leading AI image recognition technology inChina.The water level is recognized through the automatic positioning algorithm of the water gauge.The scale of thewater gauge is clearly visible during the day and at night.According to the characteristics of the application of thevideo image method to measure water level in reservoirs and irrigation areas,the algorithm is constantly optimizedand improved.Key words:edge computing;embedded development;morphological processing;Hough transform;distortioncorrection目前测量水位的传感器存在的主要问题有：产品的使用寿命有限、测量易受温漂和时漂影响等，且不具有远程监控的能力。面对山洪灾害点多面广、突发性强、防御困难，洪水暴涨暴落、漂浮杂物多，接触式仪器易损毁、无法正常施测、安全风险大，水情、工情信息的准确性和时效性都不能满足信息化的要求1。另外，有些采用视频监控查看水位的站点，大多只用了视频的实时浏览、录像和回放功能，没有最大限度地发挥现有监控系统的作用，还需通过人工实时查看和记录，不仅耗费一定的人力物力，并且事后很难对数据进行校对，存在很大的局限性2-3。江苏水利JIANGSU WATER RESOURCES水利信息化552023年8月Aug.202355近年来针对农业灌区、江河湖泊水系、水利工程设施水利管理活动的高清视频点建设正逐渐展开，未来将逐步实现部、流域、省、市、县等视频监控的多级互联，使得高清视频监控成为一种泛在（数量多、分布广、密度高）、低成本的传感器类型监控。“十四五”期间推进智慧水利建设实施方案提出以数字化、网络化、智能化为主线，加快构建智慧水利体系，研发图像与视频智能识别模型，实现汛情监测、预警，智能分析、预测汛情发展，为防汛指挥调度的科学决策提供关键支撑4-7。本文提出以嵌入式Linux操作系统为平台，实现边缘计算，对设备进行控电，降低设备功耗，以边缘计算的形式在终端进行算法模型的处理及故障诊断，让系统由自动化向自主化研发转变，方便维护，节省流量，提升产品的稳定性。开发嵌入式WEB浏览器，结合虚拟局域网技术，实现远程参数设置、远程程序升级，支持实时查看设备运行状态，方便远程故障维护。通过设计多特征提取、多滤波算法融合、图像修复技术等图像处理算法，提高水位识别算法的兼容性，有效解决复杂环境下对水尺水位识别的影响问题，提升水库水位的识别精度。1基于嵌入式的边缘计算终端研制基于ARM架构Cortex-A系列多核处理器及嵌入式Linux 操作系统，通过网络、串口等接口电路设计，结合Linux 内核裁剪、根文件系统及驱动程序编译，研制边缘计算终端，系统功能模块化设计，支持视频图像识别模型的边缘计算，有效缓解网络宽带压力及降低流量开销，同时内置能耗管理系统，通过自适应调频降低终端功耗，并对功耗较大的接入传感设备进行控电，降低系统整体功耗。通过选型核心板，自行设计硬件接口电路，选用i.MX6Q作为边缘计算终端的核心处理器，其计算性能高达12000DMIPS，配置1G RAM，8G ROM，采用自适应调频方式，以降低系统整体功耗。总体架构见图1。图1总体架构2嵌入式WEB浏览器开发基于嵌入式BOA、Sqlite、SSH等技术，结合TCP/IP等信息传输技术，开发界面化嵌入式浏览器，如图 2 所示。实现功能和接口软件化配置，对接入传感器进行统一集中管理，支持远程故障诊断，实现远程程序升级及远程时钟校准等，减少人工现场运维。3视频水位在线监测的有效识别方法3.1水位识别的总体算法框架本文采用C+语言对水位识别的图像处理软件部分进行研究与设计，包括水尺区域定位、水尺倾斜校正、水位线提取等软件模块的设计。具体的软图2嵌入式界面56江苏水利2023年8月56件设计流程，如图3所示。第一步，将采集到的水尺图像进行灰度化、形态学增强的处理，以增强水尺部分的对比度；第二步，结合水尺边沿具备的直线特性，运用一种形态学和Hough变换8相结合的方法定位出水尺区域，解决了自然场景下运用单一定位技术无法精确定位水尺的问题；第三步，针对图像中水尺不同程度的倾斜而导致水尺字符形变而难以识别的问题，在Hough变换提取直线的基础上进行倾斜角度的检测，并运用坐标变换完成了水尺的倾斜校正；第四步，对二值化图像水平投影，明确水尺与水体部分、背景的分界线来定位水位线。此方法在自然场景中的鲁棒性能更好。3.2图像预处理由于原始彩色图像中的其他景物可能与水尺的颜色较为近似，所以仅仅依靠颜色进行水尺定位的方法的鲁棒性能会比较差。因此，首先将图像进行灰度化处理，如图4所示。在实际情况中，系统采集的原始水尺图像会受到各种客观因素的限制和干扰，容易造成图像细节分辨不清，图像灰度较为集中，水尺与背景的差别较小，这将直接影响到后续的处理。为了将水尺与背景更准确地分离开来，需要增强水尺与背景的对比度。本文采用形态学增强的方法进行处理。运用形态学技术进行图像增强的思路是：首先采用形态学方法中的开运算进行背景图像的提取，然后从原始图像中减去背景图像，从而实现水尺图像的增强效果。通过多次试验和对比分析，对图4选择的结构元素为半径为100 px的圆盘。提取的背景图像如图5（a）所示，处理后的图像如图5（b）所示，水尺与背景的灰度区别比较明显。3.3水尺区域定位算法经过多次实践，本文设计了一种形态学和Hough变换相结合的水尺定位算法。该算法首先根据水尺刻度的边缘特性对灰度图像进行边缘检测；其次利用形态学的腐蚀运算、闭运算、连通量提取技术实现水尺的初步定位；由于初步定位的水尺区域并不精确，于是再根据水尺左右两边沿明显的直线特性，运用Hough变换技术检测左右边沿的直线，实现了水尺的精准定位。考虑噪声抑制、河流环境以及水尺的形状特图3水位识别总体流程图4图像灰度化图5图像增强的效果第8期吴婷，等：基于嵌入式边缘计算的智能视频水位在线测量5757性，选用Canny算子进行边缘检测，可以较为完整地检测出水尺的边缘轮廓，效果如图6所示，运用高斯滤波器能够有效抑制噪声和平滑图像，同时利用双阈值的特性抑制噪声和平滑图像，同时利用双阈值的特性较为精确地检测出边缘，该算子的计算公式如下：fx(x,y)=f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)/2（1）fy(x,y)=f(x,y+1)-f(x,y)+f(x+1,y+1)-f(x+1,y)/2（2）某些边缘图像中除了水尺部分的边缘之外，还有很多无用的边缘。同时，水尺刻度边缘依旧存在不连续的地方，本文对边缘图像的形态学处理步骤如下：（1）形态学腐蚀。首先运用形态学腐蚀的方法滤除边缘图像中无用的边缘，选取的腐蚀结构元素是 1；1；1 的垂直结构元素。经过形态学腐蚀之后图像中的水尺边缘信息和字符串边缘信息被保留了下来，而其余的大部分无用的边缘被滤除。（2）形态学闭运算。然后运用形态学闭运算的方法融合图像中的水尺部分，选取的膨胀结构元素是5050的矩形结构元素，经过闭运算之后边缘二值图像变成了由多个连通域组成的二值图像，其中水尺部分以及左下角和右上角的字符串区域都已成为单独的连通区域。（3）连通量特征提取。最后运用形态学中连通量特征提取的方法保留水尺部分的连通量。通过多次试验观察可知，在所有长大于宽的连通量中，水尺区域连通量的面积是最大的，本文根据此特征采用8-邻域连通量分析方法保留最大的连通区域，本文对图6的边缘图像进行形态学处理的效果如图7所示。3.4水位线的提取通过大量试验可知，单单使用形态学无法精确地定位出水尺区域。针对这样的情况，本项目结合水尺左右边沿鲜明的直线特征，在形态学初步定位的基础上通过Hough变换的方法检测水尺两边的直线，实现进一步的精确定位。Hough 变换检测直线的基本原理是：已知在参图6Canndy边缘检测图7图像形态学操作效果数平面（x，y）中，直线的公式可以表示为y=kx+b（3）式中，k为斜率，b为截距。因此将参数平面从（x，y）转换到（k，b）后，原参数平面上的一条直线y=k0+b0便对应于（k，b），平面上的一点（k0，b0）；相同的，在参数平面（k，b）上的一条直线对应于参数平面（x，y）的一个点，这样就构成了参数平面之间的点线对偶关系。但为了避免出现直线斜率无穷大的情况，因此在Hough变换中采取（，）作为新的参数平面，其量化形式为=xcos+ysin（4）式中，为原点到直线的间距，为原点到直线垂直线与x轴的倾斜角度。因此，（x，y）平面上的一条直线便对应（，）面上的一个点（0,0），而在（，）平面上经过（0,0）的每一条直线或曲线都对应于（x，y）平面的一个点（x0，y0），这样的转换关系如图8所示。在得到上述的转换关系后，将线提取问题转换为计数问题，处理步骤如下：首先将（，）平面量化成多个小单元，每个小单元等同于一个累加器，然58江苏水利2023年8月58后对于每个边缘点（xi，yi），将每个量化值代入公式（4），计算得到对应的，并使对应的累加器加1。当完成对所有边缘点的变换后，测试所有累加器，累加和满足阈值的小单元就对应（，）平面上的共线点，此时对应于小单元的参数（，）就是图像中直线的参数。图9（a）为初步定位的水尺图像，需进行进一步的精确定位，除去多余的背景部分。根据Hough变换的原理，提取水尺左右边沿的两条直线，沿该两条直线进行裁剪即可得到精确定位的水尺图像，如图9（b）所示。因为镜头角度等原因，容易导致水尺出现倾斜、变形等情况，根据水尺图像的“平直性”和“平行性”对图形进行透视畸变。通过Hough变换已经检测出水尺的竖直边沿的倾斜角度1，因此只需要运用Hough变换检测出水尺横边沿对应的倾斜角度2即可。首先对精确定位的水尺区域灰度图进行边缘检测,然后运用Hough变换选取最长的水尺横线并求得对应的参数角度，最后根据角度换算求得横线与x轴的倾斜夹角2。在获得水尺的倾斜角度1和2之后，本文采用坐标变换的方式对图像进行倾斜校正。考虑到图像倾斜的不同情况，因此本文对图像采取一种比较全面的校正策略，具体如下：假设水尺图像既发生了旋转倾斜也发生了错切倾斜，首先选取1作为图像的旋转倾斜角度并对图像进行旋转倾斜校正；然后选取2作为图像的错切倾斜角度并完成对图像的错切倾斜校正。对畸变校正后的图像就行二值化水平投影，分割出水尺顶部背景和水体部分，从而定位出水位线的位置，如图10所示。取48个样本图像中系统识别的水位数据和人工观测的水位数据进行误差汇总绘图，如图11所示。系统测算出的水位数据和人工观测的水位数据之间的平均误差为+0.01 m，整体误差较小，水位识别技术具有较强的稳定性。4结语本文按照“需求牵引、应用至上、数字赋能、提升能力”的要求，以数字化、网络化、智能化为主线，以数字化场景、智慧化模拟、精准化决策为路径，认图8Hough变换空间图9精确定位水尺图10提取水位线第8期吴婷，等：基于嵌入式边缘计算的智能视频水位在线测量5959真落实数字中国战略，加强新一代信息技术与水利业务深度融合。基于嵌入式边缘终端进行图像识别、水位识别，通过4G无线通信技术、TCP/IP协议及信息传输安全加密算法，直接将水位、图片等水文信息传输至中心站，并实现远程程序升级及参数配置的功能，适用于河流、湖泊、水库、灌区等水域的水位或积水深度监测，有效促进视频监控和水利行业相融合，实现了水位在线监测的无人值守，具有可视化、成本低、高智能等优点。参考文献：1 仲志远.一种基于图像识别的水位测量算法 J.国外电子测量技术，2017，36（6）：96-99.2 程高庆.基于数字图像处理的水位标尺识别研究 D.广州：华南理工大学，2017.3 周衡，仲思东.基于视频图像的水位监测方法研究 J.半导体光电，2019，40（3）：390-394，400.4 胡国宝.基于图像处理的船舶吃水检测系统的研究 D.武汉：武汉理工大学，2015.5 徐志康，冯径，张之正，等.WaterLevelEstimationCombinedwith Convolutional Neural Network J.小型微型计算机系统，2019，40（4）：793-797.6 张振，周扬，王慧斌，等.标准双色水尺的图像法水位测量 J.仪器仪表学报，2018，39（9）：236-245.7 杨振宇，李 坚，陈静姝.图像识别技术在水位监测中的比测分析 J.水资源研究，2020，9（2）：8.8 MUSTEM，HOHC，KIMD.Considerationsondirectstreamflow measurements using video imagery：outlook andresearch needs J.Journal of Hydro-environment Research，2011,5(4):289-30.图11误差汇总（上接第50页）60江苏水利2023年8月水位进行累计频率分析，河口水位达到和超过6.7 m的天数共计29 d，占汛期总天数的0.56%。作为超标准洪水应对措施启用概率较低，涉及区域基础设施较少，在河口水位达到6.7 m且预测24 h将达到7.29 m时启用是可行的。4结语研究表明，在河口水位达到6.7 m时启用升平荡、三塔荡、南渡荡滞洪，作为湖西区超标准洪水应对措施，对于降低南河沿线水位，提高南河上游防洪标准，降低圩区受淹风险都有较好的效果。若遭遇100年一遇降水，可将溧阳站水位降低0.1 m，遭遇2016 年型降水，溧阳水位最大降低0.18 m，可以极大缓解溧阳防洪压力。升平荡、三塔荡、南渡荡滞洪作为超标准洪水应对措施，启用概率较低，涉及区域基础设施较少，影响程度相对较小。参考文献：1 吴娟，林荷娟，姜桂花，等.太湖流域超标特大洪水风险预警系统建设及应用 J.河海大学学报（自然科学版），2023，51（2）：164-170.2 高玮志，高华勇，王兆礼，等.基于机器学习的太湖流域多层次防洪调度方案综合评价 J.水资源保护，2023，39（3）：118-125，236.3 杨帆，周钰林，范子武，等.苏南运河沿线精细化水文-水动力模型构建及验证 J.水利水运工程学报，2020（1）：16-24.4 孙文宇，姚成，刘志雨，等.秦淮河水文水动力模型及实时校正 J.河海大学学报（自然科学版），2022，50（4）：26-33.5 王蔚，董增川，崔璨，等.基于洪水资源化的洪泽湖后汛期蓄水策略 J.水资源保护，2023，39（2）：168-179.6 张建云，王银堂，贺瑞敏，等.中国城市洪涝问题及成因分析 J.水科学进展，2016，27（4）：485-491.7 林鹏，陈启慧，李琼芳，等.环太湖各水资源分区入出湖水量及贡献分析 J.水资源保护，2021，37（3）：66-73.8 孙继昌.河长制河湖管理与保护的重大制度创新J.水资源开发与管理，2018（2）：48-54.60