基于YOLO V5算法的建筑外立面渗漏红外图像识别方法.pdf

无损检测2023年第45卷第1 0 期54ihm试验研究DOI:10.11973/wsjc202310011基于YOLOV5算法的建筑外立面渗漏红外图像识别方法吴玉龙，王嘉浩?，丁勇（1.昆山市建设工程质量检测中心，昆山2 1 5337；2.南京理工大学理学院，南京2 1 0 0 9 4）摘要：采用深度学习技术中的YOLOV5目标识别算法对红外成像仪中采集到的渗漏区域红外图像进行识别。对于红外渗漏目标而言，不同背景条件、不同时间的红外渗漏目标样本量较少且难以采集，给深度学习模型的训练造成了很大的困难。深度学习需要较多的检测目标数据量进行训练，为了减少对真实渗漏红外图像数量的需求，结合仿真渗漏红外图像与真实渗漏红外图像来制作数据集，作为深度学习的样本进行训练。试验结果表明，所提出的数据集制作与识别方法，对建筑外立面红外图像中渗漏区域的识别准确率达8 7.6%。关键词：建筑外立面；红外图像；深度学习；渗漏识别中图分类号：TU761.11;TP39.141;TG115.28文献标志码：A文章编号：1 0 0 0-6 6 56（2 0 2 3)1 0-0 0 54-0 5Infrared image identification method of building facade leakage based on YOLO V5 algoritWU Yulong,WANG Jiahao,DING Yong?(1.Kunshan Construction Engineering Quality Inspection Center,Kunshan 215337,China;2.School of Science,Nanjing University of Science and Technology,Nanjing 210094,China)Abstract:In this paper,the YOLO V5 target recognition algorithm of the depth learning technology was used toidentify the leakage region of the infrared imager from collected infrared images.For infrared leaky targets,thesample size of infrared leaky targets with different background conditions and different time was small and difficultto collect,which made the training of deep learning model very difficult.In order to reduce the need of real infraredleakage image,this paper combined simulated infrared leakage image with real infrared leakage image to make dataset,train these data set as a sample for deep learning.The experimental results showed that the accuracy of theproposed method was 87.6%for identifying the leakage area in the infrared image of the building facade.Key words:building facade;infrared image;depth learning;leakage identification渗漏是建筑物常见且危害性极大的典型病害，其发展初期在时空上具有随机性、隐蔽性等特征1，通常不易被察觉，一旦发展到后期，将会造成十分严重的后果 2 。如何快速识别并定位建筑物的早期渗收稿日期：2 0 2 3-0 4-2 4基金项目：中央级公益性科研院所基本科研业务费专项资金（Y 32 2 0 0 8）；国家重点研发计划（2 0 2 2 YFC3005502）；国家自然科学基金（51 9 7 9 1 7 4）；国家自然科学基金联合基金项目（U2040221）作者简介：吴玉龙（1 9 8 8 一），男，硕士，高级工程师，主要从事质量检测的相关工作通信作者：丁勇（1 9 7 7 一），男，副教授，主要研究方向为结构健康监测，漏，进而及时、精确地进行除险加固和抢险救灾等工作，是保障建筑物安全的关键 3。目前，用于建筑物渗漏隐患探测的常用手段有人工目测、开挖及钻孔勘测、弹性波探测、温度场探测、同位素示踪和电阻率探测等 4-8 ，但大量工程案例表明，采用单一手段容易造成对建筑物渗漏隐患的误判甚至漏判，极大降低了抢险救灾工作的效率；此外，有些方法还会造成建筑物结构的二次破坏，加快建筑物结构的老化和病变速度，产生更多的次生隐患，随着科技的发展，利用搭载高清可见光相机、红外热像仪等图像采集装置的爬壁机器人、无人机等设备进行扫描巡查，逐渐成为满足工程快速无损检无损检测552023年第45卷第1 0 期无损检测基于YOLOV5算法的建筑外立面渗漏红外图像识别方法吴玉龙，等：测需求的热门检测方法 9 1 1。红外热成像检测技术可通过非接触方式，获取建筑物对热激励的异常响应，实现建筑外立面渗漏的检测识别，近年来被广泛应用于建筑物裂缝检测、输电线路故障检测、野外搜救等领域 1 2 1 6 。随着红外热成像技术的不断发展，红外热成像仪因具有成像距离远、不受昼夜限制等特点而得到了广泛应用，但是渗漏的红外图像具有信噪比低、目标尺寸小、特征不明显等特点，加之场景复杂度不断提升，杂波干扰严重，导致现有的红外渗漏区域识别方法应用于复杂场景时性能衰减。再加上建筑外立面会受材料不同、存在裂缝、存在剥落等因素影响，故如何有效地识别出建筑外立面红外图像中的渗漏区域仍是一大难点。由于红外目标数据集具有保密性强、公开数据集少等特点，没有可供深度学习训练使用的建筑外立面渗漏红外图像数据集，为了减少对真实建筑外立面渗漏红外图像数量的需求，笔者结合仿真渗漏红外图像与真实渗漏红外图像来制作数据集，作为深度学习的样本进行训练。采用特征自适应迁移学习的方法，完成仿真及目标识别。随着近些年深度学习在目标识别领域的不断发展，越来越多算法被不断提出，其中YOLOV5算法具有速度快、准确率高等特点而得到了广泛应用。YOLOV5算法在小目标识别时具有很好的性能，识别目标像素分辨率较小，因此计算量相对较小。笔者以YOLOV5算法为基础进行改进，通过更换特征金字塔网络，降低计算成本，有效完成了建筑外立面红外图像渗漏区域的识别。1基本原理与技术路线为了能够识别建筑外立面红外图像的渗漏区域，通过ANSYS软件仿真生成建筑外立面渗漏红外图像，使用红外热成像仪对建筑外立面渗漏模拟试验进行红外图像采集，将仿真图像和真实图像结合制作建筑外立面渗漏红外图像数据集，用于后续深度学习模型的训练与识别。选用YOLOV5模型进行训练与后续的识别，Focus、C3Ne t 是YOLOV5在骨干网络上采用的主要网络结构。在渗漏识别过程中，目标的尺度可能会存在变化较大的情况，会对识别精度产生一定的影响。特征金字塔可解决此问题，但可能会破坏不同尺度渗漏的特征一致性。而且，在实际应用中，常用的方法很难在保证识别实时性的同时提高多尺度渗漏的识别精度。为了解决模型大小与识别精度不相容的问题，在YOLOV5模型的基础上引人了AAM-FEM-FPN以及自动学习数据增强模块，进一步提高模型的识别性能。将原有的FPN（特征金字塔)结构替换为AAM-FEM-FPN，增加了自适应注意力模块（A A M)和特征增强模块（FEM），以提高识别多尺度目标的能力，并在识别速度和准确率之间做出有效的权衡，在实时识别的前提下，改进了YOLOV5网络的目标识别性能。此外，笔者通过去除原始网络中的mosaicaugmentation（马赛克增强）并根据自动学习数据增强策略使用最佳数据增强方法来丰富数据集并提高训练效果。基于传统特征金字塔网络的架构，AAM-FEM-FPN增添自适应注意力、特征增强两个模块。前者通过减少特征金字塔的特征通道，来规避高级特征映射的上下文信息丢失；后者通过增强特征金字塔的表示，以达到更佳的性能，红外图像渗漏识别技术路线如图1 所示。2基于仿真的渗漏红外图像生成方法使用ANSYS软件制作仿真渗漏区域红外图像，将ANSYS仿真与室内试验和室外试验关联的关键方法包括热特性校准、环境条件模拟、材料特性匹配、外部辐射源模拟和数据对比与验证等。通过校准参数、模拟环境、匹配材料特性和验证数据，可以提高仿真模型的准确性和逼真度。渗漏模型建立ANSYS软件生成红外图像仿真制作建筑外立面渗漏红外图像数据集建筑外立面红外热成像仪迁移建筑外立面仿真图像训练真实图像训练渗漏模拟试验成像学习渗漏区域识别改进YOLOV5模型图1红外图像渗漏识别技术路线基于YOLOV5算法的建筑外立面渗漏红外图像识别方法吴玉龙，等：过程示意如图2 所示，首先在ANSYS-ICEM中建立渗漏模型以及渗漏点（渗漏点可在模型区域内的任一位置），采用的模型尺寸为30 0 0 mm2000mm（长X宽）；渗漏点尺寸为5mm5mm（长宽）。然后根据模型的边建立新的块，并定义块为液体、二维平面类型；接着对模型的边和块的边进行关联操作，并根据渗漏点的位置进行分块操作。随后选择块的边进行节点定义，并对节点数进行调整。最后勾选pre-mesh生成网格并保存模型。Y(a）建立渗漏模型以及渗漏点(b)建立新块并分块(c)生成网格图2渗漏模型建立过程示意使用ANSYS-Fluent导人上述保存的模型，调整好网格比例，并将方向的重力加速度设置为9.8m?s-。接着设置能量方程、边界条件等各项参数，调整迭代次数后开始运算，最后生成仿真渗漏红外图像的RGB图像和BGR图像，以此来表示水温高于坡面温度以及水温低于坡面温度两种情况，ANSYS软件仿真渗漏红外图像如图3所示。3基于试验的渗漏红外图像生成方法基于模拟试验的渗漏区域红外图像生成方法分为室内试验和室外试验法两种，其试验示意如图4所示。562023年第45卷第1 0 期无损检测(a)RGB图像(b)BGR图像图3ANSYS软件仿真渗漏红外图像吊瓶控制器加热装置(主动激励时使用)红外热成像仪图4建筑外立面渗漏模拟试验示意室内试验使用木板代替混凝土墙面，在木板上钻一个小孔，把连接水管的针口固定在小孔上，按一定速度匀速出水，模拟建筑外立面渗漏的情况，再使用红外热成像仪采集渗漏区域红外图像，室内模拟试验的渗漏区域红外图像如图5所示。在开始试验前，先对渗漏区域采集一张还未出水时的红外图像作为参考，然后打开水流控制器，以大约1 mLmin-1的流速匀速出水，每隔1 5s采集一张红外图像。(120)34.1a-b:-0.4(0.98)E=0.92TA=23.4ALM:76.3Z0OM-OFF图5室内模拟试验的渗漏区域红外图像无损检测57基于YOLOV5算法的建筑外立面渗漏红外图像识别方法吴玉龙，等室外试验时，在建筑外立面上固定好带针头的塑胶水管，按一定速度匀速出水，模拟建筑外立面渗漏的情况，再使用红外热成像仪采集渗漏区域红外图像，室外模拟试验的渗漏区域红外图像如图6 所示。13113(120)23.719.0E=0.92TA=26.5ALM:753ZOOH=OFF图6室外模拟试验的渗漏区域红外图像室外环境温度的变化，会使得渗漏水温度和建筑外立面温度出现非常接近甚至相同的情况。如果目标本身具有较大的温度差异，无论是否使用激励，都可能在红外图像中清晰地显示出来；如果目标的温度差异较小，使用激励就可能增加目标在红外图像中的可见性。由于建筑外立面与水的比热容不同，此时可以通过红外激励的方式来增大两者的温差，使得通过红外热成像仪采集得到的渗漏区域图像具有较为明显的特征，红外激励条件下模拟建筑外立面渗漏红外图像如图7 所示。在识别建筑外立面渗漏区域时，使用红外加热灯进行加热，不仅能够扩大渗漏区域的识别时间段，而且能够较大地提高渗漏区域的识别准确率，大大减少漏检的情况，12020.217.2E=0.92月=2 5.7 ALH:78.3Z0Oi=OFF图7红外激励条件下模拟建筑外立面渗漏红外图像不同材料和表面对红外辐射具有不同的反射或吸收特性。符合红外辐射特性的图像能够呈现物体表面的纹理和特征，以及物体或场景中的温度分布差异。热图像常用不同颜色表示温度，从而直观地显示出温度分布情况。将符合红外辐射特性的渗漏仿真红外图像用于深度学习模型初步训练，即可在渗漏仿真红外图像中学习到所需要的渗漏真实红外图像特征信息。通过得到的特征信息，能够优化神经网络各层参数，使得神经网络对建筑外立面红外图像渗漏区域的特征适应能力得到加强，以达到能够高效准确识别建筑外立面红外图像渗漏区域的目的。4外立面红外图像渗漏识别模型及效果对于建筑外立面渗漏红外图像的小样本问题，利用建筑外立面红外渗漏图像中的特征，开发了一种基于YOLOV5算法的外立面红外图像渗漏识别方法。将仿真红外渗漏图像与真实红外渗漏图像结合起来制作数据集，作为深度学习的样本进行训练。试验采用基于pytorch深度学习框架搭建的改进YOLOV5网络，共收集了2 0 9 6 张红外渗漏图像，其中训练集16 7 7 张，测试集419 张。最后，利用真实建筑外立面渗漏红外图像作为验证集进行识别。笔者通过对比准确率、召回率、平均精确率等指标来验证改进后的YOLOV5模型的优点。采用相同的数据集样本，使用当前常用的目标识别主流模型(SSD,Faster-RCNN,YOLO V5)进行训练，不同模型识别结果对比如表1所示，表中精确度是指交并比(IoU)的阈值为0.5时，计算得到的平均精确度，建筑外立面红外渗漏区域算法改进前后识别效果如图8 所示。表1不同模型识别结果对比网络模型准确率/%召回率/%精确度/%SSD73.291.482.3Faster-RCNN78.593.780.9YOLO V584.996.187.8改进后的YOLOV587.696.588.3对比可见，YOLOV5算法在渗漏仿真红外图像的训练条件下具有一定的适应性，并且具有较高的准确率和召回率，平均置信度从改进前的6 8.3%提升到改进后的8 2.6%。结果表明，提出的识别方法在处理真实建筑外立面渗漏区域红外图像时具有较好的识别效果5结语为了减少对真实渗漏红外图像数量的需求，文章创新性地将仿真渗漏红外图像与真实渗漏红外图像进行结合以制作数据集，作为深度学习的样本进行训练，利用改进后的YOLOV5模型实现建筑外立面渗漏区域红外图像的识别功能。试验结果表明，2023年第45卷第10 期基于YOLOV5算法的建筑外立面渗漏红外图像识别方法吴玉龙，等果(120)(120)leakage0.3623.520.1leakage0.76a-b:0.3(0.98)a-b:-0.8(0.98)E=0.92T=2B.1ALM:76.3ZOOM-OFFE-0.92TA=23.7ALM:76.3EOOH-OFF(a)区域一改进前(b)区域二改进前号leakage0.83(120)(120)23.520.1leakage0.81a-b:0.3(0.98)a-b:0.8.98)E=0.92TA=4B.1 ALM:76.320OM-OFFE=O.2TA=257ALM:76.32OOH=OFF(c)区域一改进后(d)区域二改进后图8建筑外立面红外渗漏区域算法改进前后识别效果提出的识别方法对建筑外立面渗漏区域红外图像有较高的准确率和召回率，分别达到了8 7.6%和96.5%。参考文献：1ZHONG,WANG Q M,LIN C,et al.Breaches ofembankment and landslide dams-state of the artreviewJ.Earth-Science Reviews:The InternationalGeological Journal Bridging the Gap betweenResearch Articles and Textbooks,2021,216(1):1-9.2李宏恩，马桂珍，王芳，等.2 0 0 0 2 0 18 年中国水库溃坝规律分析与对策J.水利水运工程学报，2 0 2 1（5）：101-111.3CHEN S S,ZHONG Q M,SHEN G Z.Numericalmodeling of earthen dam breach due to piping failureJJ.Water Science and Engineering,2019,12(3):169-178.4许献磊，孙帅航，孙明浩，等.GPR技术在南水北调工程坝体渗漏探测中的应用J.长江科学院院报，2020,37(10):59-63.5朱德兵.土坝体隐患弹性波探测中的横波优势.地球物理学进展，2 0 0 8，2 3（2）：6 12-6 16.6甘孝清，肖庆，宁晶.土石坝渗流热监测理论研究进展J.长江科学院院报，2 0 14,31（7）：119-12 4.7HIEN P D,VAN KHOI L.Application of isotopetracer techniques for assessing the seepage of thehydropower dam at Tri An,South Vietnam J.Journal of Radioanalytical and Nuclear Chemistry,582023年第45卷第10 期无损检测1996,206(2):295-303.8李文忠，肖国强，孙卫民，等.长江堤防土电阻率测试及其与含水率和密实度的相关性研究J.长江科学院院报，2 0 19,36(10)：131-134.9龚起民.车载式隧道表面图像采集与病害检测技术D.北京：北京交通大学，2 0 2 0.10杨玥曼，闫维新.基于图像处理的爬壁机器人焊缝识别与跟踪J.机械与电子，2 0 2 1，39（3）：6 5-6 8，7 4.11孙保燕，陈文.三维激光扫描和红外检测融合技术的工程应用J.长江科学院院报，2 0 2 0，37（2）：17 0-173,178.12余阳，赵海龙，韩来君.基于红外热成像的山火识别技术研究J.现代电子技术，2 0 17，40（2 4）：7 7-7 9，8 4.13KYLILI A,FOKAIDES P A,CHRISTOU P,et al.Infrared thermography（IR T）a p p l i c a t i o n s f o rbuilding diagnostics:a review JJ.Applied Energy,2014,134:531-549.14BALARAS C A,ARGIRIOU A A.Infraredthermography for building diagnosticsJJ.Energy andBuildings,2002,34(2):171-183.15JADIN M S,TAIB S.Recent progress in diagnosingthe reliability of electrical equipment by using infraredthermographyLJJ.Infrared Physics&Technology,2012,55(4):236-245.16NAZMUL HUDA A S,TAIB S.Application ofinfrared thermography for predictive/preventivemaintenance of thermal defect in electrical equipmentJ.Applied Thermal Engineering,2013,61(2):220-227.