基于深度学习的桥梁裂缝识别系统_邓悦.pdf

2023.7电脑编程技巧与维护1概述随着交通系统的不断完善，桥梁的使用时间和频次都不断提高1。桥梁耐久性和安全性非常重要，桥梁检测2和维护是不可或缺的工作。桥梁最普遍的早期可预测的损害是可见裂缝3，但传统的检测方法成本高、精度小，随着计算机性能的不断进步和机器学习的飞速发展，完全可以用基于深度学习的卷积神经网络的方法4进行检测。2桥梁裂缝识别系统原理2.1MobileNetV2针对MobileNetV1版进行升级，开发了V2版本，V1版本的闪光点是深度可分离卷积。在MobileNetV25版本中，它在深度可分离卷积的基础上引入了残差结构及线性瓶颈结构。MobileNetV1与MobileNetV2对比图如图1所示。如图1所示，线性瓶颈层就是从普通瓶颈层中去掉了最后一个非线性激活函数。传统残差结构在通道维数的设定上，先减小后增大。MobileNetV2在设定通道维数时，选择先增大后减小的方式。通过增大通道数，确保可以提取到更多的特征，使模型在参数量、计算时间和性能之间达到了平衡。深度可分离卷积在计算量上与标准卷积是有很大差别的。在输入与输出图像尺寸相同的前提下，输入与输出的特征图的高度和宽度为DF，输入特征图的通道数为M，输出特征图的通道数为N，DK表示卷积核的长和宽。假设输入特征图的大小是DFDFM，而输出特征图的大小是DFDFN，其中，DF为宽度和高度，提前假定两个是相同的。对于标准的卷积DKDK，其计算量如公式（1）所示：C1=DKDKMNDFDF（1）而对于深度卷积，其计算量如公式（2）所示：a=DKDKMDFDF（2）逐点卷积计算量如公式（3）所示：b=MNDFDF（3）所以深度可分离卷积总的计算量如公式（4）所示：C2=a+b=DKDKMDFDF+MNDFDF（4）可以比较深度可分离卷积和标准卷积，如公式（5）所示：（5）如果用33的卷积核，深度可分离卷积可以比标准卷积的计算量降低约9倍，且N比较大，减少的参数量会更多。2.2迁移学习迁移学习的提出主要是基于神经网络的学习，是在监督学习和强化学习之后一种新的机器学习方式。相比基于深度学习的桥梁裂缝识别系统邓悦，孙源，汪骁虎（西藏大学信息科学技术学院，拉萨850032）摘要：随着桥梁基础设施建设逐年发展，桥梁裂缝的检测愈发重要。近年来，卷积神经网络的出现能够弥补传统检测方法的缺陷，大大提高了工作效率。针对以上问题，分析并搭建了基于深度学习的桥梁裂缝识别系统。通过清洗数据、调整参数、提高图片分类识别的准确率、降低损失函数，最终准确率达到 96%以上。关键词：卷积神经网络；裂缝检测；图像分类图1MobileNetV1与MobileNetV2对比图33深度卷积批量标准化ReLU611逐点卷积深度可分离卷积MobileNetV111扩展层11投影层线性瓶颈结构MobileNetV2ReLU6ReLU6批量标准化33深度卷积ReLU6批量标准化批量标准化ReLU6121DOI:10.16184/prg.2023.07.0442023.7电脑编程技巧与维护于传统的机器学习方式，可以从已有的网络模型出发，采用多任务目标学习的方式进行学习，可以迁移已有模型的样本、特征、参数、模型、关系等，加快机器学习的速度及提高学习的准确度。通过迁移学习，能够获得具备一定的图片理解能力的训练模型，模型最后输出层的作用是对前面已经训练过的图片进行分类，将最后一层替换成了服务于当前任务的输出层，在保持理解不变的前提下只训练新的输出层，前面神经层的庞大参数不需要更深层次的训练，节省了大量的时间。3图像数据处理进行模型训练需要的桥梁裂缝图像数据集，因为MobileNetV2网络对数据集中的图片有一定的要求，所以需要对数据集中的图像进行改变大小和标注标签等预处理操作。在此的数据集是混凝土表面的图像，考虑到光照强度、清晰度等影响因素，将裂缝图像手动分类，分别是横向裂缝、纵向裂缝、斜向裂缝、网状裂缝、无裂缝共2 345张原始裂缝图像。并给每类打上标签。例如，将无裂缝图像命名为“0_xxx”、横向裂缝命名为“1_xxx”以此类推。在搭建的Mobilenetv2网络中要求输入图像的大小为（256256）。利用程序，将这些图像的尺寸调整为固定的大小之后，再将所有像素值都进行标准化，如图2所示，使得像素值的变化范围都在01之间。4总体设计4.1深度学习模型搭建（1）对裂缝图像进行预处理。将图像大小调整为256256。为了避免图像在缩放步骤中的变形，采用0像素将图像的长宽比填充为11，然后对图像进行缩放。（2）模型迁移。利用预训练模型加载参数，然后对模型参数进行微调。设计选取MobileNetV2模型作为预训练模型。所用的导入函数如下：mobile_net=tf.keras.applications.MobileNetV2()（3）调整模型中的参数。在不需要的更新层中把学习率调低或直接冻结；在特征提取的过程中，为了进一步提高性能，除在MobileNetV2的基础模型上训练若干层外，还需要调整模型的顶层参数。（4）对MobileNetV2模型的训练：设置epoch的数值，观察模型的正确率。刚开始训练预训练模型时，训练集和验证集的正确率和损失函数都是随着训练epoch的数值变化而变化。（5）训练测试。利用划分的裂缝图像训练集对网络进行训练，使用划分的裂缝图像测试集测试模型的准确率。4.2页面和模块搭建设计主要采用了TensorFlow+Django来实现裂缝图片分类系统。Django是基于MTV构造的框架；M-mod-el指业务对象转换成数据库对象；T-template指文件；V-view指处理界面显示。用tensorflow搭建MobileNetV2的深度神经网络架构模型网络，利用搭建一个Django项目与卷积神经网络结合来实现裂缝图片分类系统。Django搭建页面的内部关系图如图3所示。（1）裂缝图像识别模块。此功能主要面向客户端用户，图像识别功能是基于MobileNetV2裂缝识别系统的核心功能。裂缝识别系统从服务器端读取用户上传的裂缝图像，然后调用基于MobileNetV2的模型对裂缝图像进行识别，将识别结束的裂缝图像保存到服务器端，同时将该裂缝图片返回到前端进行展示，最后以文字和图片相结合的方式向用户表明准确的分类结果。该功能的流程图如图4（a）所示。图2标准化像素图3Django搭建页面的内部关系图图4流程图Models数据库将数据返回给视图到Model中取数据模型View.py视图把要展示的数据返回给模板视图根据URL匹配相应的视图函数Template模板模板就是HTML文件模板URL控制器通过页面访问URL用户控制器（a）（b）开始上传图片否图片格式是否正确是图片预处理特征提取图像分类预测输出图像识别结果结束开始管理员登录输入用户名和密码密码是否正确否是后台管理界面修改数据库中的数据数据更新保存结束1222023.7电脑编程技巧与维护（2）扩增数据功能模块。此项功能主要面向管理端用户，系统管理员可以将裂缝信息增加到数据库中，使界面更完整也更丰富，也可对已有的数据进行增、删、修。此功能主要是为数据集采集时可能存在的不足和纰漏保留了弥补的机会，保证了系统的完整性、准确性和先进性。该功能的流程图4（b）所示。5测试结果5.1MobileNetV2 的裂缝识别模型设计通过迁移学习实现图像分类处理，最后通过清洗数据、调整参数、提高图片分类识别的准确率，降低损失函数，最终准确率达96.8%以上。模型训练结果如图5所示。在训练模型过程中，Keras可以将模型保存为“.h5”文件。这样可以方便地恢复和重用模型，节省其训练的时间。对其训练结果进行保存，将最佳的网络封装成“best.h5”文件。5.2图像上传页面系统核心的功能是图像识别，用户将待识别的裂缝图像从本地上传至服务器，结合MobileNetV2的裂缝识别模型，通过前后端交互的方式，检测得出该图像中裂缝的种类，以文字和图片结合的方式表明准确的分类结果。从系统用户的角度，系统应实现的功能是图像上传功能。单击选择图片时，计算机会弹出文件夹，如图6所示。可以在对话框中选择自己想要检测识别的裂缝图像后，单击“打开图片”按钮即可。选中的图片会被保存在后端的文件夹中，便于与卷积神经网络结合，确保最后能识别出裂缝的类别。5.3分类结果显示页面选中图片，将图片上传后，单击“种类识别”按钮，结果如图7所示。当单击“种类识别”这个按钮时，后端的程序开始加载搭建好的卷积神经网络，得出识别后的结果，找到匹配的数据库，输出相对应的内容，便于用户查看。6结语桥梁裂缝的检测是预防桥梁坍塌的重要环节，能快速对裂缝的识别系统进行设计很有必要。用户可以通过“打开”对话框中的图像来预测裂缝的有无，并且进行分类处理。在系统设计开发过程中，前端和后端的设计开发是分开的。使用前端技术显示后端结果不仅方便用户使用，还可以为用户提供一个简单易用的平台，显示的信息也会更加清晰有条理，方便用户进行阅读和浏览，体验感更好。在进行前端设计时，注重用户与界面交互的便捷性和实用性，用户通过单击相应的按钮，上传需要检测的图片后，再单击“种类识别”按钮，结果就能显示出来；在进行后端设计时，重点关注逻辑的流畅度和卷积神经网络训练的准确率。在分类模型的选择上，采用了基于MobileNetV2的裂缝识别模型。通过迁移学习，搭建出了深度学习网络，实现了裂纹图像的高效准确分类，实现了96.3%的正确率，最后将训练好的神经网络封装成“best.h5”文件，方便前端调用。这个网络取得的主要成果是，将图片输入裂缝图像系统之后经过识别，再将裂缝的名称、维护方法、修补建议、裂缝产生的原因展示给用户。该系统的操作简单易学，让普通用户可以快速识别裂缝类型并给出修补意见，以提高效率、节省时间。参考文献1李中远.基于深度学习的道路裂缝检测与识别D.青岛:山东科技大学,2020.2马卫飞.基于深度学习的桥梁裂缝检测算法研究D.图5模型训练结果图6选择图片图7图片识别结果图(下转第153页)1232023.7电脑编程技巧与维护西安:陕西师范大学,2018.3吕坚.基于深度学习的路面裂缝检测方法研究及实现D.南京:东南大学,2019.4张丹丹.桥梁风险评价算法与健康监测软件研究D.西安:长安大学,2019.5MOYAZZOMA R,HOSSAIN Md A A,ANUZ Md H,etal.Transfer learning approach for plant leaf diseasedetection using CNN with pre-trained feature extrac-tion method MobileNetV2 C.2021 2nd InternationalConference on Robotics,Electrical and Signal Process-ing Techniques(ICREST).IEEE,2021:526-529.双层头发高光特性增进了头发的真实质感，同时，风格化的高光渐变让头发的卡通化程度更高；面部阴影算法能够很好地适配平面化的脸部模型，并渲染形状高度可控的阴影形状；眼球折射算法与反射算法能够模拟真实感特性，开销更小，高效地模拟了皮肤的次表面散射、散射光漫反射、光线透射、高光等特性。5结语虚拟数字人是元宇宙领域的重要分支。在此提出结合卡通渲染与仿真渲染的虚拟数字人实时渲染方法，获得了兼具艺术风格与物理特性的渲染效果，且满足实时渲染的需求。参考文献1SLOAN P P J,MARTIN W,GOOCH A,et al.The litsphere:A model for capturing NPR shading from artC.Graphics interface,2001,2001（6）:143-150.2TODO H,ANJYO K,BAXTER W,et al.Locally con-trollable stylized shading J.ACM transactions ongraphics(TOG),2007,26(3):17-es.3KAJIYA J T,KAY T L.Rendering fur with three di-mensional textures J.ACM siggraph computer graph-ics,1989,23(3):271-280.4FRANOISG,GAUTRONP,BRETONG,et al.Anatomi-cally accurate modeling and rendering of the humaneye J.2007.5PENNER E,BORSHUKOV G.Pre-integrated skin shad-ing J.Gpu Pro,2011,2:41-55.6谢伙生,林晶,陆泽萍.基于可编程GPU的光照模型实验案例设计J.实验技术与管理,2019,36(11):128-132.7蒋研.基于着色器的卡通实时渲染技术研究D.成都:电子科技大学,2009.8HEIDRICH W,SEIDEL H P.Realistic,hardware-ac-celerated shading and lighting:Proceedings of the 26thAnnual Conference on Computer Graphics and Inter-active Techniques C,1999:171-178.9栾小雨.基于CG的Shader技术研究与应用D.杭州:中国美术学院,2016.10 GREENE N.Environment mapping and other applica-tions of world projections J.IEEE computer graph-ics and applications,1986,6(11):21-29.图5面部阴影渲染效果图6眼球渲染效果图7皮肤渲染效果(上接第123页)153