基于计算机视觉的建筑结构位移鲁棒性测量.pdf

信息通信基于计算机视觉的建筑结构位移鲁棒性测量侯文鹏（广州大学土木工程学院广东广州510 0 0 0 6）摘要：传统的接触式建筑结构位移监测技术具有安装过程复杂和耗时等缺点。计算机视觉相较于传统的接触式位移监测，具有高效、成本低等优点，但大多数的计算机视觉技术在运用的过程中需要在结构上安装靶点才能实现相对准确的监测，而一些大型建筑由于结构造型等原因，给靶点的安装带来一定困难，进而影响视觉技术的准确性。针对靶点安装的难题，文章在现有的研究基础上，提出一种无需安装标靶改进的稠密光流算法，结合Python-opencv软件进行算法的编译，通过对模拟位移图像进行像素位移识别，与开源DIC算法计算结果对比验证，结果表明，稠密光流算法较开源DIC算法在计算速度上提升了40%，两种算法的位移误差在0.1%以下，并具有较好的鲁棒性。因此，本文所提出的无需靶点的算法对于一些安装靶点困难的大型建筑具有重要的参考价值。关键词：计算机视觉；光流法；非接触测量；建筑结构中图分类号：TU312.2Computer vision-based measurement of displacement robustness of building structuresAbstract:Traditional contact structure displacement monitoring technology has some drawbacks such as complex installationprocess and time-consuming.Comparing with traditional contact displacement monitoring,computer vision has the advantagesof high efficiency and low cost.However,most computer vision technologies need to install targets on the structure in order toachieve relatively accurate monitoring in the process of application.Some large buildings,due to the structure shape and otherreasons,bring some difficulties to the installation of targets,thus affecting the accuracy of visual technology.To solve the prob-lem of target installation,based on the existing research,this paper presents a dense optical flow algorithm without target instal-lation improvement,compiles the algorithm with Python-opencv software,identifies the pixel displacement of the simulated dis-placement image,and compares the result with that of the open source DIC algorithm.The result shows that the dense opticalflow algorithm has a 40%faster calculation speed than the open source DIC algorithm,and the displacement error of the two al-gorithms is less than 0.1%.And it has good robustness.Therefore,the target-free algorithm proposed in this paper has importantreference value for some large buildings with difficult target installation.Keywords:computer vision;Optical flow method;Non-contact measurements;Structure0引言结构位移和表面损伤的精确检测对于现有的大型建筑结构(如大型水坝和超高层建筑等)尤其重要。而结构表面的位移是结构动态响应和结构整体疲劳性能评估的重要依据，因此准确获得结构的位移数据尤为重要。当前建筑结构的位移识别按测量方法主要包括接触式和非接触式两大类。其中常用的接触式位移测量仪器主要有千分表、拉线式位移传感器等。其优点是具有较高的精确性和实时性，受到广泛的使用。但存在许多不足，如安装成本消耗大、现场安装困难、后期维护困难等、尤其是对于大型建筑结构的结构整体的监测。传统的非接触式位移测量方法如GPS、全站仪、等，都存在精度误差较大、易受环境因素影响、等问题。近些年，计算机视觉由于其具有非接触、高精度、可远距离检测等优点得到了广泛的应用。计算机视觉的核心是图像处理，图像处理主要包括特征匹配、模板匹配、光流技术、数字图像相关（Digital ImageCor-relation,DIC)等。其中，数字图像相关(Digital ImageCorrela-tion，D IC）方法以其高精度、无需人造靶点、远距离测量等优点，在工程领域得到了广泛研究与应用，晏班夫等通过将DIC收稿日期：2 0 2 3-0 2-16作者简介：侯文鹏（19 9 8-），男，河南许昌人，硕士研究生。2023年第0 5期(总第2 45期)文献标识码：A文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 18-0 4HOU Wenpeng(School of Civil Engineering,Guangzhou University,Guangzhou,Guangdong,5100006)技术与基于傅里叶变换的互相关算法(FourierTransform-basedCross-Correlation,FTCC)与亚像素匹配算法IC-GN结合形成并行计算框架，实现无需人工靶标、近中距结构表面位移的短时测试，并对位移数据的精确性进行验证。然而，DIC在实际的操作过程相对复杂，叶肖伟等基于模板特征匹配算法，提出了一种远距离的实时测量位移系统克服了DIC的缺点，通过在青马大桥跨中安装LED灯作为特征目标点的进行大桥跨中位置的挠度测试，但仅限于单点测量。Ye等人通过运用模板匹配监测技术，对大跨度的桥梁结构进行了位移监测，准确识别到在桥梁上安装的靶点，此方法需要保证靶点安装的准确性 3。韩建平等通过借助MATLAB编写的一套非接触式位移测量程序，通过在四层钢筋混凝土框架一填充墙结构模型上安装标靶，并在随后的振动台试验中进行楼层位移测量与拉线式位移测量传感器进行对比具有良好的鲁棒性(4。以上研究方法都是基于模板特征匹配算法的识别，而模板匹配作为一种传统的视觉模式识别方法，具有识别效率低的局限性。如对像素的强度有较高的要求，而且数字图像相关技术也受控于人工散斑。针对此缺点，周颖等提出一种无需人工靶点的非接触式识别技术，通过运用SIFT特征点匹配的特征光流技18Changjiang Information&Communications术，并在实验室内对模型在振动台上进行实验测量，得到了亚像素级别的精度 5。针对计算机视觉在大型建筑存在的靶点安装困难等不足，本文提出了无需安装靶点的无接触式改进稠密光流算法。通过运用Python-opencv编写一套基于计算机视觉的程序算法去追踪捕捉所选区域内的像素点，进而实现无需安装标靶的快速位移场测量识别，进而实现和对远距离的结构表面位移的鲁棒性监测。算法的主要流程包括如下：通过利用二维Gabor滤波器对图像序列进行预处理，获得无接触式稠密光流匹配所需要的像素邻域信息，进而实现结构表面二维全场位移的无靶标亚像素监测。1位移识别方法通过对数据视频进行处理，捕捉特定的图像区域，在目标区域内采用基于相位的改进稠密光流算法匹配计算，实现对结构位移的整像素匹配。为了提高精度，光流法内嵌的高斯金字塔算法同时实现整像素到亚像素的迭代，最后得到了感兴趣区域亚像素精度级别的位移数据，具体测量流程图如图1所示。图像序列预处理整像素匹配亚像素匹配图1算法实现Fig.1 Algorithm implementation1.1图像整体像素匹配1.1.1图像序列的预处理光流是空间物体在观察像素点在成像平面上运动的瞬时速度，一般用来评估分析图像在相邻两帧之间的变形和位移。基于光流的计算算法的图像在计算分析过程中基本都满足如下假定：时间连续或运动是“小运动”；亮度恒定不变。为了满足两个基本假定，需要引入光流约束方程，光流基本计算表达式为：(1)式中：f为图像强度;f,f,f.分别为图像强度对x,y,t的偏导。通过求解光流计算式(1)可以得到像素位移，由于式中包含u和v两个未知数，需引入新的约束才能配合求解，从不同的角度引入约束条件，就会产生不同的光流场计算方法。按19侯文鹏：基于计算机视觉的建筑结构位移鲁棒性测量照理论基础与数学方法的区别把它们分成几种：基于梯度（微分)的方法、基于匹配的方法、基于能量（频率)的方法、基于相位的方法和神经动力学方法。每种方法都有自己的适用范围，本文选用了基于相位的方法约束求解。相较于图片的灰度信息，通过基于相位得到的像素数据在分析过程中准确度更高，而且具有较强的抵抗外界因素的干扰能力，适用范围也更加广泛，通过相邻两帧图像就可以计算出光流数据。其中Daugman等在Fourier变换的基础上提出了基于相位光流匹配的二维Gabor滤波，可以在频域上不同尺度、不同方向上同时得到相位信息。如下式：G(x,y)=g(x,y)exp2元 j(U,+V,)式中：（U,V)表示特定的空间频率；g(x,y)为二维高斯函数。由于Gabor滤波输出的图像在每个方向上都必须满足光流的基本假设：式(1)，整理后可得到下列表达式：(3)式中：A=U：Vo%Farneback稠密光流算法alaxay光流法的主要核心就是通过式(3)求解得到u，V具体值。二维Gabor滤波器1.1.2光流算法匹配除原理外，根据所形成的光流场中的疏密程度可将光流法分为稠密光流与稀疏光流两种。稠密光流指的是对整个图像所有像素都进行前后两帧的位移矢量计算处理，常用的稠高斯金字塔选代密光流算法如Farneback稠密光流算法。而稀疏光流指的是在图像处理时只跟踪图像中某些点的子集，能够快速可靠的将注意力放在容易跟踪的特定点上。为了获得感兴趣区域的整体位移计算，本文选用了Farneback稠密光流算法。首先通过运用二维Gabor滤波器对数据图像序列进行预处理，然后得到前后相邻两帧得相位信息。引用改进的Farne-位移场back稠密光流算法来对所得相位信息进行匹配计算得到光流信息，最终输出光流失量。Farneback稠密光流是假设图像梯度和局部光流都是恒定的，计算核心是通过相邻前后两顿的图像的像素灰度信息来达到随所选区域内所有像素点得光流计算。主要理论如下：Farneback稠密光流的核心计算是利用多项式对每个像素的邻域信息进行近似表示，例如考虑二次多项式。首先将输入的图像近似看作二维函数，以感兴趣的像素点建立坐标系对并对函数进行二项式展开，可近似为：f(U)=UNU+bU+c式中：U为二维列向量，U=(x,y)N为2 2 的对称矩阵，是通过像素的邻域信息的最小二乘加权拟合得到的，权重系f,u+f,v+f,=0数与邻域的像素大小和位置有关(邻域指以该像素为中心，大小为2 n+1的方形区域);b为2 1的向量矩阵;c为标量。如前一顿图像用式（5)表示：前后两顿的位移用d=(x，y)表示，那么后一顿图像可用式(6)表示：(2)A*U+B=0B=：%alGatJfi(U)=UN,U+b,U+C(4)(5)Changjiang Information&Communications式中W=(U-d)。因此式(6)进一步写为：f,(U)=UN,U+b,U+C,因为图像中假定像素的外观信息在帧间运动不变，可以认定式中对应系数是相同的，如果U是一个非零矩阵，那么前后两帧的位移d-(x,y)可表示为：(8)2式中：bi,bz为前后两帧像素的邻域信息组成的2 1矩阵。相较于稀疏光流算法，稠密光流算法也具有计算量偏大的缺点，因此需要通过运用内置高斯金字塔对所有图像进行迭代计算，在提高速度的同时让整个像素计算精度达到亚像素级别。1.2亚像素匹配计算通过整像素的光流匹配得到的位移矢量在大多数情况下不能满足实际的工程对精度的要求，为了提高光流计算数据精度的鲁棒性，可以运用光流算法内部嵌入的高斯金字塔迭代算法实现对光流的整体像素匹配到亚像素匹配的转换。在光流分析中通过给定一个特定的比例因子n来达到对图像的分层的尺寸和像素的比例转换，一般取0.5。通过比例因子将原始图像依次按照比例缩小，如图2 所示。侯文鹏：基于计算机视觉的建筑结构位移鲁棒性测量f(U)=fi(W)=WN,W+b)W+c,(6)(7)d=-ur(b,-b)进行对比。2.1相关误差系数为了比较本文方法与开源DIC程序的分析数据的误差对比。采用了均方根误差RMSE来作为衡量分析数据结果的系数，公式如下：RMSE=式中：d为本文方法得到的应变值，d,为用于对比的应变值，n为像素点的个数。2.2位移场测试如图3（a）所示，通过光绘软件制作一个尺寸为2 8 0 2 8 0像素的灰度图作为原始图像，通过该软件对原始图像施加正弦位移场，得到模拟位移变形图像，如图3（b)所示，位移满足该式：V(x,y)=asin(式中：V为所选目标像素点对应的理论位移，(x,y)为该目标像素点的坐标，a为模拟位移场的最大振幅值，T为沿x方向的计算周期,b为图像位移的相位值。其中给定取最大振幅值为0.4pixel,T给定初设值为图像尺寸的一半。2.,(d-d,)n2元xT+b)(11)(12)第M-1层第k层(a)原始图像第2 层第1层第0 层（原始图像）图2 高斯金字塔Fig.2 Gaussian pyramid高斯金字塔对整像素到亚像素的迭代主要流程如下：首先，创建M层的高斯金字塔，依照下式的递推过程：k-l=2(lk+d*),k e(0,M-1)(9)式中：为第k层初设光流值，d为第k层的稠密光流计算结果。由递推公式（9），设最顶层初始光流预测值 M-1=0，依次从金字塔顶层开始往下计算，计算到最底层截至，所算目标跟踪点的光流值d：d=+d=EN2kdk式中：d即为所求相邻两帧图像的像素位移值。2模拟位移测试本文通过引用无需安装靶点的基于相位匹配的无接触式光流算法，测试通过光绘软件 7 制作原始像素灰度图，并对其施加正弦位移场后的图像进行处理。得到的位移云图和位移数据与使用开源的DIC程序处理相同图像得到的结果(b)模拟变形图像0.30.30202.0.10.10.202-03-03(c)开源DIC计算位移场(d)本文方法计算位移场图3模拟测试结果Fig.3 Simulation test result通过在原始图像内选取尺寸为2 40 2 40 像素大小的ROI区域用于图像分析。其中传统的开源数字图像相关（DIC)程序分析得到的位移云图，如图3（c)所示。相较于开源DIC程序分析得到的位移云图，通过本文方法分析得到的位移云图，如图3（d)所示，具有更加显著的云图趋势，而且通过对分析速度和所得数据结果误差对比，本文方法都具有明显的提升和(10)鲁棒性，其中运算速度提升40%。具体数据可见表1。表1分析结果对比Table 1 Comparison of analysis results计算速度/s传统开源DIC本文方法5.122.91位移误差/%0.0820，信息通信基于深度学习的医学影像报告自动生成研究综述梅周俊森，孙水发，李小龙（三峡大学计算机与信息学院，湖北宜昌4430 0 2）摘要：当今医学领域面临着大量的图像数据，自动生成医学影像报告成为了一个备受关注的研究领域。自动生成医学影像报告可以为医生提供快速准确的诊断信息，提高医疗服务的效率和质量。现有的研究主要采用深度学习和自然语言处理技术来生成医学影像报告。文章从影像报告的结构、数据集、现有模型、评估指标介绍该领域目前的现状。最后总结了目前该领域存在的问题与未来研究方向。关键词：深度学习，自然语言处理；文本生成；医学图像处理中图分类号：TP393Methods for automatic generation of medical imaging reports:a survey(College of Computer and Information,Three Gorges University,Yichang 443002,China)Abstract:With the enormous amount of medical imaging data available today,automatic generation of medical image reportshas become a highly researched field.Automatic report generation can provide doctors with rapid and accurate diagnostic infor-mation,improving the efficiency and quality of medical services.Existing research primarily employs deep learning and naturallanguage processing techniques for report generation.This article introduces the current status of the field of automatic gener-ation of medical image reports,including the structure of image reports,available datasets,existing models,and evaluation met-rics.Finally,it summarizes the current problems and future research directions in this field.Key words:deep learning;natural language processing;text generation;medical image processing1 引言医学影像报告是通过使用影像技术（例如X射线、CT扫描、核磁共振或超声波)对患者进行诊断和监测的结果的文件。报告中包含了医生对影像结果的解释和诊断，并可以为临床医生提供有关患者健康状况的重要信息。医学影像报告自动生成任务旨在通过给定的医学影像，生成清晰（clear)、正确(correct）、简洁（concise）、完整（complete）、一致（consistent）、连贯（coherent)即6 C特点的报告内容。这通常需要撰写的医生对相关专业及影像学诊断方面的知识有扎实的了解。自动收稿日期：2 0 2 3-0 2-16作者简介：梅周俊森（19 9 4-），男，湖北宜昌人，研究生，硕士，主要研究方向：医学图像处理，自然语言处理。ii2023年第0 5期(总第2 45期)文献标识码：A文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 2 1-0 4MEI Zhoujunsen,SUN Shuifa,LI Xiaolong生成高质量的医学影像报告可以大大加快工作流程的自动化，减轻医生工作负担，降低错误报告的出现概率，提高医疗报告的质量和标准化，因此它已经成为人工智能与智慧医疗领域中热门研究对象。目前，自动生成医学影像报告领域的研究正在迅速发展，已经有许多相关的研究成果。这些研究结果表明，使用深度学习技术的自动生成医学影像报告系统可以生成较为简洁、一致的报告，为医生提供有价值的信息。但也存在一些挑战和问题需要解决，如数据集标准化、生成的报告准确性和可靠+3结语针对计算机视觉在大型建筑结构表面位移监测精准度和靶点定位得难度性这一问题，本文基于计算机视觉光流技术，结合Python-opencv的相关算法，提出一种具有无需安装人工靶点、远距离、鲁棒性高等特点的位移监测算法。(1)借助Python-opencv所编写的光流算法程序相较于传统的特征模板匹配算法在运算速度上有了较大的提升，而且通过二维Gabor滤波器对图像的像素进行增强处理，从而提高了光流匹配过程中的精确性。(2)将本文所提出得算法应用到模拟位移试验和开源DIC算法进行对比，结果表明。本文方法与开源DIC算法的的误差小于0.1%，且计算速度也提高了40%。证实了该方法具有运算速度的优势和鲁棒性。参考文献：1晏班夫,李得睿,徐观亚,等.基于快速DIC与正则化平滑技术的结构形变测试 J.中国公路学报,2 0 2 0,33(0 9):19 3-2 0 5.212叶肖伟,张小明，倪一清,等.基于机器视觉技术的桥梁挠度测试方法 J.浙江大学学报(工学版),2 0 14,48(0 5):8 13-8 19.3 Ye XW,Dong CZ,Liu T.Environmental effect on visionbased structural dynamic displacement monitoring.Proceedingsof the Second International Conference on Performance-basedand Life-cycle Structural Engineering.Brisbane:Universityof Queensland,2015.261-265.4】韩建平,张一恒,张鸿宇.基于计算机视觉的振动台试验结构模型位移测量 .地震工程与工程振动,2 0 19,39(4):2 2-2 9.5周颖,张立迅，刘彤,等.基于计算机视觉的结构系统识别.土木工程学报,2 0 18,51(11):17-2 3.6 DAUGMAN J G.Uncertainty relation for resolution in spa-ce,spatial frequency,and orientation optimized by two-di-mensional visual cortical filters J.Journal of the OpticalSociety of America A Optics&Image Science,1985,2(7):1160-9.7苏勇，高越，泽仁,等.光绘：自由开源的数字散斑图像生成和评价软件 J.实验力学,2 0 2 1,36(1):17-2 8.