基于深度学习的多视图火焰面三维重建.pdf

第 卷第 期 年 月西南科技大学学报 ：收稿日期：；修回日期：基金项目：中国航发四川燃气涡轮研究院稳定支持项目（）；西南科技大学博士基金（，）作者简介：第一作者，宋泠澳（），男，硕士研究生，：；通信作者，刘涛（），男，博士，副教授，研究方向为高性能计算、机器学习、计算机视觉，：基于深度学习的多视图火焰面三维重建宋泠澳刘涛姜东李华东赵冬梅谢建鞍（西南科技大学计算机科学与技术学院四川绵阳 ；中国航发四川燃气涡轮研究院四川绵阳 ）摘要：针对火焰面三维重建时存在背景噪点的问题，提出了一种基于 多视图三维重构网络的 网络用于重构层流火焰的火焰面。该网络通过对输入采样图像的参考帧以及邻域帧进行图像分割，去除采样时的背景噪声，得到高质量分割图像，然后将多视图图像进行三维重建，构建层流火焰面三维点云，进而得到重构的层流火焰面。通过不同重构模型火焰面重构效果对比，本文提出的三维重构网络能够有效减少重构火焰面的点云噪点，提高火焰面重构精度，为燃烧研究提供了一种新的方法。关键词：多视图三维重构网络深度学习点云背景噪声中图分类号：文献标志码：文章编号：（），（，；，）：，：；燃烧是人类社会赖以生存的重要现象，一直伴随着人类社会的发展。在进入近现代社会后，更是人类获取能量、动力的重要手段之一，从居家使用的热水器与燃气灶到内燃机，再到航空航天发动机，其本质都是通过燃烧将燃料中蕴含的化学能转化为动能、热能等不同形式的能量并加以利用。燃烧过程是一个极为复杂的多因素耦合作用过程，其中包括了化学反应、传热与传质、辐射、湍流、动量和能量输运等复杂且相互作用的因素。因此，燃烧过程的研究受到广泛关注。得益于计算机视觉以及人工智能技术的发展，卷积神经网络可以识别到图像中的特征信息 ，使得三维重建技术取得了进步，文献 首次将深度学习应用到三维重建领域，提出了基于单目估计深度的方法，该方法基于体素形式用单张图像使用神经网络直接恢复深度图，将网络分为全局粗估计和局部精估计，并用一个尺度不变的损失函数进行回归。文献 基于体素形式提出的 模型使用 的网络结构建立 图形到 体素模型的映射，完成了基于体素的单视图 多视图三维重建（多视图的输入会被当作一个序列输入到 中，并输出多个结果）。等 在传统多视图立体匹配（，）的基础上提出 网络，利用卷积神经网络进行特征提取，通过可微单应性变换 到 的转换方法以及 网络产生的概率体生成深度图。尽管基于深度学习的三维重建技术在一定程度上简化了三维重建难度 ，且有了一定的研究成果，然而对于火焰的三维重建主要还是使用了火焰电学重建技术、火焰激光重建技术以及火焰化学发光重建技术等，基于计算机视觉技术的火焰三维重建一直停留在使用传统三维重建技术上，罕有使用深度学习技术进行火焰面三维重建的研究。火焰并非刚体，具有高亮、边缘变化速度快、表面积不规整等特性，会导致常规三维重建算法产生较大误差 。到目前为止，对于火焰进行三维反演的主流是进行三维温度场重建，由于实际的燃烧过程中存在辐射、对流等现象，仅依靠温度场进行三维重构，实际上重构得到的轮廓边界并不完全等同于火焰外轮廓。本文讨论的火焰面是指火焰的外轮廓，即化学反应发生最激烈的区域，具有亮度高、温度高、温度梯度大、某些特征组分（如 ）浓度梯度大等特点，对其重构，可以快速获取火焰当前的外轮廓，评估火焰发展的态势、对环境气体的卷积量以及与环境气体之间动能、动量交互的基本趋势，从而初步评估火焰燃烧的质量。本文针对层流火焰面三维重建问题提出了一种基于深度学习的多视图立体匹配网络。一方面，期望解决在受限空间内通过诸如内窥镜、光学窗等拍摄的光学图像去重构该空间内火焰面发展态势，用于航空发动机试验等内部流道中火焰燃烧质量的快速评价；另一方面，尝试解决火灾现场通过红外或光学相机远距离拍摄的图像去重构火焰面，以预估火焰发展趋势，用于火灾现场火焰态势评估。另外，本文提出的方法可为后续研究湍流火焰及重构湍流火焰以评估湍流火焰发展机制提供参考方案。相关工作 层流火焰本文中重构的是层流火焰面，层流火焰是指将静止气体或者层流流动气体（）引燃后得到的火焰，其特点是火焰锋面光滑，不会产生褶皱，火焰传播速度较低，一般在 之间。本文中待重构的层流火焰由燃气罐产生，其外观如图所示。图 燃料罐产生的层流火焰 该燃料罐喷嘴直径为 ，罐体内压力为 ，根据式（）计算得到喷嘴处的 数为 。（）式中：为流体的密度；为流体的速度；为特征长度，这里指喷嘴的直径；为流体的黏性系数。当流体发展为湍流后（即 ），引燃得到的火焰即为湍流火焰，与层流火焰相比，湍流火焰表面不再光滑，火焰发展速度更快，表面会产生很多褶皱，且其火焰面会随着各种因素作用随时间发生剧烈变化。湍流火焰与层流火焰关系非常密切，根据层流火焰得到的模型和结果比较精确可靠，并可有条件地推广到湍流火焰研究中，因此对于层流火焰第 期宋泠澳，等：基于深度学习的多视图火焰面三维重建的研究具有重要的理论和应用价值。多视图立体匹配多视图立体匹配是计算机领域中的一个重要方法，其目的是通过不同位置（视点）拍摄的图像恢复出真实的三维信息 。相机标定在机器视觉中，要建立图像到现实世界三维物体坐标点的对应关系，则必须建立相机成像的几何模型及其参数，世界坐标系到像素坐标系的转化关系如式（）所示：()（）式中：（，）为在世界坐标系下一点的物理坐标，（，）为该点对应的在像素坐标系下的像素坐标，为尺度因子。通过相机标定可得到式（）所示的内参矩阵及式（）所示的外参矩阵：（）()（）对极几何在三维世界中，必然存在一条光线从照片上一点，同时穿过拍摄这张照片相机的成像中心点，最后到达空间中一个三维点，这个三维点同时也会在另一张照片中以同样的方式投影得到，原理如图 所示。图 对级几何 表示空间中的一点，为 在两张图片中的同一点。由于空间约束关系，已知，想要在另一张图片中找到，可以在直线 上进行一维寻找。的主要任务就是最佳搜索匹配不同图片的同一个点。基于 的实例分割 是 的扩展形式 ，能够有效地检测图像中的目标，同时还能为每个实例生成一个高质量的分割掩码，其结构如图 所示。流程步骤为：输入单张图片进行预处理后提取其对应特征图，对特征图中的每一点设定感兴趣区域（，），获得多个 ，再对这些候选 进行二分类，从而舍弃部分候选 ，对剩下的 进行 对齐操作，即先将原图和特征图的像素对应起来，然后将特征图和固定特征相对应，最后再对所剩 进行 类别分类、边界框回归和掩码生成。图 框架 火焰面三维重建模型设计在实际的多视图采样过程中，不可避免地会包含大量的背景噪声，为了更好地重构层流火焰面，尽可能剔除背景噪声，提高重构质量，本文改进了 神经网络，加入了图像分割模块对火焰图像进行实例分割 ，提出了 （）网络，该网络直接分割出火焰图片，完全剔除背景噪点，以达到降低重建火焰面噪点的目的。的网络结构如图 所示。输入图像（大小为 ）为单张参考帧以及多张邻域帧图像，选定 为参考帧，为邻域帧。通过 提取特征，得到 层特征图，与原始图像相比，分别缩小了 ，和 倍，特征图进入区域推荐网络以帮助网络推荐感兴趣的区域，推荐网络会为每一张特征图上的每一点给予 个锚框，并对所有的框进行分类以及回归得到其锚框大西南科技大学学报第 卷小以及兴趣区域概率。得到带有锚框的兴趣区域后将其汇聚成特征图同等大小，用于进行图像分割，分割得到的图像大小为。分割后的图像进入 层卷积神经网络，该网络第 层和第 层步长为 ，其余为 ，除最后一层卷积，其他层都带有 （）正则化以及 （）激活函数，该 网络输出的特征图是（输入图片数目）个 通道的特征图，大小为（）。图 网络结构 可微单应变换因为 和 的视角不一致，模型的目的是估计参考视图的深度图，需要将经过可微分的单应变换变形到对应的相机坐标系内。设 为对应于特征图的相机内参矩阵、旋转矩阵以及平移矩阵。将视图的特征弯曲到参考视图 的 深度，设 为对应视图的像素坐标点，为对应视图的内参矩阵，为对应视图的相机坐标系坐标，为世界坐标系坐标，为对应视图的旋转矩阵，为对应视图的平移矩阵，为参考视图 方向的向量。对于视图 可以用式（）表示：（）（）对于视图 可以用式（）表示：（）（）联立式（）、式（）得式（）：（）（）投影几何信息如式（）所示：（）将式（）带入式（）可得式（）：（）（）由于 与 为齐次坐标，消去常数 得式（）：（）（）式（）可写为式（）形式：（）（）式（）中可微单应变换 （）如式（）所示：（）（）（）深度估计与优化合并多个特征量 为一个代价体 ，其代价映射关系如式（）所示：（）式（）中 的数量为 ，用，表示宽、高、视觉图的数目以及通道数，因此，代价体 如式（）所示：（，）（）（）式（）中 为所有特征体中的平均特征体。得到的代价体经过一个 级的 结构来生成一个概率体，这个概率体表示为在每个深度第 期宋泠澳，等：基于深度学习的多视图火焰面三维重建下每个像素的可能性大小。数学期望方式如式（）所示：（）（）式（）中 （）是所有像素点在深度生成 上的概率估算。由概率体得到的初步深度图使用分割后的参考帧信息进行细化，将深度图与分割后的参考帧串连成一个 通道的输入，经过神经网络得到深度残差，然后加到之前的深度图上从而得到最终的深度图。损失函数为了更好地指导深度学习网络训练，本文设置损失函数指导网络进行训练，其损失函数如式（）所示：（）式中：为图像分割网络的损失函数，采用的是交叉熵损失函数；损失函数由初始深度图与 （）深度图之间的绝对平方差和细化深度图与 深度图之间的绝对平方差组成。（）（）（）（）式中：为火焰的真实像素；为分割后的火焰图像。（）式中：（）（）为初始深度图与 深度图之间的绝对平方差；（）（）为细化深度图与 深度图之间的绝对平方差。（）是 深度图的值，（）是初始深度图的值，（）是细化深度图的值。实验结果与分析本文中三维重构计算平台为：操作系统，为 ，为 ，使用深度学习算法框架 。数据采集火焰不是刚体，火焰面会随着时间以及各种作用因素发生变形，但是由于层流火焰的传播速度较慢，在采集火焰面图像过程中使用较高的快门速度所得到的火焰面图像可以近似作为刚体处理。本文数据采集目标使用型号为 的 帧超高速相机将火焰近似看为刚体进行数据获取，共采集 组 张合格火焰图像，每 可以获取 帧火焰图像，即相当于每相邻两帧图像之间火焰面移动的平均位移为 ，可以作为近似刚体处理。为完整采集火焰四周数据，相机的布置环绕所采集的火焰目标，其机位布置如图 所示。每一组图像包括 个视角下的图像，在后续进行训练与测试时，以组为单位进行训练与测试。图 数据采集机位 所采集火焰为异丁烷、正丁烷、丙烷混合燃气，质量比为 。喷嘴尺寸为 ，材质为黄铜，净重为 。通过不同视角的相机所采集到的层流火焰图片如图 所示。图 采集的层流火焰 在前期工作中，采用传统多视图立体匹配算法对不同视角所采集的图片进行立体匹配计算，得到的火焰深度图如图 所示。在后续的训练与测试工作中，使用的数据集为图 所示的采集的层流火焰和图 所示的生成的火焰深度图，火焰深度图为所采集的层流火焰的标签。西南科技大学学报第 卷图 生成的火焰深度图 实验结果 训练、测试与验证所采集的数据采用立体匹配技术 ，利用三角测量法将两两图像之间的视差信息转化为深度信息，用于深度学习。其中 组共 张图像进行训练，组共 张图像用于验证，剩余图像用于测试。图像尺寸为 像素，特征提取得到的特征图大小为 像素，为确保能够均匀覆盖深度范围，首次迭代每个像素的深度值随机，训练 次，前 次的学习率为 ，在第 ，次训练时学习率除以 使得模型更好收敛，次的损失函数变化如图 所示。随着训练的不断迭代，模型的损失值不断降低，前 次的训练损失值下降梯度最大，降低最为明显，次到 次模型的训练损失值下降速度趋于平缓。测试损失值在 次前与训练损失值下降趋势相同，在 次到 次之间测试损失值仍有波动，次后测试损失值低于训练损失值且没有明显波动，说明训练效果达到合理阶段。图 模型学习曲线 本文所提模型可以有效去除采集火焰信息时造成的背景噪点。其生成的火焰表面三维点云可以直观反映火焰形状，噪点较少，图 为原始火焰图片与其生成的点云对比。图 原始图与点云 相机数量分析实验数据采集时，采用的数据采集机位如图 所示。当相机数量不足以围绕火焰进行数据采集时，所得到的数据并不足以支撑生成完整的火焰面三维点云数据，得到的火焰面如图 所示。图 有缺失的火焰面点云数据 图 展示了相机对火焰面进行数据采集时分别缺失相机 ，相机 ，以及相机 ，时所生成的火焰面三维点云数据情况，与图 由 个相机所采集数据生成的火焰面三维点云数据相比，完整的火焰面点云数据更能直观表现火焰形状以及表面纹理。验证实验本文设定倒角距离（，）、交并比（，）、准确度（，）、分数（）与搬土距离（，）作为火焰面三维重建评价指标。为了验证本文所提基于深度学习的火焰面三维重建算法的性能，对比了三维重建方法 ，与 使用本文所制作的数据集进行火焰面重构的效果，评价结果如表 所示。第 期宋泠澳，等：基于深度学习的多视图火焰面三维重建表 中 模型为三维网格模型，与本文模型相比，其精度明显低于 且 生成的三维模型表面过于平滑，不能反映火焰表面纹理。与 模型相比，在数据量较少的情况下 能够比 更好进行重建，但 重建出的火焰表面与真实火焰相差过大，在数据量充足的情况下，的 值与 值都优于 。与 相比，本文模型优势为监督学习，模型对火焰三维重建精度高于 。与 以及 相比（结合表与图 ），本文模型生成的深度图背景噪声较少，由于剔除了背景噪点，点云数据中点云点数值在背景噪声方面明显少于 与 。表 不同模型下评价指标值对比 项目倒角距离交并比准确度分数搬土距离点云点数 （本文方法）由此可见，本文所提基于深度学习的火焰面三维重建算法在火焰面三维重建工作上有较好性能，该三维重构网络能够有效减少重构火焰面的点云噪点，生成的火焰面形状清晰，能有效反映火焰形态，有助于进行火焰体积计算、火焰态势评估以及火灾防治等研究。重构时间比较网络模型的火焰面重建速度，可以直观表现模型的时间复杂性。基于本文实验环境，使用火焰面三维重建数据集对本文所提方法、以及传统三维重建方法的开源程序进行火焰面重建时间测试，比较在相同环境下对单组 张火焰面图像进行重建所消耗的时间，结果如表 所示。由表 可以得出，上述算法中由于 没有在重建前对火焰背景进行去噪，所以运算速度最快，本文次之。但由 小节可知，本文算法精度优于 。与效果最好的传统方法 进行比较，本文方法的运行时间是其运行时间的 。因此，本文方法重建精度高且运行时间较短。消融实验为了验证 网络中图像分割模块的有效性，本文使用 与 进行对比，结果如图 所示。表 重构时间比较 算法 本文方法 图 深度图与点云对比 图 （）为 生成的深度图，图 （）为 生成的深度图，可以看出 不能有效去除背景噪声。图 （）为 生成的点云，图 （）为 生成的点云，图片显示图 （）中火焰面点云掺杂噪点较多，会对火焰面积计算、火焰态势分析等应用造成干扰。为了更为直观地验证 网络中的图像分割模块的有效性，进行了消融实验，结果如表 所示。西南科技大学学报第 卷表 消融实验结果 项目有分割模块没有分割模块倒角距离 交并比 准确度 分数 搬土距离 结合表 与图 可以得出，在保留有图像分割模块的情况下所得到的火焰面三维重建结果精度高于没有图像分割模块模型的结果精度。因此，图像分割模块对于模型精度有一定的提升作用。结论本文提出了一种基于深度学习的多视图立体匹配网络，通过对所采集的原始火焰图片进行实例分割，得到分割后的无背景噪声高质量火焰图片，分割后的图片通过卷积神经网络、可微单应性变换、结构来生成深度图，最终生成火焰面点云。本文所提出的三维重构网络能够有效减少重构火焰面的点云噪点，生成的火焰面形状清晰，能有效反映火焰形态。下一步将对得到的火焰面点云数据进行处理，进一步计算火焰体积、表面积，并对火焰态势做进一步研究。参考文献 张冀，郑传哲 基于多尺度 的单图三维重建网络 计算机应用研究，（）：张豪，张强，邵思羽，等 深度学习在单图像三维模型重建的应用 计算机应用，（）：，（）：，：，：，：，：，（）：，：，（），：，：，：，（）：，：，（）：，?，（），：，（），：，（）：，：，：，（）：，（）：第 期宋泠澳，等：基于深度学习的多视图火焰面三维重建 ，：（），?，：，：，：，（）：檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪檪 （上接第 页），：，：，（）：，（）：，：，（），（）：，（）：，：西南科技大学学报第 卷