基于条件生成对抗网络的光场图像透视视图生成算法.pdf

光场图像新视图生成算法在视点内插和外插方面已经取得了良好的研究成果，但在视点位置平移和旋转一定角度情形下的透视视图生成仍然是一项具有挑战性的任务。针对上述问题，提出了一种基于条件生成对抗网络的光场图像透视视图生成算法 （），利用相机的位姿信息作为条件来引导条件生成对抗网络学习新视图的内容。提出了多个模块，充分利用相机位姿信息和光场宏像素图像（，）记录空间信息、角度信息、深度信息来生成预测视图。提出的方法在构建的数据集上与最新的三种方法进行了比较，相比于性能第二的 模型，提高了 ，提高了 。消融实验部分对提出的模块进行了评估，验证了创新点的有效性。充分的实验结果表明 相比于现有算法，生成的预测视图更加准确。关键词：光场图像；视图生成；透视变换；深度估计；宏像素图像；条件生成对抗网络中图分类号：文献标志码：文章编号：（）：，（，）：，：；引言光场相机通过记录入射光线的强度和方向信息来捕获丰富的三维场景信息，可广泛应用于具有挑战性的计算机视觉任务，如新视图生成 ，、超分辨率 、深度估计 ，、三维重建 、目标检测 等。受限于光场相机传感器有限的像素分辨率导致的角度分辨率和空间分辨率之间固有的折中关系，光场相机在空间或角度域采样稀疏。为了提高光场图像的角度分辨率，近年来提出了许多新视图生成算法。新视图生成任务不仅要求提取目标场景的三维结构信息，还要求理解输入图像的语义信息，如三维场景的遮挡关系和物体的轮廓，而真实光场数据记录的场景比较复杂。目前新视图生成算法研究大都基于视点平移 和内插 ，而支持视点外插 和视点平移加旋转的透视视图生成算法的相关工作相较视点内插算法数量不多。优秀的视点旋转和平移情况下的外插算法在构建拥有自由视点，全视角任意看的可交互直播模式等领域拥有重要意义。光场图像记录了目标三维场景丰富的光场结构信息，卷积能够同时处理光场图像的所有子视点以获得光场图像的空间和角度信息，但是网络参数量太大 ，。同时光场图像拥有子视点、宏像素、极平面等多种表现形式。为了充分利用光场图像的空间和角度特征且在深度神经网络中引入较少的参数量，选择将光场图像以宏像素图像形式输入到光场特征提第 卷第 期 年 月计 算 机 应 用 研 究 书书书取模块中，利用 卷积分别提取空间和角度特征再融合，这样既可以得到两者的特征又不会引入大量的网络参数。视点旋转的透视视图生成需要预先知道相机的位姿信息，因此将相机的位姿矩阵输入到网络中来引导新视图的生成和优化判别器的判别标准。深度图反映了目标场景的三维结构，可以帮助网络理解三维场景信息，从而有益于新视图的生成。本文将得到的角度特征输入到数层卷积中获得各个子视图的深度图。透视视图的生成除了准确的场景结构透视变化外还需要在结果图像上记录丰富的纹理细节信息，因此本文提出了一个宏像素卷积注意力模块（，）来更好地恢复透视视图的纹理细节。本文提出了一种新颖的光场透视视图生成网络 ，其算法流程如图 所示。相机的位姿信息经过卷积层输入到网络中，作为条件特征引导新视图的生成。生成器的第一部分首先使用光场特征提取模块（，），从输入光场宏像素图像中提取空间和角度特征，然后将提取的空间和角度特征进行交互融合，以充分地利用光场图像全部子视点信息。第二部分将空间角度特征，从位姿信息得到的条件特征以及利用角度特征经过数层卷积得到的深度图输入到深度信息引导融合模块（，）中融合。第三部分将融合后的特征输入宏像素卷积注意力模块（）中，更好地恢复新视图的细节信息。条件生成对抗网络的判别器通常以生成的样本或真实样本，再加上对应样本的条件特征作为输入。本文提出的生成对抗网络中的判别器同时将生成器生成的样本、对应的真实样本以及经过位姿信息提取模块提取出的位姿特征作为输入。本文的贡献分为以下几个方面：）本文提出了一个基于条件生成对抗网络的光场透视视图生成网络 ，提出位姿信息提取模块（，），利用相机位姿信息作为条件，引导深度神经网络生成透视视图。）本文提出深度引导融合模块（）有效地融合深度信息，空间角度特征。并且提出了一种宏像素卷积注意力模块（）来恢复光场图像的细节信息。）本文构建了一个以光场相机光心为原点，围绕相机坐标轴旋转一定角度捕获的光场数据集对，包含真实场景和合成场景来训练所提网络，如图 所示。本文以沿 轴旋转，旋转角度设置为 和 为例。图 本文算法流程 图 光场相机旋转示意图，以 子视点光场图像为例 ，相关工作 单张图像新视图生成算法近年来，相关研究人员提出了很多单张图像的新视图生成算法。等人 首次利用 （）校准输入的图像，然后通过 （）构建几何支架，为场景的新视图计算深度图，并将该深度图和其他视图输入到循环编解码器中重新投影生成新视图。虽然该算法在具有挑战性的真实世界数据集上首次实现了新视图生成，但不适用于动态场景。等人 提出了一个新的区域感知几何变换网络，通过一定数量的平面来近似模拟真实场景，并学习预测一组单应性矩阵及其对应的区域编码，从而将输入图像转换为新视图，该算法解决了其他视图生成算法因过于关注场景内容而产生的预测结果与底层场景结构不一致的问题。等人 提出了一个 （）网络，通过对单张图像进行三维重建来生成新视图和深度估计。该算法首先通过引入神经辐射场（，）来对多平面图像进行连续的深度泛化，然后利用 来预测并生成任意深度值的四通道图像并结合重建的相机截锥体来恢复被遮挡的内容。但该算法深度估计结果不够精确，限制了网络的性能。等人 提出了一种基于深度的新视图生成算法，从单张 图像来重建光场。首先提出了一个单目深度估计网络，根据光场的中心子视点来预测每个子视点的视差图，再通过 操作生成目标子视点图像。等人 提出了一种将输入的单张 图像转换为 图像的方法，其中包含在原始视图的遮挡区域中的颜色和深度结构，并提出了一种基于学习的修复模型，以空间上下文感知方式将新的局部颜色和深度内容合成到遮挡区域中，然后使用标准的图形引擎来渲染 图像，算法充分地利用了图像的上下文信息，产生的视觉伪影较少。等人 提出了一个基于编码器解码器结构的生成对抗网络 ，使用估计的相机位姿矩阵作为原始图和目标视图的输入条件，取代了原本的独热条件向量。等人 提出一个卷积神经网络（，），给定对象的类型、视点和颜色，它能够在给定的视点之间进行内插以生成缺失的视点。该网络以包含形状和相机位姿的低维代码作为输入，并将其映射为高维图像。单张图像的新视图生成算法研究成果较为丰富，已经提出了很多优秀的算法。近年来基于单张图像生成视点的算法大多受限于输入单张图像的信息较少，故通常以其他信息（深度图 、相机位姿 ，等）作为支撑，帮助生成较为精准的视图。光场图像新视图生成算法由于光场的结构信息可以更好地支撑新视图的生成，近年来研究人员提出很多基于深度神经网络的光场图像新视点生成算法。等人 提出一种新的基于学习的方法，从一组稀疏的输入视图中生成新视图。算法过程分为视差估计和颜色估计两部分，并利用连续的两个卷积神经网络来对两部分进行建模，最后通过最小化生成图像和真值之间的误差来同时训练上述网络。等人 提出了一个端到端的深度学习网络，通过探索伪 来生成新视图。首先将在光场极平面图像（，）上操作的 跨步卷积和用于细节恢复的 卷积结合成伪 卷积，然后利用 卷积将一组稀疏的输入视图有效地生成密集的 光场。等人 提出了一种基于深度递归残差网络（，）的光场视图生成方法来改善光场图像在传输和存储时的数据大小。该算法在发出端删除特定的视图，计 算 机 应 用 研 究 第 卷并在接收端有效地生成视图，并且利用 信息来保证生成视图和原始视图之间的平滑视差。等人 提出了一个基于对抗生成网络的光场子视图生成算法。首先对光场中的子视图进行稀疏采样，然后利用神经网络捕获光场结构的空间角度上下文信息生成未采样的子视图，最后将采样子视图和生成的未采样子视图组织为伪序列并由标准视频编解码器压缩。等人 利用光场数据中 的清晰纹理结构，将稀疏视点的光场重建问题建模为基于 的 角度细节恢复。为了平衡空间和角度信息，在 馈送到网络之前，首先利用 模糊去除空间高频分量，最后使用非盲去模糊操作来恢复之前被 模糊抑制的空间细节。等人 提出了一种从不规则网格采样的视图生成算法，该算法首先利用多平面图像的场景表示，将每个采样的视图扩展成一个局部光场，然后通过混合相邻的局部光场渲染新的视图。等人 提出一种用于复杂场景的新视图生成的深度学习算法。该算法首先利用 参数来表示每条光线，然后将光场公式转换为一个 函数，将 坐标映射到每条光线对应的颜色值，并训练一个深度全连接网络来优化此隐式函数，最后使用特定场景的模型生成新的视图。上述描述的算法都专注于光场视图内插任务，虽然生成的结果图较准确，但视图之间的视差较小，获得的辅助信息较少，网络训练的难度也较低。基于光场的新视图生成任务相较于基于单张图像的新视图生成任务，可利用的信息更多，光场的空间特征和光场独有的角度特征可以更好地满足对算法要求较高的视图外插任务。同时，如何充分地利用光场图像中的空间信息和角度信息也是问题所在，目前部分光场图像的新视点生成算法 仅仅将输入的光场图像视为多张图像输入，而忽视了子视点之间的联系。新视图外插生成算法无论是单张图像还是光场图像，现有的新视图生成算法大多聚焦于视图内插算法，而视图外插领域算法相对较少，且其中较多是通过三维重建方法来实现。等人 引入了一个可微的点云渲染器来将潜在的三维特征点云转换为目标视图，投影后的特征通过细化网络解码来绘制缺失区域并生成新视图。等人 提出了一个深度学习网络来实现视图外插，利用 上的大量在线视频的数据进行训练。该算法从输入的立体图像对中预测多平面图像，然后利用该多平面图像生成一系列新视图。等人 提出了一种结合 和基于截断符号函数（，）的融合技术的方法，以实现高效的大规模重建和照片级真实感渲染，网络以图像序列作为输入，实时增量重建全局稀疏场景表示。等人 提出一个新方法，给定单个场景图像和摄像机运动轨迹，网络利用自回归 来合成前后一致的相机运动视频。等人 提出了 ，通过使用神经三维点云和相关的神经特征来模拟辐射场，从而结合了体积神经渲染方法和深度多视图立体方法的优点，在基于光线行进的渲染管道中，通过聚集场景表面附近的神经点特征来进行三维场景的高效重建。以上三维重建方法尽管可以在重建的三维场景上生成任意要求视点的图像，但其通常要求较多相机位姿变化明显的图像作为输入，以获得三维场景的信息，且通常计算量也较大。视图外插相较于视图内插任务，视图之间的视差较大，遮挡关系变化较大，目标视图的获取较难，对数据集和模型的学习能力都有较高的要求。相较于平移的视图外插，旋转一定角度的视图外插的算法通过学习数据集的结构和语义信息来对输入的场景未知部分进行合理推测的要求更高。因此，在光场领域基于旋转的新视图外插任务的研究有着十分重要的意义。算法原理 依据相机的位姿信息变化生成目标视点的光场图像，即三维透视变换图像。其网络结构如图 所示。网络结构是条件生成对抗网络，生成器主要由光场特征提取模块（）、深度引导融合模块（）和宏像素卷积注意力模块（）组成，将经过位姿信息提取模块（）提取的位姿特征信息作为条件特征，同时输入到生成器和判别器中，指导生成器得到的目标光场子视图与真值保持一致。本文的主要任务是将输入的光场宏像素图像 重建为透视变换矩阵（，）的光场图像 （，）。输入的光场宏像素图像 可表示为三维张量?，其中 为通道数，和 代表角度分辨率，和 代表空间分辨率。作为条件特征的位姿信息可表示为矩阵?，其中 个通道分别是沿 条空间坐标轴的旋转角度和 条空间坐标轴的平移量，该位姿矩阵拥有和光场子视点相同的 和。图 本文网络结构 光场特征提取模块（）光场包含四维信息，空间特征包含了场景的结构信息，角度特征隐含了场景的深度信息。目前大部分光场算法将四维光场数据分解后的部分子视图输入神经网络，这会丢失光场的大量角度信息。因此，本文利用光场特征提取模块，从光场宏像素图像中分别提取空间和角度信息，充分地利用光场图像的结构信息和深度信息。本文利用 等人 提出的光场特征提取模块来提取空间和角度特征。光场特征提取模块以膨胀卷积为基础，其输入是光场宏像素图像?。首先，对于角度分辨率 的输入光场图像，本文利用卷积核为 ，步幅为 ，膨胀率为 的膨胀卷积来提取角度特征?，利用卷积核为 ，步幅为 ，膨胀率为 的膨胀卷积来提取空间特征?。第 期张逸骋，等：基于条件生成对抗网络的光场图像透视视图生成算法书书书然后，将空间和角度特征进入交互融合模块（）。交互融合模块主要由两个分支组成，如图 所示。上面的分支是空间特征进入角度卷积模块中提取新的角度特征，并与输入的角度特征级联进入 卷积和 中更新角度特征。下面的分支是角度特征上采样到与空间特征尺寸一致，与空间特征级联进入空间卷积与 中充分融合角度特征和空间特征；空间和角度特征两个分支均采用局部残差连接。交互融合模块的示意函数为 （），）（）（），）（）其中：代表空间特征，代表角度特征，上标 代表特征经过的交互融合模块的数量，本文的 中设置了 个交互融合模块，代表角度卷积步骤，代表上采样步骤，代表维度连接步骤，代表 卷积和 激活函数，代表空间卷积和 激活函数。图 空间角度特征交互融合模块结构 最后，初始提取出的特征和 个交互融合模块的输出经过 操作，得到最终的空间特征和角度特征，输入进 进行融合，示意函数如下：（，）（）（，）（）其中：、分别代表 输出的空间特征和角度特征。位姿信息提取模块（）本文在 等人 和 等人 将相机的位姿信息经过处理后参与到网络中的工作的启发下，提出位姿信息提取模块（），其结构为 层 卷积。光场相机绕相机坐标轴 轴旋转来捕获数据集，其位姿信息可表示为?，与光场子视图空间尺寸 和 保持一致，个通道分别是目标相机视点沿 条空间坐标轴的旋转角度和平移量。位姿矩阵同光场图像子视点空间分辨率相同，均为，每个像素位置记录的位姿信息相同。首先将相机的位姿信息矩阵输入 ，得到位姿信息特征，然后输入到 和判别器进行进一步处理。本模块的示意函数如下：（）（）其中：为相机的位姿信息矩阵；代表提取出的位姿特征；为 层 卷积步骤。深度引导融合模块（）经过 提取出的位姿信息特征，一方面与空间特征 、角度特征 一起作为 模块的输入，另一方面作为判别器的输入，优化判别器的判别标准。角度特征中隐含的深度信息是利用光场图像实现新视图生成任务的主要优势。首先，本文的深度估计网络利用 卷积和 激活函数对角度特征积分，然后进入到 个 卷积层得到深度图：（）（）其中：代表深度图；代表深度估计网络。然后，位姿信息和角度特征融合，经过三个残差块后上采样到与空间特征尺寸一致，再与空间特征融合，将结果进入 卷积和 激活函数中得到最后的融合特征 ，输入进下一模块 进行光场的重建。本模块的示意函数如下：（，）（）（），）（）其中：代表将深度图，角度特征和位姿特征融合后的融合特征；代表 输出的特征；代表残差步骤和上采样步骤。宏像素卷积注意力模块（）本文在 等人 提出的卷积注意力模块（，）的基础上进行了改进，提出了一种宏像素卷积注意力模块（），如图 所示。图 模块结构 首先，输出的 分别经过一个空间卷积层、激活函数和一个空间卷积层，然后输入进宏像素通道注意力模块（），的结构如图 所示。将输入的特征通过基于 和 的最大池化和平均池化操作，所得到的特征图输入到多层感知（，）中。输出的注意力图再进行逐像素相加，然后通过 激活操作得到通道注意力图，最后与输入的特征图相乘，得到宏像素特征图。图 宏像素通道注意力模块结构 本模块的示意函数如下：（）（）（）（）（）（）其中：代表一层空间卷积、一层 激活和一层空间卷积操作；代表平均池化操作；代表最大池化操作，代表多层感知；代表 激活操作；代表输出的通道注意力图；代表元素相乘操作；代表 输出的宏像素特征图。然后，输出的宏像素注意力图进入空间注意力模块（），经过基于 的最大池化和平均池化操作，在通道维连接这两个特征图，并经过 卷积和 激活操作得到空间注意力图，再与输入特征相乘，得到最后的结果。空间注意力模块结构如图 所示。图 空间注意力模块结构 的示意函数为计 算 机 应 用 研 究 第 卷 （），（）（）（）其中：代表 卷积操作；代表输出的空间注意力图；代表经过 模块处理后输出的光场特征。传统的通道注意力模块的空间注意力和通道注意力模块权重大小分别为（，）与（，）。与传统的通道注意力模块不同，本文提出的宏像素通道注意力模块的权重大小为（，），其中 为输入光场图像的角度分辨率。可以在保证光场多个子视点之间差异的同时，有效地计算不同通道的权重。最后将 的结果经过 和 卷积操作得到重建的光场。本模块的示意函数如下：（，）（）（）其中：为用于重建光场的 步骤；为 卷积操作；（，）是经过重建的输出光场。损失函数本文算法的损失函数定义如下：（）（）该损失函数可分为三个部分，其中，表示 中输出的深度图的损失，表示生成器的损失函数，则代表对抗网络损失函数。、是 和 在总损失函数中的权重。生成器的损失函数 被详细定义为（）（）其中：表示结构相似性损失；表示感知损失；是感知损失在生成器损失中的权重。两者的定义如下：（，）（）（）（，），）（）其中：表示结构相似性；表示利用预训练的 网络对生成的结果与真值图像分别进行特征提取操作；（，）代表生成结果；代表真值。的定义如下：（）（，）（）除此之外，采用 损失，定义如下：（）（）其中：表示深度估计网络；表示输入的角度特征；表示深度真值。实验结果 光场数据集本文构建了一个新的光场数据集来训练深度神经网络，包括真实场景和合成场景两大类数据集。真实场景数据集是由 光场相机通过带刻度的三脚架调整相机位姿，以获取相机沿坐标轴 轴旋转的视图。合成场景数据集是通过 调整相机参数渲染出不同角度的光场图像。每组数据集都包含一张输入的光场宏像素图像、目标视点的光场宏像素图像以及相机的位姿信息，并且本文算法以相机位置为坐标原点。本文使用 组光场数据，包含了真实场景数据共 组，合成场景共 组，其中 组真实场景和 组合成场景用于训练，组真实场景和 组合成场景用于测试。训练集和测试集中的所有光场图像的角度分辨率均为 。本文在 上进行网络训练，训练次数为 次，采用 优化器更新参数，初始学习率设置为 ，训练和测试批量大小分别设置为 和 ，、和 分别设置为 、和 。其中不同、以及 数值的实验结果的 与 平均值如表 所示。从表中可以看出，本文拟定的深度神经网络参数值可使结果达到一个理想的指标。表 不同超参数的 与 平均值 视图生成结果定量分析本文在沿相机坐标轴 轴角度变化为 的合成和真实数据集上进行测试，并与基于多平面图像的视点生成算法（）、基于多平面图像的单视点生成算法（）以及基于单个图像的自然场景的连续视点生成算法（）进行了比较。本文在光场中心子视点上，采用峰值信噪比（）和结构相似性（）两个度量标准对本文算法和其他算法进行定量分析。定量分析如表 所示，从结果可以看出，本文算法的 和 值均高于其他算法。表 光场新视图生成的定量比较结果（组测试数据）（）视图生成结果定性分析本文将沿相机坐标轴 轴角度变化为 的虚拟场景和真实场景的光场新视图生成结果与深度学习算法 ，进行比较。实验结果如图 所示，第一行从左到右依次是输入图像、本文的结果以及真值。图 、展示了在四组合成场景光场图像上的中心子视点结果的比较。从图中可以看出，算法会产生黑洞且学习到的结构信息是错误的；算法学习到的结构信息不准确，且图像右边区域修复的内容也是错误的；而 学习到的内容偏向于图像的已知区域，没有学习到目标位置的信息。从图 的两组场景中可以看出，算法得到的结果相较于其他算法较模糊。图 展示了在八组真实场景光场图像上的中心子视点结果的比较，从图中可以看出，在恢复纹理细节方面不如 和 。如图 所示，和 所学习到的目标视点的内容是错误的，学习的内容虽然是正确的，但是目标视点右边区域的内容不完整。无论是在合成场景还是真实场景得到的结果不仅都准确地学习到了目标视点完整的结构和内容信息，并且恢复了图像的细节信息。图 沿相机坐标轴 轴旋转角度为 的虚拟场景光场视图生成结果比较 同时本文也在旋转角度为 的真实光场数据集上进行了测试，如图 所示。从图中可以看出，在旋转 情况下所得到的结果与真值相比，准确地学习到了目标视点的结构和内容，并且也恢复了图像细节信息，由此证明本文的网第 期张逸骋，等：基于条件生成对抗网络的光场图像透视视图生成算法络模型对任意角度的有效性。本文还展示了真实场景光场图像的深度图结果，如图 所示。从图中可以看出，对应场景所得到的深度图基本准确。图 沿相机坐标轴 轴旋转角度为 的虚拟场景光场视图生成结果比较 图 沿相机坐标轴 轴旋转角度为 的真实场景光场视图生成结果比较 图 沿相机坐标轴 轴旋转角度为 的真实场景光场视图生成结果比较 图 沿相机坐标轴 轴旋转角度为 的真实场景光场视图生成结果比较 图 沿相机坐标轴 轴旋转角度为 的真实场景光场视图生成结果比较 由于显存的限制，本文在角度分辨率为 的光场图像上进行的实验，图像并没有进行切块操作。为了证明本文方法的有效性，在角度分辨率为 ，空间分辨率不变的光场图像上进行同等条件的实验。由于显存大小的限制，图像进行了切块操作，值得强调的是，图像进行切块操作有利于网络处理更大尺寸的宏像素光场图像，可以获得的信息也更丰富，但切块后的图像不利于网络对输入模型进行全局建模，尤其是在视图生成领域，模型对输入图像整体的认知显得十分重要。得到的结果如图 所示。从图中可以看出，图像切块后得到的结果较为模糊且图像的颜色也不正确，得到的结果图质量远低于本文方法的结果。图 沿 轴旋转角度为 的真实场景光场视图生成结果 图 光场真实场景深度图结果 图 光场子视图切块对比结果 效率对比为了证明本文方法的优越性，还将 同 、的测试所用时间进行对比。将 张满足各自输入要求的图像输入进网络中，记录生成沿相机坐标轴 轴旋转 的新视图的单张平均时间。各方法所用时间如表 所示。表 新视图生成的效率比较结果（子视点）（）由表 的用时比较可知，在测试 子视点的光场图像时，效率较其他方法提升较明显。计 算 机 应 用 研 究 第 卷 消融实验为了验证本文模块能有效提高算法的性能，本文在提出的数据集上进行了四组消融实验，分别是去掉条件特征、去掉 而使用普通的膨胀卷积来提取光场宏像素图像特征、中去掉深度图模块直接融合空间角度特征和位姿信息、重建模块中去掉 。由表中的 和 两个指标可知，条件特征输入网络可以有效引导网络生成更准确的视图，本文的 能充分利用光场的信息，使用深度引导融合明显优于直接融合，更有助于恢复目标光场的结构信息，重建模块中去掉了 后，网络性能明显下降，因此引入 更有利于图像细节信息的恢复。表 不同模块的视点生成结果 结束语本文提出了一个基于条件对抗生成神经网络的光场透视视图生成网络 ，利用相机的位姿信息引导网络生成新视图。首先通过 分别提取光场空间和角度特征，从而获得光场的结构信息；然后利用角度特征生成深度图，将其与空间角度特征以及位姿信息送入 中融合，从而得到目标光场图像的结构信息；最后进入重建模块 中恢复目标光场图像的细节信息，得到重建的光场图像。在大量合成和真实数据集上的实验结果表明，本文算法能有效地实现光场图像透视视图的生成。但是本文提出的网络模型仍然存在不足，由于真实场景中光场图像的复杂性，本文实验结果在细节和颜色方面的修复不是非常理想。所以，下一步针对此问题可以引入其他损失函数以提高图像细节修复的能力。本文获得的真实场景的深度图效果也不是非常理想，可以通过引入半监督的学习策略同时利用仿真数据和真实数据来提高模型的泛化能力。参考文献：，：，（）：，：，（）：，：，：熊伟，张骏，高欣健，等 自适应成本量的抗遮挡光场深度估计算法 中国图象图形学报，（）：（，（）：），：，：，：，：，：，：，（）：崔璨 基于感知的立体内容深度调整及视点生成技术研究 北京：北京邮电大学，（：，）韩冬雪 多视点裸眼 电视的虚拟视点生成方法研究 济南：山东大学，（：，），：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，（）：，：，：，（）：（下转第 页）第 期张逸骋，等：基于条件生成对抗网络的光场图像透视视图生成算法意力，提出了一种混合注意力结构，提升了网络特征提取能力；采用双向计算与多尺度图像特征融合，依据采样的思想，提出了多尺度双向融合金字塔，在仅增加少量参数和时间复杂度的前提下，显著提升了网络的准确率。在参数量为 、为 的 前 提 下，实 现 了 准 确 率 ，表明了所提方法对 燃烧室燃烧状态识别问题的有效性。目前，由于考虑的影响燃烧室燃烧状态的外部条件较少，燃烧状态的分类也较少。在后续的工作中，将考虑以更多的分类条件进行燃烧状态分类，以实现更精确的燃烧状态识别。此外，结合燃烧图像特点，对网络结构进行优化也是后续工作的方向之一。参考文献：，（）：，：，：，：，（）：李嘉瑞 功率的固体氧化物燃料电池电堆尾气燃烧稳定性研究 武汉：华中科技大学，（：，），：，：，：，：，：，：，：，：，（）：，：（）：，：，（）：，：，：，：，：，：，：，：，：，：，：张家波，李杰，甘海洋 结合双流网络和金字塔映射的步态识别 计算机应用研究，（）：（，（）：）：，：，：，：，：，：，：，：，：（上接第 页），：，：，：，（）：，：（）：，：，：（）：，：，：，：，：，：，：，：，：计 算 机 应 用 研 究 第 卷