基于3D卷积神经网络的MPI新视点合成算法.pdf

第 卷第 期 年 月南 京 邮 电 大 学 学 报（自 然 科 学 版）（）：基于 卷积神经网络的 新视点合成算法霍智勇，魏俊宇，郭 权，陈奕杭南京邮电大学 通信与信息工程学院，江苏 南京()摘要：多平面图像（，）能够构造出一种以相机为中心、按深度分层的三维场景显式表示，用于新视点合成研究与应用。由于 生成预测网络在训练时不能有效捕获深度平面间遮挡区域的空间特征，使得 合成的新视点图像往往存在明显的伪影和扭曲。为此提出利用 卷积神经网络捕捉深度平面间的空间特征，用于提高对平面图像几何结构和 值的预测能力，从而实现高质量 场景表示和新视点合成目标。在两个数据集上的数值实验表明，算法在窄基线视点外推和宽基线多视点内插任务中能够有效消除合成新视点图像中的伪影和扭曲。当参考视点水平基线宽度增大一倍且不增加 深度平面数量时，算法仍然能够有效地预测出不同深度平面的遮挡区域信息，从而保证了视点内插合成图像的质量。关键词：多平面图像；场景表示；视点图像合成；卷积神经网络中图分类号：文献标志码：文章编号：（），()：（），（），：（）；（）收稿日期：；修回日期：本刊网址：基金项目：中兴通讯研究基金资助项目作者简介：霍智勇，男，博士，教授，引用本文：霍智勇，魏俊宇，郭权，等基于 卷积神经网络的 新视点合成算法南京邮电大学学报（自然科学版），（）：近年来，三维场景表示和视点图像合成研究受到了越来越多的关注。利用多个输入视点图像预测三维场景几何结构建立显式场景表示，并用于新视点图像合成是极具挑战性的任务。卷积神经网络因具备归纳偏置的特征提取能力，在视点图像合成领域被广泛应用。针对视点外推图像合成任务，算法首先提出一种基于多平面图像场景表示的方法，利用一组分布在不同深度平面的半透明图像建立三维场景表示，通过多层感知器网络从一对输入视点中预测 场景表示，进行视点外推合成新视点图像；等在文献的基础上进行了 渲染的视点图像范围随着视差采样频率的增加而线性增加的理论分析，由此提出一个两阶段的 生成网络，通过光流计算遮挡的内容，进一步提高了 视点外推的能力。对于视点内插合成图像的任务，预测每个输入视点的，并将各 投影至目标视点，通过卷积神经网络进行融合以合成新视点的图像；方法认为之前的方法依赖于 生成网络的网络层来学习输入视点图像，用以建模 场景表示，存在过拟合问题，导致合成的新视点图像具有明显的伪影，为此将预测 建模为使用学习梯度下降算法解决的逆问题，根据输入视点图像迭代地计算当前 的梯度，并使用卷积神经网络处理梯度以生成更新的，提高了 视点内插合成图像的结果；和 在 的基础上对 生成网络进行了计算复杂度和图像质量的优化。由于现有的 场景表示生成网络没有有效捕获 深度平面间遮挡区域的空间特征，从而利用该场景表示合成的新视点图像存在明显的扭曲和伪影。本文提出了利用 卷积神经网络捕捉深度平面间的空间特征的 新视点合成算法，算法首 先 构 造 出 平 面 扫 描 体 积（，），即将参考视点图像投影到目标视点处一定深度范围内多个不同深度平面上，生成网络利用 卷积残差块将 的多层深度平面堆叠为一个立方体，运用 卷积核在立方体 个方向上提取特征，从而捕获多个深度平面之间的空间特征，提高了 在深度平面预测遮挡区域的能力，实现对平面内图像几何结构的准确推断，消除和减小了合成新视点图像中的伪影和扭曲。算法概述 新视点图像合成算法的流程如图 所示。为了对输入参考图像对 和 的位置信息进行编码，分别计算其，记为（，）。并将（，）沿着颜色通道进行融合得到大小为，的张量，其中、分别表示图像的高度和宽度，为深度平面的数量，为输入视点的数量。图 基于 卷积神经网络的 新视点合成算法流程图 生成网络结构 生成网络通过带有残差块的编码器从融合后的 中捕获深度平面中遮挡区域的空间特征，如图 所示，网络的解码器通过跳跃连接与编码器相连以重构目标视点的 场景表示，因此目标视点图像可以通过从后到前的 合成来渲染。基于 卷积神经网络的 生成网络由两部分组成，如图（）所示：预处理块和一个 层的残差编码器解码器结构。在训练中使用残差编码器来提取多个深度平面之间的空间特征，可以有效地学习深度平面内图像的几何结构。除了预处理块中的第一个卷积层使用的是 大小的卷积核，其余所有的 卷积使用的核大小均为。每层中的残差编码块和解码块之间通过跳跃连接为 南京邮电大学学报（自然科学版）年型网络，以增强捕捉上下文信息的能力，如图（）和图（）所示，分别以残差编码块 和解码块 为例。残差编码块由 个 卷积组成，每两个卷积之间有跳跃连接，卷积核大小为 的 卷积被应用于第一个跳跃连接中，对输入张量进行下采样。需要注意的是只有残差编码块 没有对输入特征张量进行下采样；解码块 由卷积核大小为 的两个三维卷积层和一个上采样层组成，其他解码块与解码块 相同，各个模块的参数均表示张量 ，大小的变化。图 基于 卷积网络的 生成网络结构图 目标视点图像合成基于 卷积网络的 生成网络直接预测目标视点 的不透明度 和混合权重（，），每个平面的 值可以通过混合权重和来自参考视点的 很好地建模。因此，对于 中的每个平面，计算其 图像 为 ，（）其中，表示哈达玛德积。目标视点图像 目标可以由 场景表示 ，（，）通过阿尔法合成渲染，渲染过程是可微分的，合成目标图像 目标的过程被定义为目标 （）()（）损失函数本文使用合成的目标视点图像作为监督来训练 预测网络，使用在通道维度上单位归一化的 感知损失作为损失函数（目标，目标）（目标）（目标）（）其中，目标为目标视点的真实图像，为 的一组网络层，权重超参数 为 中神经元数量的倒数。实验与分析 实验设置算法分别在两个视点外推和 个视点内插任务中进行了新视点图像合成质量的研究。选择两种数据集进行数值实验，其中 数据集通常用于视点外推任务研究，包含大约 组从 视频中提取的室内和室外的水平窄基线场景图像对，而 数据集通常用于宽基线图像的视点内插任务研究，由间隔距离约为 且采样点稀疏的相机阵列拍摄。为了评估算法的视点合成结果，选取峰值信噪比（，）、结构相似性（，）和感知相似度（，）作为评价指标。表示模型的预测结果与真实值的相似程度，能够衡量算法对图像中几何形状的预测精度，用来衡量合成图像的失真程度，更符合人类的感知情况，的值越低表示两张图像越相似。实验仿真与分析 窄基线视点外推合成结果对比为了检验算法在窄基线视点外推任务中合成新视点图像的质量，本文算法与、算 法 在第 期霍智勇，等：基于 卷积神经网络的 新视点合成算法 数据集生成的 个场景验证集上进行比较，其中每个场景的目标视点图像 目标如图（）所示，分布在如图（）所示的两个窄基线参考视点图像、之外，所有算法使用相同数量的深度平面（），数值结果的均值对比如表 所示。图 窄基线视点外推合成算法的主观结果对比表 窄基线视点外推合成算法数值结果的均值对比算法评价指标 本文算法 窄基线视点外推合成算法的主观结果对比如图 所示，针对场景 透明区域和场景 反射区域，相较于图（）的，算法合成图像在图（）中有效地消除了模糊的深度离散伪影；针对场景 和场景 反射桌面，相较于图（）的，算法合成的图像图（）预测出了更平滑完整的物体边缘。由表 可知，算法在、三个指标上均高于之前的方法。与 相比，在 上提升了；与 相比，在 上提升了，同时在 上降低了，表明算法能够更准确地预测图像的几何形状，并有效地减少了合成视点图像的失真。性能提升的主要原因是算法提出的残差编码块能够捕捉到足够的遮挡区域信息，从而能够推断出玻璃、反射等复杂区域的正确深度及场景几何，实现了 深度平面图像的有效预测，使得合成图像更接近图（）的真实图像。宽基线四视点内插合成的结果对比为了检验算法在宽基线 个视点内插任务中合成新视点图像的质量，本文算法在 数据集上与、基于 的算法进行了比较，所有方法的 个输入图像之间具有相等的基线距离，并且使用相同数量的深度平面（），数值结果如表 所示。表 宽基线四视点内插合成算法数值结果的均值对比算法评价指标 本文算法 主观结果对比如图 所示，图（）为目标视点图像，对于场景 复杂纹理区域和场景 玻璃区域，相较于图（）的 算法，算法合成的图像在图（）中有效地消除了深度离散伪影及扭曲；对于场景 反射桌面，相较于图（）的 算法，算法合成的图像图（）预测出更清晰的物体几何。由表 可知，算法在、两个指标上均高于现有方法。与 相比，算法在 上提升了 ，同时在 上降低了，表明其更准确地预测了图像中的几何形状。通过提高对深度平面遮挡区域的预测能力，算南京邮电大学学报（自然科学版）年法能够准确推断平面内图像几何结构，有效地消除了合成视点图像中产生的模糊伪影，在物体边缘、照明和反射等区域产生了更接近图（）真实图像的结果。图 宽基线四视点内插合成算法的主观结果对比 宽基线两视点内插合成的结果对比为检验水平宽基线上两视点内插合成图像的质量，在 数据集上使用基线宽度分别为 和 的参考图像进行训练，深度平面数量 为，同时使用几何变换法及像素变换法对数据集进行数据增强。不同基线宽度下视点合成的数值结果如表 所示。表 不同基线宽度下视点合成的数值结果均值对比基线宽度评价指标 图 为两种不同水平基线宽度下视点内插合成图像的结果对比，图（）为目标视点图像，图（）中当基线宽度增加到 时，算法合成的图像同样接近于图（）的真实图像。图 两种不同基线宽度下视点合成结果对比基线宽度增加一倍使合成目标视点图像的质量略有下降，实验结果表明，即使输入的参考图像对具有更大的水平基线宽度，算法构造的 场景表示仍能够有效地预测出不同深度平面的遮挡区域信息，从而保证了视点内插合成图像的质量。结束语本文提出了利用 卷积神经网络捕捉深度平面间的空间特征的 新视点合成算法，生成网络利用 卷积残差块捕获多个深度平面之间的空间特征，同时提高了 在深度平面预测遮挡区域的能力，实现对平面内图像几何结构的准确推断，消除和减小了合成新视点图像中的伪影和扭曲。实验结果表明，本文算法能够生成高质量的 场景表示，提高新视点图像合成的质量。参考文献：，（）：，：，（）：孙雁飞，王子牛，孙莹，等 面向内存受限设备的新型卷积计算方法 南京邮电大学学报（自然科学版），第 期霍智勇，等：基于 卷积神经网络的 新视点合成算法，（）：，（），（）：（），（）：，（）：，：（）：，（）：，（）：，（）：，：（）：，：（）：，（）：，（）：，：，（）：，：，（）：，：，：，（）：，：，（）：，（）：（责任编辑：潘雪松）南京邮电大学学报（自然科学版）年