苹果联合学界提出“生成多平面图像”方法 用最少修改让2D生成对抗网络实现3D感知.pdf

【生成图像】新奇风苹果联合学界提出“生成多平面图像”方法用最少修改让2 D生成对抗网络实现3 D感知在生成高质量图像方面，生成对抗网络（GAN）在近几年取得了令人印象深刻的进展。这些进步大多集中在生成器的输出空间和给定的数据集设置相同方面，这些输出通常是图像，有时也是3 D卷形式。而最新的研究主要体现在生成与现有的训练数据不同的新输出上。这包括为一类对象生成3 D几何图形和相应的纹理的方法，给定的数据集只包含广泛可用的单视图图像。没有使用多视图图像或3D几何图形来监督3 D感知生成对抗网络的训练。为了从这种有限的监督形式中学习3 D几何图形，之前的研究通常会结合三维感知归纳偏差，如三维体素网格或使用煊染引擎的隐式表示。然而，提高这些方法的结果质量仍然具有挑战性：3 D感知的归纳偏差通常是内存密集型的显式或隐式3 D卷，并且染通常需要计算。此外，从2 D生成对抗网络中获得的经验教训往往不能直接转移，因为生成器的输出甚至其整个结构都必须进行调整。这就提出了一个问题：让现有的2 D生成对抗网络3 D感知，需要真正做些什么？为了回答这个问题，本次苹果联合学界希望以最少方式修改现有的2 D生成对抗网络，并建立一个有效的推理和训练程序。B好星雪 星雪生成图像新奇风在三个数据集（FFHQ、A F HQ v 2 和MetFaces）上，使用最小的更改集进行2 DGan3D感知回到一开始提出的问题，让现有的2D生成对抗网络3 D感知需要什么？本次研究团队在论文中表示：“只有两个修改是绝对必要的：1.一个多平面图像样式生成器分支，它生成一组基于其深度的Alpha映射。2.一个姿势调节的鉴别器。更具体地说，我们为StyleGANv2开发了一个新的生成器分支，它会产生一组类似于一个多平面图像的正面平行的Alpha映射。这是第一个证明一个多平面图像可以作为无条件的3D感知生成模型的场景表示的研究。”据了解，区别于生成器和鉴别器一同调整的情况，新分支是从零进行训练，并且，结合Alpha映射与一个多平面图像谊染中的单一图像输出，还可得到多种视图的3 D感知生成。虽然Alpha映射遮挡的解决还存在一定限制，但其地图数量和煊染都比较有优势，甚至在训练和推理方便也有差别，可缓解记忆问题。“我们将这种生成输出的方法称作“生成多平面图像。”研究人员在论文中表示。他们还提到，虽然这两种调整在事后看起来很直观，但令人惊诉的是，一个具有基于其深度的平面和使用相机姿态信息的Alpha地图，对3 D感知的归纳偏差是足够的。西星雪尚价星雪