一种增强的3D人脸替换方法.pdf

第 卷第期陕西师范大学学报(自然科学版)V o l N o 年月J o u r n a l o fS h a a n x iN o r m a lU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n)S e p,人工智能专题(主持人:谢娟英)引用格式:蒋珂,谭晓阳一种增强的 D人脸替换方法J陕西师范大学学报(自然科学版),():J I AN GK,T ANXY A ne n h a n c e d Df a c es w a p p i n gm e t h o dJ J o u r n a l o fS h a a n x iN o r m a lU n i v e r s i t y(N a t u r a lS c i e n c eE d i t i o n),():D O I:/j c n k i j s n u 收稿日期:基金项目:国家自然科学基金(,);南航“人工智能”项目(N Z ,X Z A )通信作者:谭晓阳,男,教授,博士生导师,主要从事机器学习、强化学习、计算机视觉等方面的研究.E m a i l:x t a n n u a a e d u c n一种增强的 D人脸替换方法蒋珂,谭晓阳,(南京航空航天大学 计算机科学与技术学院,江苏 南京 ;模式分析与机器智能工业和信息化部重点实验室(南京航空航天大学),江苏 南京 )摘要:针对 D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的 D人脸替换方法,称为基于生成重建的人脸替换(g e n e r a t i v er e c o n s t r u c t e df a c es w a p,G R F S).G R F S将对抗生成网络应用于对 D人脸替换结果的纹理修复,包括两个子网络:嘴部修复网络(m o u t hr e s t o r a t i o nn e t w o r k,MR N)以及局部修复生成网络(g e n e r a t i v el o c a l r e s t o r a t i o nn e t w o r k,G L R N).MR N用于修复人像的嘴部细节,G L R N用于修复 D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑.实验结果表明,G R F S可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法.关键词:人脸替换;D人脸重建;纹理修复;生成对抗网络;自监督学习中图分类号:T P 文献标志码:A文章编号:()A ne n h a n c e d Df a c e s w a p p i n gm e t h o dJ I ANGK e,T ANX i a o y a n g,(C o l l e g eo fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,N a n j i n gU n i v e r s i t yo fA e r o n a u t i c sa n dA s t r o n a u t i c s,N a n j i n g ,J i a n g s u,C h i n a;M I I TK e yL a b o r a t o r yo fP a t t e r nA n a l y s i sa n dM a c h i n e I n t e l l i g e n c e(NUAA),N a n j i n g ,J i a n g s u,C h i n a)A b s t r a c t:F a c es w a p p i n gt r a n s f o r m sas o u r c e i d e n t i t yi n t oat a r g e t i m a g ew h i l ep r e s e r v i n go t h e ri m p o r t a n t a t t r i b u t e s Df a c er e c o n s t r u c t i o n i sa ne f f i c i e n tm e t h o df o r f a c es w a p p i n g H o w e v e r,t h e t r a n s f o r m e d i m a g e sb y Df a c er e c o n s t r u c t i o nc h a r a c t e r i z ew i t hd i s t o r t i o no fh i g h f r e q u e n c yc o m p o n e n t sa n da b n o r m a ld i s c o n t i n u i t yo fh u ev a l u e I nt h i sp a p e r,af a c es w a p p i n gf r a m e w o r kb a s e do nf i n e t e x t u r er e s t o r a t i o ni sp r o p o s e d,r e f e r r e dt oa sG R F S,t oa d d r e s st h i s i s s u eo n Df a c er e c o n s t r u c t i o n G R F S i n v o l v e s t w ot e x t u r er e s t o r i n gm o d u l e sa s f o l l o w s:m o u t hr e s t o r a t i o nn e t w o r kr e s t o r e sm o u t hd e t a i l so f Df a c er e c o n s t r u c t i o nr e s u l t s;g e n e r a t i v el o c a lr e s t o r a t i o nn e t w o r kr e s t o r e s t h ed i s t o r t i o no f h i g h f r e q u e n c yc o m p o n e n t s a n ds m o o t h s t h eg a p so f h u ev a l u e 陕西师范大学学报(自然科学版)第 卷E x t e n s i v ee x p e r i m e n t s d e m o n s t r a t e t h a t G R F S p e r f o r m s b e t t e r t h a n t r a d i t i o n a l D f a c er e c o n s t r u c t i o nb a s e df a c es w a p p i n gm e t h o d sa n db a l a n c e st h eq u a l i t ya n de f f i c i e n c yb e t t e rt h a no t h e rm a i n s t r e a mf a c es w a p p i n gf r a m e w o r k s K e y w o r d s:f a c es w a p;Df a c er e c o n s t r u c t i o n;t e x t u r er e s t o r a t i o n;g e n e r a t i v ea d v e r s a r i a ln e t w o r k;s e l f s u p e r v i s e d l e a r n i n g近年来随着计算机性能的提升,以及各种大型数据库的公开,人脸相关的计算机视觉领域获得了前所未有的飞跃,尤其是随着生成对抗网络的应用,人脸编辑(f a c i a la t t r i b u t ee d i t i n g)领域得到了进一步发展.人脸替换可以看作是一类特殊的人脸编辑问题,它通过某种算法将源人像中的人物身份嵌入目标人像中,替换目标人像的身份信息.人脸替换方法需要兼顾生成结果的质量和效率问题.高质量的人脸替换方法需要解决以下问题:姿态是否对齐、伪造区域的纹理质量、嵌入部分与背景是否融合以及结果是否保持了源身份.D e e p f a k e s算法是解决上述问题的一种典型方案,它可以通过一对自编码器结构生成高质量的人脸替换结果.但是,D e e p f a k e s模型需要大量相同身份的人像作为训练集,并且每次训练只能生成一种身份的人脸替换结果.因此,D e e p f a k e s算法是繁琐而低效的.D人脸重建方法应用于人脸替换而衍生出的 D人脸替换方法可以解决D e e p f a k e s方法针对不同身份需要新数据重新训练模型的问题.这种方法根据一张源人像构造 D面部点阵以及纹理图,将 D面部点阵与目标人像的面部姿态进行对齐,再将纹理图进行贴图操作.这个过程不依赖于特定的人像,因此可以对任意身份进行人脸替换操作.这种方法的贴图过程往往包括仿射变换和插值两部分,即利用仿射变换为UV空间的点模型贴图,再利用插值法来填充仿射变换造成的像素间隔.但是仿射变换往往会对图像的高频分量造成破坏,同时过于简单的插值方法(如双线性插值法)会使图像产生异常的灰度不连续现象.这些问题会导致整个模型生成模糊的伪造图像并且有局部色块不均匀的现象.除了对视觉效果有影响,这些问题也会使人脸替换的结果更容易被人脸伪造检测器(f a c ef o r g e r yd e t e c t o r)所捕获.现有的 D人脸替换方法往往具有一些轻微的纹理畸变,以及在特定情况下产生的较为严重的纹理缺失问题.以方位回归网络(p o s i t i o n m a p p i n gr e g r e s s i o nn e t w o r k,P R N)为例,P R N的纹理失真包括两个方面:)仿射插值贴图算法造成的高频分量丢失以及异常的灰度不连续问题;)当源人像的嘴部闭合而目标人像的嘴部张开,仿射变换无法构建嘴部的细节,导致结果的嘴部纹理缺失.针对这些问题,提出一种基于重建生成的 D人脸替换方法(g e n e r a t i v er e c o n s t r u c t e df a c es w a p p i n g,G R F S).G R F S可以在仅有一对源、目标人像的情况下生成高质量的人脸替换结果.G R F S包括个子网络:)P R N网络;)嘴部修复网络(m o u t hr e s t o r a t i o nn e t w o r k,MR N);)局部修复生成网络(g e n e r a t i v el o c a l r e s t o r a t i o nn e t w o r k,G L R N).首先,利用P R N网络对源人像进行 D建模并对齐人物姿态,再进行贴图,生成原始结果.然后,对原始结果的嘴部进行姿态提取,利用MR N进行嘴部细节的生成并还原至图像上.最后,G L R N是一个自监督学习的网络,它用于对图像进行局部区域的改善,修复损失的高频分量并且光滑异常的不连续灰度.此外,为G L R N专门设计了一个翻译器(t r a n s l a t o r)模块,用于帮助G L R N捕获更多人脸结构信息,使得生成的结果图像更为细腻和逼真;并设计了一套全面的、专用于评价人脸替换方法的指标.相关工作D e e p f a k e s算法主要基于一对多的自编码器结构,即编码器提取人像背景部分的表征,再由解码器对面部进行伪造.在这种结构下,D e e p f a k e s算法的训练过程是自监督的,即源、目标人像为同一种人像时,生成的人脸替换结果应该与目标人像一模一样.自监督过程极大降低了人脸替换对数据集的要求,但是也由于其自监督的训练过程,D e e p f a k e s算法在添加新人物身份时需要重新训练.此外,受硬件资源限制,D e e p f a k e s算法很难生成细腻的高分辨 率 结 果.在 此 基 础 上,G AN结 构 的D e e p F a c e L a b算法,可 以 生 成 细 节 更 好 的 人 脸 替 换结果.D人脸替换指的是基于 D人脸重建方法的一类人脸替换方法.F a c e F a c e 是 一种早期的 D人脸替换算法,它的 D重建过程中特征点的定第期蒋珂 等:一种增强的 D人脸替换方法 位并不精确,因而结果质量较低.另一种算法如文献 所述,称为N i r k i ne ta l 方法(NM),作为一种改进的 D人脸替换算法,它可以在有遮挡条件下进行精确的 D人脸重建.这类方法都存在一个问题,即在贴图后缺少对纹理的进一步处理,导致生成的图像都不够细腻和逼真.方位回归网络是一种典型的 D人脸重建方法,可以应用于人脸替换工作.方位指的是特征点的UV坐标方位.P R N可以将一组人脸特征从一个UV坐标映射到另一个UV坐标.P R N是一种单图 D人脸重建方法,在此基础上衍生的 D人脸替换方法也只需要一对源、目标人像.基于重建和生成网络的人脸替换方法G R F S本节主要介绍G R F S方法以及个纹理修复子网络MR N和G L R N,并详细介绍G L R N的自监督训练过程.G R F S的结构如图所示.首先对源人像进行 D人脸重建,将其人物面部姿态调整至与目标人像一致,获得原始结果;然后提取原始结果人脸的嘴部姿态,通过MR N进行嘴部纹理的重建;最后通过G L R N对整张人脸的不同局部区域进行修复,产生逼真的最终结果.图基于重建和生成网络的人脸替换方法(G R F S)的结构,包括P R N、嘴部修复网络MR N、局部修复网络G L R NF i g T h e s t r u c t u r eo fG R F S,i n c l u d i n g t h r e e s u b n e t w o r k s:P R N,MR N,G L R N 嘴部修复网络MR NMR N是 一 个 最 小 二 乘 生 成 对 抗 网 络(L S GAN)结构,用于生成与P R N生成的人脸替换原始结果姿态一致的嘴部图像.MR N的输入为从原始结果提取的嘴部姿态,损失函数如下:LD m i nDEzpl a b e l(z)(D(G(z)Epd a t a(x)(D(x),LG m i nG Ezpl a b e l(z)(D(G(z)Ezpl a b e l(z)xpd a t a(x)(V(G(z)V(x).()式中:z表 示 嘴 部 姿 态;x表 示 对 应 的 嘴 部 图 像;V(x)用于计算x的内容特征.局部修复生成网络G L R NG L R N网络的主干也是L S GAN结构.相比于传统的生成对抗网络(GAN),L S GAN的训练过程更为 稳 定,且 可 以 缓 解 模 式 坍 塌 问 题.但 是,L S GAN这类生成网络的生成结果具有较大的随机性,可能会破坏图像原有的、有价值的信息.因此,引入个预训练辅助模块:提取器(e x t r a c t o r)和翻译器(t r a n s l a t o r).G L R N的结构如图所示.图G L R N子网络的结构,包括生成器、判别器、提取器、翻译器F i g T h e s t r u c t u r eo fG L R N,i n c l u d i n gg e n e r a t o r,d i s c r i m i n a t o r,e x t r a c t o ra n dt r a n s l a t o r提取器是一个预训练的VG G 模型,用于提取图 像 的 内 容 特 征,并 计 算 图 像 间 的 内 容 损 失(c o n t e n t l o s s)作为G L R N的重建损失,其预训练时的损失函数为L Niyil o g(pi)(yi)l o g(pi).()式中:i是样本下标;p是提取器的预测值;y是样本的标记.陕西师范大学学报(自然科学版)第 卷翻译器用于加强G L R N捕捉人脸结构特征的能力,使得网络更关注于具有人脸特征细节的生成.翻译器的输入是一张人脸图像,翻译器将其进行图像分割,分割为个部分:左右眉毛、左右眼睛、鼻子、嘴巴、脸部和背景.翻译器采用VG G 结构进行特征提取,并进行解码重构,生成标记图.翻译器的损失函数为L Nijyi jl o g(pi j)(yi j)l o g(pi j).()式中:i是样本下标;j是标记类别下标;p是提取器的预测值;y是样本的标记.G L R N的损失函数如下:LD m i nDExpd a t a(x)(D(G(P(x)Expd a t a(x)(D(x),LG m i nG Expd a t a(x)(D(G(P(x)VT,VExpd a t a(x)(V(G(P(x)V(x),TExpt a t a(x)(T(G(P(x)T(x).()式中:P表示P R N的输出;V表示提取器的输出;T表示翻译器的输出;、分别为对抗损失和内容损失的系数.G L R N的自监督训练过程首先,分别在I m a g e n e t 和F F HQ 数据集上预训练提取器和翻译器.然后,在源、目标人像相同的条件下,通过P R N生成一个原始图像集 合Xf,并在这个集合以及真实图像集合Xr上训练G L R N,训练过程如算法所示.算法G L R N子网络训练过程输入:w、分别为判别器和生成器的初始参数,nc为当生成器每轮迭代时判别器迭代的轮数,为学习率,m为b a t c h的大小,、分别为判别器和翻译器的系数,V表示提取器的输出,T表示翻译器的输出,PR表示P R N的输出w h i l en o t c o n v e r g ed o:f o rtncd o:从真实嘴部图片采样xmiPR,gw wmi(fw(xi)mi(fw(g(PR(xi).wwA d a m(w,gw),e n df o r从真实嘴部图片采样xmiPR,g mi(fw(g(PR(xi)mi(V(xi)V(g(PR(xi)mi(T(xi)T(g(PR(xi).A d a m(,g).e n dw h i l e 评价指标本节介绍用于评价人脸替换方法的一般性指标,包括结构相似性(S S I M)、姿态误差(P E)、肤色误差(S E)以及身份距离(I D).S S I M用于衡量张图像的相似度.在人脸替换中,S S I M可以用于评价结果图像和目标图像的相似度,即衡量人脸替换结果图像整体结构的失真程度.姿态误差P E用于衡量目标图像和人脸替换结果图像中人脸姿态的误差,即用于检验人脸替换结果中的人脸是否与背景对齐.其定义为D(I,I)|v|h|.()式中:I和I是张图像;v和h分别为张图像的特征点在垂直和水平方向的距离;是用于调节二者权值的参数.肤色误差S E用于衡量人脸替换结果的伪造部分和背景的肤色差异,定义为N(F)N(T).()式中:N表示归一化函数;F表示从伪造区域采样的肤色像素点均值;T表示从伪造区域外采样的肤色像素点均值.身份距离I D用于衡量两张人像在隐空间中的距离.通过F a c e N e t 学习从人像到特征隐空间的映射函数.该隐空间满足:若两张脸属于同一个人,那么它们的特征向量在隐空间应该尽可能接近;若不属同一个人,则应该尽可能远离.损失函数为a r gm i nEDnDEx,yDnN(x)N(y)ExDnyDmnN(x)N y).()式中:为该深度网络的目标参数;D为所有人脸图像构成的分布;而Dn表示某一个身份人脸图像的分布;x和y均为人脸图像的样本;为用于调节个第期蒋珂 等:一种增强的 D人脸替换方法 侧重的参数.由此,训练好的深度网络就可以度量人脸替换的结果和源人像的身份距离.实验中,该网络为在VG G F a c e 上训练的模型.实验本节利用不同的测试环节对G R F S进行评价.首先是对比实验,将G R F S与主流的人脸替换方法进行对比;然后是局部分析和人脸伪造检测测试,对G L R N的结果进行细节上的分析,并在主流模型上对其进行人脸伪造检测测试,检验G L R N对伪造结果的欺骗性是否有促进作用;最后是消融实验,用于检验翻译器对于G L R N的促进作用.数据集以及超参数的设定L FW 数据集包含超过 张从互联网选取的、自然状态下的人脸图像.这些人脸图像的限制很少,仅仅满足可以被V i o l a J o n e s 人脸检测器检测到的要求.F F HQ数 据集包含 超过 张高质量 的P NG人脸图像,包括各个年龄段、性别以及背景.人物的配饰可能包括眼镜、墨镜、帽子等.F a c e F o r e n s i c s 数据集是一个人脸伪造数据集,包括超过 段人脸伪造视频.超参数:在实验过程中,我们设置学习率为 ,损失项系数、分别为 和 .对比实验我们将G R F S与其他人脸替换算法进行比较.实验环境包括种:实验环境(E n v S i n g l e)中每种人脸替换算法都将在单对源、目标人像上进行人脸替换;实验环境(E n v M u l t i)中每种人脸替换算法都可以在多对源、目标人像上进行人脸替换,即有利于D e e p f a k e s算法的实验环境.为了便于实 验,E n v S i n g l e的实验主要在L FW数据集上进行,而E n v M u l t i的实验主要在F a c e F o r e n s i c s 上进行.在E n v S i n g l e上的测试,除了G R F S,还包括以下主流人脸替换算法:A I F a c eS w a p(A I F S)、F a c e S w a p L i t e(F S L i t e)、D e e p f a k e s(D F).部分结果如图所示,结果选取了不同年龄、肤色的目标图像.选取这些方法的原因是,除了D F算法外,其他人脸替换算法只需要一对源、目标人像即可达到这些算法的最好效果.在E n v M u l t i上的测试,除了G R F S,还包括以下主流人脸替换算法:D e e p f a k e s(D F)、N i r k i ne ta l(NM).部分结果如图所示,结果选取了不同年龄、性别、角度的源、目标图像.选取这种方法的原因是,这种方法是目前主流人脸替换算法中性能最好的,近期的人脸替换研究常用这些方法作为基线进行比较.图E n v S i n g l e的定性结果:实验将源人像身份嵌入目标人像F i g T h eq u a l i t a t i v e r e s u l t so nE n v S i n g l e:s o u r c e i d e n t i t yw o u l db e t r a n s f o r m e d i n t o t a r g e t i m a g e注:网络版为彩图.图E n v M u l t i的定性结果:实验将源人像身份嵌入目标人像F i g T h eq u a l i t a t i v er e s u l t so nE n v M u l t i:s o u r c ei d e n t i t yw o u l db e t r a n s f o r m e d i n t o t a r g e t i m a g e注:网络版为彩图.从实验的定性结果(图、图)可以看出,在E n v S i n g l e中A I F S、F S l i t e算法对于人脸的对齐性能很差,导致人脸替换结果的拼接痕迹明显,质量较低,而D F算法显然不适合该环境.而在E n v S i n g l e中,D F算法受到硬件性能限制无法生成高分辨率的图像,因此存在与背景分辨率不统一的问题;NM算法由于缺乏对贴图的处理,导致其生成图像的拼接痕迹较为明显.相比之下,由于对上述方法的这些缺陷进行了针对性处理,本文的G R F S在种环境下都可以达到较好的性能.此外,我们还在E n v M u l t i上利用第节介绍的实验指标,对G R F S、D F和NM分别进行定量实验,指标结果如表所示,其中“”表示该指标数值 陕西师范大学学报(自然科学版)第 卷越大结果越好,“”表示该指标数值越小结果越好.表E n v m u l t i上的定量实验结果T a b T h eq u a n t i t a t i v e r e s u l t so nE n v m u l t i算法指标S S I MP ES EI DD e e p F a k e s N i r k i ne t a l G R F S(本文)定量实验结果表明,G R F S在大多情况下都具有较好的表现.G R F S在图像失真的处理、姿态对齐以及人物身份的保持程度上都要领先于主流的方法;而在肤色处理方面,G R F S的性能与D e e p f a k e s算法相当.人脸伪造检测测试我们还对P R N的原始结果和G L R N的结果分别进行人脸伪造检测测试,这些模型包括:A l e x N e t、V G G 、S i m p l e R e s N e t(S R N)、R e s N e t 、I n c e p t i o n、X c e p t i o n.训练集分别为原始结果和真实图像的混合(O r i g i n a l)以及G L R N结果和真实图像的混合(w G L R N).各个模型训练时的验证集准确率如表所示.这些实验结果表明,一些相对简单的模型,如A l e x N e t、V G G 和S R N,在w G L R N集合上的表现(表中加粗部分)明显低于O r i g i n a l集合,表明G L R N对原始图像的质量具有促进作用,使其更接近于真实图像的分布.但是,相对复杂的模型,如R e s N e t ,还是能够以很高的性能识别出G L R N的结果.表种训练集、不同模型在人脸伪造检测测试中的验证集准确率T a b T h ev a l i d a t i o na c c u r a c yo fd i f f e r e n tm o d e l s i nf a c e f o r g e r yd e t e c t i o nt e s t o nt w o t r a i n i n gs e t s 单位:训练集模型A l e x N e tVG G S R NR e s N e t I n c e p t i o nX c e p t i o nO r i g i n a l w G L R N 进一步对复杂模型的结果进行分析,以R e s N e t 模型为例,提取R e s N e t 的热力图,即类激活映射,如图所示(图 a为P R N的原始结果,图 b为G L R N的结果).热力图表明,对于P R N的原始图像,模型主要关注插值处理较多的部分,如鼻子附近;而对于G L R N的结果图像,网络权重较大的区域并不集中,甚至可能扩散到人脸以外的区域.这可能是由于复杂模型可以检测到G L R N生成网络产生的一些不可避免的噪声,相较于插值处理造成的灰度不连续以及高频分量损失,这些噪声更难检测.这表明对G L R N的结果图像的检测难度加大.图R e s N e t 模型中提取出的热力图表示卷积网络的权值分布,反映网络对图像的关注区域F i g T h eh e a t m a p s e x t r a c t e df r o mR e s N e t ,w h i c hr e p r e s e n t s t h ed i s t r i b u t i o no fC N Nt om a r kt h er e g i o n so f i n t e r e s t注:网络版为彩图.接下来,对个复杂模型的训练过程进行分析.为了让个模型具有相近的初始化点,模型均采用在I m a g e n e t上预训练的权重.个模型在O r i g i n a l和w G L R N训练集上的训练过程如图所示.其中图 a表示R e s N e t 的训练过程,图 b表示I n c e p t i o n的训练过程,图 c表示X c e p t i o n的训练过程;而蓝线表示在O r i g i n a l训练集上的训练,黄线表示在w G L R N训练集上的表现;准确率指的是样本准确率.结果显示,在w G L R N训练集上,模型的收敛速度要低于O r i g i n a l训练集,表明解空间的收敛位置距离初始点更远.训练时样本准确率的方差如表所示.结果表明,模型在w G L R N上的训练更为振荡(表中加粗部分),说明解空间的结构更为复杂.图不同复杂模型的训练过程F i g T h e t r a i n i n gp r o c e s s e so fd i f f e r e n t c o m p l e xm o d e l s 注:网络版为彩图.综上所述,相较于P R N的原始结果,G L R N的结果具有更好的局部细节,同时也更难被人脸伪造检测算法检测.第期蒋珂 等:一种增强的 D人脸替换方法 表不同复杂模型上训练过程中样本准确率的方差T a b T h ev a r i a n c e so f s a m p l ea c c u r a c yo nd i f f e r e n tm o d e l s i nt r a i n i n gp r o c e s s训练集模型R e s N e t I n c e p t i o nX c e p t i o nO r i g i n a l w G L R N 消融实验本部分重点对G L R N以及G L R N的翻译器模块进行消融实验.首先对G L R N进行消融实验,G L R N主要用于改善伪造区域的局部质量,其消融实验结果如图所示(图 a是P R N的原始人脸替换结果,图 c是G L R N处理过的结果,图 b是图 a和图 c的局部特写的截取).相较于原始结果,G L R N的结果图像更为清晰,具有更为丰富的高频分量,同时一些异常的灰度不连续现象也得到了改善.图P R N的原始结果(a)、G L R N结果(c)以及它们对应的局部特写(b)F i g O r i g i n a l r e s u l t so fP R N(a),r e s u l t so fG L R N(c)a n dt h e i r l o c a l c l o s e u p s(b)注:网络版为彩图.接下来,进行图像质量相关的定性分析,实验结果如图所示(其中图 a为不含翻译器模块的图不带翻译器的G L R N结果(a)、带翻译器的G L R N结果(c),以及它们对应的局部特写(b)F i g R e s u l t so fG L R Nw o T(a),r e s u l t so fG L R Nw T(c)a n dt h e i r l o c a l c l o s e u p s(b)注:网络版为彩图.G L R N(G L R Nw o T)生成的图像,图 c为含有翻译器模块的完整G L R N(G L R N w T)生成的图像,图 b上下分别为从图 a、图 c图像中截取的局部细节特写).定性分析的结果如表所示.引入指标 峰 值 信 噪 比(p e a k s i g n a lt o n o i s er a t i o,P S N R),用于衡量图像的失真情况.结果表明,带有翻译器的G L R N生成图像带有更少的失真,达到了像素级的细腻度.表关于翻译器模块消融实验的定量结果T a b q u a n t i t a t i v ea b l a t i o nr e s u l t so f t r a n s l a t o rm o d u l e算法S S I MP S N RG L R Nw o T G L R Nw T 结语本文提出了一种基于重建和生成的人脸替换框架G R F S.G R F S可以在只有单对源、目标图像的情况下生成逼真、细腻的人脸替换,且不需要对新的身份进行重新训练.实验表明,G R F S在大多数指标下的表现都要优于主流的人脸替换算法.G L R N模块不仅增强了G R F S结果的视觉效果,也保证了G R F S的结果更难被人脸伪造检测器检测.但是,G R F S在伪造视频时会受到P R N特征点定位帧间不稳定性的影响,影响结果的质量,该局限将会作为今后的研究方向.总之,本文提出的G R F S方法为人脸替换工作提供了一种新的思路.参考文献:HEZL,Z UO W M,KAN M N,e t a l A t t GAN:f a c i a l a t t r i b u t ee d i t i n gb yo n l yc h a n g i n g w h a ty o u w a n tJI E E ET r a n s a c t i o n so nI m a g eP r o c e s s i n g,():M I R S KY Y,L E E W T h ec r e a t i o na n d d e t e c t i o no fd e e p f a k e s:as u r v e yE B/O L h t t p s:/a r x i v o r g/a b s/v H I N T ON G E C o n n e c t i o n i s tl e a r n i n gp r o c e d u r e sJA r t i f i c i a l I n t e l l i g e n c e,(/):D E N GJK,CHE NGSY,X U ENN,e t a l UV G AN:a d v e r s a r i a l f a c i a lUV m a pc o m p l e t i o nf o rp o s e i n v a r i a n tf a c er e c o g n i t i o nC/I E E E/C V F C o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n S a l tL a k eC i t y:I E E E,:G ON Z A L E ZR W o o d sR E:d i g i t a l i m a g ep r o c e s s i n gMU p p e rS a d d l eR i v e r:P e a r s o n/P r e n t i c eH a l l,L ILZ,B AOJ M,Z HAN G T,e ta l F a c eX r a yf o rm o r eg e n e r a l f a c e f o r g e r yd e t e c t i o nE B/O L h t t p s:/a r x i v o r g/a b s/陕西师范大学学报(自然科学版)第 卷F E N GY,WUF,S HAOX H,e t a l J o i n t Df a c e r e c o n s t r u c t i o na