(学位论文)基于二维图像的三维人脸建模.pdf

摘要自Parke首次使用人脸参数模型生成三维人脸图像以来，构建逼真的三维人脸模型 一直都是计算机视觉领域的一个研究热点。本文在对三维人脸建模技术认真分析的基础 上，对基于二维图像的三维人脸建模方法进行了深入的研究。主要研究内容包括以卜几 个方面：(1)从Poser7.0中导出通用三维人脸模型。根据MPEGT的FDP标准，在正、侧面 人脸照片上标出能基本反映人脸几何形状和结构特点的特征点。这两步为后面个性化人 脸模型的创建奠定了基础。(2)采用了改进的径向基函数插值方法变换通用人脸网格模型,并对插值后的模型 进行二次平滑处理，得到的特定人脸模型几何结构更加自然。(3)利用三张照片进行纹理合成。对三张照片分别进行匹配融合，然后对融合后的 图像进行二次融合处理，使最终得到的纹理图像更加真实自然。根据合成的人脸纹理图 像的特点，分别计算出人脸模型的各个部分的纹理坐标。(4)把模型数据和纹理数据导入到Visual C+6.0环境中利用OpenGL图形库进行 纹理映射。实验证明，本文提出的算法简便可行，有效避免了网格模型三角面片的扭曲，纹理 映射效果生动逼真，得到了具有真实感的三维特定人脸模型。关键词：三维人脸建模，特定人脸模型，径向基函数，纹理映射，OpenGLAbstractSince the F.L Parke generated the first 3D human face image using a Parametric Model for Human Faces,it has been always a research hotspot to built vivid 3D human face model in the computer graphic area.After surveyed the 3D face modeling methods,the author carried out a thorough study in the 3D face modeling using 2D images.The research is composed as follows:(1).Exported the general face model from Poser 7.0.From front and side images,selected feature points,which correspond to MEPG-4 FDP.These feature points can usually reflect geometrical shape and characteristics of human face.These two steps lay the foundation for generating the upcoming individual fiscal model.(2).Deformed the generic face model using the improved Radical Basis Function Interpolation and applied smooth treatment basing on the post-interpolation face model.After this step,the geometrical shape of generated 3D face grid model becomes more natural.(3),Performed texture synthesis using three 2D images.Matched and smoothed these images separately.Then the texture images from the previous step was further performed second fusion,as a result,the human face texture image becomes much smoother.From this point,based on the characteristics of the synthesized face texture,every texture coordinates of the face model can be computed,respectively.(4).The model data and texture data are imported into Visual C+6.0 to perform texture mapping using OpenGL graphic library.This algorithm has been proved easier and feasible by the experiment.It can effectively prevent triangular facets of the grid model from distortion,making the texture mapping effect more vivid and giving specific 3D face model more realistic.Key wor ds:3D face modeling,specific face model,Radial Basis Function,texture mapping,OpenGLii目录摘要.IAbstract.II目录.Ill第一章绪论.11.1 研究背景.11.2 研究意义.21.3 国内外研究现状.31.3.1 国外研究现状.31.3.2 国内研究现状.51.3.3 三维人脸重建技术的分析比较.51.4 本文研究内容.61.5 本文的组织结构.6第二章基于图像的三维人脸建模方法回顾.82.1 人脸建模方法的分类.82.2 基于几何的人脸建模方法.92.3 基于图像的人脸建模方法.112.4 人脸建模中常用的技术.132.5 本章小结.14第三章 通用人脸模型的建立与人脸特征点的提取.153.1 通用人脸模型.153.1.1 通用人脸模型特征及构造要求.153.1.2 通用人脸模型的获取.163.2 基于MPEG-4的人脸特征点定义.183.2.1 MPEG-4标准 卜的FDP参数.183.2.2 本文选定的人脸特征点.193.3 本章小结.20第四章个性化三维人脸建模.214.1 照片的预处理.214.1.1 人脸图像的规范化调整.214.1.2 人脸图像的归一化处理.234.1.3 从正侧面照片中恢复特征点的空间坐标.234.2 特定人脸模型的构建.244.2.1 一般人脸模型的整体变换.244.2.2 儿种常见的空间插值技术.254.3 模型的局部修改.284.3.1 径向基函数简介.284.3.2 基于径向基函数的三维人脸重构.30433径向基函数插值的三维人脸变形结果.31434三维人脸模型的二次平滑处理.324.4 本章小结.33第五章真实感人脸纹理映射.345.1 纹理映射技术概述.345.1.1 纹理及纹理定义.345.1.2 纹理的分类.345.1.3 纹理映射的建立.355.2 全视角人脸纹理图像的合成.365.2.1 图像的拼接.375.2.2 基于塔形分解方法的人脸纹理图像二次融合.405.3 纹理映射的实现.445.3.1 纹理坐标的计算.445.3.2 OpenGL中的基本纹理映射技术.455.3.3 实验结果与分析.485.4 本章小结.53第六章总结与展望.546.1 总结.546.2 展望.54参考文献.56致谢.60个人简介.61IV基于二维图像的三维人脸建模技术研究第一章绪论人脸是区分不同个体的最重要的特征，也是人体上最具表达力的个组成部分。人 脸表面具有十分复杂的几何形状和非常丰富的颜色纹理信息，而且兼有广泛性和多样性 特点。因此人脸识别是一项具有很大挑战性的工作。当前人脸识别的方法主要集中在二维图像方面，其识别的准确率在一定程度上由图 像来源和质量决定。因为容易受到外部环境和对象自身条件的限制，最终识别结果往往 不尽人意。针对二维人脸识别的不足，科学家们提出利用三维人脸信息进行人脸识别。从70 年代以来，三维人脸建模技术日益引起人们的关注，许多不同领域的研究者提出很多创 新方法，从而大大推进了该技术的发展。由于巨大的应用前景和科学上的挑战性，真实 感三维人脸建模近些年来逐渐成为计算机及相关领域最热门的研究方向之一。1.1 研究背景自人类社会形成以来，人们对模拟人脸一直抱有浓厚的兴趣。最初实现人脸模拟的 方法包括美术绘画、泥塑艺术、雕刻工艺等，随着科技的进步，出现了电影和照片，但 其仅限于反映人脸在某个角度的二维信息。然而随着科技的进一步发展，在诸多领域单 方向的人脸信息已经不能满足人们的需要，人们希望可以从各个方向观察人脸，从而可 以更便利的识别人脸对象。近些年来，计算机技术的发展FI新月异，人脸建模技术的应 用领域也日益广泛，人们利用计算机优良的数据计算和处理能力使人脸模拟技术R趋完 善，不管是二维还是三维人脸图像，都可以在计算机上进行模拟和演示。现在三维人脸 建模技术已经作为一个研究热点而广受关注。当前虽然已经在三维人脸重建方面取得了一些成就，但在实现完美的二维人脸构建 方面还存在有许多问题，从几何结构上来看，人脸表面具有极其复杂的外部轮廓曲线和 纹理信息，只有利用精深的数学方法才能描绘这叱特性。表情动作的仿真、头发的模拟、光照强度的调整、真实感纹理映等这些问题的彻底解决都有一定的难度，近些年来图像 图形学专家一直致力于解决这些难题。而且三维建模需要专用的设备，需要处理的数据 量大，不便于存储及网络上传输等问题需要进一步改善皿。三维人脸建模虽然存在许多难以解决的问题，但很多学者专家还是在坚持不懈的致 河南工业大学硕士学位论文力于该方面的研究，主要有以下两方面的原因：首先是现有的一些问题用二维图像的方 法不能很好地解决。在人脸识别方面，最终识别效果主要是由表情变化问题来决定，如 果充分利用三维信息来识别三维人脸模型，将会大大提高人脸识别的准确率和鲁棒性。其次，三维人脸模型被广泛应用于社会生活的各个领域，具有广阔的应用前景。目前，三维人脸模型已经普遍应用于科教、娱乐、医疗和安全检测等多个领域，而且随着计算 机技术和科学技术的发展，三维人脸模型将会有越来越广阔的应用前景。在尽可能地减 少人工干预的条件下，创建精确、生动逼真的三维人脸模型，这是本文的研究重点，旨 在创建一些高效而简捷的方法来解决这些问题。1.2 研究意义许多研究者充分利用计算机在处理图像图形处理方面的优良性能，他们用计算机来 模拟和演示三维人脸模型并取得了很大成就。人脸动画已经从传统的关键帧技术发展到 表演驱动技术。从可视电话到游戏娱乐，从多通道用户界面到虚拟现实，到处都体现着 人脸建模与动画的技术。而且人们对利用计算机进行三维人脸建模的效果和质量要求 也越来越严格，人们不再仅仅满足于动作僵硬、表情呆板、背景单调的三维人脸及其动 画，建模精确度高、模型表情丰富逼真的建模技术是该领域的研究者们共同追求的目标。三维人脸建模系统的选择与其所面向的应用领域密切相关，不同的应用领域具有不 同的选择标准。三维人脸建模技术主要应用于以下几个方面。(1)影视制作影视中虚拟主持人与虚拟演员的制作是三维人脸建模与动画技术 在娱乐方面最明显的应用。专业的影视制作人员一直在不断寻找最优的三维建模技术，从而给观众带来最佳的视觉盛宴。从几年前的我国的宝莲灯到近期的乐火男孩,以及美国最近的电影阿凡达等，都充分体现了三维人脸建模技术的非凡魅力。(2)人机交互界面 目前的计算机虽然在容量空间、处理速度方面有了突飞猛进的 发展，可以基本满足社会生活的需要，但计算机主流界面GUI/WIMP的设计风格却不 能令广大用户满意。人们所期待的人机界面是比图形用户界面具有更简单、更自然、更 友好、更一致的界面设计风格。Morishima和Welsh等人将发展理想的用户界面作为他 们研究的一个长远而重要的目标。三维人脸建模技术是人机交互领域的一个研究热 点，它可以实现多通道、多媒体的智能化的人机交互。(3)游戏娱乐 自出现三维游戏以来，三维人脸建模技术就在游戏制作中占有重要 的地位。在三维游戏中，丰富多彩的背景、栩栩如生的人物形象都会让玩家惊叹不已，随着三维建模技术的成熟，将会推出更多更好的三维游戏，而且在不久的将来，在游戏 2基于二维图像的三维人脸建模技术研究中可以允许玩家随意更换角色造型，还可以把自己的形象放进游戏中任意驰骋。这一切 将归功于三维人脸建模技术。(4)通讯领域 自从电话进入人们的生活后，给人们带来很大的方便，它已经成为 人们F1常生活的一个重要组成部分，但普通电话只是声音的传递工具，随着生活水平的 提高，人们希望通话的同时可以看到对方。如果说普通电话是“顺风耳”的话，那么可 视电话既是“顺风耳”又是“千里眼”了，它是一种语音通信和多媒体通信相结合的产 物。虽然目前有多家通信公司推广可视电话业务，而在通讯产品市场上也有很多成型产 品在出售，但由于传统的窄带技术无法满足网络对带宽和最大用户数量的要求，再加上 该产品高昂的通讯费用，因而还没有普及开来。(5)医学领域在医学领域中，三维人脸建模技术主要适用于心理与行为研究和面 部美容手术整形治疗等方面。不断成熟的三维人脸建模技术为心理学家进行心理活动和 面部运动的研究提供了实验基础。心理学家能够在计算机上利用三维模型来完成他们的 实验，这比用真人进行研究更加方便快捷；在进行面部整形手术之前，可以利用三维模 型来模拟手术过程和手术结果，以得出合理的手术方案，以最大程度的降低手术风险。(6)计算机辅助教学三维人脸建模技术可以应用到计算机辅助教学中。学生可 以随时随地与类似真人的虚拟老师进行互动学习，营造良好的学习氛围，增强了学生的 学习积极性。特别是当学生听力或语言表达能力方面有缺陷时，只要预先设定程序，学 生可以在人脸动画技术的支持下，一遍遍的跟这位虚拟老师学习。(7)人脸识别人脸识别技术属于生物特征识别技术，是对生物体本身的特征来 区分生物个体。经过很多专家学者坚持不懈的努力，在人脸识别领域已经取得了很大成 就。特别是近些年来，三维人脸识别技术已经逐渐成熟，与二维人脸识别相比，它具有 更高的精确性和鲁棒性，而且也具有更广阔的应用前景和更大的市场潜力，因而它必定 会成为研究的热点方向。总之，作为计算机视觉领域倍受关注的热点，真实感三维人脸建模技术的研究，不 仅具有较高的理论研究价值，而且更具有潜在的实际应用价值。1.3 国内外研究现状1.3.1 国外研究现状1972年Parke制作了世界上第一个人脸参数模型，人脸参数模型的基本原理是利 用不同参数来描绘不同的人脸表情特征。人脸的表情特征会随着参数的变化而改变。河南工业大学硕士学位论文Parke首次利用计算机来模拟三维人脸模型，他使用将近400个顶点组成的250个多边 形来表示人脸皮肤，采用余弦插值算法计算连续表情的中间图像，从而实现人脸表情动 画。此后，许多专家学者在该领域进行了更深层次的研究工作。当前，使用最为广泛的三维人脸模型是统计模型和网格模型。美国宾夕法尼亚大学 的DeCarlo等人利用人体测量学知识，在人的头部标定一些能表现人物个性特征的特 征点，然后根据人体测量方法测量特征点，同时确定特征点之间的关系。对这些测量数 据利用变分技术进行处理，最后利用B样条曲面表示三维模型。瑞典Linkoping大学的 Image Coding Group在2001年发布了最新版本CANDIDE-3,该三维模型包含113个特 征点和168个三角面片，此模型几何结构简单，可以简捷地表示人脸的细节特征和面部 动作，被普遍地应用于网络视频传输方面。微软研究院Zhang和Lium等人在艺术家的 帮助下，构造了一种中性人脸网格模型。这种模型包含了 360个三角平面和194个特征 点，而且构建了 65个可调向量，这些向量可用于调整模型的形变。三维数据信息可以通过物理设备激光扫描仪获取。而且它可以同时获取模型的几何 结构信息和纹理信息，也是获取距离数据的一个准确有效的手段，许多研究小组已经开 始使用此设备进行科学研究。德国学者Blanz和Vette创建了一个包含三维距离信息和 表面纹理信息的头部数据；康柏剑桥研究所的Waters】等人利用激光扫描系统获取的三 维数据信息进行三维头部建模。多伦多大学的Lee等人利用激光扫描仪获取的三维几 何数据信息和纹理信息，通过变换通用人脸网格模型构建特定人脸模型。根据三维数据 创建的三维人脸模型具有较高的真实度，但该方法建模成本高，算法不容易实现，同时 对三维数据的精度要求很高，当前还不容易实现。基于二维图像的三维人脸建模，利用普通相机拍摄的二维图像为基础进行三维人脸 建模。华盛顿大学的Pinhin1等人采用多幅图像变形三维通用人脸模型，他们使用的通 用模型是Toronto大学的线框模型。其具体方法是：首先在图像上用手工标定若干个特 征点，然后根据特征点的位置信息来调整通用模型。整个调整过程包括三部分：首先利 用计算机视觉技术标定相机的定标参数和各个图像的变形参数，并且计算出各个特征点 的三维空间坐标；然后，利用散乱数据插值技术，根据特征点的位置来调整非特征点的 位移；最后，对模型进行微调，在模型的顶点之间和图像的对应点之间插入附加点，得 到具有真实感的二维人脸模型。基于图像的二维人脸建模方法建模效率高，图像容易获 取，但是往往由于三维数据存在噪声问题，降低了建模的精确度，同时建模时图像之间 特征匹配的精确度也直接影响建模的效果，具体实现时有一定难度。现有的技术多处于 理论研究的探索阶段。该方法需要的硬件设备比较简单.，但对算法的要求较高。4基于二维图像的三维人脸建模技术研究1.3.2 国内研究现状国内在该领域起步较晚，最早的三维人脸建模研究始于上世纪90年代末，经过近 些年的研究，国内不少研究者也对人脸建模和动画技术抱有浓厚的兴趣，不同的研究机 构在该领域作了许多研究工作。中国科学技术大学、中国科学院计算技术研究所、清华 大学、中国科学院自动化研究所和浙江大学等在获取三维人脸数据和三维人脸建模方面 都取得了一定的成就。中国科技大学根据正侧面人脸图像构建了三维人脸模型并建造了 基本的面部表情动画【；中科院计算技术研究所在表情分析与识别研究中获得不错的效 果“3；清华大学采用三角样条曲面进行面部建模和动画研究，取得了一些成果川：中 科院自动化研究所使用激光扫描仪获取三维数据，为后续建模工作奠定了基础”叫浙江 大学CAD&CG国家重点实验室在曲线/曲面建模、真实感图形绘制、计算机动画等方 面取得了很大成就。但当前国内实际应用还涉及比较少，还只仅限于理论研究。所以现 在越来越趋向于综合多种技术构建三维人脸模型。跟采用三维扫描仪获取三维人脸数据 相比，正侧面人脸照片容易获取，且设备便宜。这一特性使很多研究者热衷于使用二维 人脸照片重建三维人脸模型，本文就是以正交照片为基础，提出一种改进的构造三维人 脸模型算法。1.3.3 三维人脸重建技术的分析比较通过前面的介绍，我们对三维人脸建模技术的基本原理、使用方法都有了基本的了 解，现对常用的三种建模技术进行比较分析，具体分析结果表1T所示：表1-1三维人脸建模技术分析表模型精度真实感获取设备建模速度算法基于三维数据的方 法很高很好昂贵扫描仪慢复杂基于通用模型变影 的方法较高较好普通设备慢荷单基于图像的方法低低普通设备快筒单为了达到良好的建模效果，人们往往综合利用多种建模技术进行三维人脸的重建，对二种建模方法进行综合分析比较后发现，由于利用三维扫描仪的方法虽然建模精度 高，但建模代价过于高昂；而利用图像的建模方法虽然方法简单，但建模精度过低，所 以现在研究者们越来越热衷于以通用人脸模型为基础，参照二维图像来建立三维人脸模 河南工业大学硕士学位论文型，本文也是根据这一思路为出发点进行建模，由于二维正交图像上的特征信息最容易 提取，因而在本文实验中使用的二维图像是正交图像。1.4 本文研究内容本文研究基于二维正、侧面人脸照片的三维人脸建模，研究内容包括以下几个方面:（1）采用Poser7.0三维人体建模软件，导出通用人脸模型，对该模型的数据信息 根据建模要求进行分类提取，并把它转化为适合本实验研究的数据格式进行保存，为后 续的建模工作做好数据准备。（2）由于在实际中受种种因素的影响，获得的两张照片大小可能不一样，所以在 提取特征点之前，要对正侧面照片进行规范化处理，使两张照片的高度一致，也即使正 面照片和侧面照片的同一特征点处在同一条水平线上，以保证坐标的统一。（3）根据MPEG-4的FDP标准选择特征点。由于人脸两侧基本上是对称的，所以 定义的特征点也是对称分布的，在统计特征点的坐标时，只需要得出中央特征点和一侧 的特征点的坐标即可，另一侧的特征点可由空间对称性直接得到。（4）对通用人脸模型进行整体变换，使通用人脸模型与特定人脸在外部轮廓和五 官位置上大致相一致。在整体变换的基础上对人脸模型进行局部变换，使用径向基函数 插值技术变换三维通用人脸模型，对变换后的模型进行二次插值平滑处理，使模型的几 何结构更加人性化。（5）合成全视角人脸纹理图像，使用基于列特征的匹配方法，确定出图像的重叠 区域，然后采用直方图匹配的方法进行灰度调整，使用加权平滑算法完成图像的无缝拼 接。最后利用金字塔方法进行图像二次融合，避免用正侧面照片获得全视角纹理图时会 产生较大纹理扭曲现象，得到更加平滑自然的人脸纹理图。（6）采用微软公司的Visual C+6.0可视化编程语言对OpenGL进行调用，实现特 定人脸模型的纹理贴图，得到具有真实感的三维人脸。1.5 本文的组织结构第1章，绪论。介绍三维人脸建模技术的研究背景和研究意义，分析近年来国内外 对该技术的研究现状。在此基础上，明确本文的研究思路、研究目标以及主要研究内容。第2章，基于图像的三维人脸建模方法回顾。主要介绍采用二维图像进行三维人脸 建模时一些常用的方法，并分析它们的优缺点，指出其适合的应用领域。6基于二维图像的三维人脸建模技术研究第3章，通用人脸模型的建立与人脸特征点的提取。首先介绍三维通用人脸网格模 型从三维建模软件Poser 7.0中的导出过程，从分析原始三维文件格式出发，对文件中 的数据信息进行提取分类，最终将模型的初始数据格式转化成适合于后续建模研究的数 据格式。然后，参照FDP标准，根据人脸特征点分布情况，从正侧面人脸照片中交互提 取人脸特征点。第4章，个性化三维人脸建模。采用径向基函数插值方法对通用人脸模型进行变形。针对该算法的不足，利用二元三次多项式插值技术，对模型的局部区域进行二次平滑处 理，最终获得较为平滑自然的个性化三维人脸网格模型。第5章，真实感人脸纹理图映射，首先使用基于列特征的匹配方法，确定出图像的 重叠区域，然后采用直方图匹配的方法进行灰度调整，使用加权平滑算法完成图像的无 缝拼接。最后利用金字塔方法进行图像二次融合，最终得到自然平滑的人脸全景纹理图,为后续工作做好准备。利用OpenGL有关纹理映射知识，基于Visual C+6.0开发环境,获得具有较高真实度的三维人脸模型。第6章，总结与展望。本文所做的工作进行总结，对本研究课题中的不足及需要改 进的地方进行分析。河南工业大学硕士学位论文第二章 基于图像的三维人脸建模方法回顾特定三维人脸模型的构建过程分为三个阶段：三维通用人脸模型的选择、特定三维 人脸模型的变换、真实感纹理映射。人脸具有很大的差异和不规则的儿何结构，而且人 脸皮肤表面和光照之间具有复杂的相互作用，这种特性给特定三维人脸模型的构建带来 一定的难度。因而，采用二维人脸图像构建二维人脸模型的技术研究近些年来成为人们 关注的热点。本章简单介绍几种常用的三维人脸建模方法，并且指出它们适用的领域及 优缺点。2.1 人脸建模方法的分类虽然构造具有真实感的三维人脸存在一定的困难，但在该领域己经取得了一些成 果。通过基于图像的操作和基于儿何的操作都能够获取真实感的三维人脸，其中基于图 像的操作可以获取皮肤的反射属性、头发等这些特定人脸的基本细节，而几何操作主要 对应于表情变化时面部的改变。现有的建模方法主要集中在人脸的建模和渲染两部分,据此我们把三维人脸模型构建的方法大致分为两种类型：基于的儿何的方法和基于图像 的方法。基于几何的模型构建方法，主要是利用几何方法来变换三维人脸模型，以此来达到 获取特定三维人脸模型的目的。其包含的主要的方法如图2-1所示。基于几何的方法儿何方法 肌肉方法 参数化法 变形方法 其他方法参数化模型 币性网格方法 多层冲性网格方法 I向量肌肉方法 散乱数据插值 双线性插值其他方法脸部动作编以系统 1三维扫描仪数据适配 人类学自动方法 自由变形方法 样条伪肌肉方法图2-1基于几何的人脸建模方法基于图像的构造方法，主要利用图像的数据插值、纹理贴图的方法来完成特定三维 8基于二维图像的三维人脸建模技术研究人脸建模，其包含的主要方法如图2-2所示。予于图像的方法插值面色变化产生表情对应点的测试胆染皱纹图2-2基于图像的人脸造型方法每种方法都是根据一些具体的实际问题提出来的，是对各种方法的综合结果，因 而上述的各种三维建模方法之间存在密切的联系，在具体进行特定三维人脸建模过程 中，应该根据实际情况将几种不同的建模方法综合运用，特别是假如基于图像的方法能 够结合人脸的儿何数据，将会使模型更具真实感。在此只是为了方便说明问题才进行方 法分类，通常在实际应用中是结合多种方法进行建模。2.2 基于几何的人脸建模方法Parke首次把基于几何的构建模型方法应用在计算机中生成虚拟三维人脸模型。该 方法的实施是以一个假人模型为出发点，先用手工方法测量模型上的数据，然后把脸部 进行多边形分割，把多边形的顶点数据进行保存，根据保存的数据可以得到头部的分片 模型“7】。Parke设定人脸模型的差别可以利用拓扑几何结构上的变换来区分，他通过变 换通用人脸模型的参数构造儿个不同形状的人脸模型，使用双线性插值来构造不同的人 脸形状。给定的构造参数的范围限制了 Parke的参数化模型，并且在一张特定人脸上参 数的调节是非常困难的。随后Parke据此方法原理有创造性的提出一些实现人脸动画的 方法，下面主要介绍一些比较有代表性的建模方法及其思想原理。(1)参数化人脸模型人脸模型参数化方法突破了简单插值的某些局限性，面部轮 廓和形状的构建是利用一些特殊的参数值来完成的，参数化方法只需要较少量的计算就 可以精确的控制特殊人脸形状。很多面部表情都可以由参数的组合来提供。但是参数化 方法只能利用模型网格的拓扑儿何结构来选取参数，所以不能实现完全参数化控制，并 且很多参数值是通过手工调节来获取，因而会引起外形和动作表情的失真。而且参数化 河南工业大学硕士学位论文方法的另一个局限是如果用两个跟同一个顶点相关的参数去调整模型的话，无法用一个 合理的方案来解决问题。所以当多个参数之间有相互冲突时，往往会导致不自然的表情 18 a(2)向量肌肉方法 向量肌肉方法是在形变变量可以波及到的范围内，用模拟肌肉 运动的方式来改变面部形状，从而达到模型形变的目的。Waters最早提出一个非常成 功的用多边形的几何方法来表示的肌肉模型，其基本思想是利用不同的力学约束来作用 丁不同的网格顶点，以此来描绘面部肌肉的变化，而不同的肌肉都有各自不同的作用范 围，每条肌肉对人脸不同的部位都有一定的影响区域，从而引起模型变形以实现人脸动 画u久通过肌肉控制来实现模型的参数化调整，但这些参数只是一种抽象的表示方法。模型的网格顶点变换是通过顶点上的肌肉模型来控制完成的，而在变换过程中模型面部 的儿何拓扑结构没有发生变化(3)样条伪肌肉方法阿尔伯特多边形人脸模型被广泛应用在很多领域，然而它无 法详细刻画人脸的柔韧性和光滑性，难以在任意区域内平滑地变形具有固定拓扑结构的 人脸多边形模型。如果不细分的话，平坦区域的顶点就不能变换成曲面，为了确保光滑 性和形变的灵活性，可以用曲面来构建一个完善的人脸模型。利用样条肌肉模型可以据 此达到建模的目的。样条往往具有C?连续性，所以可以据此特性在模型上进行局部变换,而且利用小组控制点来控制仿射变换，因而大大简化了算法的复杂性I。(4)多层弹性网格方法 一个多层弹性网格是为了达到更可靠地模拟人脸物理行为 的目的而将一个质点弹簧结构拓展为三个紧密相连的网格层。Wu提出了一个能在保持 视觉真实性的基础上减少计算时间的简化网格系统1221。Lee等人根据Waters和 Terzopoulos早期的研究成果构建了一个基于物理的皮肤和肌肉层的综合模型团】。人脸 模型通常是由三个分量构成，一个最里层的不可穿透的头盖骨结构，皮肤卜.的肌肉层和 具有非线性变形属性的生物组织层。该综合体造型用三棱柱体元素来实现,它分为表皮、筋膜和颅骨曲面，影响肌肉拉力的弹簧元素连接筋膜和头盖骨层，皮肤的弹性是由连接 表皮和筋膜的弹簧元素模拟。该模型极其逼真，但一张特定的人脸的构建需要很大的计 算量和很大的调节工作因。(5)人类学方法在构造特定的人脸模型时，立体图像和激光扫描被用于获取全视 角纹理和几何细节.但这些方法也有缺陷，立体图像或扫描数据经常由于被遮挡而遗漏 区域，错误的数据和噪声必须通过手工才能校正。并且由于现在还没有完全有效的对应 点自动匹配方法，如果在得到的数据上特征点信息比较隐蔽，就需要人工干预调节磔1。Kuo等人根据人类学的基本定义构建了一个由正面二维人脸图像估计出侧面图像的信 息，从而得到特定人脸模型的方法已叫该算法首先需要构建一个包含测试人脸参数数据 J0基于二维图像的三维人脸建模技术研究信息的数据库，并此作为先验知识：然后，通过将最小中值二次误差估计的原理算法应 用于数据库中，根据正面的人脸参数信息估计出侧面人脸的参数信息，通常通过儿个正 面的人脸参数线性组合可以得到侧面人脸的深度参数；最终通过自适应得到三维人脸模 型，并进行纹理映射，得到具有真实感的三维人脸模型I”。(6)散乱数据插值基于径向基函数的散乱数据插值技术可以简便地将一个一般网 格变换成特定形状，而且它可以充分逼近像人脸那样光滑的曲面。这种变形方法的实现 需要的顶点数远远少于目标网格的顶点数，因为可以利用散乱数据插值算法得到其余顶 点1281。Wang采用morphing技术实现了从通用人脸模型到特定人脸模型的转换。该算法 首先在人脸外部轮廓、嘴巴、眉毛、鼻子和眼睛上选取一些特征点标识，特征点的个数 和位置选择决定了一般网格变形的效果。然后由这些特征点计算出插值函数，其中的 基函数采用了 Hardy multi-quadric径向基函数，最后一般网格的变形通过插值函数来 实现PL(7)脸部动作编码系统脸部动作编码系统(FACS)是根据人脸的生理结构特征来描 述眼睛、嘴巴和面部肌肉等动作。人脸上发现43种动作单元，每种动作都由一块或好 儿块肌肉的运动构成，各种动作单元之间可以相互自由组合。Essa等人利用Modular Eigenspace方法来处理适配方面的问题。该方法可以在图像上自动选取面部器官特征 点的位置。利用这些特征点可以控制图像变形，通过变形，可以使个性化的人脸图像与 通用人脸模型相匹配13叫能够进行形变的顶点从图像中提取出来，进行保存，进而为进 一步的细化工作做准备。通过用自由变形、随机噪声变形、定点编辑、或者数字化生物 体来控制已有的模型产生新的特定人脸模型1。(8)其它的方法DiPaola的人脸动画系统(FAS)是在Parke建模方法的基础上进行 了更深层次的扩展。通过利用数字化生物体或雕塑工艺品，或用自由变形技术、随机噪 声变形、或定点编辑等方法来操作已有的模型产生新的人脸模型口文2.3 基于图像的人脸建模方法近些年随着计算机视觉技术的发展，基于图像建模的方法成为人们的关注的热点，应用这些方法创建的模型更逼真，主要有以下几种方法。(1)插值 插值技术为脸部动画提供了一个比较直观的方法。由于线性插值算法简 单.、容易实现的特点使其成为计算机视觉领域广泛使用的一种插值方法，而采用稍微复 杂一些的插值函数可以实现一定的动画效果。当有四帧画面时，就可以利用双线性插值 函数来实现，与线性插值相比，双线性插值更能容易表现生动逼真的面部表情。而双线 河南工业大学硕士学位论文性插值与图像的变形技术结合使用，可以实现丰富多彩的表情变化国L虽然插值能够简 单快速的产生基本脸部动画，但它无法创建大范围内具有真实感的人脸造型，因而该特 性限制了它的应用范围。并且该方法很难组合不同人脸之间的变形。(2)基于统计的人脸渲染Thomas Vetter和Volker Blanz基于统计的建模方法提 出了利用人脸图像库来建模的方法，使用一张照片就可以得到个性的人脸模型。该方法 是首先建立足够大的人脸库，然后把人脸库中的人脸图像进行线性组合来逼近照片中的 特定人脸，因而可以得到特定的三维人脸模型，方法的实现是自动完成的，而且对r不 同的照片都具有很强的适应性，该方法的优点是最终得到的模型逼真，不需要人工干 预，需要的信息量较少，但不足是必须事先建立庞大的人脸库，即使人脸库再大，也不 可能包括世界上的所有人脸形态，因此对人脸的模拟在一定程度上起到了限制作用。(3)纹理操作纹理被应用于获取具有真实感的人脸图像，它可以在每个象素上反 映曲面的光照属性。Oka等人创建了一个完整的真实感人脸表情和动画的动态纹理映射 系统，每次调整三维物体的几何结构或观察点时，就会构造一幅新的纹理映射图像用于 对象的最佳显示曰该算法简捷，运算效率高。在该算法中，从纹理图像到计算机屏幕 的映射函数可以用一个线性函数来实现。该线性函数必须足够光滑，通过依赖于视点和 几何变化的动态纹理映射，在多个三维人脸曲面间的外插和内插来实现真实感人脸表情 36(4)图像morphing技术 图像morphing(形状过渡)是指在两个模型或两幅图像 之间实现的调整变形。二维图像之间的过渡包括两幅图像对应点之间的淡入淡出和 Warpingo两者之间的对应关系可以按需要进行手工选取，在对应关系建立后，形状过 渡可以实现生动逼真的面部动画。Beier等人把morphing函数定义在包围特征线的影 响区域上，然后把手工指定的对应特征线段在两幅图像间完成二维morphing。采用 该方法，想要得到良好的效果需要很大的工作量进行手工交互，包括选取合适的对应关 系，颜色的调整，Warping和调整淡入淡出参数。在设计动画过程中，由于目标特征不 明显，合成真实感的人头运动有一定难度，因此源图像和目标图像的改变会使对应关系 的选择变得非常复杂。(5)面色变化产生表情脸部动画和表情不仅仅包括人脸外形的变化，而且还包含 由于对象情绪变化而导致脸部颜色的改变.该方面的研究工作到目前为止还很少。首个 面色变化产生表情的模型是由Kalra等人提出3叫Kalra等人构造了一个情绪计算模型 来模拟脸色变化动画，该模型被定义为时间域上具有两个参数的函数，其中一个参数用 来表示面部颜色的改变，另外一个参数用来表示肌肉表情的强度。他们同时定义了最小 可觉察的颜色运动，它控制着人脸各个部位的由于血液循环而导致的颜色变化。如果直 12基于二维图像的三维人脸建模技术研究接按血流特点对脸色改变造型是不容易实现的，但利用像素估值和纹理映射可以便利的 实现脸色变化。该方法是在纹理图像上定义一些Bezier平面片形状的MPCA区域，利用 象素估值能够获取每个象素的参数变化情况，纹理图像的颜色属性可以通过该象素参数 来改变。(6)对应点的测试适配必须构造通用模型和特定模型之间的对应关系，对应关系 的正确与否将直接决定适配结果的完整性。人工选取对应关系非常困难，不仅精确度低 而且会导致偏差积累会越来越大。也有其他方法可以自动完成对应点的适配工作。Lee 等人提出一个根据激光扫描得到的深度和反射数据信息自动构造特定人头模型的方法 39】。在Yin的工作中根据