虚拟数字人实时卡通渲染研究_陈靖中.pdf

2023.7电脑编程技巧与维护1概述虚拟数字人是元宇宙领域的重要分支，在影视制作、游戏开发等领域发挥着重要的作用。目前，关于虚拟数字人渲染的研究目的是探究真实物理特性15。以卡通渲染和仿真渲染为抓手，兼顾物理特性与艺术效果，研究并实现虚拟数字人的实时卡通渲染方案。2模型与贴图数据获取2.1模型属性获取与变换模型的属性包括局部位置属性、法线属性、切线属性等。目前，绝大多数的图形处理器（GPU）都支持可编 程GPU渲 染 流 水 线，GPU可 以 获 取 中 央 处 理 器（CPU）端的各类顶点数据6。GPU获取到顶点属性后，在顶点着色器中进行顶点属性的坐标变换工作。常见的坐标空间有物体空间、世界空间、观察空间、裁剪空间、屏幕空间和切线空间等7。2.2贴图数据采样贴图数据包括固有色、法线、环境贴图。UV坐标是一组存储在顶点数据中的二维向量，图象使用UV坐标采样贴图可以将二维的贴图信息映射到三维空间中。法线贴图存储模型表面细微扰动信息，不需要制作模型细节也能使模型获得丰富的细节信息8。由于法线信息处于切线空间下，所以需要构建TBN矩阵，用法线数据与该矩阵相乘可得到世界空间下的法线信息9。3着色器编写3.1头发着色器头发显著的特征是各向异性高光，在卡通渲染中，这一特性被抽象为“天使环”。头发渲染的经典模型Kajiya模型的漫反射项sin（T,L）没有考虑到自阴影；高光项只考虑单层高光。改进算法如公式（1）和公式（2）所示：difuse=Kdlerp（0.15,1.0,nl）（1）specular=Ks1smoothstep（-1,0,dot（t1,h)sin（t1,h）p1+Ks2smoothstep（-1,0,dot(t2,h）sin（t1,h）p2（2）改进算法在漫反射项中重新映射兰伯特项，降低头发的漫反射亮度，但暗部不会过暗；在高光项中使用双层高光叠加以体现头发的高频及低频高光。3.2面部着色器虚拟数字人面部的卡通化程度较高，若使用经典光照模型，面部就会出现难以预料的光影变化。为此，使用基于有向距离场（SDF）的面部阴影生成技术实现良好的光影效果。制作如图1所示的面部阴影阈值图，将第n张贴图的黑白边界数值设置为8-n8，并根据第n-1张贴图边界的距离，设置数值递增至8-n+18，最终输出一张SDF面部阴影图。作者简介：陈靖中（1999），男，硕士，研究方向为实时卡通渲染技术；陈恒（1974），男，副教授，硕士研究生导师，研究方向为游戏设计与制作；罗立宏（1975），男，教授，博士，研究方向为数字媒体技术、虚拟/增强现实应用。虚拟数字人实时卡通渲染研究陈靖中，陈恒，罗立宏（广东工业大学艺术与设计学院，广州510090）摘要：为了渲染虚拟数字人体各部位材质的特性，增加虚拟数字人仿真渲染的艺术表现力，提出了结合卡通渲染艺术表现力与仿真渲染材质特性的渲染方法。使用改进的 Kajiya 光照模型实现具有卡通风格和物理特性的头发渲染，利用有向距离场技术制作面部阴影贴图控制面部阴影的卡通化形状，运用视差贴图技术和材质捕获技术模拟眼球的折射和反射现象，使用色调映射技术模拟皮肤的次表面散射、散射光漫反射和皮肤的边缘透光效果，实现虚拟数字人重点部位的实时卡通渲染。实验结果表明，结合仿真渲染材质特性的卡通渲染方法能够实现虚拟数字人的实时渲染，同时能够兼顾材质真实特性与艺术效果。关键词：虚拟数字人；卡通渲染；有向距离场；材质捕获图1面部阴影阈值SDF图151DOI:10.16184/prg.2023.07.0102023.7电脑编程技巧与维护根据这张SDF面部阴影图上的信息进行插值计算，即可得到在所有光源角度下的面部阴影信息，如公式（3），公式（4）所示：sdf=lerp(inv_sdf,sdf,sign(dot(L,left)（3）shadow=step(dot(front,L)0.5+0.5,sdf)（4）其中，sdf和invsdf分别为使用正向和反向u坐标采样的SDF面部阴影图的采样值，left和front分别为世界空间下的左、前方向向量。3.3眼球着色器在写实渲染中，眼球的角膜、瞳孔、虹膜、巩膜形成的多重包裹结构5是渲染的重点。在卡通渲染中，在光照现象上需要进行简化，将眼球渲染中的复杂光照现象抽象为以下两项：（1）角膜的透明质感与镜面反射。角膜的质感类似玻璃，是一种光滑的透明薄膜。在写实渲染中，角膜的间接光镜面反射一般使用环境映射10的算法实现，但是对实时渲染来说消耗偏高，在此使用材质捕获技术1，将环境贴图映射为球形，使用视角空间中的法线N来采样这张反射贴图。采样算法如公式（5）所示：（5）其中，i和j是反射贴图u方向和v方向的采样点，N为视角空间下的法线。直接光镜面反射使用blinn-phong模型近似，ks为镜面反射系数，p控制高光面积大小如公式（6）所示：specular=ks（I/r2）max（0,NH）p（6）（2）瞳孔、虹膜与角膜间的折射。角膜具有外凸结构，虹膜则贴在瞳孔表面，在角膜与虹膜间有一定的空腔，充斥着液态介质，当光线进出角膜时均会产生折射现象。眼球折射示意图，如图2所示，把角膜看作半球形，虹膜与瞳孔视为平面，则光路会发生折射，原采样点为P0，使用切线空间的视线方向的投影偏移UV采样点，使用偏移系数k控制单位向量r偏移的比例，即可采样到点P1，如公式（7）所示：P1=P0+kr（7）3.4皮肤着色器优秀的卡通皮肤质感会具有一定的次表面散射效果，这种光学现象造就皮肤的“通透感”。皮肤的次表面散射效果主要有以下3种体现方式：模型曲率导致的入射光变化、微小结构导致的入射光变化和阴影导致的入射光变化9。在卡通渲染中，角色皮肤一般不会出现毛孔、纹路等微小结构，而阴影导致的入射光变化十分细微。因此，模型曲率导致的入射光变化是卡通渲染次表面散射效果的关键。在实时真实感渲染中，皮肤的次表面散射的常见做法是使用预积分皮肤着色法，将入射光在不同曲率和不同光照角度的漫反射BRDF中预先积分，并将结果存储为一张2D贴图作为查找表，提高实时渲染的效率。在此基础上，使用“基于视角的属性映射”法将皮肤的着色查找表拓展为两张横轴为B、纵轴为D的细节色调图。其中，横轴00.5区域添加蓝色模拟天空散射光，纵轴00.5区域添加粉色模拟皮肤边缘透射光，横轴0.51.0与纵轴00.5交集区域添加锐利白色区域模拟皮肤风格化高光。使用D代替曲率查找皮肤次表面散射效果。其中：B=（NL）0.5+0.5（8）D=|NV|（9）使用的皮肤散射光、透射光、高光色调映射，如图3所示。4实验与分析实验环境为Windows 10系统的Unity引擎，版本为2021.2.14f1c1，渲 染 管 线 为Universal Render Pipeline，CPU为Intel Core i7-8750H，GPU为NVIDA GeForceGTX 1070。渲染效果如图4图7所示。图2眼球折射示意图图3皮肤散射光、透射光、高光色调映射图4头发渲染效果P0P1虹膜视线方向V角膜1522023.7电脑编程技巧与维护西安:陕西师范大学,2018.3吕坚.基于深度学习的路面裂缝检测方法研究及实现D.南京:东南大学,2019.4张丹丹.桥梁风险评价算法与健康监测软件研究D.西安:长安大学,2019.5MOYAZZOMA R,HOSSAIN Md A A,ANUZ Md H,etal.Transfer learning approach for plant leaf diseasedetection using CNN with pre-trained feature extrac-tion method MobileNetV2 C.2021 2nd InternationalConference on Robotics,Electrical and Signal Process-ing Techniques(ICREST).IEEE,2021:526-529.双层头发高光特性增进了头发的真实质感，同时，风格化的高光渐变让头发的卡通化程度更高；面部阴影算法能够很好地适配平面化的脸部模型，并渲染形状高度可控的阴影形状；眼球折射算法与反射算法能够模拟真实感特性，开销更小，高效地模拟了皮肤的次表面散射、散射光漫反射、光线透射、高光等特性。5结语虚拟数字人是元宇宙领域的重要分支。在此提出结合卡通渲染与仿真渲染的虚拟数字人实时渲染方法，获得了兼具艺术风格与物理特性的渲染效果，且满足实时渲染的需求。参考文献1SLOAN P P J,MARTIN W,GOOCH A,et al.The litsphere:A model for capturing NPR shading from artC.Graphics interface,2001,2001（6）:143-150.2TODO H,ANJYO K,BAXTER W,et al.Locally con-trollable stylized shading J.ACM transactions ongraphics(TOG),2007,26(3):17-es.3KAJIYA J T,KAY T L.Rendering fur with three di-mensional textures J.ACM siggraph computer graph-ics,1989,23(3):271-280.4FRANOISG,GAUTRONP,BRETONG,et al.Anatomi-cally accurate modeling and rendering of the humaneye J.2007.5PENNER E,BORSHUKOV G.Pre-integrated skin shad-ing J.Gpu Pro,2011,2:41-55.6谢伙生,林晶,陆泽萍.基于可编程GPU的光照模型实验案例设计J.实验技术与管理,2019,36(11):128-132.7蒋研.基于着色器的卡通实时渲染技术研究D.成都:电子科技大学,2009.8HEIDRICH W,SEIDEL H P.Realistic,hardware-ac-celerated shading and lighting:Proceedings of the 26thAnnual Conference on Computer Graphics and Inter-active Techniques C,1999:171-178.9栾小雨.基于CG的Shader技术研究与应用D.杭州:中国美术学院,2016.10 GREENE N.Environment mapping and other applica-tions of world projections J.IEEE computer graph-ics and applications,1986,6(11):21-29.图5面部阴影渲染效果图6眼球渲染效果图7皮肤渲染效果(上接第123页)153