DB35∕T 2044-2021 虚拟现实应用软件性能测试要求(福建省).pdf

ICS 35.240 CCS L 67 35 福建省地方标准 DB35/T 20442021 虚拟现实应用软件性能测试要求 Requirements of performance testing for virtual reality application software 2021 - 12 - 29 发布 2022 - 03 - 29 实施福建省市场监督管理局 发 布DB35/T 20442021 I 目次 前言 . II 1 范围 . 3 2 规范性引用文件 . 3 3 术语和定义 . 3 4 缩略语 . 4 5 测试指标 . 4 6 测试准备 . 6 7 测试流程 . 7 附录 A（资料性） 性能测试报告内容模板 . 10 附录 B（资料性） 测试案例 . 13 DB35/T 20442021 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分：标准化文件的结构和起草规则的规定起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由福建省信息化标准化技术委员会（SAFJ/TC 11）提出并归口。 本文件起草单位：福建网龙计算机网络信息技术有限公司、福建省计量科学研究院、福建省华渔教育科技有限公司、福州软件职业技术学院。 本文件主要起草人：刘德建、黄月月、郑培强、林志宏、钟开华、林琛、俞飚、俞发仁、隋明宏、黄明华、黄彬、赖保宇、陈雯艳、周贵燊、吴冬华、蒋逸凡。 DB35/T 20442021 3 虚拟现实应用软件性能测试要求 1 范围 本文件规定了虚拟现实应用软件的测试指标、测试准备与测试流程。 本文件适用于虚拟现实应用软件产品的性能测试，以及虚拟现实应用软件的设计、开发与优化。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中， 注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 382582019 信息技术 虚拟现实应用软件基本要求和测试方法 GB/T 382592019 信息技术 虚拟现实头戴式显示设备通用规范 3 术语和定义 GB/T 382582019界定的以及下列术语和定义适用于本文件。 3.1 虚拟现实 virtual reality 采用以计算机为核心的现代高科技手段生成的逼真的视觉、听觉、触觉、嗅觉、味觉等多感官一体化的数字化人工环境，用户借助一些输入、输出设备，采用自然的方式与虚拟世界的对象进行交互，相互影响，从而产生身临真实环境的感觉和体验。 来源：GB/T 382582019，2.1 3.2 粒子系统 particle system 三维计算机图形学中用于模拟特定的模糊场景的系统。 3.3 虚拟现实引擎 virtual reality engine 用于实现虚拟现实应用软件功能，整合了开发虚拟现实应用软件常用的模块或子模块的软件系统。 注： 虚拟现实软件常用模块或子模块包括场景渲染、碰撞检测、动画系统、粒子系统、输入输出控制等。 3.4 绘制调用 draw call 虚拟现实引擎进行数据准备并通知图形处理器进行处理的过程。 3.5 纹理 texture 应用于几何节点时，用来创建视觉外观效果的图像。 DB35/T 20442021 4 4 缩略语 下列缩略语适用于本文件。 CPU：中央处理器（Central Processing Unit） GPU：图形处理器（Graphic Processing Unit） SDK：软件开发工具包（Software Development Kit） VR：虚拟现实（Virtual Reality） 5 测试指标 5.1 CPU 占用率 CPU占用率按式（1）计算： ? 100% (1) 式中：UCVRVR应用软件的CPU占用率； TCVRVR应用软件占用CPU的时间，单位为毫秒（ms）； TCPUCPU总运行时间，单位为毫秒（ms）。 5.2 GPU 占用率 GPU占用率按式（2）计算： ? 100% (2) 式中：UGVRVR应用软件的GPU占用率； TGVRVR应用软件占用GPU的时间，单位为毫秒（ms）； TGPUGPU总运行时间，单位为毫秒（ms）。 5.3 内存占用率 内存占用率按式（3）计算： ? 100% (3) 式中：UmemVR 应用软件的内存占用率； M VR应用软件的内存使用量； S 系统总内存。 5.4 渲染帧率 应符合GB/T 382582019中5.2.1.3规定的要求。 DB35/T 20442021 5 5.5 场景加载时间 测试从当前场景进入到下一场景所消耗的时间。 场景加载时间按式（4）计算： ? ? ? (4) 式中：Ti2第i次场景加载时间，单位为毫秒（ms）； Ti1第i次场景加载完成的时刻，单位为毫秒（ms）； Ti0第i次场景加载开始的时刻，单位为毫秒（ms）。 5.6 单一场景最大粒子数 测试单一场景中可以显示的最大粒子数量。 单一场景最大粒子数按式（5）计算： ? max ?,?,?,?(5) 式中：Nmax单一场景最大粒子数； ni 第i个粒子系统列表对象中显示的粒子数； k 粒子系统类型列表中对象的数量。 5.7 最大纹理贴图加载时间 测试随着VR场景的切换， 场景内3D模型表面加载纹理、 图案和其他特殊视觉效果所需要的最大时间。 最大纹理贴图加载时间按式（6）计算： ? max ? ?,? ?,? ?,? ? (6) 式中：Tmax最大纹理贴图加载完成的时间，单位为毫秒（ms）； Ti1 第i次纹理贴图加载完成的时刻，单位为毫秒（ms）； Ti0 第i次纹理贴图加载开始的时刻，单位为毫秒（ms）； k 纹理信息列表中对象的数量。 5.8 动画剪辑资源峰值 测试动画系统中最大的可重用关键帧轨道集。 动画剪辑资源峰值按式（7）计算： ? max ?,?,?,?(7) 式中：Pclip动画剪辑资源的峰值； cn 动画剪辑列表中第n个对象的资源大小； k 动画剪辑列表中对象的个数。 5.9 陀螺仪数据转换时间 测试虚拟现实软件中陀螺仪将当前空间信息转换为虚拟摄像机空间信息所需要的时间。 陀螺仪数据转换时间按式（8）计算： DB35/T 20442021 6 ? ? ? ? ? ? (8) 式中：Ts 陀螺仪数据转换时间，单位为毫秒（ms）； T2vcam虚拟摄像机完成转动的时刻，单位为毫秒（ms）； T1vcam虚拟摄像机开始转动的时刻，单位为毫秒（ms）； T2gyro陀螺仪完成转动的时刻，单位为毫秒（ms）； T1gyro陀螺仪开始转动的时刻，单位为毫秒（ms）。 5.10 VR 操作杆与软件交互的最大响应时间 测试从用户控制操作杆到虚拟现实软件做出响应的最大耗时。 VR操作杆与软件交互的最大响应时间按式（9）计算： ? max ? ?,? ?,? ? (9) 式中：TiVR 操作杆与软件交互的最大响应时间，单位为毫秒（ms） ；Ti2第i次操作事件完成的时刻，单位为毫秒（ms）； Ti1第i次操作事件开始的时刻，单位为毫秒（ms）； i 用户控制操作杆的次数。 6 测试准备 6.1 最低硬件配置 6.1.1 VR 头戴式显示设备最低硬件配置 头戴式显示设备的最低硬件配置应符合GB/T 382592019规定的要求。 6.1.2 VR 主机最低硬件配置 推荐VR主机最低的硬件配置见表1。 表1 VR 设备主机最低硬件配置 序号 硬件单元 参数 1 处理器 3.20 GHz，四核以上 2 内存 8 GB，1 600 MHz 3 主硬盘 500 GB，7 200 转/min 4 独立显卡 显存容量：1 GB 位宽：128 bit 核心频率：928 MHz 显示频率：5 400 MHz 流处理量：768 个 5 网卡 100 M DB35/T 20442021 7 6.2 测试场景要求 测试各性能指标的场景应符合表2的规定，测试场景的设计及相关案例见附录B。 表2 VR 性能指标测试场景要求 序号 性能指标 场景要求 1 CPU占用率 应选取动画或复杂运算类的场景：如模拟风、雨、雪 2 GPU占用率 应选取图形渲染场景：如影视动画 3 内存占用率 应选取大量数据交互或图像渲染的场景：如有较多灯光和折射反射材质的场景 4 渲染帧率 应选取动画切换较为频繁的场景：如画面变化剧烈的运动场景 5 场景加载时间 应包含场景切换和过渡过程 6 单一场景最大粒子数 应选取有虚拟颗粒的场景：如雨雪、烟雾和浪花等 7 最大纹理贴图加载时间 应选取有室内材质贴图、灯光贴图和环境贴图加载的场景 8 动画剪辑资源峰值 应包含动画的开始、暂停和播放等 9 VR陀螺仪数据转换时间 应选取可以调整画面倾斜的场景：如修正人体运动方向、姿态角度、运动力度和速度等 10 VR操作杆与软件交互的最大响应时间 应选取VR操作杆可操控的场景： 如在虚拟的太空飞行游戏中手控油门和变速系统 6.3 样本数据要求 应提供不少于10组的样本数据，涉及时间的测试指标精度应达到0.001 s，测试结果的记录格式见附录A，数据的记录案例见附录B。 6.4 环境搭建要求 在VR应用软件使用说明书适配的设备和平台进行环境搭建。如果无环境配置说明，在6.1最低硬件配置上进行测试。 7 测试流程 7.1 CPU、GPU 和内存占用率测试流程 测试流程步骤如下： a) 系统初始化，确保系统中无与虚拟现实应用软件运行无关的其他程序； b) 启动被测 VR 应用软件，获取虚拟现实应用软件的相关进程 ID； c) 在极限运算场景中稳定运行 5 分钟后，进入特定的测试场景； d) 根据进程 ID，每秒获取一次 VR 应用软件的 CPU、GPU 和内存占用率。 7.2 渲染帧率测试流程 测试流程步骤如下： a) 启动被测 VR 应用软件； b) 进入特定的测试场景； DB35/T 20442021 8 c) 确定显示设备的刷新频率； d) 锁帧并计算平均每秒渲染的帧数，染帧率不应低于显示设备的刷新率。 7.3 场景加载时间测试流程 测试流程步骤如下： a) 启动被动 VR 应用软件，确定场景的加载类型（有或无加载进度条）； b) 运行进度加载读取程序； c) 在触发场景切换时获取场景的加载进度，插入时间戳Ti0，即场景加载的开始时刻； d) 等待加载完成，直到加载的进度值为 1 时，插入时间戳Ti1，即场景加载的结束时刻； e) 计算Ti1与Ti0之间的时间差记为场景加载时间Ti2。 注： 在虚拟现实引擎中，场景开始加载时的进度值为0，完成加载后的进度值为1。 7.4 单一场景最大粒子数测试流程 测试流程步骤如下： a) 启动被测 VR 应用软件，进入特定的测试场景； b) 声明对象变量并进行初始化，包括对象类型列表和粒子系统类型列表； c) 遍历每个场景，查找并保存场景中所有的物体对象到对象类型列表中； d) 遍历对象列表中的每个对象以获取每个对象的组件信息； e) 通过虚拟现实引擎接口判断对象是否挂载了粒子系统组件。若存在粒子系统，则将该对象存储到粒子系统类型列表中；否则，继续从列表中选取下一个对象进行判断； f) 遍历粒子系统类型列表以获取每个对象对应的粒子数，并确定当前场景的最大粒子数。 7.5 最大纹理贴图加载时间测试流程 测试流程步骤如下： a) 启动被测 VR 应用软件，进入特定测试场景； b) 声明对象变量并进行初始化，包括资源列表和纹理信息列表； c) 加载 VR 应用软件的场景资源包，通过分析资源之间的依赖关系来获取完整的测试资源列表； d) 筛选资源库中所有类型为纹理贴图的资源，提取其纹理贴图资源的格式、名称以及路径等信息，并将其存储到对应的纹理信息列表中； e) 利用虚拟现实引擎接口对纹理贴图对象绑定加载监听事件，包括加载初始化事件OnLoad(callback)和加载完成事件 OnLoadDone(callback)。将纹理贴图加载开始的时间标记为Ti0，完成纹理贴图加载的结束时间标记为Ti1； f) 确定最大纹理贴图的加载时间。 7.6 动画剪辑资源峰值测试流程 测试流程步骤如下： a) 启动被测 VR 应用软件，并进入特定的测试场景； b) 声明对象变量并进行初始化，包括动画剪辑列表和对象列表； c) 遍历每个场景，查找并保存场景中所有的物体对象到对象类型列表中； d) 遍历对象列表中的每个对象以获取每个对象的组件信息； DB35/T 20442021 9 e) 判断对象是否动画系统组件类型，若是动画系统组件，则将该对象存储到动画剪辑类型列表中；否则，继续从列表中选取下一个对象进行判断； f) 遍历动画剪辑列表以获取动画剪辑资源的大小并计算当前场景中动画剪辑资源的峰值。 7.7 VR 陀螺仪数据转换时间测试流程 测试流程步骤如下： a) 启动被测 VR 应用软件，并进入特定的测试场景； b) 将头显放置于机械转盘上，开启陀螺仪调试模式； c) 以 0.5 rad/s 顺时针匀速转动机械硬盘 360o； d) 同时加载陀螺仪监听 SDK，并将其绑定于虚拟摄像机对象上，记录虚拟摄像机开始转动时的时间戳T1vcam； e) 逐帧记录虚拟摄像机的欧拉角； f) 在虚拟摄像机欧拉角等于陀螺仪转动的欧拉角时， 记录虚拟摄像机转动结束时的时间戳T2vcam； g) 从陀螺仪操作日志中获取陀螺仪转动的开始时间T1gyro和停止时间T2gyro； h) 按式（8）计算陀螺仪和虚拟摄像机的数据转换时间差Ts。 7.8 VR 操作杆与软件交互的最大响应时间测试流程 测试流程步骤如下： a) 启动被测 VR 应用软件，并进入特定的测试场景； b) 根据 VR 软件产品需求说明书，确定在软件运行过程中涉及的操作杆事件类型； c) 如果 VR 软件依赖的驱动支持记录操作日志，可直接从日志中查找事件发生的时间戳T1； d) 如果无法记录操作日志，只需手动触发事件发生，并通过高精度计时器记录事件发生时间戳T1（该过程会产生与特定 VR 设备硬件相关的操作时延，建议测试时优先通过可编程机械臂进行。若无该设备，也可以用手代替机械臂进行操作）； e) 监听事件触发函数，并记录事件完成时间戳T2； f) 按式（9）计算操作杆与软件交互的最大响应时间。 DB35/T 20442021 10 附录A （资料性） 性能测试报告内容模板 在进行虚拟现实应用软件的性能测试时，记录测试内容及测试数据的格式见表A.1。 表A.1 性能测试报告内容模板 测试场景编号： 场景执行次数： 次 测试场景标题： 测试场景描述： 测试总结： CPU 占用率 CPU 占用率 测试序号 测试时长 CPU 占用率均值 1 2 10 GPU 占用率 GPU 占用率 测试序号 测试时长 GPU 占用率均值 1 2 10 内存占用率 内存占用率 测试序号 测试时长 内存占用率均值 1 2 10 DB35/T 20442021 11 表A.1 性能测试报告内容模板（续） 帧率 帧率 测试序号 测试时长 帧率均值 1 2 10 场景加载时间（有/无加载进度条） 场景加载时间（有/无加载进度条） 测试序号 测试时长 场景加载时间 1 2 10 单一场景最大粒子数 单一场景最大粒子数 测试序号 测试时长 单一场景最大粒子数 1 2 10 最大纹理贴图加载时间 最大纹理贴图加载时间 测试序号 测试时长 最大纹理贴图加载时间 1 2 10 动画剪辑资源峰值 动画剪辑资源峰值 编号 测试时长 动画剪辑资源 1 2 10 DB35/T 20442021 12 表 A.1 性能测试报告内容模板（续） VR 陀螺仪数据转换时间 VR 陀螺仪数据转换时间 编号 测试时长 陀螺仪数据转换时间 1 2 10 VR 操作杆与软件交互的最大响应时间 VR 操作杆与软件交互的最大响应时间 编号 测试时长 VR 操作杆与软件交互的最大响应时间 1 2 10 DB35/T 20442021 13 附录B （资料性） 测试案例 B.1 创想世界测试方案 创想世界是一款操作极简的VR场景编辑器，具有强大的编辑能力，不仅能实现多种模式的VR和3D作品的编辑， 还能让用户自定义设计自己的资源， 放飞天马行空的创意。 我们在使用该软件资源时，引用了测试各性能指标所需的特定全景资源，这样便能生成不同的VR沉浸式世界。 在正式对各种性能指标进行测试之前的测试准备见第6章， 本次测试使用的硬件资源见表B.1。 本案例用于的秋思副本测试场景的指标见6.2，该场景涉及的情景包括人物的移动，不同人物之间的对话。性能指标收集程序的挂载步骤见第7章。测试数据及测试报告内容见表B.2。 表B.1 创想世界参考硬件资源配置 硬件资源 参数配置 电脑型号 惠普 康柏Pro 6380 MT Mini Tower 操作系统 Windows 7 旗舰版 64位 SP1 (DirectX 11) 处理器 英特尔 第三代酷睿 i5-3470 3.20 GHz 四核 主板 惠普 339A (英特尔 Ivy Bridge - Q75 Express 芯片组) 内存 8 GB (三星 DDR3 1 600 MHz) 主硬盘 西数 WDC WD10EZEX-60ZF5A0 (1 TB / 7200 转/分) 显卡 Nvidia GeForce GTX 650 Ti (1 GB) 显示器 戴尔 DEL4096 DELL P2014H (19.7英寸) 声卡 瑞昱 ALC221英特尔Panther Point High Definition Audio Controller 网卡 英特尔 82579LM Gigabit Network Connection / 惠普 VR设备 Oculus CV1、三星GearVR、HTC Vive、暴风魔镜 B.2 测试报告 虚拟现实应用软件的综合评分测试报告见表B.2： 表B.2 创想世界测试报告 测试场景编号：VR-PERF-20180722-001 场景执行次数：10 次 测试场景标题：秋思副本人物移动 测试场景描述：创建秋思副本，并在场景中对人物进行移动，从房间移动到庭院，并与之进行对话。 测试总结： 创想世界总体来说运行流畅，偶尔出现丢帧现象，但尚在用户允许的忍受范围内，其他各项指标正常，具体测试数值结果如下。 DB35/T 20442021 14 表 B.2 创想世界测试报告（续） CPU 占用率 CPU 占用率 序号 测试时长 CPU 占用率均值（%） 1 1 min 55 2 1 min 52 3 1 min 56 4 1 min 52 5 1 min 58 6 1 min 57 7 1 min 55 8 1 min 52 9 1 min 53 10 1 min 57 GPU 占用率 GPU 占用率 序号 测试时长 GPU 占用率均值（%） 1 1 min 57 2 1 min 73 3 1 min 62 4 1 min 65 5 1 min 70 6 1 min 87 7 1 min 69 8 1 min 76 9 1 min 85 10 1 min 68 内存占用率 内存占用率 测试序号 测试时长 内存占用率均值（%） 1 1 min 62 2 1 min 58 3 1 min 57 4 1 min 55 5 1 min 53 6 1 min 52 7 1 min 62 8 1 min 56 9 1 min 53 10 1 min 53 DB35/T 20442021 15 表 B.2 创想世界测试报告（续） 帧率 帧率 编号 测试时长 帧率（fps） 1 1 min 102 2 1 min 93 3 1 min 105 4 1 min 85 5 1 min 92 6 1 min 89 7 1 min 85 8 1 min 100 9 1 min 120 10 1 min 110 场景加载时间（无加载进度条） 场景加载时间（无加载进度条） 编号 测试时长 场景加载时间均值（ms） 1 1 min 104 2 1 min 52 3 1 min 15 4 1 min 104 5 1 min 202 6 1 min 507 7 1 min 155 8 1 min 212 9 1 min 321 10 1 min 513 单一场景最大粒子数 单一场景最大粒子数 序号 测试时长 单一场景最大粒子数（个） 1 1 min 114 2 1 min 121 3 1 min 216 4 1 min 95 5 1 min 127 6 1 min 160 7 1 min 103 8 1 min 195 9 1 min 103 10 1 min 145 DB35/T 20442021 16 表 B.2 创想世界测试报告（续） 最大纹理贴图加载时间 最大纹理贴图加载时间 序号 测试时长 最大纹理贴图加载时间（ms） 1 1 min 321 2 1 min 212 3 1 min 162 4 1 min 434 5 1 min 351 6 1 min 482 7 1 min 567 8 1 min 683 9 1 min 372 10 1 min 454 动画剪辑资源峰值 动画剪辑资源峰值 序号 测试时长 动画剪辑总大小的峰值（MB） 1 1 min 10 2 1 min 8 3 1 min 12 4 1 min 12 5 1 min 9 6 1 min 13 7 1 min 7 8 1 min 13 9 1 min 15 10 1 min 8 VR 陀螺仪数据转换时间 VR 陀螺仪数据转换时间 编号 测试时长 陀螺仪数据转换时间均值（ms） 1 1 min 105 2 1 min 20 3 1 min 10 4 1 min 104 5 1 min 202 6 1 min 292 7 1 min 151 8 1 min 213 9 1 min 304 10 1 min 211 DB35/T 20442021 17 表 B.2 创想世界测试报告（续） VR 操作杆与软件交互的最大响应时间 VR 操作杆与软件交互的最大响应时间 编号 测试时长 VR 操作杆与软件交互响应时间最大值（ms） 1 1 min 15 2 1 min 25 3 1 min 12 4 1 min 35 5 1 min 13 6 1 min 24 7 1 min 40 8 1 min 87 9 1 min 101 10 1 min 68