YD∕T 3941-2021 内容分发网络技术要求 VR音视频服务(通信).pdf

ICS 33.160.60 M 73 YD 中华人民共和国通信行业标准 YD/TXXXX-XXXX 内容分发网络技术要求 VR 音视频服务 CDN technical specification for virtual reality media service 报批稿 （本稿完成日期：2020 年 11 月） XXXX - XX - XX 发布 XXXX - XX - XX 实施 中华人民共和国工业和信息化部 发 布 YD/T XXXXX2018I目 录 前言 .III 1 范围 .1 2 规范性引用文件 .1 3 缩略语 .1 4 业务概述 .2 5 总体要求 .3 5.1 功能体系架构 .3 5.2 功能模块 .3 5.2.1 CDN 系统 .3 5.2.2 周边系统 .4 5.3 接口要求 .4 5.3.1 客户端与 CDN 节点 VR 媒体服务接口（E） .6 5.3.1.1 接口定义 .6 5.3.1.2 接口流程（HTTP1.1 协议） .6 5.3.1.3 接口流程（HTTP2.0 协议） .6 6 VR 视频传输模式 .8 6.1 概述 .8 6.2 视窗独立传输模式 .9 6.3 视窗依赖传输模式 .10 6.3.1 基于区域封装的视窗依赖传输 .10 6.3.2 基于分块的视窗依赖传输 .12 7 VR 媒体服务要求 .13 7.1 概述 .13 7.2 VR 媒体服务实施要求 .14 7.3 VR 媒体封装格式要求 .14 7.3.1 视频封装要求 .14 YD/T XXXXX2018II7.3.2 音频封装要求 .15 7.4 VR 媒体传输协议要求 .15 7.4.1 DASH 协议信令扩展 .15 7.4.2 HLS 协议信令扩展 .18 8 VR 媒体服务流程 .19 8.1 视窗独立 VR 媒体服务流程 .19 8.2 视窗依赖 VR 媒体服务流程 .20 8.2.1 基本视角切换流程 .20 8.2.2 快速视角切换流程 .21 附录 A（资料性）DASH 协议 VR 媒体服务索引文件样例 .23 A.1 视窗独立模式 DASH 协议样例 .23 A.2 视窗依赖模式 DASH 协议样例 .23 附录 B（资料性）HLS 协议 VR 媒体服务索引文件样例 .27 B.1 视窗独立模式 HLS 协议样例 .27 B.1 视窗依赖模式 HLS 协议样例 .27 YD/T XXXXX2018III前言 本标准是内容分发网络技术要求系列标准之一。该系列标准的结构和名称预计如下： 内容分发网络技术要求 应用场景与需求 内容分发网络技术要求 体系架构 内容分发网络技术要求 内容路由 内容分发网络技术要求 功能性框架 内容分发网络技术要求 边缘服务节点 内容分发网络技术要求 内容中心 内容分发网络技术要求 业务流程 内容分发网络技术要求 接口 内容分发网络技术要求 VR音视频服务 本标准按照GB/T 1.1-2020给出的规则起草。 请注意本标准的某些内容可能涉及专利。本标准的发布机构不承担识别这些专利的责任。 本标准由中国通信标准化协会提出并归口。 本标准起草单位：中国电信集团有限公司、中兴通讯股份有限公司、中国移动通信集团有限公司、中国信息通信研究院 本标准主要起草人：陈戈、黄成、白雅贤、尹之帆、朱方、聂秀英、缪川扬、陈淑、许静、江平 YD/T XXXXX20181内容分发网络技术要求-VR音视频服务 1范围 本文件规定了内容分发网络VR音视频服务功能、编码格式、接口定义及相关的业务流程。 本文件适用于基于内容分发网络的VR音视频业务， 包括网络流媒体及网络电视中的虚拟现实直播、点播等应用。 2规范性引用文件 下列文件对于本文件的应用是必不可少的。 凡是注日期的引用文件， 仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 ISO/IEC 23090-2 全方向媒体格式 Information technology Coded representation of immersive media (MPEG-I) Part2: Omnidirectional media format 3缩略语 下列缩略语适用于本文件。 CDN 内容分发网络 Content Delivery Network CMS 内容管理系统 Content Management System DASH 基于 HTTP 的动态自适应流媒体 Dynamic Adaptive Streaming over HTTP DNS 域名系统 Domain Name System EPG 电子节目指南 Electrical Program Guide FOV 视野 Field of view HTTP 超文本传送协议 Hyper Text Transfer Protocol OMAF 全方向媒体格式 Omnidirectional media format RTSP 实时流媒体协议 Real-Time Streaming Protocol SOAP 简单对象访问协议 Simple Object Access Protocol SP 业务提供者 Service Provider YD/T XXXXX20182URL 统一资源定位符 Uniform Resource Locator UDP 用户数据报协议 User Datagram Protocol VR 虚拟现实 Virtual Reality 4业务概述 CDN-VR音视频媒体服务是指根据终端用户请求， 依靠内容分发网络提供虚拟现实音视频内容服务。其中虚拟现实指通过展现360度的视频为终端用户提供沉浸式体验的技术，应？支持全景视频内容，也称360度全景视频或沉浸式视频，应？支持用户交互性地切换观看视角，终端能够根据用户的观看视角动态渲染图像、视频及其相关联的音频。 图 1 VR 媒体内容传输流程 如图1所示，VR音视频媒体服务的整体技术架构主要由视频拼接与映射、视频编解码、存储与传输等技术构成。VR媒体内容由源站提供，在现实场景中采集到的视频等媒体数据经过VR源站拼接服务器进行拼接、投影、旋转等，成为完整视频画面，继而经过编码器编码得到VR媒体内容源，利用内容分发网络完成系统层封装和媒体内容的分发；用户通过VR终端向CDN节点请求VR媒体服务，其中传输协议访问模块完成VR媒体索引文件的解析，终端根据传感器获取到的视窗元数据（如用户头动信息、观看方向等）向CDN节点请求相应的VR媒体内容分片，并完成解封装、解码，最终根据视窗元数据完成视频画面的渲染和音频等其他媒体资源的播放。 YD/T XXXXX20183其中VR音视频媒体内容的封装及分发服务通过内容分发网络提供，即CDN-VR。内容分发网络中提供VR音视频媒体服务所需要支持的逻辑功能架构、接口要求、协议要求以及其他相关技术的参考引用或者可能的扩展等属于本标准的规范性范畴，对应的章节组织如下： -CDN-VR功能体系架构定义在第5章，包括总体架构、功能模块定义、接口要求和流程。 -CDN-VR传输模式要求定义在第6章， 包括基于全景传输的虚拟现实基本传输模式， 以及基于主视场或者辅助视场的多码流切换的虚拟现实视点自适应传输模式。 -CDN-VR媒体服务要求定义在第7章，包括VR媒体内容封装格式要求、VR媒体传输协议要求等。 -CDN-VR媒体服务流程定义在第8章，包括视窗独立VR媒体服务流程、视窗依赖VR媒体服务流程等。 5总体要求 5.1功能体系架构 CDN-VR功能体系架构图及相关接口如图2所示。 图 2 CDN-VR 总体逻辑架构 5.2功能模块 5.2.1CDN 系统 内容中心节点：负责业务系统对接实现CDN内容接入、管理、存储和主动分发，其中内容处理模块增加VR内容处理功能，完成VR直播媒体流和点播内容的切片、转码、转封装等预处理，为服务节点提供VR媒体内容。内容中心节点具体包含以下功能： YD/T XXXXX20184a) 内容接入：根据CMS的内容注入指令获取指定内容，注入到内容存储上，并在内容管理模块进行登记；或者不通过CMS注入内容，而是使用回源方式接入内容源； b) 内容分发：根据内容管理模块的调度策略进行内容的分发传送； c) 内容路由 ： 接收下级节点的内容定位与请求，根据负载均衡策略分配合适的设备提供服务，对节点内设备进行负载均衡； d) 内容存储 ： 根据内容管理模块中的策略存放在线媒体内容，并可根据缓存策略存放、更新媒体内容； e) 内容处理 ： 对注入的内容进行预处理，如切片、转码、转封装等处理，针对VR媒体服务增加VR内容转码、转封装功能。 边缘服务节点：作为CDN服务的主要实体，负责接收终端请求，校验并向用户提供本地缓存的VR内容服务，如果内容未命中则向上级节点获取或重定向，为各业务终端提供包括视窗独立传输、视窗依赖传输在内的多种格式VR媒体服务； 全局内容路由：作为CDN入口，主要负责根据调度策略对用户请求进行统一调度，管理所辖区域内CDN各节点内容的分布情况，根据用户请求，查询和管理CDN各节点的负载情况，对节点内设备进行负载均衡，选择合适的设备提供服务； 运维管理 ： 负责对CDN的业务质量监控、故障分析定界、内容管理等功能，实现对CDN-VR业务的监控和管理。 运营管理及适配：负责接收适配统一运营管理系统指令转换成CDN内部的网络管理操作，并且负责CDN内部网络管理、业务管理、报表统计等功能。 5.2.2周边系统 CDN-VR周边系统主要包括业务系统、VR源站、终端。 a) 业务系统：与CDN对接的SP系统，主要实现业务认证鉴权计费等业务管理的功能； b) VR源站：提供VR内容源，提供回源服务、DNS Cname服务等，VR内容源主要依靠拼接服务器及编码器生成，拼接服务器实现原始全景视频内容的旋转、投影等格式转换，编码器负责视频、音频等媒体内容的编码功能。 c) VR终端：向CDN请求获取媒体内容服务，实现VR媒体内容播放，终端系统主要包括接入引擎、解封装器、解码器、渲染器、传感器几个模块，完成用户运动信号、视窗元数据获取，负责媒体传输协议解析，以及VR媒体内容解封装、解码、渲染等功能。 5.3接口要求 根据CDN-VR逻辑架构，接口基本功能要求参见2015-1634T-YD内容分发网络技术要求功能体系架构，其中接口B、接口E在基本功能基础上针对VR媒体服务进行功能扩展，以适应VR媒体传输模式，除接口B、接口E外的其他接口都复用了原有的功能要求。 YD/T XXXXX20185外部接口要求如表1所示，接口B、接口E增加VR扩展功能。 表1 外部接口要求 接口 接口名称 接口协议 接口功能及VR相关扩展功能 A 外部业务系统与源站系统间接口 SOAP+XML 该接口把VR媒体相关元数据信息引入CDN； B 源站系统与CDN接口 SOAP+XML、FTP、HTTP、UDP、RTSP 该接口功能为把VR媒体内容源及相关元数据引入CDN，包括直播源引入与点播内容注入两种方式； 针对VR媒体服务新增多版本VR内容源支持，包括：全方向视频、分块编码视频、多版本非均匀映射全方向视频等。 C 外部业务系统与CDN管理接口 SOAP+XML 该接口功能为管理配置、资源上报、VR业务管理信息 D CDN管理系统与CDN媒体服务模块间接口 SOAP+XML 该接口负责管理VR媒体服务状态信息； E 客户端与边缘服务节点媒体服务功能模块间接口 RTSP HTTP1.1 HTTP2.0 负责VR媒体的服务与传输； 针对VR媒体服务新增视窗依赖传输模式、视窗独立传输模式。 F 客户端与全局路由间接口 DNS、 HTTP、RTSP VR媒体服务定向信息交互、 客户端对媒体控制请求信息交互 ； 内部接口要求如表2所示。 表2 内部接口要求 接口 接口名称 接口协议 接口功能及VR相关扩展功能 a 节点管理与内容中心节点之间的接口 HTTP 该接口功能为节点资源信息、网络拓扑信息、注册认证信息管理及交互； b 媒体存储与媒体服务功能模块之间的接口 RTSP、HTTP 该接口功能为VR媒体服务所需数据的读取， 支持视窗依赖、视窗独立两种模式下的媒体内YD/T XXXXX20186容读取。 5.3.1客户端与 CDN 节点 VR 媒体服务接口（E） 5.3.1.1接口定义 客户端与CDN节点VR媒体服务接口定义如表3所示： 表3 接口定义 接口名称 客户端与CDN节点VR媒体服务接口（E） 接口描述 客户端与CDN之间用于VR媒体服务的接口，支持VR视频视窗独立传输模式以及VR视频视窗依赖传输模式 接口协议 HTTP1.1和HTTP 2.0 接口方向 CDN - 客户端 5.3.1.2接口流程（HTTP1.1 协议） 客户端与CDN间基于HTTP 1.1协议VR媒体服务接口流程如图3所示： 图 3 E 接口示意图（HTTP1.1 协议） 5.3.1.3接口流程（HTTP2.0 协议） YD/T XXXXX20187客户端与CDN间基于HTTP 2.0协议VR媒体服务接口应支持HTTP2.0协议， 基于HTTP2.0协议的服务器推送流程如图4所示： 图 4 E 接口服务器推送流程示意图（HTTP2.0 协议） 基于HTTP2.0协议的客户端请求流程如图5所示： 客户端1. 分块文件1请求消息 Stream ID = 1 推送指令：分块文件2，分块文件NCDN边缘节点2. 分块文件2.N推送承诺 Stream ID = 1 推送承诺：分块文件2，Stream ID 2 推送承诺：分块文件3，Stream ID 4 推送承诺：分块文件N，Stream ID 2(N-1)3. 分块文件1响应消息 Stream ID = 1 推送应答：分块文件2，分块文件N 分块文件1：DATA4. 分块文件2推送响应消息 Stream ID = 2 分块文件2：DATA5. 分块文件3推送响应消息 Stream ID = 4 分块文件3：DATA6. 分块文件N推送响应消息 Stream ID = 2(N-1) 分块文件N：DATAYD/T XXXXX20188 图 5 E 接口客户端请求流程示意图（HTTP2.0 协议） 6VR 视频传输模式 6.1概述 VR视频传输模式包括：基于全景传输的虚拟现实基本传输模式，即视窗独立传输模式，以及基于主视场或者辅助视场的多码流切换的虚拟现实视点自适应传输模式，即视窗依赖传输模式。 首先，客户端向服务器发送请求、或者服务器向客户端直接下发虚拟现实媒体呈现描述文件/信令信息，该媒体呈现描述文件/信令信息中包含用户视角与虚拟现实视频文件之间的对应关系。其中，虚拟现实视频文件包括全景视频文件以及辅助视场视频文件， 媒体呈现描述文件中还包括全景视频文件与其辅助视场视频文件的对应关系。其次，客户端根据当前可用带宽、终端播放能力等因素向服务器请求获取特定版本的虚拟现实全景视频文件。 当检测到用户观看视角发生变化时， 客户端将根据所获取全景视频文件的视场FOV类型， 向服务器请求获取对应的下一个全景视频文件或者全景视频文件的辅助视场视频文件。 VR音视频媒体内容传输包括以下步骤： a）现实场景音频、视频等媒体数据采集，其中视频画面由多个采集设备捕获，覆盖360全方向； b）360视频画面经过拼接服务器完成多个子画面拼接、投影、旋转等，成为完整视频画面，作为整体进行视频编码，音频数据直接进行编码； YD/T XXXXX20189c）编码后的视频、音频数据经过封装服务器进行系统层封装，生成全方向媒体文件，或者生成全方向媒体文件分片及媒体索引文件； d） 终端向内容分发网络服务节点请求VR媒体服务，下载全方向媒体文件，或根据视窗元数据动态请求媒体分片文件； e）终端获取媒体文件后通过解封装器获取压缩后的视频数据及音频数据； f）终端分别利用视频解码器、音频解码器等模块对压缩后的数据进行解码； g）终端结合视窗元数据，对解码后的视频数据进行投影、旋转、渲染等操作，对解码后的音频数据直接进行渲染，呈现给终端用户。 6.2视窗独立传输模式 支持视窗独立传输模式，视窗独立传输模式指将360全方向视频以同等质量、完整地发送给用户。可以保证映射内容完整保留了原始球面的所有内容， 保留信息量最大。 客户端向服务器请求获取无差别的全景视频文件，当用户观看方向发生变化时，所有的处理都在终端完成。 采用视窗独立传输模式时，服务器将球形的全方向视频映射为平面存储的格式，并按照普通2D视频编码方法对其进行编码和分段、封装，依靠CDN网络进行流式传输、分发与缓存。在客户端播放过程中， 播放器读取全方向视频的映射方式， 根据映射方式获取相应的全方向视频数据及定时元数据进行解码和渲染等操作。 以DASH协议传输为例，视窗独立模式VR服务流程如图6，其中全方向媒体封装格式及传输信令等要求参考7.3.1部分VR视频封装要求中基于HEVC编码格式的视窗独立视频封装格式规范。流程描述如下： 图 6 视窗独立模式 VR 服务流程 a）终端向内容分发网络服务节点请求VR媒体服务，下载manifest索引文件及360全方向媒体分片文件； YD/T XXXXX201810b）终端获取媒体文件后通过解封装器获取压缩后的视频数据及音频数据； c）终端分别利用视频解码器、音频解码器等模块对压缩后的数据进行解码； d） 终端结合视窗元数据，对解码后的视频数据进行投影、旋转，渲染视窗1对应的视频画面，对解码后的音频数据直接进行渲染，呈现给终端用户。 6.3视窗依赖传输模式 在沉浸媒体的消费过程中，由于人眼视觉范围有限，用户在某一时刻只能观看局部的内容。按需传输，利用人眼视觉系统的局限性，实现在不降低视觉体验的前提下对数据量进行减少，依赖用户当前的视野对传输内容进行自适应，按需下载视频内容，即视窗依赖传输模式，也称之为VR FOV传输。 在主视场视点自适应传输模式下， 虚拟现实视频中存在预先确定的主视场。 当用户观看视角变化量大于特定阈值时， 客户端确定当前用户视角并根据用户视角与视频文件的对应关系， 向服务器请求获取对应于用户当前视点的全景视频文件。 辅助视场视点自适应传输模式下， 虚拟现实视频中存在预先确定的辅助视场。 客户端向服务器请求获取无差别的全景视频文件， 当用户视角变化量大于特定阈值时， 客户端确定当前用户视角并根据用户视角与视频文件的对应关系，向服务器请求获取对应于用户当前视点的全景视频文件的辅助视频文件。 类似地，在分块传输模式下，客户端确定当前用户视角并根据用户视角与视频文件的对应关系，向服务器请求获取对应于用户当前视点的分块视频文件。 客户端在请求服务器获取全景视频文件或者全景视频文件的辅助视场视频文件时， 在请求中携带全景视频文件或者全景视频文件的辅助视场视频文件的开始播放时间。 按照传输内容的生成方式， 即非均匀映射方法或者分块编码方法， 视窗依赖传输模式可以分为两类：基于区域封装的视窗依赖传输和基于分块编码的视窗依赖传输。 6.3.1基于区域封装的视窗依赖传输 对于基于区域封装的视窗依赖传输模式， 全方向原始球面视频内容采用非均匀映射处理。 其在对球面内容进行采样时，令球面上的像素点有不同的权重，使得关键视频内容得到保留，而不重要的区域被下采样，仅保留少部分关键信息。非均匀映射方法用于传输质量不均匀的360全景视频，用户视窗范围内是高分辨率，其他区域是低分辨率，从而减少整体码率。如图7，系统根据用户当前视窗数据，选择与当前视窗匹配程度最高的视频轨道进行传输。 YD/T XXXXX201811 图 7 不同区域采用高质量编码的多轨道视频码流 以DASH协议传输为例，基于区域封装的视窗依赖模式VR服务流程如图8，其中全方向媒体封装格式及传输信令等要求参考7.3.1部分VR视频规范中基于HEVC编码格式的视窗依赖视频封装或基于AVC编码格式的视窗依赖视频封装。流程描述如下： 图 8 基于区域封装的视窗依赖模式 VR 服务流程 a）终端向内容分发网络服务节点请求VR媒体服务，下载manifest索引文件； b） 终端利用接入引擎解析manifest索引文件，读取各版本视频对应的观看方向及质量等级，结合视窗元数据向内容分发网络服务节点请求视窗2对应的360全方向视频，即视角2视频； YD/T XXXXX201812c）终端通过解封装器获取压缩后的视频数据及音频数据； d）终端利用解码器对压缩后的数据进行解码； e） 终端结合视窗元数据，对解码后的视频数据进行投影、旋转，渲染视窗2对应的视频画面，对解码后的音频数据直接进行渲染，呈现给终端用户。 6.3.2基于分块的视窗依赖传输 分块传输技术将360全方向视频按照空间划分为若干个子视频块， 客户端可以根据网络状况和用户头部运动有针对性的向服务器端请求视频片段。 分块传输仅传一部分内容， 或将当前视窗的高质量视频内容以及低质量全景视频内容混合传输，减少了传输数据量，可以自由地选择各个分块的质量。HEVC编码标准支持tile方式编码，可用一个编解码器对整个视频流进行编解码，客户端的解码复杂度低。 每个子视频块码流被封装在文件中的单个轨道中，并可用于传输。VR播放器根据采集到的用户观看视角、视窗元数据等信息选择要传输的轨道。当前视窗中渲染的画面质量更高，即选择画质更高的子画面视频轨道，每个轨道采用独立解码器解码。 对于基于分块的视窗依赖传输， 终端需支持接收多个子画面视频分片， 当接收到的子画面轨道包含重叠区域（例如，高质量的子画面和低质量的背景） ，但是具有由区域质量等级元数据指示的不同质量等级时，渲染设备可以使用区域质量等级元数据进行排序，以实现： a）根据接收到的多个子画面轨道中包含区域质量等级信息渲染质量最高的子画面; b） 对于对包含不同区域质量等级的多个相邻子画面边缘进行处理， 避免渲染过程中边缘质量下降。 视频分块编码方式包括多种，图9表示相同分辨率、不同质量等级视频分块编码及传输方式，基于分块的视窗依赖传输还支持不同分辨率视频分块拼接、 不同编码格式视频分块拼接、 视频分块边缘重叠等多种方式，具体规范参见ISO/IEC 23090-2和附录D。 图 9 基于分块的视窗依赖视频传输 YD/T XXXXX201813以DASH协议传输为例，视窗独立模式VR服务流程如图10，其中全方向媒体封装格式及传输信令等要求参考7.2部分VR媒体服务实施要求。流程描述如下： 图 10 基于分块的视窗依赖模式 VR 服务流程 a）终端向内容分发网络服务节点请求VR媒体服务，下载manifest索引文件； b） 终端利用接入引擎解析manifest索引文件，读取各视频分块在空间中的位置信息及质量等级，结合视窗元数据，计算以最佳方式覆盖用户视窗的分块位置信息，并向内容分发网络服务节点请求视窗2对应的媒体内容分片， 包括音频分片文件、 低质量全景视频文件及覆盖视窗2的高质量分块视频文件 （分块7、8、11、12）； c）终端通过解封装器获取压缩后的视频数据及音频数据； d）终端利用解码器对压缩后的数据进行解码； e） 终端结合视窗元数据，对解码后的视频数据进行投影、旋转，渲染视窗2对应的视频画面，对解码后的音频数据直接进行渲染，呈现给终端用户。 7VR 媒体服务要求 7.1概述 VR音视频媒体服务满足如下要求： a) VR音视频内容源发送的码流应符合VR媒体编码格式规范，实现媒体内容编码及拼接； b) CDN-VR封装服务器应实现基于OMAF的文件格式封装； c) VR音视频媒体服务应支持点播、直播、时移、回看等CDN基本媒体服务及业务功能，应支持以上服务过程中的视角切换； YD/T XXXXX201814d) VR音视频媒体服务应支持DASH传输协议及HLS传输协议； e) VR音视频媒体服务应支持HTTP2.0协议； f) VR终端应支持基于OMAF的媒体内容解封装及解码、渲染。 7.2VR 媒体服务实施要求 为了定义VR媒体服务实施统一规范，在VR媒体服务传输过程中定义实施要求检查点，即不同内容格式的规范集合，包括封装格式、编码格式、传输协议扩展等，用于VR媒体服务各阶段的实施指导，如图11。 图 11 VR 媒体服务实施要求 VR媒体编码及封装格式遵循本章7.3节VR媒体封装格式要求。 VR媒体传输协议遵循本章7.4节传输协议要求。 7.3VR 媒体封装格式要求 7.3.1视频封装要求 VR媒体服务应支持基于OMAF的全景视频封装格式， 以及如表4所示的视频基本配置规范及更高配置规范。 表4 VR视频基本配置规范 媒体规范 编码格式 视频编码规范 Level 数据盒封装标识 类别 基于HEVC编码格式的视窗独立视频封装 HEVC Main 10 5.1 podv、erpv hevi 基于HEVC编码格式的视窗依赖视频封装 HEVC Main 10 5.1 podv、 erpv与ercm至少一个 hevd YD/T XXXXX201815基于AVC编码格式的视窗依赖视频封装 AVC Progressive High 5.1 podv、 erpv与ercm至少一个 avde 具体内容参见ISO/IEC 23090-2 10.1 7.3.2音频封装要求 VR媒体服务应支持基于OMAF的封装格式，以及如表5所示的音频基本配置规范及更高配置规范。 表5 VR音频基本配置规范 媒体规范 编码格式 音频编码规范 Level 最高采样率 3D 元数据 类别 OMAF 3D 音频基准规范 MPEG-H Audio Low Complexity 1, 2 或 3 48 kHz 编码中已包含 oabl OMAF 2D 音频规范 AAC HE-AACv2 4 48 kHz 无3D元数据 oa2d 具体内容参见ISO/IEC 23090-2 10.1 7.4VR 媒体传输协议要求 7.4.1DASH 协议信令扩展 VR媒体服务应支持DASH传输协议以及针对VR媒体服务的信令扩展，如表6，包括基于HEVC编码的视窗独立传输模式信令、基于HEVC编码的视窗依赖传输模式信令，具体配置内容参见ISO/IEC 23090-2 附录B。 表6 支持VR媒体服务DASH描述子 元素 XML命名空间及规范 属性 功能描述 FramePacking urn:mpeg:mpegB:cicp:VideoFramePackingType value 描述全景投影视频的左右视野视频画面帧封装格式 associationId 描述与定时元数据表示集关联的媒体资源表示集对应ID值 Representation urn:mpeg:dash:schema:mpd:2011 associationType 描述定时元数据表示集与媒体资源关联的类型 urn:mpeg:mpegI:omaf:2017:pf projection_type 描述全景视频投影格式 EssentialProperty urn:mpeg:mpegI:omaf:2017:rwpk packing_type 描述全景视频区域封装格式 YD/T XXXXX201816 描述自适应集中视频内容在球面空间中的覆盖范围， 可由多个空间区域组成 shape_type 描述视频内容覆盖区域形状 view_idc_presence_flag 描述视频内容与视野的关联关系是否包含在此描述子中 cc urn:mpeg:mpegI:omaf:2017:cc default_view_idc 描述视频内容与视野关联关系的默认属性 描述视频内容覆盖区域空间坐标等结构信息 view_idc 描述视频内容与视野的关联关系 centre_azimuth 描述覆盖区域中心点的的水平角 centre_elevation 描述覆盖区域中心点的的俯仰角 centre_tilt 描述覆盖区域相对于全局坐标系的旋转角 azimuth_range 描述覆盖区域的水平角范围 cc.coverageInfo urn:mpeg:mpegI:omaf:2017:cc elevation_range 描述覆盖区域的俯仰角范围 描述空间区域的质量等级， 等级值越小，视频画面质量越高 shape_type 描述具有质量等级的空间区域形状 remaining_area_flag 描述sphRegionQuality.qualityInfo是否包含了自适应集中全部区域质量等级信息 view_idc_presence_flag 描述视频内容与视野的关联关系是否包含在此描述子中 quality_ranking_local_flag 描述此描述子中的质量等级信息是否与其他自适应集中的质量等级信息相关 sphRegionQuality urn:mpeg:mpegI:omaf:2017:srqr quality_type 描述质量等级划分类型， 即影响质量等级的因素 YD/T XXXXX201817default_view_idc 描述视频内容与视野关联关系的默认属性 描述某一具有质量等级的空间区域坐标等结构信息 quality_ranking 描述此空间区域视频质量等级 view_idc 描述视频内容与视野关联关系 orig_width 描述原始投影区域宽度 orig_height 描述原始投影区域高度 centre_azimuth 描述此空间区域中心点水平角 centre_elevation 描述此空间区域中心点俯仰角 centre_tilt 描述此空间区域相对于全局坐标系的旋转角 azimuth_range 描述此空间区域的水平角范围 sphRegionQuality.qualityInfo urn:mpeg:mpegI:omaf:2017:srqr elevation_range 描述此空间区域的俯仰角范围 描述2D区域的质量等级， 等级值越小，视频画面质量越高 remaining_area_flag 描述twoDqualityInfo是否包含了自适应集中全部区域质量等级信息 view_idc_presence_flag 描述视频内容与视野的关联关系是否包含在此描述子中 quality_ranking_local_flag 描述此描述子中的质量等级信息是否与其他自适应集中的质量等级信息相关 quality_type 描述质量等级划分类型， 即影响质量等级的因素 twoDRegionQuality urn:mpeg:mpegI:omaf:2017:2dqr default_view_idc 描述视频内容与视野关联关系的默认属性 描述某一具有质量等级的2D空间区域坐标等结构信息 twoDRegionQuality.twoDqualityInfo urn:mpeg:mpegI:omaf:2017:2dqr quality_ranking 描述此2D区域视频质量等级 YD/T XXXXX201818view_idc 描述视频内容与视野关联关系 orig_width 描述原始投影区域宽度 orig_height 描述原始投影区域高度 left_offset 描述此2D区域左上顶点横坐标 top_offset 描述此2D区域左上顶点纵坐标 region_width 描述此2D区域宽度 region_height 描述此2D区域高度 视窗独立传输模式下，DASH协议对全方向媒体内容仅增加投影类型、帧封装格式等描述信息，传输内容为360全景视频分片文件及音频分片文件。 视窗依赖传输模式下，DASH协议中增加投影类型、帧封装格式等通用描述信息，并进一步增加区域封装、区域覆盖、质量等级等描述信息，DASH播放器从索引文件中解析描述子信息，从终端获取用户当前观看视角或当前视窗元数据， 计算以最佳方式覆盖观影方向的空间区域， 据此请求媒体片段并解码、渲染。 7.4.2HLS 协议信令扩展 VR媒体服务应支持HLS传输协议以及针对VR媒体服务的信令扩展，如表7所示： 表7 EXT-X-STREAM-INF标签属性扩展 属性 类型 描述 PROJECTION-TYPE 必选 全方向视频投影格式。 FOV-TYPE 可选 非负整数，用于标识传输模式： - “0”: 表示不存在预先确定视场（FOV）的虚拟现实视频，即均匀全景视频； - “1”: 表示存在预先确定视场（FOV） 的虚拟现实视频，即非均匀全景视频； - “2”: 表示存在预先确定辅助视场 （FOV） 的虚拟现实视频，即分块视频； - 其他保留值； PITCH 条件必选 FOV内容中心点的偏航角度数。 YAW 条件必选 FOV内容中心点的俯仰角度数。 YD/T XXXXX201819FOV-X 可选 FOV的水平范围角度。 FOV-Y 可选 FOV的垂直范围角度。 FOV-QUALITY 可选 FOV的质量等级。 视窗独立传输模式下HLS协议对全方向媒体内容可以不增加扩展标签， 仅支持客户端默认投影格式的VR媒体服务。 视窗依赖传输模式下，播放器从主索引文件中解析EXT-X-STREAM-INF标签内容，从终端获取用户当前观看视角或当前视窗元数据， 根据全方向视频的投影方式， 计算以最佳方式覆盖观影方向的空间区域，据此请求媒体片段并解码、渲染。 8VR 媒体服务流程 8.1视窗独立 VR 媒体服务流程 VR媒体服务应支持点播、直播、时移、回看等多种基本业务，各项基本业务均支持视窗独立传输模式，并增加视角切换功能支持。视窗独立传输模式下视角切换功能主要在终端侧完成，服务流程如图12。 图 12 视窗独立视角切换流程 a）终端访问EPG上VR相关内容，EPG根据终端请求，生成内容访问URL返回终端； b）终端根据EPG返回的URL发起VR媒体服务请求； c）全局路由根据各节点负载状态为终端调度合适的服务节点，并将终端请求重定向至服务节点； d）终端向服务节点发起VR媒体服务请求，服务节点返回VR媒体索引文件； YD/T XXXXX201820e）终端解析索引文件； f）终端向服务节点请求全方向媒体内容分片； g）终端对媒体内容进行解封装、解码，并渲染用户当前视角（视角1）内视频画面； h）终端检测到用户由视角1切换至视角2； i）终端渲染视角2内视频画面； 8.2视窗依赖 VR 媒体服务流程 8.2.1基本视角切换流程 VR媒体服务基本业务均支持视窗依赖传输模式，并增加视角切换功能支持。视窗依赖传输模式下，基本视角切换流程如图13。 图 13 视窗依赖基本视角切换流程 a）终端访问EPG上VR相关内容，EPG根据终端请求，生成内容访问URL返回终端； b）终端根据EPG返回的URL发起VR媒体服务请求； c）全局路由根据各节点负载状态为终端调度合适的服务节点，并将终端请求重定向至服务节点； d）终端向服务节点发起VR媒体服务请求，服务节点返回VR媒体索引文件； e）终端解析索引文件，结合用户当前视角（视角1）元数据计算各分片对应的视角方向； f）向服务节点获取能够覆盖视角1的高质量媒体分片，以及背景区域的低质量媒体分片； YD/T XXXXX201821g）终端对媒体内容进行解封装、解码，并渲染视角1对应视频画面； h）终端检测到用户由视角1切换至视角2； i）终端结合视角2元数据选择能够覆盖视角2的高质量媒体分片，向服务节点发起媒体分片请求； j）待视角2当前低质量媒体分片播放完成后，终端对步骤9中请求的媒体分片进行解封装、解码，完成视角2内视频画面渲染，实现基本视角切换； 8.2.2快速视角切换流程 VR媒体服务基本业务在视窗依赖传输模式下增加快速视角切换功能支持，实现用户视角切换过程中主视场画面由低质量到高质量的快速切换。视窗依赖传输模式快速视角切换切换流程如图14。 图14 视窗依赖快速视角切换流程 a）终端访问EPG上VR相关内容，EPG根据终端请求，生成内容访问URL返回终端； b）终端根据EPG返回的URL发起VR媒体服务请求； c）全局路由根据各节点负载状态为终端调度合适的服务节点，并将终端请求重定向至服务节点； d）终端向服务节点发起VR媒体服务请求，服务节点返回VR媒体索引文件； e）终端解析索引文件