1、收稿日期:;修回日期:基金项目:国家自然科学基金资助项目();贵州省科学技术基金资助项目()作者简介:刘克峰(),男,四川内江人,硕士研究生,主要研究方向为软件工程、全景视频传输;李泽平(),男(通信作者),贵州贵阳人,教授,硕导,博士,主要研究方向为计算机网络、流媒体技术()基于视点预测的全景视频码率自适应策略刘克峰,李泽平,(贵州大学 公共大数据国家重点实验室;计算机科学与技术学院,贵阳 )摘要:为解决全景视频传输中存在的视频卡顿多、用户体验质量(,)低等问题,研究当前主流的视点自适应传输方案,提出一种基于视点预测的码率自适应策略()。首先,构建了一种基于长短期记忆网络和全卷积网络的视点预
2、测模型,模型将视点数据和视频显著性信息进行特征融合,实现不同模态数据的相互补充和修正,提高视点预测的准确率;然后,客户端采用随机森林算法预测当前的可用带宽,并根据视点预测结果和可用带宽信息为视频分块选择码率;最后,客户端把选择的码率信息定期发送给服务器,服务器根据反馈的信息向客户端推送最佳码率的全景视频流,这种交互过程在视频播放期间不断地重复,直至客户端观看完毕。实验结果表明,与现有传输方案相比,能有效提高带宽受限情况下的视频观看体验。关键词:全景视频;自适应传输;视点预测;体验质量;码率控制中图分类号:文献标志码:文章编号:():,(,):(),(),:;近年来,随着人们对视频沉浸感、交互性
3、的要求不断提高,虚拟现实技术(,)得以快速发展。全景视频(又称 度视频)是 领域的重要应用 ,与普通视频相比,全景视频能提供更强的沉浸性和更好的交互体验,因而受到了用户的广泛关注。的市场调查报告显示,全景视频业务增长迅速,直至 年,全景视频的市场份额都保持着 以上的年增长率 。用户在观看全景视频时,可以通过调整头部的位置和角度来改变视角(,),从而观看到 度的场景内容。传统全景视频传输技术把整个 度空间的视频内容进行高质量传输,然而用户在某一时刻仅观看到 区域内的视频,研究表明,区域大约仅占整个 度场景的 ,传统传输方式不可避免地造成了带宽的额外开销和视频卡顿等问题 。基于分块()的视点自适应
4、传输方式()是近年来的研究热点 。这种方式对全景视频在空间上进行分块,并将每个视频分块编码为不同的码率版本存储在服务器端。在视频传输时,系统将根据用户视点(中心点)和网络条件的变化,为全景视频各个 动态地选择合适的传输码率,使得 区域内视频以高质量传输,而 区域外的视频以低质量传输,以此来减少带宽浪费,避免卡顿,最终达到 的最优化,提升用户体验。相关工作在基于 自适应的传输方式中,按照不同的视点预测方法可以将现有研究分为基于用户头部运动的自适应策略、基于视频内容的自适应策略、基于用户行为的自适应策略三类。基于用户头部运动的自适应策略根据用户近期的头部运动来为视频 选择码率。等人 提出了一种适用
5、于移动设备的 度视频流系统(),使用线性回归等几种基本的机器学习模型进行视点预测,对未来 内的视点预测准确率达到 。等人 提出了 传输系统,该系统利用集成学习的优势提高了视点预测精度,并设计了基于集束搜索()的码率分配算法,实验表明该系统在各种场景下取得的 提升至少达到 。此外,文献 研究了基于深度强化学习的全景视频流框架(),通过深度学习来预测未来的带宽和视点,并采用 第 卷第 期 年 月计 算 机 应 用 研 究 算法进行码率决策,增强了系统对不同网络环境的适应能力。基于视频内容的自适应策略主要根据视频显著性图和运动图来决定各个 的码率,这类方案通常用于对第一类方案的修正和辅助。丁颖等人
6、介绍了全景图像显著性检测的概况。等人 提出了一个面向 的显著性感知 度视频传输框架,建立了视频显著性和 之间的关联,并利用李雅普诺夫优化()取得了 和带宽之间的平衡。在 等人 的研究中,通过视频显著性和运动图预测 的观看概率,并设计了一种基于两层缓冲区的码率自适应方案,实验表明该方案优化了最大缓冲级别的选择,实现了 以上的系统性能提升。基于用户行为的自适应策略主要根据用户之间的观看行为优化码率选择。等人 提出了一种跨用户学习的系统(),使用 算法对用户进行分类,根据用户类别预测 的观看概率,其视点预测精度相比线性回归法提升了 。文献 提 出 一 种 基 于 跨 用 户 行 为 的 传 输 框
7、架(),将线性回归()与 最近邻()算法结合分析跨用户观看行为,并提出一种最优码率分配算法(),对视频质量与平滑度的提升幅度达到了 。文献 将用户 分布视为正态分布,使用高斯模型预测视角区域,并提出了一种两阶段的码率分配算法,实验表明该方案有效提高了视频的平滑性指标。以上方案多基于单一因素进行视点预测,预测精度随着时间推移而逐步下降,不能在多变的网络环境下保持良好的观看体验。因此,如何进一步提升长时间段的视点预测准确度,并且充分利用视点和带宽数据提高用户体验是需要解决的问题。对此,本文提出一种基于视点预测的码率自适应策略(,),该策略融合视点时序信息和视频显著性特征进行视点预测,能够有效捕获视
8、点的变化趋势,并且对码率选择算法进行优化,提高了决策效率,减少了重缓冲时间,提高了 性能。基于视点预测的全景视频自适应传输系统图 展示了基于视点预测的全景视频自适应传输系统的框架。传输系统主要分为 服务器端和客户端,采用 协议()进行传输,具有启动快、低时延等特点,是当前主流的流媒体传输协议 。在视频传输之前,先在服务器端通过 、等处理工具对视频在空间上分块、在时间上分片,并编码为多版本码率进行存储。而视点预测模型在服务器端进行离线训练,训练完成后部署到客户端。视频传输时,首先由视点预测模块根据用户视点反馈和视频显著性特征预测用户未来的视点位置;同时,客户端进行带宽估计,以确定当前网络环境下视
9、频总码率的上限;然后,将视点和带宽的预测结果输入到 驱动的码率选择算法,为每个 选择合适的码率级别,使得 最大化,并将选择的码率参数反馈到服务器端;服务器端收到码率参数后,即可提取对应码率的视频分块推送到客户端,客户端收到视频分块后进行解码和拼接,形成新的视频片段后加入播放缓冲区,由播放设备渲染和播放。基于视点预测的全景视频码率自适应传输系统策略 视点预测用户视点不仅与头部运动轨迹有关,还与视频本身的内容特征、其他用户的观看行为存在关联。为提升视点预测在更长时间段的预测效果,本文在现有研究 ,的基础上提出一种结合头部运动轨迹、视频显著性特征的预测模型,通过合适的深度学习网络进行预测。图 展示了
10、本文所提的视点预测模型,模型主要包括显著性图、轨迹预测、全连接三个部分。图 基于视点预测的全景视频自适应传输系统 图 视点预测模型结构 在显著性图部分,图像的显著性表示该部分内容与相邻部分相比更加明显,而显著性越强的区域越容易吸引用户的注意力,因此得到显著性图有利于对用户视点的预测 。本文针对全景图像尺寸较大、难以处理的问题,使用全卷积网络(,)提取全景视频的显著性特征。与普通的卷积神经网络 相比,具有不限制图片输入尺寸、可实现像素级分类、识别精度更高等特点 。具体地,在卷积层之后通过两层全连接层得到固定长度的特征向量并映射为不同的分类,但全连接层的输入神经元个数固定不变,这就要求卷积层的输入
11、也应该固定不变,因此限制了输入图片的尺寸;而 将 中的全连接层替代为 卷积层,消除了神经元个数的限制,因此 可以接受任意尺寸的输入图像。本文对全景视频的每个分片都进行间隔抽帧,将每帧图像输入到 进行特征提取,得到每个帧的热图()作为显著性特征。若用 表示 时刻的视频帧内容,表示 网络,则可将此时的显著性特征用 表示为 ()()在轨迹预测部分,模型需要对输入的一系列视频帧视角位置信息(可通过 传感器设备获得)进行分析,以得到它们在时间上的相关性。考虑到用户的视角运动轨迹(即视点轨迹)可视为一种随时间变化的序列,而长短期记忆网络(,)在挖掘序列数据规律上具有良好的效果 ,与传统的循环神经网络 相比
12、,能通过细胞状态()实现长期记忆,有利于捕捉到数据之间的长期依赖关系,因此本文采用 提取用户视点之间的时序特第 期刘克峰,等:基于视点预测的全景视频码率自适应策略征。本文将当前用户的视点坐标与其他观看过同一视频的用户的历史视点数据一起作为 网络的输入,进一步提高预测性能。设 时刻时,输入过去 个帧的视点坐标序列 ,用 表示 网络,则输出的视点特征(即 时刻 的隐藏状态)可表示为 (,)()在全连接部分,对前两个部分输出的显著性特征和视点特征进行融合,也就是对它们进行向量拼接,得到融合后的高维特征向量。然后,将特征向量输入到全连接网络,并且设置输出层的激活函数为 ,将特征向量映射为 的概率分布,
13、即输出各个 被观看的概率值作为最终的视点预测结果。设在 时刻进行视点预测,预测结果为 时刻每个 的被观看概率 ,则该模型的计算公式可表示为 (;)()其中:表示视频在 时刻的显著性特征;表示 时刻的视点时序特征;函数 表示用两层全连接层将显著性特征与视点特征进行融合。经过视点预测模型的一系列处理,即可确定各视频分块被观看到的概率,本文采用 的重叠比(预测正确的 个数占总的 个数的比率)作为评价视点预测准确率的指标。的重叠比可表示为 ()其中:和 表示预测为 内的 和预测为 外的 ;和 表示实际为 内的 和实际为 外的 。本文视点预测模型的优势在于,模型整合了视频的空间显著性信息和视点的时序信息
14、两个模态的数据,通过 操作将两类特征进行向量拼接得到融合的特征向量,再将拼接后的向量输入到 中学习特征之间的非线性关系,使得不同模态数据之间可以互相校正和补充,有效地提高了特征的表达能力。与使用单一模态的预测方法相比,本文模型能挖掘出数据中更丰富的隐藏信息,避免了只使用单模态数据进行分析的局限性,因此在视点预测中具有更高的鲁棒性,可提高长时间预测的准确率。带宽预测网络带宽限制了视频的最大码率,但由于视频播放时存在时延,直接将当前的带宽作为输入进行码率决策实际上并不准确,并且会降低码率选择算法的性能。所以,对客户端带宽进行提前预测是有必要的。现有研究 ,通常将过去几个时刻带宽的线性回归值作为预测
15、值,但 等人 的研究表明,在波动性强的移动网络或 网络环境下,客户端与基站通信的参数(如信号强度、接收功率等)也会对带宽产生影响,综合考虑历史带宽和通信参数的预测效果要好于仅采用历史带宽的预测效果。本文在文献 的基础上,结合历史带宽数据与客户端通信参数,使用随机森林算法预测带宽,提高预测准确率,以最大化 。驱动的码率选择算法 驱动的码率选择算法的目的就是在当前网络带宽的限制下,为每个视频片段的 选择不同的码率,使得总的 最大化。全景视频 是广泛用于评价用户体验质量的定量指标,选择合适的 模型十分重要。普通视频的 通常从码率质量、时间码率差异、重缓冲时间等方面进行考虑 。本文除上述因素以外,还考
16、虑到全景视频不同 之间的码率差别对用户体验造成的影响,即将视频的空间码率差异也作为一个 指标。因此,参考文献 ,本文的 指标包括码率质量、时间码率差异、空间码率差异、重缓冲时间。设全景视频切片集为 ,分块集为 ,(,)表示第 个切片的第 个分块的码率,()表示第 个切片的第 个分块是否属于 区域中()为是,()为否),视频总共有 个可选码率级别。各指标表示如下:)码率质量。视频码率越高,则视频质量越好,用户体验越高。本文针对用户 区域内的视频内容的码率质量进行统计,可表示如下:()(,)()时间码率差异。不同的视频切片可以切换不同的码率级别,码率切换的跨度过大或频率太高会导致平滑度低,降低用户
17、体验。本文用相邻两个切片之间的码率差异表示时间码率差异,如式()所示。()()(,)(,)()空间码率差异。在同一切片中,不同的分块也具有不同的码率质量,本文对 区域内的相邻 之间的码率差别进行统计。用 ()表示与第 个分块相邻的其他分块的集合,则空间码率差异可表示为 ()()()(,)(,)()重缓冲时间。当客户端播放缓冲区为空,而新的视频片段尚未载入时,视频将会卡顿,称为重缓冲事件,重缓冲事件会降低用户体验。重缓冲事件导致的卡顿时间与缓冲区大小和当前网络带宽有关,本文中,设视频切片 下载时,缓冲区剩余时长为 (),此时平均带宽为 (),则平均重缓冲时间为 (,)()(),()全景视频 。由
18、于不同用户对以上四个因素的敏感度不同,例如有的用户更在意视频质量,而有的用户更在意重缓冲时间,所以采用非负参数 、用于调节不同因素的重要性,则整体 值可表示为 ()的划分策略直接对每个 都进行码率决策的计算量过大,例如在有个可选码率,个 的情况下,总共将有 种计算可能,这在 划分较多的情况下将大大增加运算时间,造成重缓冲事件的增加,降低用户体验。为提高算法执行效率,根据视点预测得到的 被观看概率值将其划分为 个质量级别,每个质量级别中的 选择同样的码率,使得算法决策空间减少为。本文选取 ,用 表示视频片段 中,第 个 被观看的概率,则每个 的质量级别可表示如下:()其中:是第一质量级别,被观看
19、概率高于 ;是第二质量级别,被观看概率介于 ;是第三质量级别,被观看概率小于 。图 展示了本文所述的 划分策略。图 的划分策略 计 算 机 应 用 研 究 第 卷 码率选择算法客户端播放视频过程中,由于并不能获取所有视频片段的用户视点和实时带宽,而只能对当前下载的视频片段进行视点和带宽预测,所以难以求得整个播放过程的最优 。本文将整体 最大化问题转换为求解当前视频片段的最优 ,以获得每个片段的局部最优解。用 表示视频片段 的 值,则优化目标可表示为 (,)()如算法 所示,对于每个视频片段,根据预测带宽、可选码率集、视频质量级别来进行码率决策。首先,初始化当前码率集为可选码率集中的最低码率,如
20、果最低码率集仍然无法满足带宽条件,则返回错误状态提示当前网络不适合传输;否则,对每一个质量级别枚举出下一个可选码率,作为当前码率集。如果当前码率集超过带宽上限,则继续枚举;如果当前码率集满足带宽条件,则根据式()计算其 值。最终,算出每种满足带宽条件的码率集的 值,并把其中 最大的方案作为最优码率集进行输出。算法 码率选择算法输入:当前视频片段编号 ,预测带宽,可选码率集,所有质量级别。输出:当前片段的最优码率集合 。,对当前视频片段操作 初始化最优 值 ,初始化码率集合 (,)为每个质量级别选择码率 更新码率集合 (,)计算 值 更新最优 值 更新码率集合 实验和结果分析 实验设置本文依据图
21、 的传输架构搭建实验平台为:服务器端操作系统采用 版本,选择 提供 服务,客户端播放器基于开源多媒体工具 。硬件环境为:戴 尔 台 式 机 ,为 ,内存 ,显存 。本文的视点预测网络基于 框架实现,开发环境为 。参照现有研究 ,本文将视频划分为 布局的 个 ,并设置 区域为水平 和垂直 的矩形区域。在视点预测网络的轨迹预测部分,本文将 网络设置为双层 ,神经元个数分别为 、,用过去 的视点序列作为输入得出时序特征;在显著性检测部分,为减少计算量,使用 对每个视频分片平均抽取 帧图像输入到 得到显著性特征;网络训练过程中,选用 作为隐藏层激活函数,以 算法进行优化。为验证本文所提 方案的性能,本
22、文与以下三种全景视频传输方案进行对比:)基于头部运动轨迹预测的视频传输方案 ,使用集束搜索为每个 分配码率。)基于视频显著性和头部运动轨迹预测的视频传输方案 ,使用贪心法为每个 分配码率。)基于用户行为的视频传输方案 ,选择码率时不考虑码率切换平滑性对 的影响。实验中,本文将 节定义的 的重叠比(式()作为视点预测的准确率指标;将 节定义的 值用于评价用户体验,影响 的指标主要有码率质量、时间码率差异、空间码率差异、重缓冲时间,从式()可知,若想取得更好的 ,应在提高码率质量的同时,减少其他三项指标对 造成的损失。本文通过 在客户端获取视频码率、带宽数据、缓冲区大小等参数代入到 节中对应的公式
23、来计算出上述指标,并根据式()计算出它们的加权和得到 值,将每个视频的平均 值作为实验结果。参照现有文献 ,本文将影响四个指标权重的参数 、的值分别确定为 、,在相同的评价指标下进行实验。实验数据集和预处理)实验数据集实验主要采用公开数据集 和数据集 。数据集 记录了 名用户观看全景视频时的视点轨迹信息,其中的视频包括运动、表演、电影片段等多种类型。本文选取其中四个不同类型的全景视频进行实验,视频基本信息如表 所示。表 实验视频信息 视频编号视频名视频内容视频时长 视频 电影片段 视频 表演 视频 运动 视频 纪录片 技术是实现 视频高效传输的关键技术,未来全景视频将更多地通过 网络进行传输。
24、因此本文选用最新的 网络真实带宽数据集 作为实验的网络环境,该数据集不仅记录了包括移动和静止状态下的 带宽数据,还包括相关通信参数(如信号强度 、接收功率 等),可用于带宽预测。图 展示了该数据集的带宽序列。图 带宽数据轨迹 )数据预处理由于数据集 中的全景视频均采用等距柱状投影(,)的方式,所以可以将记录中的三维视点坐标(,)转换为二维经纬度坐标(,),便于后续处理。转换方式如下:()(槡)()获得全景视频之后,利用 、等工具对视频划分 和 ,本文将每个视频分片长度设置为 ,将视频划分为 布局的 (即空间上分为 个 )。实第 期刘克峰,等:基于视点预测的全景视频码率自适应策略验中,还需要将视
25、频编码为多个码率版本存储在服务器中,本文选择的码率版本与分辨率的对应关系如表 所示。表 各码率对应的分辨率 视频码率 分辨率视频码率 分辨率 为取得全景图像显著性检测的正确标注(),本文按照固定的时间间隔抽取出视频帧,根据每个帧在对应时刻一段时间内的视点轨迹(可从数据集 中获得),将用户的视点位置标注在图片对应位置的分块中。由于用户在实际观看中看到的是 区域而非仅仅是视点,所以本文以视点位置为中心,按照 节中对 区域的规定,将图片中标记的点扩展为一个矩形区域,用此区域代表用户的真实视角(即 ),并将与此区域有交集的所有 作为视点预测的正确标注。如图 所示,虚线框表示了根据视点序列得到的 区域,
26、深色填充部分代表 。图 图示 由于 网络环境中带宽波动的频率和幅度都更大,为了测试各个算法在不同网络条件下的表现,本文通过 编程提取了数据集 中三种不同类型的带宽序列,它们分别代表高带宽、中带宽、低带宽的网络环境,如表 所示。表 实验带宽信息 带宽条件平均速率 持续时间 带宽条件平均速率 持续时间 高带宽 低带宽 中带宽 实验结果分析 视点预测实验为验证本文 模型在视点预测上的有效性和优越性,分别设计了视点预测的消融实验和对比实验。实验过程中,设置视点预测的时间间隔分别为 ,来衡量各方案在不同时间间隔的预测准确率。在消融实验中,本文选用以下三种方案在数据集 上共同进行训练:),即直接将当前视点
27、位置作为预测结果;),将视点数据输入 进行预测;),即本文模型,联合使用视点数据和视频显著性进行预测。实验结果如图 所示。从图 可看出,在 方案基础上将视点数据输入 进行预测的准确率可提升 以上,而本文联合使用视点数据和视频显著性信息的 模型对 的平均提升达到 个百分点以上。此外,在短时间的预测中(内),加入视频显著性信息的预测精度反而有所下降,但随着预测时间间隔的增长,联合使用视点数据和视频显著性信息对准确率的提升将逐渐增大,最高可达到 。可能的原因是,短时间之内用户视点序列之间存在很强的相关性,此时加入显著性信息反而会给预测带来副作用,但长时间预测时,用户视点序列之间的关联减弱,此时考虑视
28、频内容本身和其他用户的影响则能有效提高预测精度,这说明了本文 模型对长时间预测的有效性。在对比实验中,采用与消融实验相同的实验条件,将本文方案与 节介绍的三种方案进行对比,实验结果如图 所示。在 内的预测中,方案取得了最好的效果,主要基于对视点数据相关性的分析进行视点预测,这也说明预测时间越短,用户视点序列相关性越强,因此使用 一类分析时序关系的模型就能取得较好的预测效果。而本文 模型在 及更长时间的预测中,都取得了最高的视点预测准确率。在预测时长为 时,的预测精度降到 左右,的预测精度也降到 左右,而本文 仍能保持 左右的准确率。分析其原因主要是本文 将视点时序特征、视频显著性特征进行融合,
29、弥补了用单一特征表征视点变化规律的局限性,所以在长时间预测中取得了更好的效果。图 视点预测消融实验结果 图 视点预测对比实验结果 全景视频自适应传输仿真实验本文通过仿真实验验证 策略在视频传输中的性能,实验使用服务器 系统中的 ()模块来回放带宽数据 ,模拟视频传输时的网络变化,其他设置已在 节介绍。图和展示了各方案取得的 结果。从图可以看出,与 相比,其他算法在带宽受限的条件下的 值下降明显,特别是仅考虑视点序列的 和仅考虑用户行为的 ,在变化的网络环境难以保证用户体验。本文方案相较 、,在不同网络环境下对 的提升分别达到 、以上,这表明了本文方案的有效性。图 不同带宽条件下各方案的 值 图
30、 展示了四种方案在不同带宽条件下的 各指标的对比,包括码率质量、时间码率差异、空间码率差异、重缓冲时间。从图中可看出:)在码率质量方面,本文方案相较于其他三种方案在高带宽条件下差距不大,而在中低带宽条件时能取得更好的效果,这说明高带宽能提供更大的容错率,不管自适应算法为视频分块选择哪种码率,服务器总能满足其需求,使得用户观看到高质量的视频内容。在中低带宽条件下,更考验各个方案对用户视点预测的准确率。若预测准确率低,将导致客户端请求到错误的高质量区域,而真正的 区域视频质量不高。)在时间平滑度和空间平滑度方面,本文 相较于 和 ,在这两项指标上取得的平均 损失分别减少了 、和 、。这是由于 和
31、的码率决策算法更为激进,为视频分块选择满足当前带宽的最高码率质量,但忽略了这有可能造成视频码率的大幅度变计 算 机 应 用 研 究 第 卷化而降低时间平滑度和空间平滑度,导致码率选择算法在这两项指标上出现较大的 损失。而 通过对视频分块划分质量级统一分配码率,减少了码率切换的幅度和相邻视频分块的码率差异,因而在这两项指标中表现更好。)在重缓冲时间方面,随着带宽条件的降低,各方案的重缓冲时间都有所增加,但与其他算法相比,取得的重缓冲时间降幅至少达到 以上。其中,由于 和 对带宽估计较为简单,在快速变化的网络环境中的带宽预测具有滞后性,所以常选择超出带宽限制的码率,使得视频难以下载到缓冲区,导致重
32、缓冲事件的发生;算法采用较为复杂的码率分配方案,使用贪婪策略为每一个视频分块选择码率,虽然降低了 在时间平滑度和空间平滑度上的消耗,但是过于细粒度的码率分配方式导致算法运行时间过长,造成重缓冲事件的发生。本文码率选择算法采用了更为准确的带宽预测方法,并采用划分质量级别的方式减少了码率选择算法的计算空间,因此取得了更少的重缓冲时间。图 各方案 性能指标对比 真实网络中的实验为进一步评估本文方案在真实网络条件下的性能,本文在 节介绍的实验平台基础上,选用如表 所示的视频,在真实网络环境中进行实验,网络条件包括高速稳定的 网络和相对低速的蜂窝()网络,其他实验设置与仿真实验相同。对比了 与其他方案取
33、得的平均 数据,结果如表 所示。总体来看,各方案在 网络中取得的 普遍好于 网络,这证实了高速稳定的带宽能提高用户体验。本文 在视频 、的表现最好,分析原因,视频 (演讲)和视频 (冲浪)的显著性区域较为集中且单一,因此本文和 这类结合视频显著性的传输方案能取得更好的效果,而视频 (电影)和视频 (纪录片)的显著性区域可能有多个且分散,因此本文方案效果与其他方案差距不大。实验结果说明了将 应用于现实传输场景中的可行性。表 各方案在真实网络中取得的 视频编号 视频 视频 视频 视频 结束语本文在现有研究 ,的基础上,提出了一种基于视点预测的全景视频码率自适应策略 。首先构建了一种视点预测模型,通
34、过融合视点时序特征和视频显著性特征来提升视点预测精度。同时,利用随机森林算法预测可用带宽值。在视点预测和带宽预测的基础上,制定 优化目标,并对视频划分质量级别,针对不同质量级别进行码率选择。通过与其他方案进行比较,说明本文方案能更好地适应不同网络环境,并且在 指标上取得了 以上的提升,优化了视频观看体验。由于码率选择问题可视为一个最优决策问题,后续将考虑采用强化学习对码率选择进行进一步的优化。参考文献:叶成英,李建微,陈思喜 全景视频传输研究进展 计算机应用研究,():,(,():,)():,():,:,:,:,():,:,:,:丁颖,刘延伟,刘金霞,等 虚拟现实全景图像显著性检测研究进展综述
35、 电子学报,():(,():),:,:,():,:,:,:,:,:,():(下转第 页)第 期刘克峰,等:基于视点预测的全景视频码率自适应策略 ,:危双丰,汤念,黄帅,等 基于建筑物轮廓的地面激光点云与影像匹配点云配准研究 计算机应用研究,():(,():),:,:,():,:,:,:,():覃兴胜,李晓欢,唐欣,等 基于标定板关键点的激光雷达与相机外参标定方法 激光与光电子学进展,():(,():),:,:,:,:():,:,:,:,():():,():陈方圆,余崇圣,李梦,等 一种自旋转激光雷达及其旋转 轴标定方 法:(,:),:,:,:,:,:,:,:,():何颖,马戎,李岁劳,等 变量投影框架下基于 问题的多点透视问题求解算法 光学学报,():(,():)(上接第 页)陈仁康,李泽平,林川,等 基于电量状态的移动流媒体码率自适应策略 计算机工程与设计,():(,():),:,():,:,:,:,():王烽,李泽平,林川,等 基于随机森林的带宽预测算法研究与实现 计算机工程与设计,():(,():),:,():,:,():,:,:,:,:():计 算 机 应 用 研 究 第 卷