量化参数自适应全景视频编码.pdf

第 卷 第 期 年 月绵阳师范学院学报(自然科学版)().收稿日期:基金项目:成都师范学院专项科研项目()作者简介:杨栩()男四川广元人讲师博士研究生研究方向:全景视频编码及传输 量化参数自适应全景视频编码杨栩(成都师范学院物理与工程技术学院四川成都)摘 要:高效的全景视频压缩对沉浸式、低延时的视觉体验十分重要 服务器端的全景视频通过投影到 平面经过编码、传输到客户端后反投影到球面供用户观看 而全景视频投影过程中会在球面的两极产生拉伸形变进而产生像素冗余 针对这一问题提出一种自适应量化参数算法根据全景视频纬度方位来调整编码参数优化编码 实验结果表明提出的算法相较于基准.能达到.的码率节省编码时间下降.关键词:全景视频 量化参数 投影 率失真优化 中图分类号:文献标志码:文章编号:():././.():.:引言虚拟现实()技术和增强现实()技术为用户提供了色彩更逼真、画面更清晰的全新沉浸式视觉体验广泛应用于游戏、监控、教育、直播、购物等领域 视频或图像可以通过三维建模建立一个完全虚拟的空间也可以通过专门的摄像机进行实景拍摄 在观看 视频的时候用户可以通过头戴显示器()观看通过控制头部运动来控制视野范围进而产生身临其境的交互式沉浸体验 可以追踪头部方位或眼睛视点位置从而为提取用户视觉注意特征提供可能 全景视频又称 视频或球域视频或全方位视频正逐渐成为最热门的/业务相较于传统视频它包含 的全方位球域视觉信息允许观众在观看时自由改变视角选择感兴趣区域()进行观看让用户可以随时随地全方位体验各种虚拟或真实场景并沉浸其中 为了达到这种全方位的沉浸式体验全景视频的分辨率需要达到 及以上才能实现 目前 全景视频应用主要面临高分辨率、高帧率带来的压缩、存储、传输以及渲染难题 高分辨率、高帧率视频的处理需要消耗大量的计算资源和通信带宽而 头盔自身计算能力和无线传输带宽均十分有限 如何在保证终端用户视觉体验质量的前提下减少处理和传输的数据规模就成为了当前 全景视频研究的重点 与传统的 视频图像不同全景视频图像分布在整个球面全景视频压缩方法必然与传统视频压缩方法有所不同由于没有专门的球域全景视频压缩工具现在的主流方法都是将球域视频投影到 平面借助成熟的传统视频编码器进行压缩比如./、./、等 全景视频在球域上是没有边界的投影到平面后会产生几何失真也就是投影过程中球面各区域的采样密度各不相同比特率或失真的计算权重也应各有区别 本研究针对全景视频 投影格式在两极处的过采样问题提出自适应量化参数方法来优化编码本算法不仅有较大的性能提升编码复杂度也有较大降低 投影目前没有专门的球域视频编码器只有将其投影到平面后再由传统编码器进行编解码 解码后的平面视频图像反投影回球面并呈现给用户终端用户通过头戴显示设备观看所以全景视频压缩的重点之一在投影 目前常用的投影方式有、等 因为投影平面越多产生的图像边界也越多这对跨边界的运动搜索是非常不利的将严重影响率失真性能 所以 投影仍是全景视频编码研究的重点也是默认的投影方式.坐标变换 将球面图像投影到平面图像过程中由于在球面两极处的采样密度与平面的采样密度不一致将导致在球面两极处出现过采样 而球面的三维坐标与投影平面的采样坐标之间有着一一对应关系 图 给出了全景视频通过 投影到 平面的原理图可以看出投影前后除了赤道区域外全景图像的其余区域都被拉直为矩形而产生形变越靠近南北两极这种几何失真越严重 现在的通用做法是通过插值算法来填充拉伸区域 绵阳师范学院学报(自然科学版)图 全景视频图像通过 投影到 平面.球面坐标可以通过经度 和纬度 来定位它们的取值范围分别为和空间坐标()和经纬度之间的关系为 ()()()同理 平面的任意采样点()与归一化的()平面之间的关系为 (.)/()(.)/()其中 和 分别为 平面的宽和高 经纬度坐标和()平面坐标的关系为 (.)()(.)().量化参数自适应全景视频编码为了改善由于过采样而破坏的图像信息将自适应调整量化参数 并用于全景视频的率失真优化编码 编码树单元()作为调整编码参数(比如量化参数)的最小单位将用于调整全景视频的编码参数 由于球面环带区域对应于 平面的 行也就是 行中每个 的面积伸缩比一致 根据图 可知 行只跟纬度坐标位置有关 即(.)/()上式中 为 平面的第 行 反投影后对应的球面环带区域所对应的纬度 根据上式可以计算每个编码单元所对应的球面纬度坐标 根据图形纬度坐标调整量化参数 最后用于优化编码 .()其中 为编码器的拉格朗日乘子 为纬度 处对应的 行的真正编码量化参数 需要说明的是为了防止发生参数溢出边界的问题上式中的纬度值不能为 而且量化参数值的变化范围限定在 以内.算法流程本节给出量化参数自适应全景视频编码算法()的详细流程在实际编码过程中根据投影平面的 位置计算其在球面的纬度坐标再通过该坐标计算量化参数最后用于优化编码 杨 栩 量化参数自适应全景视频编码 表 量化参数自适应全景视频编码流程图.算算法法 量化参数自适应全景视频编码目目标标:计算 行编码 初初始始化化:获取 的中心像素点坐标、图像宽、图像高对每一个编码帧重复以下过程 .通过式()计算 对应的球面纬度 .通过式()计算任意 行的新的拉格朗日乘子(编码器的拉格朗日乘子与系数 的比值)和量化参数 .用新的量化参数编码完成视频序列编码实验分析为验证本方法的有效性将自适应量化参数全景视频编码算法集成到 参考软件.中编码器配置为 实验条件遵守国际编码标准组织 建议的通用测试条件()实验选用标准全景视频序列作为测试视频包括 和 两类中的全部 个视频序列其特征如表 所示(表示帧率 表示比特深度)实验计算机配置为()().内存为 基于 的处理器 位 专业版操作系统 自适应量化参数全景视频压缩的目标是保证编码质量的条件下尽可能压缩码率尽可能降低编码时间.率失真性能对比以 作为扩展的参考软件.作为基准分别用 值、去编码每个测试序列 实验比较本文提出的量化参数自适应全景视频编码算法()相较于基准的 是评价视频编码算法性能的主要参数之一表示在相同编码质量下新算法相对于基准算法的码率节省情况为负值时表示有码率节省 表 为 相较于基准的性能对比可以看出在 和 测试序列上分别使用 作为客观质量评价指标 算法相较于基准的 总体平均为.、.、.该算法对绝大多数全景视频序列都是有效的对个别全景视频没有起到作用比如“”因为该序列存在大量的仿射运动以在城市中行进的汽车为第一视角画面变化较快而这种单纯以图像位置来调整编码参数的策略对运动变化较大的全景视频的编码质量或者编码比特节省都不能有效改善 该算法能有效改善高纬度区域没有运动目标的过采样问题 比如算法在全景视频序列“”、“”上的码率节省高达 和.而它们都具有高纬度区域图像变换平缓的特征 绵阳师范学院学报(自然科学版)为了更直观观察率失真性能提升情况图 图 给出了测试序列“”、“”、“”、“”在 下不同算法的率失真曲线对比图 可以看出本算法 率失真性能更优 表 算法 相较于 基准的 节省.图 算法在测试序列 的率失真性能比较.图 算法在测试序列 的率失真性能比较.图 算法在测试序列 的率失真性能比较.图 算法在测试序列 的率失真性能比较.杨 栩 量化参数自适应全景视频编码 .编码时间对比编码时间是衡量算法复杂度的重要指标本算法()和基准()编码所有测试序列所用绝对时间如表 所示可以看出本算法总共花费时间 .低于基准的 .算法相比基准算法整体编码时间下降.编码时间下降的主要原因是在高纬度区域采用了较大的量化参数编码而节省时间.主观质量评价视频编码的最终目标是为观众提供高质量的视觉体验图 为本文算法编码与原始图像主观质量对比 图 主观质量对比()全景视频序列 第 帧原始图像()本文算法编码后序列 第 帧图像.()()结语随着 应用的逐步推广全景视频的应用也急剧发展其高帧率、高分辨率的独特特征也给压缩、存储带来了极大的挑战如何进一步高效压缩全景视频是工业界和学术界面临的一大课题 本研究针对全景视频需要投影到 平面编码而投影会在高纬度区域产生形变以及过采样的问题提出一种量化参数自适应算法来降低过采样带来的编码损耗 实验证明本算法能较大程度提高全景视频编码率失真性能而且降低了编码时间 参考文献:.:.:./:.():.:绵阳师范学院学报(自然科学版).:./().:.:./().:.().():.().():.:():.()/().:./.().(责任编辑:代三威)(上接第 页)参考文献:陈龙龙徐飞魏晓光等.大容量可控关断的直流输电用电流源型换流器研究综述.中国电力():.:.():.王敏华康积涛裴超志.高压直流输电次同步振荡时域仿真分析与控制.四川电力技术():.:.:.党存禄严占想陈蕾.高压直流输电次同步振荡轴系扭振分析.自动化仪表():.:.():.张剑肖湘宁高本锋等.双馈风力发电机的次同步控制相互作用机理与特性研究.电工技术学报():.詹荣荣赵寒杜丁香等.发电机轴系特性动态模拟的可行性探讨.电气应用():.刘代祥汪立.发电厂次同步振荡()问题的解决方法.四川电力技术():.倪以信王艳春陈寿荪等.多机系统 引起的轴系扭振的扫频:复数力矩系数分析.电力系统及其自动化学报():.周佩朋宋瑞华李光等.基于附加比例谐振控制的风机次同步振荡抑制方法.中国电机工程学报.():.(责任编辑:代三威)杨 栩 量化参数自适应全景视频编码