面向强光源视频的帧插值方法.pdf

第 卷第 期黑 龙 江 大 学 工 程 学 报 年 月 .:/面向强光源视频的帧插值方法辛伊宁 刘 勇 许骞艺(黑龙江大学 软件工程学院 哈尔滨)摘 要:视频帧插值是在原始帧之间合成不存在的帧 以提高视频帧率 常见的帧插值方法基于深度感知进行帧插值 但在含有强光源的情况下插值效果不理想 因此提出了针对强光源视频的帧插值方法 提取图像的光强特征 将平衡过光强的图像用于帧插值 将帧插值的结果恢复到初始光强 结果表明:在不含有高光强区域的视频中 插值速度及精度与目前最优方法相似 在含有高光强区域的视频中 帧插值精度高于其他方法 验证了该方法的有效性关键词:视频帧插值 强光源 深度感知 光流中图分类号:文献标志码:文章编号:()收稿日期:修订日期:基金项目:国家自然科学基金项目()黑龙江省自然科学基金项目()哈尔滨科技创新人才研究专项资金项目()作者简介:辛伊宁()男 硕士研究生 研究方向:图像处理:通讯作者:刘勇()男 副教授 硕士研究生导师 研究方向:数据挖掘、网络表征学习等:许骞艺()女 讲师 硕士研究生导师 研究方向:深度学习、图像处理等:引文格式:辛伊宁 刘勇 许骞艺.面向强光源视频的帧插值方法.黑龙江大学工程学报 ():.引 言帧率高的影视作品给人的观感更加舒适 因此需要将原本低帧率的视频转化为高帧率视频 传统的视频帧插值方法大多利用卷积神经网络将前后两帧的图像融合生成中间帧 但该方法是强行融合前后两帧图像 当前后两帧内容差异较大 甚至是身处不同的场景内时 补出来的帧不清晰 从视频中还原三维场景的课题受到越来越多研究者的关注 图像深度感知的方法也愈发完善 深度感知常用于如深度恢复、流量估计、视觉里程测量等 在视频帧插值方面 大多数研究者利用深度估计判断遮挡 即利用深度信息来明确检测遮挡 例如 等采用深度感知视频帧插值法 利用双向光流和深度图扭曲输入帧 估计中间流 计算每个流的权重 生成中间帧 但基于深度感知的视频帧插值方法在处理含有强光源的视频时产生的效果不佳 现有视频帧插值方法很难处理好含有强光源的视频 强光源严重影响算法对图像深度的估计 为解决以上问题 提出了一种针对强光源视频的帧插值方法 相关工作光流法是目前主流的视频帧插值方法 但光流法除了难以处理遮挡问题外 当视频中含有强光源时也影响光流估计的准确性 光流估计研究光流被定义为图片中像素移动的最小单位 光流估计是计算机视觉的核心问题 具有广泛的下游应用 如动作识别、自动驾驶、视频编辑、场景重建等 在近十年大多数的研究者均采用了文献中提出的方法 在此基础上 相继出现了根据视觉相似度和术语正则化而做出的改进 在深度学习兴起后 自 以来 卷积神经网络()已成为一种强大的光流估计技术 研究者广泛采用从粗到细的方法估计光流 然而模型在由粗到细的训练过程中会错过较小的运动 因此 文献提出了一种全匹配场()变换的迭代求精方法 在高分辨率下保持了单一固定流场 取得了显著的改进 如 可分离流 等 然而 优化复杂的卷积神经网络通常耗费大量的时间精力拆解里面的每一层 不利于后期的改良 当遇到新问题时 只能通过累加卷积层填补卷积神经网络的缺陷 后果便是卷积神经网络越来越臃肿 因此 光流估计仍然面临着诸如遮挡和运动模糊等挑战 笔者将结合文献提出的方法 将输入帧集成到端到端网络中 先用光流扭曲输入帧然后通过学习插值核的自适应扭曲层采样 深度感知方法现有方法大多通过估计遮挡掩码 提取上下文特征 或者学习大型的局部插值核 间接处理遮挡问题 但这种处理方法耗费资源且精度较低 利用深度图直接处理遮挡 使用流投影层中的深度信息明确检测遮挡 将深度映射和学习到的层次特征结合起来作为上下文特征合成输出帧效果更佳深度估计是理解场景三维几何形状的关键视觉信息之一 常用于图像分割、物体检测等识别任务传统的深度理解需要输入立体三维图像信息来估计视差 专注于从单个图像中估计深度 因 等的模型是利用现实生活中的图像训练出来的 因此利用其模型在 数据集上训练出的沙漏网络生成输入帧的深度信息采用联合光流估计和深度估计进行帧插值 能在含有高光强的图像中估计出更加精确的光流信息和深度信息 强光源视频的帧插值方法为提高视频帧插值的精度 并减少遮挡对帧插值精度的影响以及提高帧插值算法的运算效率 强光源视频帧插值方法的总体框架见图 图 总体框架 强光源视频帧插值方法包含了 个主要模块:模块、模块、模块 和模块 模块 不同图像的强光区域大小不同 为了尽可能涵盖所有大小的强光区域 该模块使用了 、的卷积获取不同大小的高光强区域(图)使用该模块后能有效地划分出不同光强等级的区域 对于两个相邻的光强不同的区域 若这两个区域之间光强平均值差异较大 须进一步采取措施进行处理 利用不同的插值核 判断输入图像中不同的光强区域 输出初步处理出来的光强特征图 模块中含有许多(图)模块用于划分不同光强的区域 但某些相邻区域之黑 龙 江 大 学 工 程 学 报 第 卷图 模块 的流程 图 模块 的流程 间的光强差距不大 使用 模块用来判断不同光强区域之间的光强差距 在计算出所有相邻的两个不同光强区域之间的光强差后 若相邻两个区域的光强差较小则无需采取措施 若相邻两个区域的光强差较大 则降低光强强的区域 相邻的光强弱的区域提升光强强度 越远离高光强区域的地方提升强度越弱 将处理后的图像输出 并用于后续的补帧中 剔除高光强区域对图像本身的影响 有利于后续处理中更容易提取出图像的深度图、语义特征等 提高帧插值精度进一步处理输出的光强特征图 相邻的不同光强强度区域如果光强相近 可归到同一光强等级 减少计算量 模块 在图像处理前 需要将图像中的高光强或低光强区域的光强强度平衡 因此 在模块中使用了贝塞尔二次方公式处理原始图像 平衡图像中不同区域的光强 具体操作如下:由于一张图像中含有许多像素点 每个像素点由 三原色组成 每个图像中的 三者最大值和最小值是固定的 故令 代表 或 或 的最小值 代表 或 或 的最大值 贝塞尔二次方公式为()()()()其中 为介于 和 之间的中间值 不同光强区域下 的值有所不同式()变形得到式():()()()()变形后的贝塞尔二次方公式导函数为()()()()由于()是一次函数 故 或 之中必有一个最小值 当 时()()当 时()()()()故当 时()恒大于 故()在 时单调递增根据图像光强特征提取的结果 若高光强的区域光强降低 则需要降低式()中 的值 反之 低光强区域的光强升高 则需要提高式()中 的值 将需要平衡光强的图像 以及该图像的光强特征图输入到模块中 根据特征图平衡图像的光强 输出处理后的图像 模块 当图像处理完毕后 需要将图像恢复到原本的光强 将处理过的光强特征图输入到模块之中 利用该模块将帧插值后的图像的光强恢复至原有水平()()()()第 期 辛伊宁 等.面向强光源视频的帧插值方法 为恢复图像光强 需要求出 值 由于 的值已经在特征图中确定 计算方法见式():()舍弃超出范围的 值 求出原本图像中该像素的 或 或 值 根据输出的插值结果以及插值结果本来的光强特征图 恢复帧插值结果图像的光强 模块 受文献的启发 模块利用双向光流和深度图扭曲输入帧 估计中间流 模块主要有两个作用:计算输入帧之间的光流 给定两个输入帧()和()其中 是平面图像的二维坐标 和 代表图像的高度和宽度 需要合成中间帧()其中 利用光流法扭曲输入帧来合成中间帧 用和表示双向光流 有两种主流的合成中间帧()的方法 文献的方法是基于帧()和()来正向扭曲光流和 然而这种扭曲方法可能出现空洞 无法保证所有像素都有光流通过 文献的方法是近似中间光流 用和逆向扭曲光流 可利用和中经过相同坐标的光流向量集合或者经过相同像素的光流向量集合来近似中间光流 为了避免差值结果与真实结果差异较大 采用第二种方法获取中间光流 即在一个基于光流和插值核的自适应扭曲层中扭曲输入帧 考虑上下文特征和深度信息 最后采用帧合成网络生成中间帧 根据权重利用双向光流合成中间帧 流投影层用于近似计算出给定位置 处的中间光流 时刻 经过 时的流量()可用 ()近似表示 同理 也可用 ()()近似表示()在时刻 时可能有多条光流经过 因此使用深度排序计算中间光流 而非简单的对光流求平均和求中间光流 对在时刻 经过 的所有光流进行加权平均 其中权重采用深度的倒数:()()()光流的计算方法为()()()()()()()其中()为在时刻 通过位置 的光流集合():()()同样 也可从和深度图估计光流 通过计算公式可见 光流投影计算方法倾向于使用深度较近的对象 降低了深度值较大的遮挡对像素的影响 实验结果及分析 数据集、评价指标与对比方法将使用以下数据集:数据集、数据集、数据集、数据集、数据集 其中 数据集是含有大量高光强的视频集合 从、等视频网站中选取了含有强光源的真实世界录制的视频 随机抽取其中的某几帧图像作为输入帧 将其中两帧的中间帧作为基准用于和补帧出来的结果进行比较 数据集使用平均帧插值误差 和归一化插值误差 评判帧插值方法的优劣 结果越低说明帧插值效果越好 而其他数据集使用峰值信噪比()和结构相似性()来评判 两个指标越高越好 为了证明 方法更优秀 将与基于 的帧插值方法(、)以及基于光流法的帧插值方法(、和、)进行比较 不同帧插值方法的对比实验为了进一步考察强光源视频帧插值方法的优势 通过两组实验分别从模型参数量以及模型训练、运行时长 定量比较模型在不同数据集中的运行效果 对比不同视频帧插值方法的优劣 为了减少测试时黑 龙 江 大 学 工 程 学 报 第 卷 长 对用于测试视频帧插值的数据集的高分辨率图像进行横向及纵向下采样 对低分辨率图像进行边界延展 每种方法的模型参数数量和执行时间(在 图像上测试)见表 表 中比较的是方法中自带的模型参数数量和执行时间由于每次运行时要先进行学习 导致运行时间过长 只使用了简单的深度估计模型与 帧插值方法相结 合考 虑 因 素 少因 此 参 数 量 较 少为了考虑各种因素造成的遮挡 训练了许多用于解决包含造成遮挡的不同因素的模型通过大量的模型尽可能地涵盖所有遮挡情况 该方法的参数量很大 以及 方法包含了光流模型、深度估计模型和上下文语义分析模型 因此这 种方法参数量较大 但能提高帧插值的精度表 模型参数量以及运行时间的对比 ()()()提出的模型使用了与 相似的参数量 但运行速度更快 与 相比 少使用了的参数 并获得了更好的性能 由此可见 含有预训练模型的方法参数量较多 运行时间较长不同方法在 基准的评估集上的运行结果见表 表 定量比较模型在不同数据集中的运行结果 ()提供了、和 的定量性能“”表示某些方法运行时间超时故没有数据 这是由于 和 数据集使用了高清视频作为测试数据 提出的方法在所有数据集上均优于现有方法 特别是在 数据集上 在 方面比 优秀许多 总的来说与现有的帧插值方法相比 所提出的 生成了更直观的结果 而且模块更少更简洁 与 方法是近年来帧插值效果最好的两种方法 均使用了光流法进行帧插值 但这两个方法仅利用了光流法进行帧插值 结果并不令人满意 使用了 对视频进行帧插值但由于没有预训练模型 导致插值结果不如 和、方法 第 期 辛伊宁 等.面向强光源视频的帧插值方法和、也是基于 的帧插值方法 但含有预训练模型 由于 帧插值方法本身的缺陷 生成的结果依旧无法与含有深度感知的帧插值方法 相比 方法利用了深度感知并含有预训练模型 为视频进行插值 当需要插值的图像中含有强光源时 深度感知的结果产生严重偏差 进而影响插值精度 因此 方法在含有强光源时插值效果优于以上方法 消融实验针对强光源视频帧插值方法进行消融实验 为了方便对比 训练了其他的变体模块 并与原模块一同进行实验 在不同图像分辨率的多个视频数据集上评估了所提出的算法(表)为了分析深度感知流量投影层的有效性 训练了 的以下变体:去除了深度估计网络 并使用简单的平均来聚集流量投影层中的流量:从头开始初始化深度估计网络 并对整个模型进行优化:从文献的预训练模型初始化深度估计网络 但让预训练模型中的参数保持不变:从文献的预训练模型初始化深度估计网络 并与整个模型共同优化模型的定量实验结果见表 模型的性能比 模型差 模型无法从随机初始化中学习到任何有意义的深度信息 当从预训练的深度模型初始化时 模型显示出显著的性能改进 并生成具有明确运动边界的流 模型在联合优化整个网络后 进一步改进了深度图 并在插值帧中生成了更清晰的边缘 分析表明 该模型有效地利用深度信息生成高质量的结果 由此可见模型中的两个关键组件:深度感知流投影层和上下文特征估计层表 强光源视频帧插值(简称)流量投影分析 ()局限性分析该方法利用深度感知进行遮挡计算 并用贝塞尔曲线平衡或恢复图像的光强 光强检测以及深度感知是基于现实生活中的图像进行训练以及检测的 因为现实生活中的图像有着明确的深度信息 遮挡信息以及光强信息 视频网站中并非只有现实生活视频 也有大量动画视频、含有大量后期特效的视频以及因录像设备不佳等客观因素造成现实生活中的视频含有大量噪点的视频 这类视频严重干扰深度感知以及光强检测 影响最后的插值结果 结 论提出了一种全新的针对图像中含有强光源的帧插值算法 该算法先对图像进行光强检测 利用光强检测模块计算图像平均光强 并划分出不同光强区域 然后平衡图像中这些区域的光强 降低高光强对深度感知的影响 最后根据光强特征图将插值结果恢复到原本的光强 该方法在不同的数据集上表现良好参考文献:./:./:.():.黑 龙 江 大 学 工 程 学 报 第 卷 ./:./():.():.:/():.:/:./:./:.:/:.:.:.:/:.:/:.:/:.():./:./:./:./:./:./:.:/:./:./:.:/:./:.:/./:.:/:./:.:./:.第 期 辛伊宁 等.面向强光源视频的帧插值方法 ././:.():.:():.:黑 龙 江 大 学 工 程 学 报 第 卷