电视剧版本技术检测系统的研究与实现.pdf

广播与电视技术 2023年 第50卷 第6期45Content Production&Broadcasting 内容制播电视剧版本技术检测系统的研究与实现【摘 要】本文在对 电视剧版本制作规范 技术要求和检测需求进行分析的基础上，设计并研发了电视剧版本技术检测系统。系统采用基于人工智能的色域和动态范围检测、视频特征提取和匹配、光学字符识别等创新技术，实现对电视剧版本的时长、图像、声音、字幕等指标的自动化检测。目前该系统已进入试运行阶段，完成了上千集电视剧版本的检测，有效支撑了国家电视剧版本存储体系的建设。【关键词】电视剧，国家电视剧版本存储，技术检测系统【中图分类号】G221/TN94 【文献标识码】B 【DOI编码】10.16171/ki.rtbe.20230006008【本文献信息】周芸，王东飞，黎政，郭晓强.电视剧版本技术检测系统的研究与实现J.广播与电视技术，2023,Vol.50(6).Research and Implementation of Teleplay Version Technology Detection SystemZhou Yun,Wang Dongfei,Li Zheng,Guo Xiaoqiang(Academy of Broadcasting Science,NRTA,Beijing 100866,China)Abstract Based on the analysis of the technical and detection requirements of the“Teleplay Version Production Specification”,this paper designs and develops a technical detection system for teleplay versions.The system adopts innovative technologies such as color gamut and dynamic range detection based on artificial intelligence,video feature extraction and matching,and optical character recognition to realize automatic detection of the length of time,images,sounds,subtitles and other indicators of the TV series version.The detection system is now under the trial operation stage and has completed the detection of thousands of teleplay versions,effectively supporting the construction of the national teleplay version storage system.Keywords Teleplay,National teleplay version storage,Technical detection system周芸，王东飞，黎政，郭晓强(国家广播电视总局广播电视科学研究院，北京 100866)0 引言为了推动我国电视剧高质量发展，国家广播电视总局发布电视剧母版制作规范（GY/T 3572021），并启动国家电视剧版本存储管理工作。在国家电视剧版本存储体系的建设过程中，需要将已播出的且符合电视剧母版制作规范的电视剧进行收集、入库存储和管理。在电视剧标准应用初期，还存在部分电视剧技术质量不达标的情况，无法满足存储需求。为了推动电视剧版本高质量存储，需要开展电视剧版本入库前的技术检测工作。针对电视剧版本技术检测需求，本文设计了电视剧版本技术检测系统框架，研发了电视剧版本技术检测系统，并根据技术检测过程中发现的电视剧制作流程不规范、技术标准不达标等问题，指导后期制作公司进行技术改进，进一步推动电视剧行业提质升级。1 电视剧版本检测技术需求分析电视剧母版制作规范对电视剧母版时长、署名、图像、声音、字幕、封装格式等进行了统一规范，电视剧版本技术检测系统需依据该标准中各项技术指标要求，验证电视剧版本的标准符合性。本章重点梳理分析电视剧时长、图像、声音、字幕、封装格式等技术检测需求。1.1 时长检测需求电视剧时长检测主要包括对常规剧集正片时长、片头总时长、片头发行许可证展示时长、片头剧名展示时长、片尾总时长、片尾电视剧制作许可证展示时长、重复内容时长、“前情回顾”时长和“下集预告”时长等的检测，各部分时长检测技术要求见表 1。1.2 图像检测需求电视剧版本包括高清电视剧版本和 4K 超高清电视剧版广播与电视技术 2023年 第50卷 第6期46内容制播 Content Production&Broadcasting表1 电视剧版本时长技术要求序号项目技术要求1常规剧集正片时长 41min2片头总时长 90s3 片头发行许可证展示时长 3s4 片头剧名展示时长 3s5 片尾总时长 180s6 片尾电视剧制作许可证展示时长 2s7 重复内容时长 30s8“前情回顾”时长 30s9“下集预告”时长 30s表2 高清电视剧版本图像技术要求序号项目技术要求1 分辨率192010802 帧率（Hz）253 扫描模式隔行扫描4 色度取样格式4:2:2，4:4:45 量化精度8bit，10bit6 色域BT.709 色域7 光电转换函数电视伽马表3 4K超高清电视剧版本图像技术要求序号项目技术要求1分辨率384021602帧率（Hz）50，100，1203扫描模式逐行扫描4色度取样格式4:2:2，4:4:45量化精度10bit，12bit6色域BT.2020 色域7光电转换函数电视伽马，PQ，HLG本两大类，应优先采用 4K 超高清格式制作和存储。图像检测主要包括对分辨率、帧率、扫描模式、色度取样格式、量化精度、色域、光电转换函数、电平范围、基准信号电平等的检测。高清电视剧版本图像主要技术要求见表 2，4K 超高清电视剧版本图像主要技术要求见表 3。1.3 声音检测需求声音检测主要包括对取样频率、量化精度、声轨数量和声道分布、响度和电平等的检测。电视剧版本声音为双声道或 5.1 立体声，不应出现声道复制或上混。电视剧版本声音主要技术要求见表 4。1.4 字幕检测需求字幕检测主要包括对字幕区域（片头片尾、对白）位置及大小、片头字幕（字体和尺寸）、对白字幕（尺寸、时间间隔、字体及颜色、排版）、片尾字幕（尺寸、滚动速度、字幕颜色）等的检测。片头字幕、片尾字幕、对白字幕等需采用统一的字幕位置和文字尺寸等方便观众清晰准确识别字幕内容。具体技术要求参见 GY/T 357 第 9 章。1.5 封装格式检测需求封装格式检测主要包括对 MXF、MOV、IMF 等格式的检测。为了保证高质量存储，电视剧音频采用无压缩 PCM 编码，视频采用浅压缩编码。对于 MXF 封装格式，高清电视剧版本视频采用不低于120Mbps（量化精度 8bit）或 185Mbps（量化精度 10bit）的VC3 编码，或不低于 111Mbps 的 H.264 帧内编码。4K 超高清电视剧版本视频（帧率 50Hz、量化精度 10bit）采用不低于 500Mbps 的 H.264 帧内编码。对于 MOV 封装格式，高清电视剧版本视频（量化精度 10bit）采用不低于 122Mbps 的 ProRes422 编码或不低于184Mbps的roRes422 HQ编码。4K超高清电视剧母版视频（帧率 50Hz、量化精度 10bit）采用不低于 983Mbps 的 ProRes422表4 电视剧版本声音技术要求序号项目技术要求1 取样频率 48kHz2 量化精度 24bit3 平均响度目标值24KLFS4 平均响度目标值容差范围2LU5 最大真峰值音频电平2dB TP广播与电视技术 2023年 第50卷 第6期47Content Production&Broadcasting 内容制播编码或不低于 1475Mbps 的 roRes422 HQ 编码。对于 IMF 封装格式，4K 高清电视剧版本视频（帧率50Hz、量化精度10bit）采用不低于800Mbps的JPEG2000编码，4K 高清电视剧版本视频（帧率 50Hz、量化精度 12bit）采用不低于 160Mbps 的 JPEG2000 编码。2 电视剧版本技术检测系统架构设计在对电视剧版本技术检测需求全面分析的基础上，设计了电视剧版本技术检测系统架构。系统采用分层架构设计，包括应用层、业务层、服务层和基础层，如图 1 所示。1.应用层主要包括版本导入、任务调度、检测管理、播放预览和报告导出等上层应用。版本导入支持对不同格式的电视剧版本及基本信息的导入，支持技术检测工程的新建、编辑、删除操作；任务调度包括电视剧版本技术检测任务的启动、停止、编辑和删除，任务状态和进度信息查看等；检测管理包括检测项查看、检测日志、检测记录查询、浏览等；播放预览包括播放、暂停、快进、快退、全屏、进度显示和快速定位等；报告导出包括检测报告的预览、生成、导出和打印等功能。2.业务层主要包括时长检测、图像检测、声音检测、字幕检测和封装格式检测等核心检测业务，各检测模块功能应满足第 1 章 描述的相关检测需求。3.服务层主要包括转码、抽帧、音频参数采集、视频参数采集、片头识别、片尾识别、字幕识别、字幕定位、场景识别和特征提取等服务能力，用于支撑上层业务。转码包括不同编码格式、不同编码码率、不同分辨率、不同帧率等的转换；抽帧支持按照帧间隔、时间间隔等进行视频帧的提取；音频参数采集支持音频取样频率、量化精度、声轨数量等参数采集；视频参数采集支持图像格式、编码格式、编码模式、编码码率等参数采集；片头识别和片尾识别用于对片头结束时间和片尾开始时间的识别；字幕识别和字幕定位用于分析字幕位置；场景识别支持视频场景检测和 识别；特征提取支持对视频关键帧特征进行提取。4.基础层提供计算、存储、网络、消息队列和数据库等资源。计算资源提供应用、服务所需的 CPU 资源，以及人工智能算法所需的 GPU 资源；存储资源提供检测过程中所有视频、音频和图像文件所需的存储；网络资源提供分布式服务器集群或云端部署时所需的交换机、防火墙等；消息队列用于高并发场景下各子系统间通信所需的可靠消息传输；数据库提供关系数据库、缓存数据库等资源。3 电视剧版本技术检测系统关键技术为了提高电视剧版本技术检测效率和检测质量，本文研究并采用基于深度学习的转换曲线和色域检测、视频特征提取和匹配检测、光学字符识别等检测技术，实现了对电视剧版本的时长、图像、声音、字幕等指标的自动化检测。3.1 基于深度学习的动态范围和色域检测技术电视剧版本的色域分为 BT.709 色域和 BT.2020 色域，动态范围转换曲线分为电视伽马、PQ 和 HLG。在电视剧版本制作过程中，色域和转换曲线在文件中的标识和内容本身可能存在差异，比如文件中标识为 BT.2020 色域，实际内容为BT.709 色域。传统的色域和动态范围检测技术只能对色域和亮度的范围进行分析，无法对色域和转换曲线类别进行判断，因此无法满足动态范围和色域检测需求。在色域检测方面，采用多类别特征转换与对比的色域检测网络，将单张图像的绝对检测问题转化为相对检测问题，通过输入两张相关的图像判断图像之间的差异，从而降低网络模型的训练难度与过拟合的风险。此外，在传统神经网络基础上，增加 BT.709 到 BT.2020 转换层，加速网络收敛，降低网络模型的训练难度与过拟合的风险。该技术可以有效检测电视剧母版内容所属色域，从而判定色域是否符合技术要求。在转换曲线检测方面，采用基于局部特征提取和融合的转换曲线检测算法，使用特征提取层降低网络模型对像素绝对值的依赖。给定输入图像，首先提取图像块内像素值的最大值、最小值与平均值。通过特征提取层，网络模型能够捕捉到输入图像内重要的统计信息，并根据这样的统计信息图1 电视剧版本技术检测系统架构图广播与电视技术 2023年 第50卷 第6期48内容制播 Content Production&Broadcasting得到合理的分类结果。与直接使用卷积神经网络相比较，特征提取层降低网络模型对于输入图像像素值的依赖性，同时降低网络模型的过拟合风险，能够有效提升转换曲线检测 准确率。3.2 视频特征提取和匹配检测技术在对电视剧版本的时长检测时，为了快速定位到待检测内容并对时长进行判别，采用时空结合和感兴趣区域的视频特征提取和匹配检测技术。时空结合的视频特征提取算法综合利用视频数据空间位置特征及时间轴上相邻的视频帧之间的特征。首先将视频帧划分为多个块，对于滑动窗口内的视频帧，计算当前帧每一块和相邻前一帧相同位置块像素差的绝对值之和。对当前帧的每一块根据计算结果排序，这样每帧图像的每个块都有一个排序编号。对这些编号进行编码，就可以得到视频数据时空特征。基于感兴趣区域的视频特征技术首先找出视频中感兴趣的区域，然后对感兴趣的区域提取视频特征。由于同一视频镜头内的视频帧的感兴趣区域保持相似，其相应的视频特征也具有高度的相似性。利用谱聚类算法来对视频指纹特征进行聚类，使得算法对于时域视频处理具有更强的鲁棒性。提取待比较的视频特征后，进行搜索匹配，若相似度达到预先设定的某个门限值，则代表待比较的视频与该视频匹配。采用基于 k-d 树的快速最邻近搜索和随机抽样一致性的模型参数估计算法，采用随机抽样一致性的模型参数估计算法得出匹配点集中满足几何约束的最佳匹配对，最终获取匹配结果的相似度。通过给每帧视频分配一个独立的参考时间戳，并引入浮动帧率控制与跟踪，实现视频在时间轴上的精确定位，可以有效解决分段匹配与帧率漂移的问题。此外，采用分级并行匹配技术，通过生成从低到高、从粗到精的各个层次分辨率的视频特征，大大提高查询匹配的速度。3.3 光学字符智能识别技术为了提高字幕检测的准确性，采用了光学字符智能识别技术，主要包括基于神经网络的字幕检测和字幕识别。基于卷积神经网络的字幕检测利用经典滑动窗口算法，选取图像中可能出现字幕的位置，得到候选区域。在得到一系列候选区域后，使用神经网络提取器进行特征提取。最后利用损失函数训练该网络，形成一个经典分类器，对字幕的视觉特征进行分类，进而将字幕作为“目标”，并将其提取出来。字幕识别利用字幕检测获得字幕区域，利用卷积神经网络进行视觉感受压缩变换，进而提取文字的视觉特征，然后利用损失函数训练该神经网络，形成一个经典分类器，对各个文字的特征进行分类识别，序列化后识别出字幕的文本 内容。4 电视剧版本技术检测系统应用按照广电总局关于国家电视剧版本存储体系建设的工作部署，目前正在开展启动阶段的电视剧版本收集工作，电视剧版本技术检测系统也已进入试运行阶段，已完成上千集的电视剧版本技术检测，验证了电视剧版本的标准符合性，为电视剧版本后续存储提供了技术支撑。从检测结果来看，由于当前检测的电视剧是电视剧母版制作规范正式实施之前制作完成的电视剧，部分电视剧在图像格式、封装格式、时长、字幕等技术指标上还不能完全符合标准技术要求。随着电视剧标准的应用与推广，未来符合技术标准的电视剧版本将会越来越多。5 总结和展望电视剧版本存储体系技术检测系统基于自动化并行处理架构，采用基于深度学习技术的动态范围和色域检测、特征提取和匹配、光学字符智能识别等创新技术，实现对电视剧版本时长、图像、声音、字幕和封装格式等的标准符合性检测，用于发现电视剧版本制作中存在的问题，确保电视剧版本的高质量制作和存储。随着国家电视剧版本存储体系的不断完善，电视剧版本技术检测系统也需要根据实际应用需求不断迭代更新，将在现有单机版系统的基础上，研究云化部署相关技术方案，不断提高电视剧版本技术检测效率和检测质量。检测是手段，提质升级是目的，通过技术检测倒逼电视剧相关单位更加标准化和规范化，从而实现电视剧全行业的高质量发展。本文受广播电视科学研究院基本科研项目电视剧母版存储及标准符合性检测技术研究（项目编号：JBKY20220070）支持。参考文献：1 GY/T 357-2021,电视剧母版制作规范S.国家广播电视总局,2021(12).2 国家广播电视总局.关于开展国家电视剧版本存储管理工作的通知D.广电发 2022 29号.第一作者简介：周芸，高级工程师，电视剧母版制作规范 主要起草人之一，主要从事音视频编解码、超高清电视、高动态范围、三维声、沉浸式视听等技术研究、标准研发和应用推广工作。