高清播出内容整备与管理系统设计_徐俭.pdf

76影视制作系统网络System Network为了满足未来五年本台自办频道高标清同播业务应用需求，扬州广电总台遵循安全可靠、高效实用、开放兼容、先进、可扩展等设计原则，于 2021 年下半年新建了一套基于 IP+SDI 架构的 6 频道高标清同播系统，播出方式以硬盘播出为主，作为符合高清化、IP 化和智慧化播出要求的高标清同播技术平台，该系统包含了多种功能性软硬件子系统，本文介绍其核心子系统之一的高清播出内容整备与管理系统设计与建设情况。高清播出内容整备与管理系统设计文/扬州广电传媒集团（总台）徐俭摘要：以系统设计与运维人员视角，从高清播出内容整备业务需求、高清节目素材整备模式、高清播出内容整备系统硬件组成、高清播出内容整备系统软件模块、高清播出内容整备业务流程等方面，介绍扬州广电总台高清播出内容整备与管理系统设计与建设情况。关键词：高清播出；内容整备；内容管理；媒体处理中心；智能工作流1.高清播出内容整备业务需求我台每个频道平均每天有 20 小时节目量，其中节目更新量约为 10 小时。高清播出节目类型按照整备来源分为电视剧、广告、天气预报、自办节目（含直播和录播）等几类。电视剧通过媒资系统缩编网快编打包后，再文件化送播至播出二级存储系统；广告在高清制作网完成制作打包后，再文件化送播至播出二级存储系统；天气预报由气象台负责制作，经由气象台文件化打包、传输、送播至播出二级存储系统；自办节目主要有三种：一是直播新闻节目，直接由高清新闻演播室输出HD-SDI 信号给总控矩阵调度后送至分控系统完成播出；二是在播出系统关门时间前完成的成品节目，通过高清新闻制作网/综合制作网采用全流程文件化送播至播出二级存储系统，支持文件化自动导入整备和文件化手动导入整备，采用高清视频服务器播出，应急情况下可通过本地文件化上载；三是收视率较高但在播出系统关门时间后完成的成品节目，送播方式采用由高清制作系统网络System Network77影视制作系统网络System Network网下载成高清 P2 介质，使用 6 台高清 P2 放像机进行播出，重播采用文件化推送，由高清视频服务器进行播出。2.高清节目素材整备模式2.1 正常整备模式根据节目单首播日期、首播时间以及整备策略和迁移策略，将高清节目素材从播出系统外网经由 2 台万兆网闸边界安全设备，自动迁移推送至高清播出二级存储系统，然后再从二级存储系统自动迁移至主、备、第二备高清视频服务器中待播，无需人工干预，这是待播节目素材文件化整备的主要途径。2.2 应急整备模式以 2 台千兆防火墙等边界安全设备组成节目素材文件直送应急传输通道，确保在应急情况下，能从各制作网通过安全设备直接将节目素材文件（不含元数据信息的实体 MXF 文件）迁移推送至播出二级存储系统，然后再通过上载工作站人工手动将节目素材导入注册到播出数据库，再根据节目单整备迁移至主、备、第二备视频服务器中待播。2.3 灾备整备模式各制作网可以将成片节目下载到 P2 介质用于灾备应急播出。2.4 信号直送模式各演播室、制作网可将 HD-SDI 信号直接送到高清总控矩阵和高清分控播出切换器。3.高清播出内容整备系统硬件组成3.1 网络功能部件对播出内容整备系统实施由千兆级向万兆级的升级改造，配置 2 台 48 口万兆+48 口千兆以太网交换机，两者做 1+1 堆叠设置后，作为播控网络系统的核心交换机。配置 2 台 48 口千兆以太网交换机和 6 台24 口千兆以太网交换机，作为播控网络系统的接入交换机。对电视播控网络按照网络安全等保 2.0 三级要求分步实施安全体系建设，总体目标是在制作网与播控网边界部署防火墙、堡垒机、网闸、私有协议文件传输、专有协议安全摆渡、数据库审计、综合日志审计等 设备。为保障制作网（播出外网）与播出内网之间高清节目整备业务的安全，台内高清新闻制作网及高清综合制作网、媒资系统（电视剧缩编网）与高清播出系统等通过万兆级非总线型的网状型网络和 2 台万兆网闸边界安全设备，完成万兆级网络互联和节目素材文件传输，每台万兆网闸文件传输实测带宽 350MB/s。主备 2台千兆防火墙作为制作网与播出网之间素材文件应急传输备用通道的边界安全设备。配置主备 2 台数据库服务器，每台安装 SQL Server2012 数据库管理软件和 NEC 集群数据库软件，配置心跳检测和服务自动倒换、接管功能。数据库服务器负责对高清播控系统的待播素材元数据、节目单数据、系统操作日志、系统运行数据、用户信息等数据的存储。配置主备 2 台内容管理服务器，承载权限管理后台、内容管理、编单、素材导入、媒体处理中心客户端、日志删除工具、在线节目单网关等功能，并负责整个高清播控系统所有功能性服务器、工作站、网络交换机等设备的自动校时/授时工作。配置 2 台互联接口服务器（兼工作流服务器），承载媒体处理中心 SOP 服务、媒体处理中心服务端、媒体处理中心客户端、工作流服务端、工作流客户端、工作流任务清理工具等功能。实现播出内网与播出外网（制作网、媒资系统）的接口互联，完成播出外网与播出二级存储系统之间节目素材文件对应的元数据信息和智能工作流驱动的整备业务流程消息的传输，并支持由 CMS（节目内容整备管理软件）完成整备任务的统一分发、管理及任务执行，支持由节目内容整备管理软件生成迁移、转码任务，提供存储区、整备策略、互联接口、关门时间的配置和管理。配置 8 台技审迁移服务器，每台安装统一规整的MD5 校验、技审、迁移等执行能力软件模块，组成 8 个可进行集中管理和动态调配的执行能力 ACTOR，可实现切片化自动技审等软件应用模式，还承载OMNEON视频服务器管理机、PTP 校时服务端等功能。78影视制作系统网络System Network配置 16 台上载（素材文件导入）、审片、段落打包、编单工作站，每台工作站均配置上载（素材文件导入）、审片、段落打包、编单软件模块，其中 4 台还配置预播(播前审看)软件模块。3.2 二级存储系统播出二级存储系统是播出素材整备系统的核心设备，各制作网、媒资系统都要将节目素材迁移到播出二级存储系统。二级存储系统的整备缓存区定位为合格的待播节目素材存储区，只有符合迁移策略，且通过 MD5校验、自动技审及人工复审的节目素材文件才可进入整备缓存区。二级存储系统每天的节目素材文件迁移量按照 5 个高清频道、1 个标清频道、每个频道平均每天节目更新量按 10 小时、高清视音频总码率按 52.2Mb/s、标清视音频总码率按 14Mb/s 计算，二级存储系统需存储至少 365 天 6 个频道新上载待播节目素材文件的有效数据存储量。新建了一套 6 节点万兆 NAS 集群作为主二级存储系统，采用服务器硬件与分布式软件一体机产品、Scale-out 横向扩展的分布式架构，节点间完全对称，无独立的元数据物理服务器或索引服务器。系统能自动识别所加入节点，每节点配置 35 块 8TB/6G 企业级SATA 7.2K/3.5in HDD 硬盘，6 节点有效存储容量1.09PB（物理容量 1.64PB）；单节点配置 4 个 10GE以太网接口（含光模块）和 1 个管理网口，前端业务网络与管理网络物理隔离；配置 2 台万兆网络交换机，每台配置 24 个 10Gb 光接口+2 个 40G 光接口，6 个万兆多模光模块，1 个 40G 堆叠电缆，双风扇，双电源；配置1台24口千兆电+4口千兆光网络交换机用于网络管理。兼容 POSIX 标准接口，支持 NFS、CIFS、FTP 共享和 CIFS/NFS 跨协议访问；单个节点大文件带宽性能 1.5GB/s，6 节点混合读写带宽 4.5GB/s。配置 SSD 读写缓存功能，通过 SSD 盘存放热点数据来提升读写性能；支持节点间智能负载均衡功能，支持轮询方式或按 CPU 使用率、剩余内存容量、客户端连接数、网络吞吐量、综合负载等方式，实时选择最优节点分担业务；可按业务设置 IOPS（每秒读写次数）/带宽等性能上限。支持 2 到 6 个多副本保护和 N+2 纠删码保护，支持任意 2 个节点宕机故障但数据不丢失、系统不停机；每 TB 数据重构恢复时间 30 分钟；支持快照数据保护，可手动或自动创建快照，可创建只读快照、可写快照、定时快照、一致性组快照，支持快照回滚恢复和快照映射到业务主机进行读写，单个卷最大支持 2048 个快照，快照过期后自动删除。3.3 高清视频服务器3.3.1 高清主备视频服务器配置 2 套哈雷 MediaCenter 高清视频服务器，采用嵌入式 Linux 操作系统，系统芯片采用只读存储器。视频服务器采用无单溃点的模块化设计，主机模块、编解码模块采用独立机箱，每个机箱采用热插拔主备冗余电源。包括：2 台 MCP-2200 主机，每台配置 12 块6TB 硬盘，实际可用容量 48TB，硬盘阵列采用 RAID 6 磁盘安全策略，提供数据重建快速恢复能力，对视音频数据文件可根据文件大小动态划分数据块大小，避免空间浪费，数据重建期间不影响正常播出和上载功能。每台 MCP-2200 主机配置 2 个万兆光口用于 MXF素材文件 FTP 传输，在编解码通道全部工作的同时，FTP 混合读写带宽 200MB/s；4 台 Spectrum X 编/解码模块机箱，每台配置 4 个编/解码半双工高清通道，共有 16 个高清通道，每个通道可分别独立地通过RS422 和 VDCP-over-IP 方式接受自动播出控制软件的控制。其中，新闻综合、城市、生活、邗江、江都五个频道主备播出通道各 5 个，采用高清节目素材MXF 文件。公交频道主备播出通道（用作标清素材文件化播出）各 1 个，采用标清节目素材 MXF 文件。播前审看通道 4 个。Spectrum X 编/解码模块与 MCP-2200 主机之间采用千兆以太网线连接，便于在线热插拔扩容播出通道。高清播出视频服务器存储至少 10 天左右 5 个高清频道高清素材和 1 个标清频道标清素材，按其有效存储容量（48TB）的 80%水位线和 200MB/s FTP 带宽计算，能够满足 5 个高清频道和 1 个标清频道播出业务需求。编解码模块采用硬件编解码技术，保证节目播放达到零帧精度，确保不出现静帧或停顿、声画不同步等异常现象。支持 MXF OP1a 等文件封装格式和MPEG-2 等压缩/解压缩编解码格式，码率可调，HD/SD 支持 18-85Mbps LGOP、50-100Mbps I 帧；79影视制作系统网络System Network系统音频采用嵌入方式，支持自动音量响度调整；支持精确到零帧的播出切换和最短 5 秒长度素材播放。3.3.2 第二备视频服务器配置 1 台国产第二备 4 通道 SDI 模式高清视频服务器，具备 4 个高清播出通道，用于新闻综合、城市、生活、邗江 4 个频道第二备高清播出，可升级为基带 IP播出模式。采用高端品牌机架式 X86 服务器和 ALL-IN-ONE 架构。系统盘配置两块 300GB 磁盘，采用RAID1 冗余保护，有效容量 300GB；素材盘配置 6 块6TB 硬盘，采用 RAID-5 冗余保护，有效容量 30TB，实际 FTP 传输带宽 70MB/s，FTP 程序内置 MD5功能。集成的四个千兆网络接口可做网口聚合，支持BB 同步信号输入，具备 4 个 HD-SDI 播出接口，提供冗余热插拔风扇，支持 Linux 或 WINDOWS 操作系统，可 24365 不间断稳定运行。支持 BS 监控管理客户端，监控视频服务器运行状态。内部程序模块化，单频道崩溃不影响其他频道播出。4.高清播出内容整备系统软件模块4.1 内容管理系统内容管理系统提供了内容服务平台中所有业务、节目相关信息的管理服务。通过内容管理系统可方便地对系统中的素材、流程、任务策略、系统配置等信息进行B/S 方式管理操作。不同用户可分别登录并拥有独立权限。支持多格式管理，一个系统可同时管理不同视频服务器。支持素材查询、软解码预览素材内容、放入回收站、彻底删除。可在软件界面手动提交或重置迁移、MD5、技审等任务。可设置策略执行计划，策略类型包括一致性检测、自动删除、自动送播、主备同步、自动迁移等。4.2 媒体处理中心媒体处理中心媒体能力平台软件架构自底向上由执行者与执行组件、任务管理、适配接口、界面 UI 几个层次的模块组成，引入插件和智能工作流驱动管理设计思路，配置独立封装的业务组件，针对播出前文件准备阶段的应用程序，提取可复用的模块或组件，使业务逻辑和数据处理（MD5、迁移、技审、转码）相分离，灵活组装适应不同业务流程，且便于软件维护和升级。构建统一的播出业务流程管理平台，基于智能工作流驱动管理技术，支持素材文件备播与送播流程的自动执行。通过对软件进行梳理、规范，对播出节目准备过程中媒体处理应用进行集成，实现面向播出系统素材文件整备业务流程的管理和监控，系统流程清晰，运行情况透明，管理手段简捷、易扩展。平台系统模块组成包括任务生成、任务调度、任务执行、任务监视、资源监视等各类插件，任务调度作为平台的核心，能收集各个服务器能力资源的使用情况，动态调整各类任务的执行调度，均衡各个服务组件的负载，最大限度地利用能力资源，提升系统业务流程执行效率。图1 高清主备视频服务器通道示意图80影视制作系统网络System Network 图2 媒体处理中心平台架构示意图 图3 媒体处理中心平台系统模块组成示意图通过使每台执行服务器都具有全部后台功能，解除了服务器与应用的绑定。任务管理程序可通过获取执行服务器的 CPU、内存、I/O 等资源的占用情况，智能分配任务。支持负载均衡、资源动态调配。采用先进的插件模块设计，便于分模块升级扩展。支持流程定制，可自定义工作流引擎。提供标准化对外接口，支持WebService 互联互通。具备高容错性，当任务出现问题，系统能自动治愈、自动恢复，不影响整体业务流81影视制作系统网络System Network程及任务。4.3 媒体处理中心核心功能媒体处理中心 8 个 ACTOR 是素材文件的实际处理模块，每台部署 ACTOR 的服务器支持迁移、技审、MD5、删除等所有功能。任务节点视图支持实时显示节点进度百分比，实现直观的任务监控。提供 B/S 架构任务监控客户端服务，客户端通过浏览器登录，可管理媒体处理中心后台设备及任务信息。可视化系统资源监控可实时监控 ACTOR 计算机的 CPU、内存、磁盘、网络资源状态，ACTOR 实时任务执行情况监控支持显示迁移、自动技审、MD5 校验等任务的类型信息和进度信息。可控制 ACTOR 在自动管理、手动下发任务两种状态间切换，在自动管理状态下，管理端将根据 ACTOR 计算机资源的实时状态和预设策略，采用负载均衡技术对所有 ACTOR 下发任务，使每台服务器负载平均，确保迁移、MD5、技审等任务可实现多台服务器并发，充分利用所有 ACTOR 服务器的计算资源。任务管理端支持主备模式，无单溃点。技审、转码等任务支持切片执行，成倍提高系统效率。一台服务器宕机对系统效率影响不大，支持自动重置失败 任务。5.高清播出内容整备业务流程基于智能工作流驱动管理技术，建立以节目单为核心驱动的内容整备和播出业务流程。通过整合完善全高清、全流程、网络化、文件化、智慧化制播业务流程，实现高清播出系统全流程文件化整备，实现播出内容整备的自动技审、自动送播、制播业务流程闭环监管等功能，大幅提升成品节目播出整备与送播的安全性和效率。各制作网、媒资系统等与播出系统实现节目素材文件自动迁移整备，将节目素材迁移送播至播出二级存储系统。5.1 迁移和MD5校验支持多种迁移模式和迁移带宽控制，包括 CIFS 到FTP、FTP 到 CIFS、FTP 到 FTP，可根据实际需要自由选择。支持多目的同传模式，一个素材文件可同时传到主、备 2 个存储或视频服务器，可配置更多目的存储，以降低对源带宽资源的占用，提高系统整体效率。根据读写速度，在素材文件迁移过程中可同时进行MD5 校验，缩短迁移与检验的整体时间，提高效率。5.2 自动技审自动技审软件支持 MXF、GXF 等主流播出文件格式，MPEG-2、H.264/AVC 等视频编码格式，MPEG-1/2、AAC 等音频编码格式，兼容标清、高清素材文件技审。支持提供获取素材文件元数据格式、比特率、量化、帧频、GOP、宽高比、彩色格式、文件大小、视音频码流数、音频通道数等信息；支持提供编码 图4 媒体处理中心平台任务管理示意图82影视制作系统网络System Network错误、语法错误、视频文件与元数据标示错误等报警；支持提供视频信号黑场、彩场、彩条、静帧等报警；支持提供静音、音频丢失、音频过低、音频过高、爆音等报警；支持切片技审技术，通过切片可成倍提高技审速度，技审结果合并无延迟。5.3 人工软审人工软审主要工作一是确认自动技审结果，二是借助人工软审软件，采用软解码方式对二级存储系统中的待播素材文件进行播放、审看、打点，支持帧精度控制，人工软审通过后方可入库，后续的播前审看软件可继承软审结果。5.4 上载导入采用 B/S 架构，以 Web 导入方式，对经由直送应急传输通道推送到二级存储系统共享文件夹中的备播节目素材 MXF 实体文件进行上载导入和人工软审，导入工作站性能要求低。支持批量、快速连续导入操作。图5 媒体处理中心平台切片技审示意图后台基于媒体处理中心的负载均衡能力，采用高性能服务器+技审切片+万兆 NAS 高带宽存储，实现高效率计算，效率高于工作站技审。操作人员在批量导入后，可快速查看到技审结果，上载导入和人工软审通过后，素材文件元数据即被写入播出数据库，此时素材文件也就备妥进入待播状态。5.5 播前审看采用播前审看软件+视频服务器硬解码方式，对备妥待播素材文件进行播前审片，播前审看软件模块可控制视频服务器的解码通道，对其硬盘阵列中存储的待播素材文件进行快速审看，支持按节目单批量审看或单条审看，可只审看头、中、尾各 5 秒（时长可配），或者1:1 审看，控制可达帧精度。支持过滤外来信号、未到位素材、重复素材、已播素材等，可将多条素材逻辑组合成一个素材包进行播放。内容整备与管理系统的素材备播流程支持待播素材到位后自动或手动关联，支持素材重新打点或换版后自动或手动更新。6.结语扬州广电总台于 2021 年下半年新建的基于 IP+SDI 架构的高标清同播系统，为 IP+SDI 架构时代的广电中心技术系统提供了崭新的基础架构支撑，其核心子系统之一的高清播出内容整备与管理系统的媒体处理中心引入了插件和智能工作流驱动管理设计思路，使待播素材整备流程运行于智能工作流模式，满足了本台自办频道高标清同播业务的待播素材整备应用需求。