基于AI技术的媒资系统智能处理中心.pdf

电视技术第47 卷第6 期（总第57 1期）58n AI technologyJj.Video):58-61,78.ARTS&DESIGN电视ideoEngineering器件与设计文献引用格式：尚健廷，于红雪，尹建新，等.基于AI技术的媒资系统智能处理中心 J.电视技术，2 0 2 3，47（6SHANG J T,YU H X,YIN J X,et al.Intelligent processing center for media asset system based oEngineering，2 0 2 3,47（6）:58-6 1,7 8.中图分类号：TN948.1文献标识码：AD01:10.16280/j.videoe.2023.06.013基于AI技术的媒资系统智能处理中心尚健廷，于红雪，尹建新，汪帅（中国电子科技集团公司第三研究所，北京100016)摘要：随着媒体融合的快速发展，传统媒资系统面对海量、多样式的媒体数据，在存储、编目、检索、管理等业务环节普遍存在生产效率低、能耗高的问题，函待推出高效的智能化媒资系统解决方案。为此，概述传统媒资系统的现状，分析媒资系统现存的问题，提出智能处理中心的设计思路，借助人工智能、云计算等高新技术，与传统媒资业务进行有效融合，进而提升媒资生产以及运营效率。关键词：人工智能（AI）；智能处理；媒资管理Intelligent Processing Center for Media Asset System Based on AI TechnologySHANG Jianting,YU Hongxue,YIN Jianxin,WANG Shuai(The 3rd Institute of China Electronics Technology Group Corporation,Beijing 100016,China)Abstract:With the rapid development of media integration,traditional media asset systems face the problem of low productionefficiency and high energy consumption in the storage,cataloging,retrieval,management and other business processes of massiveand multi style media data.It is urgent to launch efficient intelligent media asset system solutions.Therefore,this article provides anoverview of the curent situation of traditional media asset systems,analyzes the existing problems of media asset systems,and proposes adesign concept for intelligent processing centers.With the help of high-tech technologies such as artificial intelligence and cloud computing,iteffectively integrates with traditional media asset businesses,thereby improving the efficiency of media asset production and operation.Keywords:Artificial Intelligence(AI);intelligent processing;media asset management1如媒资系统现状当前，在媒体融合发展的大背景下，媒体内容不断丰富，节目形式多种多样，节目资料包括大量的文字、图片、图像、声音等各种形式的信息。同时，随着云计算、超高清、人工智能（ArtificialIntelligence，A I）、大数据等技术的快速发展，传统媒资管理系统已无法支撑当前及未来的大数据量、多媒体类型、4K/8K超高清等新业务形态的需求。为适应媒体生产业务发展需要，依托人工智能、云计算等新兴技术，为传统媒体资产管理系统搭建一个智能处理中心，构建一个面向媒体融合、超高清业务的全新型智能媒体资产管理系统，进一步拓展媒体资料数据的汇聚、开放、共享能力，就显得尤为迫切与重要2构建智能处理中心赋能传统媒资系统整体思路针对媒资系统现状，面对未来发展需求，本文提出为传统媒资管理系统构建智能处理中心，赋能传统媒资系统。整体思路是：为传统媒资管理系统搭建智能处理中心，提供人脸识别、语音识别、物体识别、OCR识别、场景识别、图像增强以及语义理解等智能能力，并将其封装为多模态内容分析、跨模态智能检索、智能编目及智能审核等智能应用服务，为整个媒资业务网络提供智能服务支撑，提升电视技术第47 卷第6 期（总第57 1期）59ARTS&DESIGN电视技重ideo Engineering器件与设计媒资生产及业务流转效率 22.1智能处理中心系统架构设计构建智能处理中心赋能传统媒资系统，既要考虑现有智能技术的适配能力，又要考虑传统媒资系统的实际业务情况，进而做到智能技术与媒资业务的有效融合 3。在设计功能架构时，需综合考虑以上因素，以形成一个成熟、稳定、实用的智能处理中心。本文设计的智能处理中心功能架构如图1所示。智能处理中心整体上分为基础层、数据层、能力层、应用层及运营层。基础层为智能处理中心的运行提供基础环境，主要包括网络服务器、网络存储及网络交换等设备。这些资源既可以由公有云提供，也可以由私有云提供。需要注意的是，考虑到媒资系统中有大量的视音频内容，基础环境中需要配置高性能图形处理器（G r a p h i c s Pr o c e s s i n g U n i t，G PU）运算节点，为智能处理中心能力层提供图形图像高性能算力支撑。数据层为智能处理中心提供丰富的媒体支撑服务，是智能处理中心的数据仓库，包括视、音、图、文等不同形态的数据，以及元数据信息、标签数据等，可为智能处理中心能力层提供媒体数据处理分析对象支撑服务，同时也为应用层提供编目、检索、下载等媒体业务数据支撑服务。能力层是智能处理中心数据处理的核心层，包括现有较为成熟的人脸识别、语音识别、图像识别、OCR识别、图像增强等具体的AI技术能力。通过对这些具体的AI技术能力有针对性的训练与封装，形成具有专业方向特点的能力引擎，如视频处理与分析引擎、图片处理与分析引擎、文字处理与分析引擎以及多模态内容处理与分析引擎等，便于对媒资库中的视、音、图、文等不同类型的数据进行智能化处理与分析，输出更精细、更准确的数据，供媒资业务系统调用 4智能处理中心的应用层直接面向用户提供编目、检索、下载等服务，建立在能力层之上，通过配置、调用能力层不同的服务引擎，实现语音检索、跨模态检索、智能编目及智能审核等智能化业务应用。运营层作为智能处理中心的后台管理系统，为用户提供统一门户展现、统一用户登录、任务调度管理及第三方接口对接等功能服务。通过运营层，智能处理中心可以与第三方媒资系统有效整合，实现智能处理中心与第三方媒资系统的整体、高效运营管理。2.2智能处理中心工作模式传统媒资系统在内容处理、编目、审核、检索等业务流程中可直接调用智能处理中心的智能应用和能力服务。智能处理中心接收到调用信息，创建并下发智能任务，根据任务类型匹配相应的智能能力运营层统一门户/任务调度/用户管理/接口服务跨模态自定义应用应用层语音检索智能编目智能审核智能标签智能检索服务多模态内容视频处理与分析图像处理与分析文字处理与分析处理与分析能力层人脸识别语音识别物体识别OCR识别场景识别图像增强语义理解4数据层视频音频图片文档元数据标签数据基础层高性能GPU服务器存储服务器网络交换网络安全图1智能处理中心功能架构设计电视技术第47 卷第6 期（总第57 1期60ideoEngineeringP器件与设计ARTS&DESIGN器件与设计模块或应用服务模块，按需智能分配相应的算力资源进行智能化处理，并对其结果进行存储、管理、应用，实现传统媒资系统对系统内资源的跨模态智能检索、智能编目、智能审核等多业务应用能力。用户可以清晰、直观、实时地监控智能处理中心各项任务的运行状态，并能对相关任务进行管理，如任务优先级调整、暂停、删除等常规操作。同时，智能处理中心也可将任务处理消息、任务执行消息反馈至媒资系统。智能处理中心的信息流程如图2 所示。媒资用户终端可以在统一门户界面直接上传媒体文件进行智能处理，并将结果输出到指定位置，同时提供纠错、打分、评价等功能，结合系统业务统计数据，实现对智能服务和能力进行效能评估，为后续智能处理中心服务和能力的提升、优化提供数据依据。2.3媒资具体业务赋能应用场景2.3.1跨模态智能检索智能处理中心基于图像特征、视频特征、事件标注、OCR识别、NLP等AI技术能力，对视频、语音、文本、图像等内容的多维理解，对媒体资源进行特征和结构化标签提取，存储在对应的库中，实现对视频、音频、图片、文字等多种类型数据的跨语种语义检索，实现以图搜图、搜视频等跨模态智能检索功能，提升资源利用的精准度以及用户检索的体验感 5。跨模态智能检索示意如图3所示，主要包括以视频搜、以音频搜、以图搜及以文搜4种检索方式。（1）以视频搜。输人视频，快速查询其所属哪个节目内容或媒资素材，以及出现的时间片段；同时可搜索与视频中的人物、场景等元素相关的媒资(2)以音频搜。输人音频，根据音频的声学特智能处理中心传统媒资系统可视化展现内容处理内容审核任务监控任务调度任务统计任务消息反馈业务暂停、终正、业务数据、用运行状态任务优先级智能服务调用删除、重新执行等户反馈数据等内容编目调用服务智能结果输出任务创建任务下发资源分配+智能化处理信息接收内容检索文件上传自建任务图2智能处理中心信息流程图智能处理中心视频媒体资源库视频画面智能视频顿特征提取媒资入库抽顿视频帧特征提取媒体文件库音频音轨语音特征标签ASR语音转文字NLP语义理解库库图片音频特征提取图片内容标签提取文档图片特征提取特征/标签检索文本NLP语义理解以视频以音频搜搜匹配查询以图搜以文搜图3跨模态检索示意图电视技术第47 卷第6 期（总第57 1期）61ARTS&DESIGNideoEngineering器件与设计征，搜索其所在的视频和音频。（3）以图搜。输人图像，快速查询其所属媒资内容以及出现的时间点，帮助用户更便捷地搜索感兴趣的媒资内容；同时可搜索与图片中的人物、场景等元素相关的媒资。（4)以文搜。输人人物、地点、场景等关键词，快速找出相关的视频、图片、音频等内容。2.3.2智能编目智能处理中心遵循国家音像资料编目原则，基于多模态内容分析，为媒体内容提供智能编目功能，对媒资内容中的视频画面、语音和文字等信息进行分析推理，输出题名、内容摘要、关键词等编目信息，方便后续业务使用及系统数据管理通过人脸识别和OCR识别，智能处理中心对所管理的视音频、图片类资源进行自动化预处理，自动标识关键人物、敏感人物信息，提取画面中的字幕、标题、弹幕等文字内容的关键词，自动形成部分编目信息；通过语音识别，实现对普通话连续语音的文字转写，自动提取出关键词、内容简介、分类等信息，自动完善资源编目信息，减少人工编目工作的投人。智能编目标注流程如图4所示。基于对视频、语音及图像的综合分析理解，智能处理中心还可精细化识别视频、图片等媒体内容中出现的物体和场景，形成物体分类和场景分类标签，更好地支撑编目、检索等基础应用服务。2.3.3智能审核内容审核是对具体的媒体内容进行审核。针对内容审核环节单纯依靠人工审核存在的效率低、质量差、成本高的痛点，可将内容审核分为人工观看判断和智能审核两部分。智能审核主要是对敏感信息审核，基于视觉AI技术，通过机器学习结合深度学习，为用户提供针对音视频、图片、文本的内容审核能力，主要涉及涉政、色情、暴恐、违禁等审核场景，提高音视频内容审核的效率，降低人工审核漏审风险，缩减平台的人力成本，助力媒体行业进行产业升级，赋能媒体行业的内容审核环节，保障内容传播的监管，杜绝违规内容，减少低质内容。智能审核服务流程如图5所示。3结语本文基于AI技术，构建智能处理中心，赋能传统媒资系统。该设计可将传统媒资系统依靠人力编目生成元数据、手动进行素材初始化的功能模式，转变为系统智能化、自动化完成，全方位提升媒资系统在内容处理、编目、审核以及检索等环节的业务能力。该设计遵循实效原则，充分进行组件和资内容上传智能处理能力输出#1视频视频处理标签音频音频处理分类图片图片处理服务FocR文档文档处理敏感信息图4智能编目标注流程图（下转第7 8 页）电视技术第47 卷第6 期（总第57 1期）78编辑：张玉聪(上接第6 1页）M编辑：张玉聪ideoEngineeringCQUISITION&PROGRAMMING采集与制作也会越来越广泛首先，从技术角度看，未来的虚拟主持人将会拥有更强大的语言理解和情绪处理能力，甚至能够进行一定的创新性表达。他们将不再是简单地按照脚本播报，而是可以根据新闻的内容、观众的反馈，甚至是社会的情况，做出更符合实际的反应和表达5。其次，虚拟主持人将会在更多的场景中出现。除了新闻播报，他们也可以在游戏、电影、教育、电子商务等领域发挥作用。比如在线教育领域，虚拟主持人可以成为永不疲倦的老师，为学生提供个性化的教学服务；在电子商务领域，虚拟主持人可以作为24小时在线的客服，为消费者解答疑问，推荐商品。4结语虚拟主持人技术在广播电视中的应用已经显现为行业发展的关键动向。从逼真的模拟主持、个性化的展示服务，到应对突发新闻事件的快速反应、人工智能技术的进一步应用等，虚拟主持人技术在广播电视行业的应用已经成为电视节目制作和传播的重要工具。未来的虚拟主持人将不仅仅是新闻播报者，他们还会在教育、电子商务、娱乐等领域发挥更大的作用。期待虚拟主持人技术能够在带来广播电视行业变革的同时，也能给社会和公众带来更多的便利和乐趣。参考文献：1吴枞.智媒时代虚拟主持人的热潮与未来突破 .西部广播电视，2 0 2 2,43(2 2）:2 0 3-2 0 5.2 宋存杰.虚实之间：虚拟主持人的发展历程及思辨展望 J传媒，2 0 2 2（14）：52-55.3陈卫华，潘中康.人工智能时代虚拟主持人发展困境及策略研究 .传媒观察，2 0 2 1（5）：37-41.4蒋一莉，李安安.浅析虚拟主持人在中国的发展困境 1传媒观察，2 0 15（8）：39-41.5丁葆华，王丹旅.浅谈虚拟主持人和传统主持人的融合创新与发展 J.传媒评论，2 0 19（11）：9 0-9 1.审核内容AI审核场景审核结果最终结果视频政治敏感标签信息审核建议通过暴恐暴力音频违禁内容人工校正拒绝图片高误判干预色情性感文档特定场景干预定制需求干预图5智能审核服务流程图源利旧，在保障用户现有媒资系统平稳运行的前提下，通过部署智能化音视频处理引擎及可视化操作界面，同时为相关联系统提供标准接口对接能力，实现系统间业务对接，为整个媒体业务网络提供智能服务支撑。参考文献：1科程昆.AI语音识别和人脸识别技术在电视台媒体资产管理中的应用 .影视制作，2 0 2 0，2 6（10）：6 6-6 9.2 张圆圆.基于云技术的媒体资产管理系统研究 .影视制作,2 0 13,19(4):7 6-7 8.3 段艳红，梁栋，诸葛明晖.大数据时代媒资档案管理对策思考 J.产业与科技论坛，2 0 2 1，2 0（5）：2 2 5-2 2 6.4梁晓雯.基于不同节目类型的媒资AI编目探索 J.广播与电视技术，2 0 2 2,47（12）：36-40.5徐涛.广电融媒体智能媒资系统的探索 .广播电视信息，2019(8):58-60.