探析数字孪生技术在区县级融媒体中心的应用.pdf

行业专题|融合媒体专题探析数字李生技术在区县级融媒体中心的应用上海东方传媒技术有限公司孔明杰一、行业现状和发展介绍1、广播电视媒体融合的发展2021年，广播电视的融媒体业务正在向区域化、深度化发展。继省市级广电机构搭建融合媒体平台后，各区县融媒体中心、独立记者站等广电机构也陆续涌现，该发展方向不但能激发各区县生产出具有地域特色的融媒体内容，填补了“最后一公里”内容生产的短板，又能避免机构重复建设造成的资金浪费以及发展不平衡带来的弊端，有利于促进国家媒体体系的全盘激活。区县级融媒体中心建设绝不只是传统媒体的简单组装，而是互联网视域下媒体融合向纵深发展的新探索，是构建全媒体传播体系不可或缺的环节。2、数字李生技术的介绍和发展“数字李生”是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反应相对应的实体装备的全周期过程。数字李生技术是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。2021年，经过多年实践积累，中国十四五规划纲要已将数字李生技术编制入册，即第十四个五年规划和2 0 35年远景目标纲要指出加快数字化发展，建设数字中国。完善城市信息模型平台和运行管理服务平台，构建城市数据资源体系，推进城市数据大脑建设，探索建设数字李生城市。二、融媒体数字李生技术的实现基于数字李生技术的初次实践，团队在系统架构设计进行推演和探索，本着“保证融媒体日常运行稳定的情况下，将数字李生技术上的优势发挥到最大”的原则下，推进数字李生技术的融合。第一，对数字李生技术的使用场景进行分析和分类，针对数据的来源和使用方式做了系统的规划。整体系统主要分为终端感知层、网络层、数据层、应用层及展示层。R用收置服务三推数字学生此座图1整体规划图1、终端感知层终端感知层被称为置于业务环境中的“实干家”，该层旨在获取业务运行中的实时参数、图片、影像等感知元数据，不限于监看视频、流媒体画面、数据传输等内容，还包含设备状态监测、环境气候变化、流程应用等数据的捕获。2、网络层通过不同网络的交换设备，实现跨网段终端感知层的数据采集与交换。3、数据层数据层包含三维数字李生底座、流媒体服务系统及数据管理系统。1）三维数字李生底座（1）三维场景三维数字李生底座包含三维场景、渣染功能及虚实融合功IFPK发61外期自动放内空调特码服务预加批服务诚舰体服务系线数超管理系快投量设备TUGC电机工程12 0 2 3年第2 期-24-融合媒体专题|行业专题能。三维场景在构建的过程会遇到一定的挑战，如建筑结构过于复杂；反射透光现象严重的外玻璃结构；区域内绿植分布；复杂的路面延伸等等。针对实测区域的不同特点，采用不同的三维数据采集建模方式，对于室外大型区域采用无人机五镜头航测扫描后光场数字三维建模。图2 大型无人机五镜头航测扫描对于室内大型演播厅、新闻发布厅、可视化广播直播间、新闻演播室、专题演播室、融媒体指挥中心和播出控制中心等空间进行维全真扫描重建。图3室内激光扫描仪对采集的数据进行一套完整的处理流程之后，生成高精度的三维模型，为了达到最佳的染效果，辅以贴图材质的处理。具体来说，三维模型在完成重建后将进行预处理降噪，提高模型的美观程度，并优化融媒体中心周边道路，形成完整统一的高精度三维数据基础。同时针对中心周边区域，导入地理空间三维模型，并对模型进行优化压缩，提升整体美观与区域覆盖面积。（2）三维底座渣染将融媒体中心室内外模型导入三维融合系统，对三维场景进行模型拓扑、光影优化、材质美化、美术场景优化，周边环境优化。（3）虚实融合虚实融合是以虚拟现实融合技术为基础，以三维模型为依托，立体化展现“监”与“控”的空间逻辑关系，增强用户三维空间沉浸感，从而达到快速识别，快速处突的安防目标。通过对融合视频区域进行三维建模，构建出三维虚拟环境，将离散分布区域不同位置、具有不同视角的监控视频实时动态地融合到真实三维场景模型中，对监控范围整体大场景的连续监控和实时融合展示，并提供上帝视角从宏观上掌握监控点区域的整体态势变化，实现对区域的整体态势与局部细节的多尺度感知，实现空间立体化防控。2）流媒体服务系统流媒体服务系统支持主流流媒体协议（rtsp/rtmp/hls/http-flv）接入，离线文件（mp4/fiv/mkv/ts）推流，以及第三方流媒体服务平台的API调用。支持视频接入授权及三维参数管理；支持视频转码服务：支持视频预加载，实现视频秒开；3）数字李生中台一数据管理系统多渠道、多来源的数据需要融合处理，融合处理包括如下步骤：识别，对图像数据多采用机器学习中卷积神经网络图片识别的方法进行识别，如识别出空间数据中的道路、桥梁、建筑等；对半结构化文本数据多采用语义识别的方法进行识别。标识，识别出的数据对象需要进行标签化处理，才能被业务系统使用。数据对象通常会关联到一套标识系统之上，用来对数据标识对象的唯一性进行识别。例如建筑物内房间编号、设备编号等。关联，不同数据对象之间存在一定的关联关系，例如空间对象与空间内的传感器实时数据之间的关联关系：设备状态数据与户外被监测设备的关联关系。知识图谱，不同的数据对象关联后形成不同类别的知识图谱。数据管理系统还为上层的数字李生应用提供底层技术支撑、元数据集、模型部件等资源支撑，同时能进行自定义分析与调用、灵活配置和高效开发利用。功能架构包括三大类：-25-电视工程TELEVISION ENGINEERING行业专题|融合媒体专题第一类是核心技术，包括大数据、人工智能、物联网技术等：第二类是面向应用场景的信息模型服务，包括数据更新和追踪服务、事件模拟仿真推演服务、自定义染服务：第三类是基于底层数据的分类应用服务能力，包括身份认证、电子证照等：系统尝试了将感知终端在采集数据之后的高价值数据汇聚到数据管理系统，系统进行大数据分析挖掘、数据共享开放等处理和分析，优化升级业务规则或算法模型，并下发到感知设备后更新和升级。4）应用层设计了多种应用场景，包括指挥模式、编前会模式、参观接待模式、运营维护模式。指挥模式是功能最全面的模式，涵盖了模型展示、业务流程数据监测、外派记者连线页面等全部内容，便于融媒体中心进行重要场合的现场分析和决策。编前会模式主要是为融媒体中心节目制作方编前工作部署，提供业务流程数据、终端展示等内容支撑服务。参观接待模式是为现场介绍人员提供模型化内容讲解支撑服务，介绍人员可以使用模型中的自动播放功能播放户外模型配音介绍，同时介绍人员也可以通过模型操作详细讲解融媒体中心的室内和周边的情况。维护模式是面向运维人员，提供感知设备实时状态数据、应急策略模式，为进行快速高效地维护提供了智能帮助。5）展示层展示层服务于决策者，展现方式的易维护性和可扩展性是重要指标之一。一般使用B/S访问架构构建，依托NGINX+HTML5方式实现。第二，对区县融媒体中心的户外和室内空间进行底图规划，将大型演播厅，新闻发布厅、广播直播间、电视演播室等空间，利用虚实融合技术，将融媒体中心的运营与指挥，通过数字李生技术的一张底图进行管理。另一方面，针对融媒体中心新型数字化运营的专业技术平台，包括机房状态监看、广播流程监看、电视播出监看、融媒体系统监看、区县融媒大数据看板等，通过数字李生中台处理，可以进行全方位的控制和管理。（图4数字李生底图图5楼层模型介绍第三，数字李生技术与融媒体中心现有系统进行融合后，整体系统架构图如下所示：继长发时K工作站从上图可以发现，数字李生交换机搭载的数字李生服务器和瀘染应用服务器是本次实践的核心，它们通过数字李生交换机获取感知设备的数据后进行数据分析、调度、染，再通过4K和2 K的工作站进行数据的展示输出。三、关键技术的实现1、虚实结合的视频融合在传统的视频监控系统中，监管人员需要同时观看多个分镜头画面，并且很难将零散的分镜头视频与其实际地理位置相对应，无法对大场景进行全局实时监测，也无法对历史事件进行快速回溯查找，海量零散监控视频资源既“看不过来”又“看不太懂。虚实结合的视频融合技术，可以将摄像头实时画面投射到三维实景模型上，并可将相邻的画面进行拼接融合，拼接后形成一幅更大分辨率的画面，这种融合不会随着对三维模型的倾斜、旋转等操作而产生变形或者错位。数学生服务品图6 系统架构图TG电视工程12 0 2 3年第2 期-26-融合媒体专题|行业专题代理服务。容器化部署能够确保每个容器都拥有自己资源，并后台视频配准且和其他容器相互隔离。创建多个调整多个投影面相机参数多个虚拟相机实最模型调整视频亮度、饱和度、明度等效果多个监控视频图7 视频融合配准流程图视频融合的原理是将视频画面作为三维模型的纹理，投影到三维面片上，虽然模型的三角面片的顶点纹理坐标相同，但是两个面片的形状不同，会导致面片内部差值计算的纹理坐标会产生差异。投影视频纹理的映射过程主要分为以下三个步骤：模型顶点和纹理坐标建立一一对应的关系通过GPU渣染管线的光栅化，将每个模型顶点对应的纹理转换为屏幕上每个像素点对应的纹理坐标。根据每个像素对应的纹理坐标进行纹理采样，从而计算着色结果。因此，将上述视频融合标定过程中所获取的对应坐标点序列化，通过RANSAC算法来筛选计算相应的单应矩阵。这个筛选出来的矩阵的最优解就是用于视频融合校正变换矩阵M。最后在GPU中进行最终屏幕后处理相关的计算，完成视频投影计算。2、数据管理的实现数据中台是负责统一存储、管理各种类型的动态数据，例如实时视频流、实时相机参数、IOT设备数据等。数据中台接收UE4潼染或Web端的AJAX请求后依照请求方的实际情况或要求，结合数据中台的分析结果进行调度和分发，例如控制视频源各项服务的启停、运维服务终端针对某异常设备动态感知进行告警分发等，并实时将数据下发给指定对象。流媒体、技术系统监控等感知设备的数据和指令一般以RTSP格式视频流、Websocket方式进行传递。其中视频数据通过流媒体服务器对RTSP格式视频流进行转码，输出HLS格式视频流，以PostgreSQL存储HLS视频流地址，在前端及UE中播放，配合前端应用场景进行可视化，数据可视化达到了低延时、秒开的效果。3、系统部署方式的选择Docker容器化部署的方式是目前云计算商私有化或公有化部署最主流的方式。容器化部署能够确保应用程序与资源是分离的，能够对环境管理与控制方面需要进行完善。考虑到目前数字李生系统运行了很多应用程序，包含后台管理系统，底座染系统，端口裁剪多个投影面一json配准文件多视频配准结果Docker容器可以在不同的开发与产品发布生命周期中确保一致性，并标准化运行环境。整个过程可以在几分钟内完成，如果将它和虚拟机的备份或者镜像、创建流程对比，那Docker是具有优势的，它不仅可以快速地进行复制，还能够实现系统穴余。Docker的启动速度快。容器化管理能够确保每个应用程序能否使用分配系统资源，控制在划定的资源范围之中，不会导致性能降低，甚至让其他程序停止工作。容器化部署大幅度提升整体系统安全性，在各组件应用程序完全隔离的情况下，通信流量和管理结构上赋予完全的控制权。四、总结本文通过实际案例分享了数字李生技术在区县级融媒体中心建设过程中的应用，希望能够给予广大读者更多的启发与思考。（上接第2 3页）（2）如果有条件，建议在有宽带接入的情况下并行使用有线宽带，做到和5G的聚合传输，避免人员较多的活动现场因移动通信拥堵造成网络信号波动，质量下降。（3）直播现场考虑上行带宽，而接收端则要充分考虑下行带宽。如果有条件，建议接收端使用专线网络，做到2 0%以上的穴余。如果非专线接入或带宽占用较大时，要降低前方信号码率，防止后台信号接收卡顿，影响图像质量。（4）5G 目前的覆盖情况根据地域分布有差别，因此要充分考虑到信号传输和直播的备份方案和应急预案，特别是应用于大屏端时，一定要做好链路和技术方案的余和应急设计，并且在传输过程中实时关注5G传输网路质量。五、结语5G技术的广泛应用，为广播电视高质量传输提供了无线解决方案，同时，为新媒体内容的快速生产发布提供了便利。随着4K超高清技术的发展，5G凭借高带宽、低延时的特性必将成为超高清信号传输的重要路由载体。在VR、A R 等新技术的加持下，节目形态将更加丰富生动，形式将更加灵活多变，从而通过技术应用创新实现节目创新，为媒体融合向纵深发展提供强劲动力。本文由广播电视网络杂志推荐-27-电视工程TELEVISION ENGINEERING