北京广播电视台超高清实验室XR扩展现实系统介绍.pdf

关键词超高清实验室 XR 扩展现实系统 LED 屏幕 红外主动式光学跟踪北京广播电视台超高清实验室 XR 扩展现实系统采用了基于 UE 虚幻引擎的 nDisplay+融合扩展的拍摄模式，配备了超高清讯道摄像机、Mo-Sys 红外主动式光学跟踪设备、小点距弧形 LED 大屏。本文介绍了该 XR 系统的构成及其节目应用。摘要北京广播电视台超高清实验室XR 扩展现实系统介绍 作者 北京广播电视台苏卓涛北京广播电视台超高清实验室主要建设目标是完成 8K 超高清节目以及 4K+XR 扩展现实节目的制作。8K超高清作为高新视频乃至元宇宙的基础技术，为高端垂类场景拓展创造了广阔空间。与此同时，XR 扩展现实拍摄技术日益成为高新视频内容制作的重要组成部分，它不仅提供了灵活、高效、炫酷的视觉呈现能力，也为 8K 超高清技术开辟了全新应用场景。超高清实验室将 8K EFP 现场制作和 XR 扩展现实拍摄技术有机结合，打通扩展现实拍摄所具有的“后期前置”流程，为超高清内容的高效生产提供了有力保障。超高清实验室 XR 扩展现实系统利用扩展现实（Extended Reality）技术，通过 LED 屏幕组成的三维空间、用虚实结合的方式显示演播室效果，利用有限真实空间，构建无限的沉浸式虚拟仿真环境。借助空间视觉透视差异和图像动态校正原理，在多个显示平面内容组合为一幅完整三维图像，营造逼真、生动的虚拟场景，形成强烈的视觉冲击力。制作人员可以在拍摄现场将不同层次的素材进行实时合成，并且同时进行光影、阴影、纹理等效果的渲染处理，也可以对虚拟背景进行反复调整、修改、优化，以达到最终的效果要求，与虚拟演播室制作的主要区别是无需抠像，也不需要后期制作的反复生成，极大地提升了制作效率。由于拍摄现场 LED 大屏幕提供了固有的背景，中景镜头和特写镜头使用更加自由，主持人和嘉宾在 LED 大屏幕构成的实景中进行节目录制，避免在虚拟演播室中，长时间站在绿幕前没有实物展示和支撑，导致视觉疲劳、表述不自然等现象，能够更好地完成节目的录制和互动。一 XR 扩展现实拍摄系统简介 扩展现实拍摄系统是一个高度功能化的系统，主要由拍摄核心系统和外接功能两部分组成，系统核心设备又可以分为数据层、支撑层和应用层三个关键模块。各个模块的具体构成如图 1 所示。在数据层，系统主要利用和处理超高清视频信号、虚拟资产、镜头畸变数据、摄像机位置数据和 LED大屏数字化模型。超高清视频信号提供高质量的视频信号输入，虚拟资产包括各种虚拟对象和场景，镜头畸变数据用于扩展内容的显示和真实镜头的畸变进行对应，摄像机位置数据则能够准确跟踪摄像机位置，而 LED 大屏模型则用于更好地展示扩展现实内容。支撑层包括 Unreal Engine 渲染引擎、小点距LED 大屏、大屏拼接器和高精度跟踪系统。Unreal Engine 渲染引擎通过实时渲染虚拟资产，实现了与真实世界的无缝融合。小点距 LED 大屏提供高分辨率和极佳色彩表现的显示空间，而大屏拼接器则能将多个 LED 大屏幕模组拼接成一个更大的画面，提高显技术与艺术ARTS&TECHNOLOGY1141扩展现实拍摄系统模块示意示面积以及完成基础环境的颜色校正。红外主动式光学跟踪系统能够准确提供摄像机的位置和姿态，更好地让虚拟场景和真实的 LED 大屏融合显示。在应用层，包括 XR 扩展现实大屏控制软件、XR 扩展现实控制软件、XR 扩展现实播控软件、XR扩展现实播控系统后台服务程序和虚拟资产多引擎文件共享程序。这些组件确保用户能够轻松地操控虚拟资产，并提供后台支持和管理服务。在完成核心制作和拍摄任务的同时，系统还可以根据节目要求的差异灵活组合外接功能模块，如多通道录制系统、下变换转换器、超高清示波器、技术监视器和音频延时器等。这些外接功能模块为系统提供了多机位的录制能力、实时视频参数和指标监测能力，增强了整体功能的灵活性。超高清实验室 XR 扩展现实系统以单线 12G 超高清传输为基础，系统以超高清切换台为制作核心设计，输出端支持加嵌功能，可以根据需求在 8K（412G）系统和 4K 系统之间进行切换，可实现高标准的录制传输能力。系统的核心设备为 8K 超高清切换台和 64 路超高清矩阵，切换台进行信号切换，矩阵用作信号调度和应急。切换台为 40 路 12G 输入、28 路输出，矩阵为 64 路 12G 输入、64 路输出，线缆和接头选择均满足 8K 超高清系统标准。实验室拍摄系统信号源可以在 6 台 4K（12G-SDI）摄像讯道和 3 台 8K 系统（412G-SDI）摄像讯道之间进行灵活切换，也可以 8K 讯道机和 4K 讯道机混合制作，同时系统预留了 4 路外来路由信号通路，对外来信号支持视音频信号帧同步的处理。系统配置 4K（12G-SDI）播出链路 4 条，链路为独立通道，支持嵌入音频。二 XR 扩展现实系统 硬件结构 XR 扩展现实系统共部署了 4 台渲染服务器。其中 3 台 XR 大屏渲染，2 台对应立屏，1 台对应地屏。还有 1台 XR 虚拟扩展植入渲染，用于 LED 屏幕外的扩展现实和虚拟植入内容的渲染。所有渲染通过 XR 系统控制服务器和 XR 扩展控制服务器进行参数设置和播出操作，XR 扩展现实系统设备结构如图 2 所示。系统使用一套 Mo-Sys 红外主动式光学跟踪系统，架设于摇臂机位上，在拍摄时提供摄像机姿态数据。在 XR 扩展现实场景拍摄时，Mo-Sys 跟踪服务器计算的摄像机姿态数据传递给 XR 大屏渲染和 XR虚拟扩展植入渲染。服务器收到摄像机跟踪数据后，会根据 Mo-Sys 特有的数据协议解析二进制数据代码，将其转换成 X、Y、Z 三轴向的位移旋转数据，并匹配到场景内的虚拟摄像机上。摄像机拍摄到的图像传回 XR 虚拟扩展植入渲染，系统会将画面中 LED 大屏显示范围外的部分进行融合补齐，同时添加虚拟植入的内容一并输出。最终形成虚实结合、无限拓展的视觉效果。1.LED 大屏系统屏幕采用 P1.5 弧形立式屏幕+P2.5 矩形地面屏幕拼接搭建方式，共 2 块 LED 拼接大屏。弧形立式立屏采用洲明 P1.5 ULW 轻薄小间距 LED 屏幕，像素间距1.5mm，箱体分辨率 384216，箱体厚度 39mm，在箱体装配时采用平滑的弧度实现方式，标准箱体+定制Advanced Television Engineering115内弧套件+角度块，实现箱体间 6弧度。箱体内现实模块为 4 长条形模组设计，模组间无线连接，全部器件全前维护；可直接整箱安装，直接堆叠，安装和拆卸操作简便。立屏总长 12m、高 4.05m，共 20 列、12 行，组合为 240 单元，弧形开口 10 米，面积约 48.6平方米，屏幕分辨率为76802592，横向达到8K级别，为 4K 和 8K 分辨率下的各种应用创造了技术条件。矩形地面屏使用太龙 P2.5 Kyrios 系列屏幕，像素间距为 2.5mm，适应大部分的场景拍摄需求，采用漫反射设计，有效消除传统钢化玻璃地砖屏大角度拍摄反光问题。屏幕表面无螺丝孔影响外观，可视角度可以达到 H:160/V:140，可适配不同角度机位的拍摄需求。防护层可防磨损并采用可更换耗材设计，保护本体。支撑结构采用专用可升降调节龙骨，可以满足极高的平整度要求。地屏前端沿至弧形屏幕最顶端为 5.3m，舞台宽度为 10.5m，采用500mm500mm 的箱体排列，共计 20 列、11 行，面积约 50m2。屏幕分辨率为 40322112，大屏尺寸效果如图 3 所示。LED屏幕舞台范围可以满足多种节目制作需求，同时确保多台摄像机固定角度拍摄时不穿帮，景区可放置真实道具配合节目使用，地面屏幕承重两吨，LED 屏幕点距小、分辨率高、画面细腻，方便和 XR扩展现实系统输出画面进行空间的扩展与延伸，达到无缝融合的拍摄效果。2.nDisplay 大屏显示系统3 台 XR 大屏渲染组成了一个渲染组，使用Unreal Engine 中的 nDisplay 技术来进行拼接以及NVIDIA SYNC 技术达到多台渲染引擎同帧播放的效果，结合实时摄像机姿态数据，计算出最适合的映射画面通过每台大屏渲染引擎传递给对应区域的 LED 屏幕。最终 3 块屏幕映射组合形成一个完整的 XR 场景画面，现场的主持人、嘉宾便可以沉浸在这个神奇、多变的三维立体的虚拟空间。nDisplay 可以对 LED 大屏系统的不同区域灵活设置包括区域大小、分辨率等参数。最终根据实际需要对 UE 场景在LED 屏幕上进行灵活投射。3.摄像机位置传感器系统系统配备 1 套 Mo-Sys 红外主动式光学跟踪设备，采用机械摇臂配合跟踪设备作为沉浸式演播区跟踪渲染机位，设备主要由一个红外摄像头和处理主机组成，红外摄像头安装在摄像机机身的顶部，3LED 大屏尺寸效果2XR 扩展现实系统设备结构技术与艺术ARTS&TECHNOLOGY116摄像头拍摄演播室顶部的画面，在演播室的顶部预先安装红外反光点，构成“星图”，传感器的摄像头通过拍摄和识别星图来实现自我定位。摄像机在演播室内自由移动并与虚拟空间进行交互，信号延时小于 2 毫秒，跟踪精度小于 0.1 毫米，确保摄像机大范围运动过程中准确跟踪定位，使其真实地面与虚拟地面完全融合。针对不同节目，摇臂使用也不尽相同，长度、型号、摄像机型号均应按需适配。为此，跟踪设备采取独立部署方式，根据台内现有摇臂设备灵活使用，需要更换摇臂和摄像机时，只要进行简单的校准和参数调节即可实现跟踪数据接入，针对部分特种拍摄需求，演播室顶部的“星图”已经实现“全覆盖”，跟踪系统可以架设于轨道摄像机、斯坦尼康或者大型手持云台使用，实现较强的 XR 扩展现实拍摄适应性。三 XR 扩展现实系统的节目应用 该系统已在中国移动咪咕公司与北京广播电视台（BRTV）联合打造的首档台网联动元宇宙电竞风棋牌类竞技节目谁是冠军掼蛋精英赛、8K试验频道数字文旅节目“一带一路”系列云冈石窟中成功应用。在谁是冠军掼蛋精英赛节目中高清晰度的大屏加上最新电影级渲染能力的虚幻引擎加持，让参赛选手仿佛置身于茫茫宇宙中或交错或幻想的空间内，将节目格调和氛围渲染到极致。针对比赛对局、牌局讲评、规则介绍等内容制作不同的场景，充分满足对于节目调性及沉浸感的需求，节目拍摄效果如图4、图 5 所示。北京广播电视台与云冈石窟研究院联合推出数字文旅纪录片云冈石窟，作为研究“一带一路”文化的最佳切入点，该项目入选 2023 年“北京大视听”重点选题，通过探索“文化旅游+超高清+XR扩展现实”应用新场景，诠释“云冈丝绸之路文化”，传承“一带一路”精神，构筑集科技、互动、文旅于一体的“云冈文旅元宇宙”，带给观众全方位、立体化、沉浸式的内容呈现，打造国内数字文旅产品融合传播的应用场景示范，节目拍摄效果如图 6所示。通过 XR 扩展现实节目的录制，充分验证了这项新技术在实际节目中的使用方法和使用效果。通过实战练兵，发现新技术应用中的若干问题也逐一优化。在媒体融合创新发展的时代，唯有秉承勇于探索的精神才能更好地立足技术、服务创作、打造精品。XR 扩展现实制作技术为影视制作、短视频生成、文旅演艺、直播电商和教育培训等视听文化创新提供了新手段，给创作者和受众带来新体验。参考文献：1 冯高洁.XR（扩展现实）应用于电视节目的关键技术与发展趋势 J.现代电视技术,2021(02):114-117.2 周建.浅析 XR 技术在中国诗词大会（第六季）中的应用 J.现代电视技术,2021(05):70-73.4谁是冠军掼蛋精英赛节目实拍画面5谁是冠军掼蛋精英赛节目实拍画面6云冈石窟节目实拍画面Advanced Television Engineering117