基于WebRTC协议的媒体传输技术在跨国连线中的实践应用.pdf

广播与电视技术 2023年 第50卷 第6期55Content Production&Broadcasting 内容制播基于WebRTC协议的媒体传输技术 在跨国连线中的实践应用【摘 要】基于WebRTC协议的媒体传输技术，借助浏览器就能实现点对点的实时通讯，让传统广电的远程传输、跨国媒体通讯更加便捷。本文介绍了基于WebRTC协议的Videosolar超低延时云演播室系统，以及在频道承办的多场跨国视频连线活动中的应用实践。【关键词】WebRTC，Videosolar云演播室系统，跨国视频连线，超低延时【中图分类号】TN948.4 【文献标识码】B 【DOI编码】10.16171/ki.rtbe.20230006010【本文献信息】张益强，周宏亮.基于WebRTC协议的媒体传输技术在跨国连线中的实践应用J.广播与电视技术，2023,Vol.50(6).Practical Application of Media Transmission Technology Based on WebRTC Protocol in Cross-border ConnectionZhang Yiqiang,Zhou Hongliang(Zhejiang Media Group,Zhejiang 310000,China)Abstract The media transmission technology based on the WebRTC protocol enables point-to-point real-time communication with the help of a browser,making traditional remote transmission of radio and television and cross-border media communication more convenient.This article introduces the videosolar ultra-low latency cloud studio system based on the WebRTC protocol,and its practical application in multiple cross-border video connection activities organized by the channel.Keywords WebRTC,Videosolar cloud studio system,Cross-border video connection,Ultra-low delay张益强，周宏亮(浙江广播电视集团，浙江 310000)0 引言随着基础网络建设和云技术的不断发展，基于互联网的媒体调度传输得以广泛应用。城市的发展渐渐融入全球化，人才引进、文化交流、跨国合作等场景越来越普遍，跨国视频连线的需求增加，各种连线系统应运而生，广电作为各种媒体传输技术的重要应用载体，也承接了越来越多视频连线活动。当前可以实现跨国连线的系统繁多，基于 WebRTC 协议的媒体传输技术，因其操作简单、硬件要求低，在视频连线中优势明显，尤其在跨国视频连线中，会极大降低活动执行成本。本文对近期执行的多场活动中跨国视频连线部分进行拆解分析，探讨跨国视频连线系统及视音频链路的搭建和处理。1 云演播室系统介绍WebRTC 是一项实时通讯技术，使用户在无需安装任何插件或者第三方软件的情况下，建立浏览器之间点对点的数据分享或者视频连线。基于 WebRTC 协议的 Videosolar 云演播室系统，因嘉宾端的操作方便、硬件成本低，在上述一系列活动的视频连线环节有着绝对的优势。1.1 连线系统架构Videosolar 云演播室系统简单架构如图 1 所示。Videosolar 云演播室系统由嘉宾、云责编、云观众、技术员等岗位组成。责编通过系统后台对所有环节进行统一调度，并根据现场活动流程对后台各项功能进行实时编辑，满足活动现场效果。该系统基于 WebRTC 协议，通过浏览器就广播与电视技术 2023年 第50卷 第6期56内容制播 Content Production&Broadcasting能实现现场与连线嘉宾的双向通讯，且系统在 20 多个国家部署了专线回国线路，在两点网络保障的情况下，能实现超低延时通讯，可视化程度高，系统后台沟通便利，嘉宾排播便捷，和广电接口有很好的适配度。1.2 连线系统功能及优势介绍1.云责编、嘉宾、工作人员等角色可通过网页进入云演播室备播区。远程接入的所有连线嘉宾都会出现在列表区中，此时云责编在列表区和嘉宾一对一或者一对多进行语音交流或者文字交流，并按照节目流程将即将上线的嘉宾调入预备区，完成准备工作。当嘉宾切入到播出区后，嘉宾和活动现场可实时进行交流互动。2.云责编可以设定对列表区、预备区、播出区的嘉宾返送不同的信号，我们的设定是给播出区的嘉宾返送现场的视音频，而列表区和预备区的嘉宾相当于在线观众，所以返送的是总的 PGM 信号；当主会场有同传翻译时，可以按需求为不同区的嘉宾返送不同语言的主会场视音频或总 PGM 信号。3.Videosolar 云演播室系统后台可以保存多个画面分割模板，模板调用灵活方便。云责编可以通过联动现场的大屏，将指定的连线嘉宾根据节目组设计的模板要求展现在大屏上，用于现场舞美。使用电脑进行连线时，连线嘉宾可以同时将摄像头画面和桌面共享画面（ppt 或者视频）同时传输到活动现场进行投屏。4.云嘉宾只需要使用电脑浏览器或手机 APP，输入邀请码，就能直接接入云演播室系统后台，实现在准备区和责编进行无障碍沟通、在播出区和现场主持人进行双向交流互动或进行演讲。5.任意一路或多路的嘉宾信号，都可以通过 Videosolar云演播室系统后台录制到云端，方便栏目组后期编辑节目 制作。6.Videosolar 云演播室系统后台可以直接生成浏览器观看地址，用于网络分发。7.Videosolar 在海外 20 多个国家部署了专线回国线路，通过移动国际能力节点，针对国际连线嘉宾，可以人工调整网络接入点，将传输网做到最优，使得连线的延时控制在 ms级。在连线嘉宾网络有保障的情况下，一般国内延时小于300ms，国际连线小于 500ms。1.3 嘉宾端硬件需求1.常规情况下嘉宾端需要准备笔记本电脑一台，i7 及以上的 CPU，8G 以上内存，带 USB、3.5mm 音频口等接口。USB 接口接视频采集卡，用于专业摄像机等设备的人像信号采集，也可直接用笔记本的摄像头采集人像画面。3.5mm 音频口用于连线通话。2.我们建议嘉宾端通过 Google Chrome 浏览器接入云演播室系统。首先 Videosolar 云演播室系统的很多功能都是基图1 Videosolar云演播室系统广播与电视技术 2023年 第50卷 第6期57Content Production&Broadcasting 内容制播于 Chrome 浏览器开发的，而且 Chrome 浏览器更加简洁稳定，对笔记本的硬件调用比较快速。3.由于视频连线嘉宾的画面一般会在主会场的大屏上进行呈现，所以对于信号清晰度有一定的要求，一般要求嘉宾端的有线网络带宽在20Mbps以上，减去传输链路的码率损耗，在服务器端一般能稳定在 2Mbps 左右。在网络带宽没有保障时，云演播室系统会自动压缩传输带宽，保证连线画面的流畅，同时主会场会采用大小画框的形式进行呈现，缩小嘉宾画面的投屏，以保证清晰度及主会场的连线效果。4.应急备份设备。需要嘉宾在手机上安装“云演播室”APP，在笔记本电脑连接服务器的同时，手机也登入服务器，保证嘉宾连线过程不间断。2 连线系统分析近期，我们在杭州执行了多场带国际交流需求的重要活动，“中欧非绿色能源发展论坛”“金靴奔跑 上城区首届创新创业大赛”“创客天下 杭向未来2022 杭州海外高层次人才创新创业大赛总决赛”“南美论坛开幕式”“跨越安第斯山脉”浙江 南美舞蹈家云对话活动都是采用线上线上相结合的方式，嘉宾来自五湖四海全球各地，每场活动都有身处国外的嘉宾，且很多现场有同声翻译。在上述执行的一系列活动中，有基本的单个国际嘉宾连线，有主会场带同声翻译的国际嘉宾连线，有主会场和国外分会场互动的连线，下面通过递进方式介绍基于 WebRTC 协议的 Videosolar 云演播室系统在各种连线中的实际应用。2.1 嘉宾连线基础框架如图 2 所示为跨国视频连线最基础的系统框架图，由视频、音频、大屏、Videosolar 云演播室服务器等多个部分组成。1.加嵌解嵌设备使用的是索尼 F1600 蓝光录像机，虽然比较笨重，但是功能强大，能同时监看视频画面和监听声音，确保进出云演播室系统服务器的视音频正常。2.播出区嘉宾端的连线电脑传送过来两路信号，一路是摄像头画面和音频的组合信号，一路是分享的桌面或者 ppt画面，解嵌后两路画面通过切换台环出给到大屏控台进行分屏展示，音频给到调音台进行现场扩音。3.主会场给到 Videosolar 云演播室服务器的信号也是两路，一路是主会场的视音频组合连线嘉宾的视音频通过连线系统给到预备区的嘉宾，用于观看主会场的活动进程，一路图2 嘉宾连线基础框架广播与电视技术 2023年 第50卷 第6期58内容制播 Content Production&Broadcasting图3 带同声翻译的嘉宾连线基础框架是主会场的视音频通过连线系统给到播出区的嘉宾，用于实时交流互动。2.2 带同声翻译的嘉宾连线基础框架如图 3 所示为带同声翻译的跨国视频连线最基础的系统框架图。我们在现场布置了两套 Videosolar 云演播室服务器，将中文连线嘉宾和英文连线嘉宾分开，分别集中在单独的服务器中，方便返送声音的处理。1.同声翻译分中文和英文两条线路，调音台将主会场的声音同时给到同声翻译两条线路进行翻译后，再回传给调音台，方便调音台进行编组后扩音或进行网络分发。2.同声翻译工作原理：当语言相同，则翻译主站直通，当语言不同，则通过翻译人员进行翻译。3.如图 3 所示，调音台里面汇合了所有的声音，可以按照活动需求进行编组输出。1）主会场声音加中文嘉宾声音给英文同声翻译。2）主会场声音加英文嘉宾声音给中文同声翻译。3）主会场声音加连线嘉宾的声音给到扩音，翻译不进 扩音。4）按需求编组一路总声音加嵌现场视频画面进行推流直播或网页观看。4.当连线中文嘉宾时，中文同声翻译接收现场的声音并翻译成中文（若现场也是中文，则中文同传主站直通），加嵌现场视频画面，通过 Videosolar 云演播室服务器返送给连线中文嘉宾，进行交流互动。此时英文同声翻译接收编组 1）声音并翻译成英文给到在线旁听的英文嘉宾，同时通过同传耳机给到现场的英文嘉宾。5.当连线英文嘉宾时，英文同声翻译接收现场的声音并翻译成英文（若现场也是英文，则英文同传主站直通），加广播与电视技术 2023年 第50卷 第6期59Content Production&Broadcasting 内容制播嵌现场视频画面，通过 Videosolar 云演播室服务器返送给连线英文嘉宾，进行交流互动。此时中文同声翻译接收编组 2）声音并翻译成中文给到在线旁听的中文嘉宾，同时通过同传耳机给到现场的中文嘉宾。活动中，连线嘉宾按节目流程轮流上线进行交流互动或者演讲。基于 Videosolar 云演播室系统的超低延时双向通讯，连线嘉宾和现场嘉宾主持人能实现实时交流。现场嘉宾、连线嘉宾、在线观众都能接收到自己需要的语言信息。2.3 主分会场的视频连线在“跨越安第斯山脉”浙江 南美舞蹈家云对话活动（见图 4）中，阿根廷分会场和杭州主会场都有现场主持和嘉宾，还有提问环节、带音乐的舞蹈表演环节，实时通讯要求很高，且需要保证传输的画面质量。视频连线的基础框架在图 3 的基础上有略微改动。双方会场都部署了专线网络，我们也将海外云节点进行了一系列优化，保证云对话交互的画面传输码率在 4Mbps 以上。2.4 问题分析在实际活动执行过程中，也出现了类似回音、画面卡顿等问题。回音问题主要由活动现场扩音产生，我们专门在Videosolar 云演播室服务器端开发了 VSRTC 回声消除插件，通过分析人声波形消除回声，确保嘉宾端声音清晰干净。画面卡顿问题主要由嘉宾端网络不稳定引起，只能通过牺牲画面质量保障视音频的连续性，并通过小画框的方式在主会场呈现。3 结束语本文通过具体活动，分析了基于 WebRTC 协议的媒体传输技术在跨国视频连线中的实践应用。在连线中移动国际能力节点起到了关键作用，能极大缩小中间传输环节的延时量，但是在画面和声音质量要求较高且需要实时通讯时，主会场端和嘉宾端的基本网络带宽需要优先 保障。连线系统基本原理大同小异，只要前期准备充分，现场的视音频做到有效配合，就能完美呈现效果。基于WebRTC 协议的媒体传输技术实践应用非常广泛，在广电演播室或者云平台的媒体传输调度中，也有着巨大的发展 空间。参考文献：1 赵鹏.视频交互技术在全球连线课程中的应用J.信息通信,2014(12):81.2 王红波.基于互联网的视频连线系统在新闻演播室的应用J.现代电视技术,2022(1):82-85.3 叶海.远程视频系统设计及不同场景应用的探讨J.现代电视技术,2020(11):124-127.第一作者简介：张益强，男，1985 年生，大学本科，工程师，浙江广播电视集团经济生活频道公共事务中心主任助理，从事频道所有的技术统筹及活动执行工作。图4“跨越安第斯山脉”浙江南美舞蹈家云对话活动现场