由《节气·中国》初探三维菁彩声的节目制作.pdf

2023年第2期 总第195期 季刊演艺科技 ENTERTAINMENT TECHNOLOGYNo.2 2023 Quarterly No.19546由节气中国初探三维菁彩声的节目制作秦梓元（中央广播电视总台，北京 100045）【摘 要】以系列节目节气中国中的清明篇的菁彩声制作为例，探讨菁彩声节目制作后期合成的思路、方式、工 作流程，以及菁彩声音响空间的设计和操作设置。【关键词】菁彩声；三维声；节目制作；工程模板；三维空间设计；声像设计DOI：10.3969/j.issn.1674-8239.2023.02.009Exploring the Program Production of Audio Vivid from Solar Terms ChinaQIN Ziyuan(China Media Group,Beijing 100045,China)【Abstract】In the Qingming section of the series Solar Terms China as an example,this article explores the ideas,methods,workflow of the post production synthesis of Audio Vivid programs,as well as the design and operation settings of Audio Vivid space.【Key Words】Audio Vivid;three dimensional sound;program production;session templates;3D space design;panner design菁彩声（Audio Vivid）技术是由中央广播电视总台（以下简称：总台）牵头起草的中国三维声技术解决方案，也是全球首个基于AI技术的音频编解码标准，支持主流三维声编码，兼容单声道、双声道、环绕声、三维声，可以将声音精准放置在三维空间的任何位置或移动，通过记录元数据信息准确描述每一个声音的位置、大小、轨迹、时间、长度。相较传统水平面声音格式而言，增加了高度信息，优化了空间感和方位感的呈现，从而更好地满足听众对声音高还原、高沉浸的体验需求。作为总台技术局的一名录音师，笔者持续关注国际上陆续出现的杜比全景声（Dolby Atmos）、DTS：X、IMAX Enhanced和Auro-3D等三维声技术，并积极加以尝试，积累了一些制作经验。2022年，随着国产菁彩声标准及技术白皮书的出台，笔者将三维声节目制作的经验应用于菁彩声的节目制作，先后参与为总台中国之声广播频率制作的多个菁彩声音频节目，其中包括：100集儿童广播剧“吴玉中奇趣儿童故事”怪怪奇小怪，在“小喇叭”节目以及云听APP播出，这是全国首次在广播端呈现三维菁彩声制作、双耳（Binaural）渲染的节目；2022年中国之声年度声音名片2022，难忘的中国之声，渲染为双耳菁彩声，在中国之声微信公众号播出，这是中国之声播出的首个新闻片花类菁彩声作品；节气中国为介绍二十四节气的系列公益节目，分为24篇声音作品，每篇时长约为2分半，采用菁彩声展现一个个节气图景，在新闻和报纸摘要栏目播出。笔者以节气中国中的清明篇为例，探讨菁彩声节目制作后期合成的思路、方式、工作流程，以及工程模板的设计和应用，从而高效完成菁彩声的节目创作。1 制作前的准备节气中国以声音宣传片的形式聚焦各地节气文化习俗、自然图景、文旅活动、发展画卷，旨在展现二十四节气背后的中国文化之美，以及传统文化在当下焕发的勃勃生机。该节目强化新闻时效，力求“正在发生”，菁彩声技术的引入，更是增加了身临其境的真实场景感受。为实现预期效果，节目制作前需要进行前期协调、素材整理和工程模版制作等工作。24个节气各有时间节点，作品中的音响素材无法一时一地一次采录。为此，中国之声广泛发挥各地方总站演艺科技 ENTERTAINMENT TECHNOLOGY47技术交流A u d i o T e c h n o l o g y 音响技术和地方台的采编力量征集素材，并将征集素材的截止时间定为播出前72小时、制作前48小时。这给音响采集、文案创作、播音录制、后期合成等工作带来极大挑战。作为负责菁彩声节目制作合成的录音师，每期节目笔者需要从记者现场拾取的上百条原始素材中选取典型音响，对其进行降噪修复等音频处理，并结合自己采录积累的三维声场环境素材，经过渲染器的加工合成，最终呈现“人在屋檐下、心在天地间”的听音体验。由于素材给到笔者的时间通常距离节目正式播出仅有近两天的时间，留给菁彩声制作的时间非常紧张。以笔者参与制作多个三维声节目的经验来说，节目从双声道扩展至三维声绝非在头顶上方增加声音元素这么简单，整个声场从两耳（或两只扬声器）之间的平面扩大为立体空间，需要增加很多声音素材来“撑空间”，不仅前方、上方，还有后方，对于声音元素运动的把控也复杂了很多。因此，在拿到素材开始制作之前，通过与中国之声编辑的沟通，对节目制作文案的研究和分析，提前设计好工程模板，建立轨道、预置相应音频轨道的效果处理链路，便于拿到素材后随即放置到对应轨道上，从而最大程度节省后期创建工程的时间。随着节目实践的增加，不断对模板进行优化，以更好满足节目制作的需求。2 菁彩声的制作工具笔者使用的工作站宿主为Nuendo 12，制作菁彩声节目的工具主要包括花瓣三维声（Petal Vivid）制作套件以及Asphere Binaural Monitor双耳音频渲染插件，如图1、图2所示。花瓣三维声套件是一款VST3格式的三维声插件工具（截至本文写作时还未发布支持Pro Tools的AAX插件版本），可在支持VST3的数字音频工作站中加载使用，辅助节目的三维声制作。这款工具支持双耳音频、5.1至7.1.4声道的三维声音频渲染导出，且支持导出WAV、ADM及菁彩声标准的AV3A格式。花瓣三维声套件由Petal Vivid Panner，Petal Vivid Renderer和Petal Vivid Return组成。1）Petal Vivid Panner支持对已挂载该插件的音频进行空间位置编辑并将编辑后的音频与空间位置信息传入Petal Vivid Renderer进行空间渲染。2）Petal Vivid Renderer支持对收到的多对象音频进行三维声混音，以及录制三维声母版并渲染导出。3）Petal Vivid Return支持将Petal Vivid Renderer渲染后的混音数据发送回工作站宿主。在选择菁彩声节目制作工具方面，笔者也进行了一些比较和研究，尤其是在对比Nuendo 12内置的杜比全景声渲染器/Panner和花瓣三维声渲染器/Panner的操作流程后，认为针对工时紧张的菁彩声节目制作选择内置的渲染器可以节省很多路由设置方面的时间，更加专注于创作本身，从而提升菁彩声广播节目制作的工作效率。因此，最终在工程模板中使用了内置的杜比全景声渲染器工具，并在节目制作完成后通过以下三种方式渲染（导出）不同格式音频，以满足不同分发平台。1）通过Asphere Binaural Monitor插件渲染双耳菁彩声音频。2）使用Nuendo工作站内置的Audio Mixdown功能导图1 花瓣三维声界面图2 Asphere Binaural Monitor双耳音频渲染插件2023年第2期 总第195期 季刊演艺科技 ENTERTAINMENT TECHNOLOGYNo.2 2023 Quarterly No.19548出对应录音棚扬声器系统布局的多声道音频文件。3）在Nuendo工作站中导出“万能混底”ADM格式文件，最后将ADM文件经过花瓣三维声渲染器（Petal Vivid Renderer）渲染转换为AV3A格式菁彩声音频。3 工程模板的设计在建立工程模版之初，最先要做的是检查工程设置。使用Nuendo内置的杜比渲染器，硬性要求是Buffer Size设置为512 Samples或1 024 Samples，工程采样率设置为48 kHz或96 kHz，笔者的工程模板采样率设置为48 kHz，音频接口Buffer Size设置为512 Samples，如图3所示。笔者制作菁彩声的录音棚是基于5.1.4扬声器系统布局的，因此在设置输出母线时，建立的是一组5.1.4母线，如图4所示。接下来，是在5.1.4 Out总线上插入Renderer For Dolby Atmos插件，如图5所示。点击Nuendo顶部菜单栏的Project（工程）选项卡，选择ADM Authoring for Dolby Atmos（适用于杜比全景声的ADM格式编写）选项，进入轨道设置窗口，并将Renderer（渲染器）选择Renderer For Dolby Atmos，设置如图6所示。接着便是工程模板的建立，从笔者制作广播三维声节目的经验来看，广播节目是远远用不到菁彩声标准最多支持的128路音频轨道的，所以在音轨设计上具备了更多灵活操作的空间。声床（Bed）方面，笔者分配了5组7.1.2声道编组轨（声床），分别对应BGM-Bed（配乐声床）、AMB-Bed（环境声床）、Vox-Bed（语言声床）、SFXRev-Bed（效果混响声床）以及VoxRev-Bed（语言混响声床），如图7所示。其中，语言混响声床为模板调整后新增，笔者认为与效果声共用混响无法实现最优效果，故分开专门配置混响器插件及参数设置。然后，对应声床编组轨道排布，便是具体分轨的设计：1)配乐轨建立了3个，分别是BGM-1、BGM-2、BGM-3，输出至BGM-Bed编组轨；2)环境轨建立了4个，双声道立体声轨道和四声道轨道各2个，其中双声道轨道用以导入记者现场采录的双声道立体声环境素材以及笔者自己音效库中的环境素材，四声道轨道则主要用来导入笔者音效库（如Boom Library）中专门的三维声场素材以及之前以Ambisonics制式自行采录的各类环境素材，输出至AMB-Bed编组轨；图3 节气中国 清明篇制作工程模版的设置图4 基于录音棚扬声器系统布局设置输出母线图5 5.1.4 Out总线上插入Renderer For Dolby Atmos插件图6 Renderer（渲染器）的设置图7 声床编组轨的设置演艺科技 ENTERTAINMENT TECHNOLOGY49技术交流A u d i o T e c h n o l o g y 音响技术3)语言轨建立了4个，分别对应Male-Voiceover（男旁白）、Female-Voiceover（女旁白）、Male-Dia（男正文口播）、Female-Dia（女正文口播），均输出至Vox-Bed编组轨，这样设计便于后期效果处理可分段落、分音色进行精细地调整设置；4）SFX效果轨道共计12轨，包含5个双声道立体 声轨 道 和 7 个 单 声 道 轨 道，这 些 音 轨 均 设 置 为 对象（Object）。在笔者的设计中，双声道立体声轨道突出的是空间中“面”的运动，与之对应的单声道轨道则是一个个声音效果“点”的运动，双声道立体声轨道的Panner（声像）自动化不会像单声道轨的Panner自动化那样频繁且复杂，单声道轨道上基本每个声音对象都涉及到运动轨迹的自动化记录。尽管如此，笔者针对两类轨道内容，均在空间由高到低设计了一样的轨道命名及分配，包括Top（最高，Z:T，Z轴设置为最高位置T，以下同理）、T-M（最高至中等，Z:T25）、Med（中等，Z:M）、M-B（中等至最低，Z:B25）、Bottom（最低，Z:B）5个空间高度位置，这种设计是考虑到有些声音对象在记录运动轨迹时并不会发生高度上的运动，而是在固定高度做左右或是环绕的运动，因此只需要把素材放到相应高度轨道上，进行水平面的Panner自动化操作即可，而针对自上而下或者自下而上涉及到高度变化的对象，笔者则专门建立了最后两个单声道音轨，以满足此类运动相对复杂的对象制作需求，轨道分配及命名如图8所示。需要说明的是，模板中这些轨道的建立及分配并非一成不变的，需要针对实际节目制作灵活调整。例如，在5个高度之外需要增加其他高度设置的音轨，或者删除掉无用的轨道节省计算机运算资源等。上述设置无误后，还需要检查每个轨道的输出端口设置，注意：1）对象轨道的输出一定要选择5.1.4 Out母线；2）声床编组的输出一定要送至5.1.4 Out母线；3）声床轨道一定要输出至声床编组轨道，例如BGM-1、BGM-2、BGM-3输出至BGM-Bed编组轨。最终，设置好声床及对象分配后，在渲染器轨道类型显示如图9所示。4 菁彩声的制作菁彩声的制作重点是要合理地设计音响在三维空间的布局，并基于此方案进行相应的系统设置。4.1 三维空间设计图10为节气中国清明篇编辑提供的制作文案，灰色底纹部分为音响，无底纹部分为旁白。音响大多为现场采录的立体声素材，但这些素材对于撑起三维声场的需求而言远远不够，还需利用素材库（三维声场素材优先）加以充实。以“鹌鹑叫”为例，笔者在AMB图8 分轨的设计图9 声床及对象的分配2023年第2期 总第195期 季刊演艺科技 ENTERTAINMENT TECHNOLOGYNo.2 2023 Quarterly No.19550轨道上加入了湖水的三维声素材作为空间打底，在SFXMonoBottom轨道上加入动物划水音效，并将鹌鹑叫声素材放置在SFXMonoM-B轨道（Z轴数值向下进行微调），后期通过同步绘制SFXMonoBottom和SFXMonoM-B轨道的声像自动化曲线模拟鹌鹑在水面上游曳的听觉效果。再比如“安徽杏花村童声诵读清明+山西汾阳酿酒”音响的设计，脑海里呈现“安徽杏花村童声诵读清明”的画面是孩童们在春和景明、微风徐徐的户外站在一起齐声朗读，所以AMB轨道为带有阵阵微风、间或出现鸟叫的三维声素材，SFXStereoMed轨道为童声诵读，重现三维声场；酿酒画面转换为特写声音镜头，从现场采录素材中剪辑出环境声片段，放置在AMB立体声轨道上通过UpMix上转为三维声场，再将剪辑出来的不同酿酒环节声音片段分别放置在SFXMonoM-B和SFXMonoMed轨道上，并在声像设计时尝试在水平面不同方位跳跃，凸显声音跳切效果。打开建立的工程模板，将编辑提供的采录素材以及素材库中选取的音响素材导入工程模板，依照节目文案和空间设计进行剪辑，并进行相应轨道分配后（因节气中国旁白仅为女播一条素材，故删去其他无用语言轨道），完成工程文件的建立，如图11所示。4.2 轨道处理链路4.2.1 声床编组轨道处理在各个声床编组轨道上，根据轨道定义相应增加了效果器插件，如图12。在BGM-Bed上增加了上混音插件NUGEN Halo UpMix，可以将双声道立体声素材上转为7.1.4/7.1.2/5.1.4等三维声音频格式，对于音乐的上转设置选择06 Music 3D，效果较为理想，如图13所示。在AMB-Bed上增加了上混音插件WDUpMix。笔者在对比使用后认为，该插件对双声道、多声道等环境素材的上转换设置更加简单易行、界面友好，在需要微调时仅需要调整相应的推杆便能得到令人满意的效果，如图14所示。针对语言和效果混响声床，统一采用了Stratus3D混响器插件，并分别选择了Lge Vocal Plate和City Spaces预置。这款混响器插件可调参数非常详细，精心调整后可以得到非常出色的空间呈现。图10 节气中国清明篇的制作文案图11 节气中国清明篇的工程界面图12 声床编组轨道相应增加的效果器插件图13 NUGEN Halo UpMix中音乐上转的设置图14 WDUpMix上混音插件演艺科技 ENTERTAINMENT TECHNOLOGY51技术交流A u d i o T e c h n o l o g y 音响技术4.2.2 分轨处理针对不同的分轨类型，在设计模板时也增加了相应的效果器插件，如图15所示，默认是旁通状态，根据处理需求随时开启并进行参数微调。针对语言轨道，处理链路为Fabfilter Pro-Q3均衡器（对人声进行低切及音色调整）Waves Rvox压缩器（控制人声动态，提升响度）Waves Clarity Pro降噪器（经过人声频段低切及响度提升后，对整体人声进行智能化降噪处理）Fabfilter Pro-DS咝声消除器（对人声多余的齿音进行控制）iZotope RX 10 Mouth De-click（用来消除人声中可能出现的不干净口水声）Waves Scheps 73均衡器（这是笔者在音乐混音时常常使用的均衡器，主要是用来增加人声的各频段染色）。在其他的AMB环境轨道或者SFX效果轨道上，效果器使用的不多，基本上是均衡器加降噪器的组合，主要意图都是为了消除素材中可能出现的稳态噪声，最大程度获得干净清晰的音响素材。4.2.3 格式转换处理在某些制作项目中，当用到笔者采录的Ambisonics一阶四声道素材，需要对其进行格式转换，转换插件SoundField By RODE，可将B-Format格式音频转换为7.1.2声道声床素材，如图16所示，供后期制作使用。4.3 声像设计经过处理后的音轨可以根据需要发送人声混响和效果混响轨道，这个操作与双声道立体声制作方式是一致的，这里主要阐述三维声Panner的自动化设计。针对这种类型节目的旁白（均为画外音），它的声像位置基本是不运动的，一般会把它设置在正前方偏上一点的位置，具体参数如图17所示，旨在得到比面对面讲述稍微增加点疏离感的效果（毕竟是无源人声）。在声音效果的对象轨道上，声像的自动化设计可以发挥想象，但需要注意几点。1）三维声场的高度范围是5只水平面扬声器所在的Bottom平面与4只吊顶扬声器所在的Top水平面之间，所以对象的高度定位不能简单通过渲染器Panner的图示位置来判断。2）在绘制自后向前/自前向后/自左向右/自右向左等移动轨迹时，尽可能避免直接穿过中心点运动，否则在后期需要渲染为双耳音频时，容易出现明显的跳跃感，即听感上出现了中空，直接从一侧跳到了另一侧。3）节气中国节目涉及的运动很多，以清明篇为例，有水图15 分轨相应增加的效果器插件图16 格式转换插件SoundField By RODE图17 旁白声像的设置2023年第2期 总第195期 季刊演艺科技 ENTERTAINMENT TECHNOLOGYNo.2 2023 Quarterly No.19552中鹌鹑游泳、红嘴鸥群飞翔北归等动物的运动，孩童荡秋千、放风筝等人物运动，以及酿酒、制作清明稞等动作声音特写，但大多数运动都是在水平面发生的，不涉及高度的移动，所以采用上述设计的模板可以最大程度地简化绘制自动化曲线操作，只需记录一次水平面运动即可，如图18所示。4）由于采用Nuendo内置的杜比渲染器，因此在绘制运动曲线、空间声像信息（元数据）传送至渲染器均在软件内部完成，与采用Dolby Atmos Renderer或花瓣三维声等外部渲染器工具的制作流程相比会简化一些，但原理是相同的。4.4 框选音频头尾生成播出端所需文件完成了音频剪辑、音量平衡、效果处理及自动化轨迹记录后，节目制作主体完成，检查无误后，便可以框选音频头尾，回到ADM Authoring for Dolby Atmos窗口中，点击右下角的Export ADM File（导出ADM文件）选项，导出最终需要交付的ADM文件，即完成在工作站宿主生成万能混底的全流程。如果需要导出双耳菁彩声，则需要在输出母线上插入字节跳动Asphere Binaural Monitor双耳渲染插件来完成。另外，可以通过Nuendo工作站File选项卡ExportAudio Mixdown选项导出Split Channels 5.1.4共10个音频分轨文件，在目前的广播应用中，笔者常常会将这10轨音频给到云听APP去进行菁彩声的双耳音频渲染。5 结语以上初步探讨了节气中国菁彩声的设计思路，以及整个制作流程的实践。菁彩声行业标准在中央广播电视总台的大力推动下，其技术应用在广播电视领域得到飞速发展，仅2023年以来，除中国之声的多个专题节目采用菁彩声呈现外，2023年总台春节联欢晚会的节目制作和现场直播也全程应用了菁彩声技术，场外观众戴上耳机就可以身临其境地感受录制现场震撼的三维声场；而广播端春晚2023年中国之声中国声音中国年，也特别开辟了三维菁彩声展现单元，播放以“家国梦想”为主题的菁彩声专题作品，每个作品约3分30秒，全部以即时的新闻声音素材构成，没有解说，表达形式具有广播音频的鲜明特色；正月十五晚直播的中国之声元宵晚会灯火暖神州中，由中国之声主持人献唱的主题歌灯火里的中国经过重新编曲，以双耳菁彩声格式制作播出。而面对即将开幕的2023成都大运会和2023杭州亚运会，电视端及广播端也在积极发力，推进菁彩声的直播应用。当然，受限于传统立体声广播的局限，笔者目前制作的大多数菁彩声节目均采用双耳渲染版本来播出及收听，相信随着车载音频市场的蓬勃发展，汽车这样一个独享的沉浸式听音空间，会成为菁彩声扬声器重放的一个重要突破口，在汽车上欣赏原汁原味的多声道菁彩声音频节目指日可待。参考文献：1 三维菁彩声（Audio Vivid）技术白皮书V1.0R.北京:世界超高清视频产业联盟,2022.2 Silence Lu.用Cubase/Nuendo做杜比全景声音乐(1)内置的杜比渲染器CP/OL.https:/ 水平面运动的自动化曲线（编辑 杜 青）