央视频“冬奥数字雪花”融媒体传播创新应用_耿羽.pdf

广播与电视技术 2023年 第50卷 第3期10热点 论点网络视听互动技术应用 Application of Network Audio-visual Interaction Technology央视频“冬奥数字雪花”融媒体 传播创新应用【摘 要】本文以央视频“冬奥数字雪花”项目为例，具体介绍了该融媒体传播项目的创新应用设计与实施方案，并通过该项目总结了主流媒体在报道重大直播赛事节目中可应用的新型大小屏互动方式，以及融媒体产品技术传播手段，可为主流媒体融合传播、创新发展提供新的应用思路。【关键词】融媒体传播，大小屏互动，区块链，人脸识别【中图分类号】G2 【文献标识码】B 【DOI编码】10.16171/ki.rtbe.20230003001【本文献信息】耿羽.央视频“冬奥数字雪花”融媒体传播创新应用J.广播与电视技术，2023,Vol.50(3).Innovative Application of Integrated Media Communication for the Project Winter Olympics Digital Snowflakes by CMG MobileGeng Yu(China Media Group,Beijing 100020,China)Abstract Taking the Winter Olympics Digital Snowflake project of CMG Mobile as an example,this paper specifically introduces the innovative application design and implementation plan of the integrated media communication project,and summarizes the new interaction between traditional television and mobile devices methods that can be applied in reporting major live events and programs,as well as the means of technology transmission of integrated media products through this project.It provides a new application idea for the integrated communication and innovative development of mainstream media.Keywords Integrated media communication,Interaction between traditional television and mobile devices,Blockchain,Face recognition耿羽(中央广播电视总台，北京 100020)0 引言“数字雪花”，见证冬奥。在距离北京冬奥会开幕还有 30天时，中央广播电视总台 5G 新媒体旗舰平台央视频正式发布“数字雪花”创新应用项目。该项目以全新的新媒体互动方式，兼具科技感与艺术感。通过央视频，让数亿观众不仅于“观看”冬奥，更能实际沉浸式参与冬奥甚至直接“飘入”现场中来，尤其是开幕式独创的“数字雪花”代表正在观看2022 年 10 月，国家广电总局举办的第二届高新视频创新应用大赛评选结果出炉。经过推荐、预赛、决赛和公示，大赛最终评选出互动视频、沉浸式视频、VR 视频、云游戏、超高清视频等 5 个赛道 12 个场景共 110 个项目入选创新项目（一、二、三等奖）和入围项目（优秀奖）。为促进获奖项目创新经验的交流互鉴，积极推进广播电视和网络视听行业高新视频技术落地应用，广播与电视技术特开设高新视频创新应用大赛相关主题专栏，邀约有典型意义和创新特色的获奖项目负责人或主要参与者撰稿成文，以飨读者。相信该系列专栏的开设必将进一步促进高新视频新业态新服务的打造，推动广播电视和网络视听行业高质量创新性发展。编 者 按广播与电视技术 2023年 第50卷 第3期11热点 论点Application of Network Audio-visual Interaction Technology 网络视听互动技术应用的观众，独一无二的雪花形象飘落在观众席上的这份深度参与感，更是创造了用户通过官方媒体观看大型国际赛事的新型交互体验。1 项目简介央视频在平台发展过程中，已经成为许多网民观看比赛的首选平台，用户广泛的认可和好评也证明了央视频在重大顶级赛事观看体验方面的竞争力。在北京冬奥会期间，在5G+4K/8K+AI 等前沿产品技术的加持下，央视频不仅面向全球用户转播比赛，还结合融媒体传播创新应用更多地丰富了平台的内容。冬奥数字雪花项目让央视频作为主流媒体充分发挥其作用，在挖掘冬奥会的文化内涵的同时以创新的方式表达冬奥主题，向全世界展示中国的故事。将具有冬奥特色的雪花与每位央视频用户的个人信息相结合，将文化、艺术和冬奥盛会融为一体，向全世界展示中国热烈欢迎冬奥的氛围，响应了“带动三亿人参与冰雪运动”的号召。在冬奥赛前预热传播阶段，用户可以从央视频进入到“数字雪花”互动专题页，在经过一系列操作后，可以生成唯一的“数字雪花”形象与身份，并获得唯一编码的“数字雪花”证书。用户通过该唯一身份可以在整个赛事过程中参与到央视频的系列“数字雪花”互动项目中来，在整个赛程中陪伴用户实现虚拟与现实的结合。尤其是当北京冬奥会开幕式在万众瞩目下拉开帷幕之时，央视频的“数字雪花”通过直播现场“构建一朵雪花”伴飞视频环节，作为整场开幕式的用户参与主线，带领着千万数字雪花用户与直播大屏的各国雪花同时飘入会场，让用户拥有关于北京冬奥会的完美参与回忆。2 技术实现介绍此次融媒体传播创新应用的技术亮点主要在于两大项目组成部分，数字雪花生成和数字雪花伴飞互动视频。整个环节从数字雪花生成、数字雪花证书颁发，到数字雪花形象应用于开幕式直播与收藏点播的飘雪视频片段，以及系列玩法如人脸识别、换头像、智能背景音乐生成等相互叠加助力，使得项目互动方式从独立的互动能力向复合的融媒体互动产品技术能力进化。此次项目各阶段主要互动内容及流程如图1 所示。2.1 数字雪花生成 2.1.1 数字雪花构成数字雪花共分为形、肢与脸三部分，其中形有 300 个、肢有 90000 种、雪花脸有 300 类，共可以得到 81 亿种组合形式的数字雪花。同时，将形、肢、雪花脸利用图片处理算法进行不同程度的偏移、旋转、美化，用以精确地拼接成一朵完整的“数字雪花”，如图 2 所示。该雪花所生成的唯一编号证书，是通过结合央视频用户ID 做散列算法后，得到唯一的散列值生成的，这种方法从散列值无法反推出用户 ID，在保护了用户隐私安全的同时使得每个用户得到专属于它的唯一一朵独特的雪花与证书。2.1.2 人脸识别为保证用户本人的参与感体验，此次“数字雪花”生成还结合了用户上传照片的能力，使希望本人的形象可以结合图1 冬奥数字雪花项目各阶段主要互动内容广播与电视技术 2023年 第50卷 第3期12热点 论点网络视听互动技术应用 Application of Network Audio-visual Interaction Technology在雪花上的用户，能够根据上传的人脸照片毫秒级生成数字雪花形象。在生成雪花形象的时候，集成了中国国粹京剧脸谱，可根据用户人脸计算生成独一无二的京剧脸谱形象。通过在云端抽取近百个人脸的特征点，上传后可精确识别人脸的特征，并分析表情为开心、平静、悲伤等情绪。此特征可用于京剧脸谱的适配，适配后的脸谱还包含眼睛、鼻子、嘴位置的大、标准、小相结合的 27 种变化。除此以外，人脸还可以通过 AI 算法进行风格化处理，可根据用户喜好的美颜与年龄风格，在保留用户本人照片特征的同时，进行漫画化处理。2.1.3 区块链技术“世界上没有两片一样的雪花”，同样的，为了保证每片“数字雪花”的唯一性，央视频也通过区块链技术进行了一系列算法的保证。通过用户 ID 进行相关计算生成的“数字雪花”身份证书，包含 ID 序号、存证时间、数据哈希值等唯一编码。作为央视频雪花用户的数字资产，永久保留、不被篡改。数字雪花及证书示例见图 3。为支撑央视频数字雪花用户能够永久保存数字雪花证书，此次活动提供了 5 倍于常规的性能。2.2 数字雪花伴飞互动视频 数字雪花伴飞互动视频此次项目共有两个版本，一个是在开幕式直播当时的直播间节目大小屏互动版本共计 70 秒，一个是开幕式结束后在冬奥会期间用户基于数字雪花证书入口可下载的属于用户唯一的纪念伴飞视频共计 24 秒。视频生成均利用了大量 AI 算法技术提供服务。在云渲染技术的加持下，每个用户数字雪花飘落的路径和角度都各不相同，因此数字雪花的伴飞互动视频也都是独一无二的存在。并且通过 AI 算法生成的风格各异的飘雪音乐为每个视频提供了完美的听觉感受，形成了独一无二的冬奥体验视频，让每位用户的冬奥回忆不仅于形，更填于声。2.2.1 雪花 3D 模型生成此次基于 AI 的雪花生成算法，生成的是 3D mesh 高精度模型文件，在高并发直播的场景下无法保证画面的流畅性。因此，为了保证开幕式直播视频的观看体验，需再通过 un-subdivide 逆向减面算法，导出低精度模型版本，单个雪花面数由数十万面减少到万面左右，不仅可大幅减少对手机端侧渲染算力的要求，又可以保证肉眼视觉效果基本一致。2.2.2 手机端侧 3D 模型渲染为保证手机端的互动画面中数字雪花的呈现效果，采用了一系列技术手段进行保障。通过采样instance rendering方法，减少雪花独立组件顶点数 GPU 提交次数，使雪花飘动视觉效果更流畅。通过利用材质贴图+Fresnel+normal+bloom 算法，实现非常逼真的雪花晶莹剔透的冰晶视觉效果，使得数字雪花更加生动。通过 BillBoard 技术，实现光晕、星芒效果，使得雪花飘动更灵动、酷炫。通过 TAA 算法，实行抗锯齿效果，使得雪花边缘更顺滑。图2“数字雪花”雪花部分的构成图3“数字雪花”人脸部分的构成与雪花证书广播与电视技术 2023年 第50卷 第3期13热点 论点Application of Network Audio-visual Interaction Technology 网络视听互动技术应用2.2.3 雪花飘落轨迹为模拟逼真的雪花飘落轨迹效果，将飘落视频的艺术效果转换成工程可识别的 JSON 文件，记录每帧画面中雪花的xyz 位置、xyz 方向的偏转角度、缩放比例等，再在视频中将数字雪花对应进去，精确还原回飘落轨迹的艺术效果。2.2.4 背景音乐制作在版权音乐基础上，利用 AI 算法，提取出原版音乐的主旋律并配上国风、民族、爵士三种风格化的伴奏和弦。这样，用户可以立刻识别出音乐的主题，同时又与原版音乐呈现出不同的风格，以实现音乐的多样化和创新。3 融合创新情况北京冬奥会是我国首次举办冬季奥林匹克运动会这个冬季体育盛会，在这次冬奥会上，央视频充分利用了技术创新手段，以融合创新的方式加强冬奥会互动与观看体验，是主流媒体结合大型赛事版权内容利用融媒体技术进行创新的绝佳机会。在以往的大型赛事直播过程中，广大观众用户仅能通过电视或手机直播进行观看，或仅能通过一些传统的互动手段如直播答题、直播连线等方式参与到电视节目环节中来。“冬奥雪花”项目利用 AI、区块链等技术，结合开幕式直播，让观众以个人的数字身份真实地参与到飘雪入场环节。“带动三亿人参与冰雪运动”不仅仅可以通过实际冰雪运动开展，还可以让更多人通过虚拟现实进行参与。创新型互动画面使北京冬奥会的冰雪运动会面向亿万观众用户更加有趣、有意义。在数字时代，通过增加互动性、虚拟性和可视性，实现技术与创意的结合，使得用户的观看体验得到提升。在节目制作环节，充分发挥中央广播电视总台大屏赛事直播与央视频小屏互动直播之间的互动关联性。利用科技驱动创新发展，“飘进我的冬奥开幕式”环节保证每个用户的数字雪花飘落的路径和视角都是经过精心设计的。在开幕式的直播中与播控部门充分进行联调配合，通过大屏小屏不同的指令下发，分屏展示不同节目内容，让雪花用户可以在央视频看到专属于自己的“千人千面”雪花开幕式。“数字雪花”作为央视频专门为北京冬奥会推出的大型融合创新项目，上线后就凭借其创新多样的玩法收获了众多用户的喜爱和广泛传播。在疫情之下，一朵朵雪花打破了观众无法亲临开幕式现场的物理隔阂，拉近了冰雪赛事与用户之间的距离，实现了社交媒体的深度运营。专属的“数字雪花”诞生之后，央视频不止局限于节目与虚拟画面的互动，还围绕冬奥数字雪花项目不断推出新的互动玩法。除了主流媒体内部的互动创新，还充分利用社交网络进行“雪花微信头像”“雪花表情包”“雪花集卡活动”等周边活动的发起，均以贴近年轻人的社交和喜好为目标进行活动设计。除此之外还出品了众多的数字雪花周边实体产品，如“雪花小夜灯”“雪花饰品”等，在受到广大用户欢迎的同时，还通过央视频商城获得了不小的商业变现价值。4 结束语当前随着不断冲击的互联网传播形式、分众传媒的不断冲击，主流媒体面临着越来越复杂的传播困局，我们需要适应快速变化的媒体环境和观众不断扩大的“胃口”需求。随着数字技术的发展，观众对内容的需求和访问方式发生了巨大变化，因此主流媒体需要不断创新才能满足观众的 需求。随着科技的不断发展，媒体融合不再是简单的传统媒介之间的融合，更多地需要通过创新型技术应用来助力其发展，串联整个产品线。融媒体发展也应该从简单的节目内容制作层面提升到节目产品制作的概念上来。好的视频内容用户的参与不仅限于观看，更能通过更多的创新技术手段实际参与到项目中来。通过多种不同的媒介形式更好地吸引受众的兴趣、增强受众的参与感。在未来，基于产品技术创新的融媒体传播的应用将会对主流媒体传播越来越重要，内容制作也可以结合更多的产品技术创新手段，如 AIGC、VR/AR、交互式设计、游戏化、智能语音识别、机器学习、计算机视觉等，从而促进技术创新在各个内容制作领域都得到更广泛的 应用。参考文献：1 央视频.央视频“数字雪花”互动项目上线，为全民打造冰雪体育盛宴EB/OL.2022-01-05.https:/ 广电视界.1500万朵“数字雪花”飘进鸟巢，央视频为你奉上独家冬奥记忆EB/OL.2022-02-05.https:/ 李鑫.融媒体视域下党史传播的创新实践以人民网“红色云展厅”为例J.新闻战线，2021,(14):64-67.4 黄楚新,陈智睿.全景呈现 技术跃升 内容融通2021年中央广播电视总台春晚融媒体传播特色J.电视研究，2021,(02):25-27.第一作者简介：耿羽（1990），女，中央广播电视总台工程师，硕士。主要从事视听新媒体、央视频相关互动研发产品方面的工作，曾参与过疫情 24 小时、国聘行动等重大项目。