B站前沿多媒体技术保障用户体验与创作权益.pdf

B站前沿多媒体技术保障用户体验与创作权益多媒体实验室多媒体实验室 成超成超Part 2.Part 2.基于LLM的视频拆条应用Part 3.Part 3.虚拟广告植入的技术探索Part 1.Part 1.全链路画质质量监测与提升Part 4.Part 4.面向规模化的AI视频数字水印系统全链路画质质量监测与提升全链路画质质量监测与提升PartPart0101全链路画质质量监测与提升全链路画质质量监测与提升云/边/端画质增强VPUSNPEDirectMLTensorRTHi AI已完成已完成进行中进行中规划中规划中生 产 端云 端终 端PartPart0101全链路画质质量监测与提升全链路画质质量监测与提升基于VQA驱动的画质增强链路决策#1#2#N#1#2#NS-ScoreS-ScoreS-ScoreT-ScoreT-ScoreT-Score ScoreVQA Input VideoFrame SequenceClipsSpatial embeddingTemporal embeddingSpatial featuresTemporal featuresSpatial ScoresTemporal Scores画质量纲Rank百分制PartPart0101全链路画质质量监测与提升全链路画质质量监测与提升BiliBiliVisionVision 画质矩阵4K60fps 实时实时超分超分30-120fps 实时实时超帧超帧高糊高糊修复修复8bit8bit SDR SDR 升升10bit10bit HDRHDRPartPart0101全链路画质质量监测与提升全链路画质质量监测与提升编码亲和的AI前处理 重构/去噪lniiiffXBlocktifyDCT transformZigzag FlattenF-Domain Attentionreconstructed imagereconstructed spectrumweighted spectrumEntorpyssim RD-curve on avc/hevcRecoveryDifferenceCodecDistortionhigh qualitylow qualityrecovery qualityTrainTestVmaf RD-curve VQA RD-curve Vmaf RD-curve 低低秩秩重重构构信信噪噪比比增增强强普通转码普通转码615.9 kbps615.9 kbps增强转码增强转码616.9 kbps616.9 kbpsPartPart0101全链路画质质量监测与提升全链路画质质量监测与提升重新思考端侧增强无 处 理 样 张USM USM 锐 化 增 强 样 张DehaloDehalo 锐 化 增 强 样 张无 处 理 样 张去雾增强 样 张Bartelson-BrenBartelson-Brenememanan 效应=饱和度定义饱和度定义：明度定义明度定义：基于LLM的视频拆条应用PartPart0202基于基于LLMLLM的视频拆条应用的视频拆条应用高能看点-背景视频入库人工打点内容描述GIF生成原原 始始 高高 能能 看看 点点 生生 产产 方方 式式 (人人 工工)弹幕时间点KDE估计Relative extrema尖峰定位基基 于于 高高 能能 弹弹 幕幕 生生 产产 方方 式式 (滞滞 后后)PartPart0202基于基于LLMLLM的视频拆条应用的视频拆条应用大语言模型小试牛刀我记得这里他们已经追静香拜托你救救这没什么啦他们已经追这样就放心快逃我们就不会如果想要人我知道了是的，其实是的 其实这整件事说来话长哦 没关系 就告诉老师吧 怎么了 我的肚子好饿 哎呀呀呀 大家都没事吧 结合上下文，从下列对话中选出最精彩的一句，请输出原句：记得这里应该没有这么大条的河流才对啊 一定是他们把提高性能液洒在森林中造成的 会B快把你们的便当交出来，不肯交出来的话，我们就不会把这个小鬼还回去，他们想利用出木山当人质好来抢便当吗，把便当交给他们吧BLLMPartPart0202基于基于LLMLLM的视频拆条应用的视频拆条应用高能看点自动化生产流程我记得这里他们已经追静香拜托你救救这没什么啦他们已经追这样就放心快逃我们就不会如果想要人我知道了是的，其实是的 其实这整件事说来话长哦 没关系 就告诉老师吧 怎么了 我的肚子好饿 哎呀呀呀 大家都没事吧 结合上下文，从下列对话中选出最精彩的一句，请输出原句：记得这里应该没有这么大条的河流才对啊 一定是他们把提高性能液洒在森林中造成的 会BLLM外挂字幕ASR字幕OCR字幕推荐类型为：冒险B推荐概述为：小鸟变大引发的混乱B4.15Q3.88Q4.2Q字幕生成LLM理解高能弹幕动态分析美学评估PartPart0202基于基于LLMLLM的视频拆条应用的视频拆条应用结果演示超凡动物奇观超凡动物奇观时间戳时间戳：00:22:29 00:22:3800:22:29 00:22:38人生一串人生一串时间戳时间戳：00:09:00 00:09:1100:09:00 00:09:11雾山五行雾山五行时间戳时间戳：00:07:35 00:07:4300:07:35 00:07:43虚拟广告植入的技术探索虚拟广告植入的技术探索PartPart0303虚拟广告植入的技术探索虚拟广告植入的技术探索中小UP主的困境B站牵线UP主与广告主大大UPUP主主1v11v1商单商单（花火花火）直播带货直播带货共创内容为商业硬广单额较大，收入可预期B站作为货架为UP主提供商品中小中小UPUP主主悬赏模式悬赏模式托管模式托管模式广告与内容完全无关积少成多，收入不可预期T Think hink:用户为什么要跳过跳过广告？悬赏/托管有什么缺点缺点？有没有成功模式模式可借鉴？T Think hink:T Think hink:PartPart0303虚拟广告植入的技术探索虚拟广告植入的技术探索虚拟广告实现路径PartPart0303虚拟广告植入的技术探索虚拟广告植入的技术探索VPP演示与VOP探索3.36.2 XAided Recall3.26.2 XBrand Favorability6.69.2 XPurchase Intent*右侧右侧demodemo来自于来自于MirriadMirriad官方网站官方网站，仅用于技术演示仅用于技术演示面向规模化的面向规模化的AIAI视频数字水印视频数字水印PartPart0404面向规模化的面向规模化的AIAI视频数字水印视频数字水印当前视频版权机制的优缺点视 频 指 纹D R MPartPart0404面向规模化的面向规模化的AIAI视频数字水印视频数字水印AI视频数字水印bilibilicopyright_*buid_*timestampPartPart0404面向规模化的面向规模化的AIAI视频数字水印视频数字水印锚点旁路优化DCT CompressResizeCropOverlaypixel losshinge lossAnchor EmbeddingAnchor DetectorDegration LayersImage FlowImage Flowinput imageinput anchoranchor-embedded imagenoise imagetransformed anchorrecovered anchorPartPart0404面向规模化的面向规模化的AIAI视频数字水印视频数字水印版权保护链路被攻击图像HH锚点隐写水印编码器录 屏拉 流剪 辑搬 运机 器 抽 检人 工 抽 检用 户 检 举水印解码器锚点检测版权标识侵权流程取证流程传播流程版权认证快速版权认证PartPartENDINGENDING总结总结