多媒体行业质量监控最佳实践.pdf

卷首语本书基于媒体类直播点播场景，通过对于当前主流头部客户质量监控体系模型进行提炼，输出了客户端日志上报数据推荐、质量监控通用指标及报警方式建议。可帮助相关业务同学更清晰了解媒体类客户质量核心诉求，并为多媒体客户提供质量监控系统参考。目录一、行业质量监控指标简介61.1 公共监测平台 PK 关键指标61.2 多媒体行业头部客户关键指标61.3 共性关键指标简介7二、客户端基础数据上报82.1 背景82.2 客户端字段通用参考82.2.1 直播播流日志打点上报字段-直播质量相关82.2.2 点播播流日志打点上报字段-点播质量相关92.2.3 直播&点播播流打点上报通用字段102.3 定制化功能客户端字段112.4 客户端日志上报频度及粒度11三、行业通用质量衡量指标123.1 直播客户123.1.1 直播实时质量指标说明-类别 1123.1.2 直播实时质量指标说明-类别 2123.1.3 直播质量日报说明-类别 1（区分业务）133.1.4 直播质量日报说明-类别 2（区分域名、省份、运营商、top 流、天粒度、分钟粒度出数据）143.1.5 直播质量日报说明-类别 3（活动直播、常规直播出数据）163.1.6 直播质量日报说明-类别 4（区分业务）173.1.7 直播质量季报说明-类别 5（区分业务季度出）183.2 短视频业务203.2.1 点播实时质量指标说明-类别 1（区分业务）203.2.2 点播质量日报说明-类别 1（区分业务）213.2.3 点播质量日报说明-类别 2（区分域名、省份、运营商、天粒度、分钟粒度出数据）233.3 长视频业务233.3.1 实时质量监控指标说明-类别 1（区分业务）233.3.2 点播质量日报说明-类别 1（区分综合点播、OTT 点播、下载）243.4 共性指标建议253.4.1 质量分数说明253.4.2 质量日报263.4.3 实时监控27四、质量报警方式284.1 告警平台284.2 直播告警指标284.3 点播告警指标284.4 告警内容284.4.1 直播：平台（邮件、钉钉）284.4.2 点播：平台（邮件、钉钉）294.5 告警阈值29一、行业质量监控指标简介一、行业质量监控指标简介多媒体行业客户通用点播指标：类别 1：卡顿率、中断率、错误率类别 2：成功率1.3 共性关键指标简介直播通用：开播失败率、卡顿率、秒开率、百秒卡顿时长（具体计算逻辑详见 2.2 章节）点播通用：卡顿率、错误率、失败率、百秒卡顿时长（具体计算逻辑详见 2.2 章节）二、客户端基础数据上报二、客户端基础数据上报参考字段名释义host播流域名url播流完整 urlis_stream_received是否拉到流retry_cnt重试次数block_cnt卡顿次数first_screen_duration首屏时间buffer_time卡顿时长dns_durationdns 解析耗时http_connect_durationhttp 建连耗时first_package_duration收到首包耗时error_message错误码和错误信息，包含 HTTP Status Codes；2.2.2 点播播流日志打点上报字段-点播质量相关参考字段名释义clienttime客户端日志生成时间，客户端本地时间，UTC 时间戳duration视频时长play_duration播放时长host域名url完整 urlblock_count卡顿次数二、客户端基础数据上报二、客户端基础数据上报参考字段名释义local_resolved_cdn_ip本地 dns 解析获取的 cdn_ipnetwork_resolved_timehttpdns 解析获取的 cdn_iptcp_connect_timeTCP3 次握手时间ssl_connect_timeSSL 握手时间2.3 定制化功能客户端字段除通用的指标外，现在越来越多的客户端会引入第三方或者自研的功能性 SDK，在这种情况下可以根据实际使用的功能 SDK 情况，定制对于该 SDK 运行情况的监测指标。如播放端植入用于实现 P2P 功能的 SDK，可以根据业务情况定制了以下字段：参考字段名释义P2P status是否开启 p2pP2P serverP2P 节点 IPP2P downP2P 模块下载字节数handleRequestm_reqId补片请求recvfromcdn收到的补片数onResponseTimeout补片超时数2.4 客户端日志上报频度及粒度每个终端用户对于一个 URL 的播放行为均进行日志打点上报，如果终端用户量级大，那可以有一定的抽样比，视频类业务可以 10s 进行一次行为上报；三、行业通用质量衡量指标 0|卡顿时长 0|重试次数 0|收到的数据=0计算窗口：播放器 10 秒上报一次，卡顿率计算窗口 1 分钟，需要对计算窗口内同一个视频的连续观看行为进行去重；跨多个计算窗口的观看行为，应被计入多个计算窗口count(distinct(block_cnt0|buffer_time0|retry_cnt0|traffic=0)/count(behavior_id)开播失败率直播10s 实时上报开播失败率：未看到视频画面的比例(观看时长大于 1s 且首屏时间为 0)，包含用户自行退出的情况count(rt_cost_first_screen=0)/count(is_first_report)3.1.2 直播实时质量指标说明-类别 213三、行业通用质量衡量指标名称数据来源说明算式参考卡顿率客户端打点日志定义：有卡顿的观看行为占总观看行为的比率，5 分钟加权平均值 公式：卡顿率=有卡顿的观看行为/全部观看行为有进行去重黑屏率客户端打点日志5 分钟黑屏人数/5 分钟总播放人数3.1.3 直播质量日报说明-类别 1（区分业务）质量分数计算公式各项指标加权平均:总分=开播失败率得分*0.3+百秒卡顿次数得分*0.2+百秒重试次数*0.1+首帧时间得分*0.1+百秒卡顿时长(sum 算法)得分*0.1+百秒卡顿时长得分*0.2指标归一化说明:负向指标得分=100*(1-(该 host 当日数据-min(所有 host 最近 30 日数据)/(max(所有 host最近 30 日数据)-min(所有 host 最近 30 日数据)正向指标得分=100*(该 host 当日数据-min(所有 host 最近 30 日数据)/(max(所有 host 最近30 日数据)-min(所有 host 最近 30 日数据)强调事项：首帧时间大于 1.5s，首帧得分为 0各指标算法及说明：三、行业通用质量衡量指标三、行业通用质量衡量指标各项指标加权平均：总分=百秒卡顿次数*5+百秒卡顿时长*5+拉流成功率单项分*30+端到端延迟*15+视频渲染百秒卡顿时长*15+视频渲染百秒卡顿次数*10+首帧时间单项分*20指标归一化说明：百秒卡顿次数、百秒卡顿时长、视频渲染百秒卡顿时长、视频渲染百秒卡顿次数、拉流成功率归一化：性能最好的 CDN 供应商的分数为 1，其他的为数值与性能最好的 CDN 供应商的比值。0=单项分=1。首帧算法调整：按照区间打分首帧时间分值650ms100diff 50ms100diff 100ms80diff 200ms60diff=400ms0端到端延时调整：按照区间打分端到端延时分值8.5 s0 分三、行业通用质量衡量指标三、行业通用质量衡量指标名称数据来源说明算式参考卡顿比客户端打点日志定义：有卡顿的观看行为占总观看行为的比率，5分钟加权平均值公式：卡顿率=有卡顿的观看行为/全部观看行为注意点：去重每 5 分钟，第一次自然卡顿就立即上报（r=0&f=1），每个第 5 分钟累计汇总上报一次，次数含第一次上报的次数，无卡顿也上报（r=1&f=5），即每 5 分钟最多报 2 条，最少报一条;卡顿比客户端打点日志关闭播放、播放完成、切换码率时，尽量把 5 分钟内累计的缓冲（卡顿）情况上报（r=3&f=2，完成上报）只有自然卡顿才记录为一次卡顿。首次加载、拖拽、后台切到前端导致的卡顿都不算错误率客户端打点日志5 分钟错误次数/总播放次数注意点：1）每次播放/下载出错都需要即时上报数据2）播放中断后，只有在更换播放地址才能继续播放的情况下，才算是出错；请求相同的播放地址能继续播放算卡顿3.1.6 直播质量日报说明-类别 4（区分业务）日报指标说明：秒开率、中度卡、重度卡、黑屏比、p2p 卡比、flv 卡比、adr 卡比、ios 卡比、webh5 卡比注意：除秒开为全天数据其它都是高峰期20 点-24 点汇总统计各基础指标说明及算法：三、行业通用质量衡量指标18名称数据来源说明算式参考卡顿率客户端打点日志定义：有卡顿的观看行为占总观看行为的比率，1 分钟加权平均值公式：卡顿率=有卡顿的观看行为/全部观看行为注意点：去重黑屏率客户端打点日志avg(黑屏 value)，1 分钟内的加权平均值秒开率客户端打点日志1 分钟内首屏时间小于 1000ms的请求数占比count(load_time=1000)/count(load_time 0)平均耗时客户端打点日志首屏加载平均耗时avg(load_time)where 0 load_time 三、行业通用质量衡量指标2）20s 264 感官卡比率（15%）：基准值为 2%，每高于基准值 0.1 个百分点扣 5 分；（4%0 分）算法：以 20s 作为采集单位。20s 感官卡比率=卡顿样本数/总上报样本数3）20s 265 感官卡比率（12%）：基准值为 2%，每高于基准值 0.1 个百分点扣 5 分；（4%0 分）算法：现网最近 1 个月时间，上报统计数据计算出来卡顿率平均值4）20s p2p 感官卡比率：（12%）基准值为 2%，每高于基准值 0.1 个百分点扣 5 分；（4%0 分）算法：现网最近 1 个月时间，上报统计数据计算出来卡顿率平均值5）感官卡比超标率：（15%）基准值为 0.2%，每高于基准值 0.01 个百分点扣 2.5 分；（0.6%0 分）算法：取 TOP200 主播。采集 24 小时的数据。统计时，单个主播的统计总时长不应该低于 1 小时。低于 1 小时的舍弃。对于统计时长，样本数低于 100 的统计时长要做舍弃。总卡比超标率=（所有主播卡比率超过 10%的总时长）/所有主播总统计时长6）视频加载成功率：（10%）基准值 100%，每低于基准值 0.05 个百分点扣 1 分；（95%0 分）算法：以 http 加载成功为基础。画面渲染成功样本数/总样本数7）端到端播放延时：（4%）基准值为 4s，每高于基准值 1s 扣 10 分；（14s 0 分）算法：播放延时=客户端画面时间-主播端画面时间8）音视频同步(ms)：（4%）基准值 50ms，每高于基准值 1ms 扣 1 分；（150ms 0 分）算法：音频时间-视频时间，取绝对值9）2000 转码(264&265)流画面质量：（4%）基准值 70.0%，每低于基准值 0.1 个百分点扣 2 分；（90%0 分）算法：转码流录制视频和源视频的结构相似度 ssim 值三、行业通用质量衡量指标2010）转码流视频播放流畅度：（4%）基准值 99.9%每低于基准值 0.01 个百分点扣 2.5 分。（99.5%0 分）算法：录制视频与源视频匹配的帧数/源视频的帧数3.2 短视频业务3.2.1 点播实时质量指标说明-类别 1（区分业务）名称单位数据来源说明算式资源下载失败率资源下载日志资源下载失败的请求数 总请求数sum(Failed/ratio)/sum(1/ratio)=(Failed/ratio)/(Failed/ratio)+(Succeeded/ratio)+(Cancelled/ratio)资源下载日志，考虑 ratio下载速度Mbps资源下载日志sum(下载数量)/sum(下载时间)sum(download_size*8/1024/1024)/(sum(network_cost)/1000)视频资源慢速下载率资源下载日志慢速下载的请数 总请求数；慢速下载定义：该次资源下载速度 1ssum(download_size*8/1024/(network_cost/1000)1000)/ratio)sum(1/ratio)资源下载日志，考虑 ratio视频准备间/首帧时间ms点播播放器从点击短视频 feed 至可渲染首帧画面之前的时间avg(first_screen)21三、行业通用质量衡量指标名称单位数据来源说明算式(开播后)故障率点播播放器播放器因视频数据异常退出的观看次数 总观看次数；首屏大于 0（成功开播的），error_message 不等于 0 的比例count(first_screen 0 and error_message!=0)/ratio卡顿率点播播放器发送过卡顿的观看次数/总观看次数count(block_count!=0)/count(*)百秒卡顿时长s点播播放器sum(卡顿时长)sum(观看时长)*100sum(block_duration)sum(play_duration)*100百秒卡顿次数s点播播放器sum(卡顿次数)sum(观看时长)*100sum(卡顿次数)sum(观看时长)*100sum(block_count)sum(play_duration)*1000*1003.2.2 点播质量日报说明-类别 1（区分业务）质量分数计算公式各项指标加权平均:总分=cdn 资源下载失败率得分*0.2(开播后)故障率得分*0.1+百秒卡顿次数*0.1+卡顿率*0.1+下载速度得分*0.1+CDN 资源慢速下载率得分*0.1+视频准备时间得分*0.2+百秒卡顿时长*0.1指标归一化说明:负向指标得分=100*(1-(该 host 当日数据-min(所有 host 当日数据)/(max(所有 host 当日数据)-min(所有 host 当日数据)三、行业通用质量衡量指标22正向指标得分=100*(该 host 当日数据-min(所有 host 当日数据)/(max(所有 host 当日数据)-min(所有 host 当日数据)各指标算法及说明：名称单位数据来源说明算式资源下载失败率资源下载日志资源下载失败的请求数 总请求数sum(Failed/ratio)/sum(1/ratio)=(Failed/ratio)/(Failed/ratio)+(Succeeded/ratio)+(Cancelled/ratio)资源下载日志，考虑 ratio下载速度Mbps资源下载日志sum(下载数据量)/sum(下载时间)sum(download_size*8/1024/1024)/(sum(network_cost)/1000)视频资源慢速下载率资源下载日志慢速下载的请数 总请求数；慢速下载定义：该次资源下载速度 1ssum(download_size*8/1024/(network_cost/1000)1000)/ratio)sum(1/ratio)资源下载日志，考虑 ratio视频准备间/首帧时间ms点播播放器从点击短视频 feed 至可渲染首帧画面之前的时间avg(first_screen)(开播后)故障率点播播放器播放器因视频数据异常退出的观看次数 总观看次数；首屏大于 0（成功开播的），error_message 不等于 0 的比例count(first_screen 0 and error_message!=0)/ratio卡顿率点播播放器发送过卡顿的观看次数/总观看次数count(block_count!=0)/count(*)23三、行业通用质量衡量指标名称单位数据来源说明算式百秒卡顿时长s点播播放器sum(卡顿时长)sum(观看时长)*100sum(block_duration)sum(play_duration)*100百秒卡顿次数s点播播放器sum(卡顿次数)sum(观看时长)*100sum(卡顿次数)sum(观看时长)*100sum(block_count)sum(play_duration)*1000*1003.2.3 点播质量日报说明-类别 2（区分域名、省份、运营商、天粒度、分钟粒度出数据）质量分数计算公式各项指标加权平均:总分=错误率/3+中断率/3+卡顿率/3各指标算法及说明：单位时间：每 5 分钟为一个单位。首帧时间：从用户开始播放到出现首帧画面的时长，单位时间：毫秒。卡顿：在播放过程中出现的网络卡顿次数，一次播放中，不论卡顿多少次，都计数为 1 次。未起播：用户请求多次播放地址均未加载成功，计数为 1 次。播放中断：用户在播放过程中，因网络等原因未成功继续播放，计数为 1 次。错误数：指响应 5XX 状态码、连接超时的请求。播放失败：用户请求多次主备播放地址均未播放成功，计数为 1 次。百秒卡顿时长：用户每播放 100 秒视频所经历的卡顿时长，单位时间：毫秒。3.3 长视频业务3.3.1 实时质量监控指标说明-类别 1（区分业务）三、行业通用质量衡量指标三、行业通用质量衡量指标名称数据来源说明卡顿比客户端打点日志关闭播放、播放完成、切换码率时，尽量把 5 分钟内累计的缓冲（卡顿）情况上报（r=3&f=2，完成上报）只有自然卡顿才记录为一次卡顿。首次加载、拖拽、后台切到前端导致的卡顿都不算错误率客户端打点日志5 分钟错误次数/总播放次数注意点：1）每次播放/下载出错都需要即时上报数据2）播放中断后，只有在更换播放地址才能继续播放的情况下，才算是出错；请求相同的播放地址能继续播放算卡顿3.4 共性指标建议3.4.1 质量分数说明直播质量分数报表频次：日次、月次、季次质量分数参考指标：百秒/20 秒卡顿次数，开播失败率，首帧时间，百秒重试次数，拉流成功率等各项指标加权平均:总分=视频加载时间得分*0.2+20s264 感官卡比率得分*0.15+20s265 感官卡比率得分*0.15+20sp2p 感官卡比率得分*0.12+感官卡比超标率得分*0.15+视频加载成功率得分*0.1+端到端播放延时得分*0.04+音视频同步得分*0.04+2000转码(264&265)流画面质量得分*0.04+转码流视频播放流畅度得分*0.04总分=开播失败率得分*0.3+首帧时间得分*0.1+百秒卡顿时长(sum算法)得分*0.1+百秒卡顿时长(avg 算法)得分*0.2+百秒卡顿次数得分*0.2+百秒重试次数*0.1三、行业通用质量衡量指标三、行业通用质量衡量指标3.4.3 实时监控直播实时监控维度区分参考：区分域名、省份、运营商、流、端实时监控参考指标：开播失败率、黑频率、卡顿率等点播实时监控维度区分参考：域名、省份、运营商、流、端实时监控参考指标：开播失败率、黑频率、卡顿率等三、行业通用质量衡量指标四、质量报警方式下行告警方式：业务类型 域名 时间 地区 运营商 卡顿率占比 开播失败率占比 观看人数 开播失败率状态 持续时间举例：NOTI 直播质量监控 直播域名 03-19 11:30新疆-电信:当前卡顿率 24.13%,开播失败率 3.78%,观看行为数 1090;卡顿率超过阈值4.4.2 点播：平台（邮件、钉钉）下行告警方式：业务类型 域名 时间 地区 运营商 终端类型 下载量 下载失败率占比 下载失败率日同比变化 持续时间举例：WARN 短视频下载监控 点播域名 03-19 06:20宁夏-VIDEO-移动-WIFI:当前下载失败率 9.60%,下载量 9624.0;下载失败率日同比变化 125.1%4.5 告警阈值类别 1：按省份运营商+域名维度通过算法预估不同时段的基线，动态调整告警阈值；一般不同省份运营商的下行网络质量不一，业务质量也会不一，同时移动网络月初及月末网络质量也不一质量也会有差异；该方式对算法要求高，前期算法学习期误告较多；类别 2：省份运营商+域名维度设置统一基线阈值；该方式相对不复杂；