用户体验质量体系原理及优化指导书.docx

4G用户体验质量QoE体系原理及优化指导书

1 2023年4G网络QOE算法简介和考核目的
1.1 指标简介：
4G时代已经来临，网络建设连续发力、客户挖掘和发展加之各类新兴APP业务的多样性（智能终端的快速普及和微信、视频、证券、云盘等新兴移动互联网业务应用的日趋丰富），用户对移动数据业务使用体验的规定愈来愈高。因此，需要进行对用户使用的主流业务进行科学的量化和评价，以便进一步进行客户感知量化管理和端到端短板问题挖掘及精确优化。
为了紧密贴近用户上网实际感知，必须要转变网络质量管理方式，不仅关注网络性能，更要关注业务质量与用户感知的量化评价。本次基于单用户单次会话控制面和业务面（S1接口、S11接口、S6A接口信令）全流程事件构成感知评价要素，从接入性（Accessibility）、完整性（Integrity）和保持性（Retainability）三个部分的用户感知关键指标KQI来构建4G客户QoE（用户的体验质量）评估体系，以通过QoE的量化的形式来评估用户感知的好坏限度，并对评估出感知差的用户、站点/社区、SP进行全程全网端到端的分析优化，从而提高用户的上网感知，即让用户上网时获得“上得去，不中断，速率快”的良好体验。
2023年4G网络客户业务QOE评价算法变化情况描述：本次重要根据浏览、视频、应用下载和即时通信业务实际特性，重要基于各类业务QOS规定特性，例如：交互类时延规定低、会话类时延规定高、视频类速率码率和清楚度速率差异规定。针对接入性能、完整性能和保持性能进行门限重新定义，更加适合现有客户满意度需求，通过无线、核心网络和业务层面优化，达成进一步提高客户满意度和业务感知的目的。
（1）浏览业务小包时延和大包感知权重进行优化，根据小包流量和大包流量、小包次数和大包次数比例和流量奉献情况，适当增长大包速率感知权重，由前期小包：大包=65%：35%优化为小包：大包=20%：80%；
（2）视频业务四大APP（乐视、优酷、爱奇艺、腾讯）进行标清、高清、超清、1080P测实验证，2023以标清视频为基准进行视频感知制定，由于客户使用高清视频比例达成65%左右，因此2023年以高清视频感知需求为基准，制定了贴近业务需求的速率感知门限，更加准确的评价视频客户使用业务感知高低。
（3）应用下载大流量业务速率感知提高，为了进一步保障和提高4G存量客户感知，适当提高大包数据感知门限，例如>8M应用下载业务优秀门限由2.6Mbit/S提高为4Mbit/S。
1.2 考核目的：
4G业务QOE以1月QOE百分制得分为基准，各地市每月目的为在一月份基础上，百分制得分增长1%为达成考核目的（举例：2月份为在1月份基础上增长1%，三月份基础上增长2%，以此类推，假如改月QOE得分增长比例达成1月基础的比例例，即为考核达标）；假如按照一月份基础上，某月增长的百分制数值达成90分，默认为达成考核目的）

2 4G客户业务体验QoE实行背景
传统的KPI只能集中反映网络设备的性能（控制面），很多时候存在KPI很好但业务质量不佳的情况。而KQI 聚焦用户面和控制面，更能贴近用户的业务质量和用户体验，而QoE则是由各类业务（如浏览类、视频类、下载类等）的重要KQI构建而成，即相对传统的KPI更能贴近用户的真实上网感知。即KPI重要评估的是网络管道的质量，而QoE/KQI则是评估网络管道内的业务质量。
如网页浏览的KQI模型：

用户上网的重要信令流程：

3 QoE体系建立思绪描述
一套体系：本次的QoE（用户的体验质量，Quality of Experience，QoE）重要针对浏览类业务、视频业务、应用下载业务、即时通信业务进行基于上网业务全流程KQI（关键质量指标）感知评估。QoE体系的建立思绪重要为：各类业务接入、完整、保持性能的KQI指标选取及定义、各类业务的KQI指标门限及权重的选择、QoE体系的计算。
两级定界：在QOE模型建立中，全面引入表征QI（业务指标），基于IUPS接口进行KQI质量问题分析，一级问题定位界：针对网络、客户、终端和SP等维度QOE评价差的网元、客户、终端和SP进行S1接口以上和以下质量问题定位，S1接口以上问题表征QI为：上行SYN时延、上行RTT时延、上行重置率；S2接口以下问题表征QI为：下行重传率、下行RTT时延、下行重置率和单位流量切换次数，鉴权失败S6A接口指标关联，短信、语音被叫感知SGS接口指标关联,；二级问题定界：S1接口ATTACH、PDN、默认承载建立、承载修改和业务请求失败CAUSE关联细分，结合设备KPI进行感知具体影响因素分析，业务质量侧SP失败代码关联分析拟定服务器侧具体问题，无线侧基于网络接入KPI（关键性能指标）保持KPI和完整性能KPI，关联无线侧容量、编码配置、功能参数、无线质量和移动性能相关表征PI（性能指标）进行具体问题核查和优化。
三个层面： 基于端、管、云优化思绪，在QOE模型基础之上，业务维度与端（VIP客户维度，热门终端维度）管（网络、社区、ENODEB、MME、SGW、PGW、APN维度、3GNET路由维度、SP落地维度）云（热门业务SP维度、服务器参数设立维度、分布式服务器落地性能分析）。进行QOE评价和QI关联输出QOE感知差客户和终端、社区和设备、业务和服务器，进一步进行各专业协作分析和优化。
备注：在有资源条件下，基于各类业务主流终端主流业务测试QOE感知常态工作，在后期体现，力求做到全网评估QOE与测试QOE基本吻合。
3.1 QOE百分制算法介绍
4G客户QOE百分制按照四类业务感知评价分值进行聚合计算，计算地市维度、社区维度、终端维度和SP维度QOE得分，浏览业务、视频业务、应用下载和即时通信四类业务权重占比为：浏览业务30%、视频业务30%、应用下载30%和即时通信10%。
QOE得分=浏览业务QOE得分*30%+视频业务QOE得分*30%+应用下载QOE得分*30%+即时通信QOE得分*10%。

3.2 浏览类业务QoE模型构建
3.2.1浏览业务QOE感知评价模型介绍
基于S1/SGS/S6A接口平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流程指标性能进行评估，重要信令指标按照一般上网流程划分三类，涉及业务接入KQI指标（ATTACH、PDP、DNS、SYN、GET）业务完整性能KQI指标（GET和POST感知速率和时延）和保持性能KQI指标（TCP重传率、TCP重置率和IU-RELEASE掉线率），上述三类指标量化后系数加权值作为数据业务上网感知性能（QOE）的最终数值。
表1：浏览业务QOE评估体系—考核KQI子项权重和感知门限
KQI子项
KQI子项权重
QI
门限
QI权重
优秀
良好
正常
差
接入性KQI
30%
E-RAB建立成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
PS寻呼成功率(%)
>93%
90%-93%
88%-93%
<88%
5%
TAU成功率(%)
>98%
97%-98%
95%-97%
<95%
10%
attach成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
PDN建立成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
bearer成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
更新承载成功率
>97%
96%-97%
94%-96%
<94%
10%
Service_request成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
DNS成功率(%)
>92%
90%-92%
85%-90%
<85%
10%
SYN成功率(%)
>95%
93%-95%
90%-93%
<90%
5%
HTTP_GET成功率（%）
>95%
93%-95%
90%-93%
<90%
10%
完整性KQI
50%
<100K数据包时延（小包）
<300
300-330
330-380
>380
20%
200K速率
>2200
1800-2200
1500-1800
<1500
80%
随即计算
300K速率
>3000
2500-3000
1500-2500
<1500
随即计算
500K速率
>4000
3500-4000
2500-3500
<2500
随即计算
800K速率
>4000
3500-4000
2500-3500
<2500
随即计算
1024K速率
>4000
3500-4000
2500-3500
<2500
随即计算
2048K速率
>4000
3500-4000
2500-3500
<2500
随即计算
>2048K速率
>6000
5000-6000
3000-5000
<3000
随即计算
保持性KQI
20%
TCP下行重置率
<0.3%
0.3%-0.4%
0.4%-0.5%
>0.5%
40.00%
TCP下行重传率
<0.8%
0.8%-1.1%
1.1%-1.5%
>1.5%
30.00%
UE异常掉线率
<0.2%
0.2%-1%
1%-5%
>5%
30.00%

3.2.2浏览业务QOE数学模型介绍
QOE=QOEa+QOEb+QOEc
浏览业务QOE计算模型中QOEb、QOEb和QOE c分别是指业务接入性能子项QOE值、业务完整性能子项QOE值和业务保持性能子项QOE值，其中：QOEc=X* 业务保持性KQI值、QOEb=Y*业务完整性KQI值、QOEa= Z*业务接入性KQI值，X、Y、Z值为各子项业务KQI值系数权重因子，X+Y+Z=1。
3.2.3浏览业务QOE和KQI等级划分
根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义X=30%，Y=50%，Z=20%。
（1）浏览业务QOE感知等级门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
（2）浏览业务QOE由接入KQI、完整KQI和保持KQI构成，权重为：30%、50%、20%；
（3）接入KQI、完整KQI和保持KQI感知等级门限如下。
接入KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
完整KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
保持KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分。
KQI感知门限划分原则：定义KQI得分小于差值门限为“感知差”等级，KQI得分大于差值小于良好值定义为“达标”等级，KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级，KQI得分大于优秀值门限定义为感知“优秀”等级。

3.2.4浏览业务KQI计算模型描述
（1）接入性能KQI评估简介
如下表所示，通过S1接口平台记录相应维度（本次记录为全网区域和社区级别）子项KQI指标值，在制定KQI相应业务流量子项KQI感知门限后，根据QOE计算模型计算公式对业务感知进行评估打分（百分制），各子项KQI权重加权获得接入性能KQI感知得分，输出接入性能KQI感知等级。
业务接入性KQI值=R1*ERAB成功率+R2*寻呼成功率+R3*TAU成功率+R4*ATTACH成功率+R5*PDN成功率+R6*默认承载成功率+R7*业务请求成功R7+承载修改成功率+ R8+R9*DNS成功率+R10*SYN成功率+R11*GET成功率。其中: ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、承载修改成功率、SYN连接成功率、DNS成功率和GET成功率作为各自单项KQI量化值，表达式如下：
R1+R2+R3+R4+R5+R6+……+ R11=1(R1,R2,R3….为ATTCH业务\PDN\DNS 等KQI的权重因子)。
本次加大ERAB、ATTACH成功率、默认承载建立成功率和GET功率权重（RAB无无线侧表征、GET为SP侧），11类接入事件权重分别为：10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。
（2）完整性能KQI评估简介
浏览业务完整性KQI评估计算：重要评估用户在进行数据业务过程中业务感知好坏情况，用户数据业务真实感知性能情况，从用户真实感知及业务性能感知参数本质出发，依据小包时延和大包速率制定的感知门限，由于实际网络各区间包时延和速率与满足感知差别较大，部分门限进行调整。
浏览业务QOE完整性KQI值= Q1*W1+Q2*W2+Q3*W3+ Q4*W4+ Q5*W5+Q6*W6+Q7*W7+Q8*W8。
评估各包大小业务时延感知性能门限指标值如下：以下小包时延门限根据前期感限速测试获得，门限研究部分阐述小包校正后良好感知速率为400KBIT./S，换算时延为1秒。大包业务速率门限根据业务时延QOS计算获得。
表2 完整性能KQI时延感知门限速率转换表
包区间
优秀I
良好门限Q
达标门限T
3GPP换算速率
I门限换算时延（S）
小包完毕时延(MS)
330
350
380（校正）
400
0.5
200K速率
2200.00
1800.00
1066.67
142.22
1.5
300K速率
3000.00
2500.00
1200.00
266.67
2
500K速率
4000.00
3500.00
2023.00
444.44
2
800K速率
4000.00
3500.00
2133.33
622.22
3
1024K速率
4000.00
3500.00
2730.67
800.00
3
2048K速率
4000.00
3500.00
3000.00
977.78
3
>2048K速率
6000.00
5000.00
3000.00
1066.67
3
其中: Q值相应8个区间速率感知得分，为浏览业务想数据流大社区间相应的感知得分值。 W为8个区间权重因子。
W1+W2+W3+W4+W5+W6….+W8=1(W1,W2,W3。。。为不同业务包区间权重因子)。
浏览业务小包和大包业务权重计算表：根据流量和业务次数40%:60%比例计算获得。
包区间次数
<50KB
50-100KB
100-200KB
200-300KB
300-400KB
400-500KB
500-600KB
>600KB
次数占比
81.44%
16.99%
1.00%
0.22%
0.10%
0.05%
0.04%
0.16%
流量占比
42.17%
15.73%
10.01%
4.14%
3.24%
2.09%
1.72%
20.91%
业务权重（W1-W8）
65.73%
W1
16.48%
W2
4.61%
W3
1.79%
W4
1.36%
W5
0.87%
W6
0.71%
W7
8.46%
W8
（3）保持性能KQI评估简介
保持性能KQI门限和权重：保持性能KQI重要以TCP重传率、TCP重置率和IU-RELEASE释放率，作为表征KQI来衡量，KQI分项权重为40%、30%、30%。优秀值、良好值和差值门限感知如下：
用户业务保持性能评估，重要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情况，用户是否有正常数据业务行为及其成功率感知情况，其中重要体现为业务过程中断率（TCP重置率）和TCP包重传率丢包等情况，对记录指标按照各业务流程加权平均值作为业务完整性能KQI综合感知指标。
定义浏览业务保持性KQI值=
K1*TCP重传率+K2*TCP重置率+K3*UE异常RELEASE掉线率，K1+K2+K3=1(K1重传率权重40%,K2重置率权重30%,K3为IU-RELEASE掉线率权重30%)。
3.3 视频类业务QoE模型构建
3.3.1视频业务QOE感知评价模型介绍
基于IUPS平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流程指标性能进行评估，重要信令指标按照一般上网流程划分三类，涉及业务接入KQI指标（ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、承载修改成功率、SYN连接成功率、DNS成功率和GET成功率）业务完整性能KQI指标（GET和POST感知速率和时延）和保持性能KQI指标（TCP重传率、TCP重置率），上述三类指标量化后系数加权值作为数据业务上网感知性能（QOE）的最终数值。
表3：视频业务QOE评估体系—考核KQI子项权重和感知门限
KQI子项
KQI子项权重
QI
门限
QI权重
优秀
良好
正常
差
接入性KQI
30%
E-RAB建立成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
PS寻呼成功率(%)
>93%
90%-93%
88%-93%
<88%
5%
TAU成功率(%)
>98%
97%-98%
95%-97%
<95%
10%
attach成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
PDN建立成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
bearer成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
更新承载成功率
>97%
96%-97%
94%-96%
<94%
10%
Service_request成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
DNS成功率(%)
>92%
90%-92%
85%-90%
<85%
10%
SYN成功率(%)
>95%
93%-95%
90%-93%
<90%
5%
HTTP_GET成功率（%）
>96%
94%-96%
90%-94%
<90%
10%
完整性KQI
50%
<100K数据包时延（小包）
<300
300-330
330-380
>380
0%
200K速率
>3000
2200-3000
1200-2200
<1200
100%
随即计算
500K速率
>3000
2200-3000
1600-2200
<1600
随即计算
1024K速率
>3500
2500-3500
1800-2500
<1800
随即计算
4096K速率
>4000
2500-4000
1800-2500
<1800
随即计算
8192K速率
>4000
2500-4000
1800-2500
<1800
随即计算
16384K速率
>2600
2023-2600
1800-2023
<1800
随即计算
>16384K速率
>3000
2500-3000
1600-2500
<1600
随即计算
保持性KQI
20%
TCP下行重置率
<1%
1%-2%
2%-3%
>3%
50.00%
TCP下行重传率
<0.8%
0.8%-1.1%
1.1%-1.4%
>1.4%
50.00%
UE异常掉线率
<1%
1%-3%
3%-4%
>4%
00.00%

3.3.2视频业务QOE数学模型介绍
结合主流视频的播放原理、信令流程、业务特性、播放卡顿现象、播放下载速率等，基于IUPS口信令对视频播放KQI建模如图6所示。

图6 视频感知KQI建模

视频业务QOE数学公式如下：
QOE=QOEa+QOEb+QOEc
QOE a、QOEb和QOE c分别是指业务接入性能子项QOE值、业务完整性能子项QOE值和业务保持性能子项QOE值，其中：QOEb=X* 业务保持性KQI值、QOEe=Y*业务完整性KQI值、QOEa= Z*业务接入性KQI值，X、Y、Z值为各子项业务KQI值系数权重因子，X+Y+Z=1。
根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义X=30%,Y=50%,Z=20%。
3.3.3视频业务QOE和KQI等级划分
（1）视频业务QOE感知等级门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
（2）视频业务QOE由接入KQI、完整KQI和保持KQI构成，权重为：30%、50%、20%；
（3）接入KQI、完整KQI和保持KQI感知等级门限如下：
接入KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
完整KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
保持KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分。
KQI感知门限划分原则：定义KQI得分小于差值门限为“感知差”等级，KQI得分大于差值小于良好值定义为“达标”等级，KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级，KQI得分大于优秀值门限定义为感知“优秀”等级。
3.3.4视频业务KQI计算模型描述
（1）接入性能KQI评估
由于三类感知KQI分别由多项业务事件表征KQI组合构成，因此，需要针对每项KQI具体信令记录指标值进行感知高低研究，对投诉客户聚合社区分析，定义KQI衡量差值，根据感知研究经验和其他运营商平均指标，不同业务根据小包时延和大业务速率结合用户体验回访结果制定感知门限。
业务接入性KQI值=R1*ERAB成功率+R2*寻呼成功率+R3*TAU成功率+R4*ATTACH成功率+R5*PDN成功率+R6*默认承载成功率+R7*业务请求成功R7+承载修改成功率+ R8+R9*DNS成功率+R10*SYN成功率+R11*GET成功率。其中: ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、承载修改成功率、SYN连接成功率、DNS成功率和GET成功率作为各自单项KQI量化值；表达式如下：
R1+R2+R3+R4+R5+R6+……+ R11=1(R1,R2,R3….为ATTCH业务\PDP\DNS 等KQI的权重因子)。
本次加大ERAB、ATTACH成功率、默认承载建立成功率和GET功率权重（RAB无无线侧表征、GET为SP侧），11类接入事件权重分别为：10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。
接入性能计算：如下表所示，通过S1接口平台记录相应维度（本次记录为全网区域和社区级别）子项KQI指标值，在制定KQI相应业务流量子项KQI感知门限后，根据QOE计算模型计算公式对业务感知进行评估打分（百分制），各子项KQI权重加权获得接入性能KQI感知得分，依据根据客户投诉和业务实际感知（小包时延、大业务速率）制定的感知门限，输出接入性能KQI感知等级。
（2）完整性能KQI评估
视频完整性能感知门限和权重定义：重要以各类业务客户感知为重要评价标注，不同业务，客户感知指标评价有所不同，视频业务完整性能感知评估，结合数据传送慢启动因素，按照业务请求数据以小包时延和大包速率进行感知门限制定和评估，小包以业务感知时延为衡量标准，定义感知时延<300毫秒为优秀值，视频时延大于300毫秒小于330毫秒为良好值，定义大于330毫秒小于380毫秒为达标值，时延大于380毫秒为差值。大于100K字节数据按照速率区间进行感知门限制定（以前期视频业务速率感知验证为依据）。
评估各包大小业务时延感知性能门限指标值如下：
视频业务数据“包区间”
优秀值I
良好值Q
达标值T
小包完毕时延（100K）
300
330
380
100-200KB速率
3000
2200
1200
200-500KB速率
3000
2200
1600
500-1000KB速率
3500
2500
1800
1000-4096KB速率
4000
2500
1800
4096-8192KB速率
4000
2500
1800
8192-16834KB速率
2600
2023
1800
>16834KB速率
3000
2500
1600
表4 完整性能KQI时延感知门限速率转换表
视频业务完整性KQI评估计算:重要评估用户在进行数据业务过程中业务感知好坏情况，用户数据业务真实感知性能情况，从用户真实感知及业务性能感知参数本质出发，业务时延为用户真实感知重要因素，对记录指标按照每次业务不同包大社区间进行组合运算，结合不同业务感知门限值进行业务保持性KQI值评估。
完整性能KQI=小包时延得分*20%+大包速率感知得分*80%(权重根据业务次数和流量加权获得)。
小包权重20%，大包权重80%由小包（<50KB）和大包（>50KB），根据流量和业务次数60%:40%比例计算获得。
大包速率感知完整性KQI值= Q1*W1+Q2*W2+Q3*W3+ Q4*W4+ Q5*W5+Q6*W6+Q7*W7+Q8*W8
其中: Q值相应8个区间，为视频业务想数据流大社区间相应的得分值。
W1+W2+W3+W4+W5+W6….+W8=1(W1,W2,W3。。。为不同业务包区间权重因子)，根据流量和业务次数60%:40%比例计算获得。
备注：社区级别完整性能计算模型中，小包和大包占比为差异计算获得。
（3）保持性能KQI评估
保持性能KQI门限和权重：保持性能KQI重要以TCP重传率和TCP重置率，作为表征KQI来衡量，KQI分项权重为50%和50%。优秀值、良好值和差值门限感知如下：
用户业务保持性能评估，重要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情况，用户是否有正常数据业务行为及其成功率感知情况，其中重要体现为业务过程中断率（TCP重置率）和TCP包重传率丢包等情况，对记录指标按照各业务流程加权平均值作为业务完整性能KQI综合感知指标。
定义视频业务保持性KQI值= K1*TCP重置率+K2*TCP重传率，K1+K2=1(K1重传率权重为50%,K2重置率权重为50%)。
3.3.5视频业务播放“卡顿”问题研究
为了能从信令上找出移动视频播放“卡顿”的特性，通过在无线信号质量差的环境（RSCP<-105dbm,Ec/Io<-12dB）对手机USIM卡限速等措施进行大量的模拟测试及数据分析得知：在视频业务出现“卡顿”时，由客户端会发送大量的上行reset信令。结合TCP/IP协议原理，当下行大量的分片长时间未被客户端确认时，客户端积极关闭链路，原先处在监听的端口就会被客户端认为是无效的端标语，后续服务器发送的这些分片就会被客户端认为是异常的，会导致客户端reset重置此类分片，信令流程如图5所示。
图5 视频播放出现“卡顿”现象相应的信令
对卡顿现象的信令特性分析可知，导致卡顿问题重要是由于用户在访问内容服务器时，客户端侧对服务器下发的未确认的数据分片进行大量的reset行为所致。通过对每次卡顿现象中reset的次数进行记录，在移动视频业务播放卡顿较为明显的情况下，reset分片的次数均在30次以上，因此拟定搜狐视频出现卡顿现象相应的reset次数定界为30次以上。
本期以TCP重置率（RST次数/视频业务成功次数）进行衡量，按照RST发生原理，在上行或者下行TCP数据没有接受到之后，进行重传机制启动和相应数据重传，相应下行或者上行三次TCP DUP ACK后确认数据丢失，且超过TCP定义的RTO后，进行RST复位建链，因此，RST之前，数据传送过程中，实际随着有丢包或者超时，本次结合丢包重传和RST定义一次业务过程中RST的事件，结合业务过程中RST次数30次出现卡顿现象，本次定义RST重置率大于10%且TCP重传率大于8%为卡顿门限（结合实际情况，连续RST无法实现记录）。
3.3.6视频业务完整性能感知门限研究
视频播放速率为内容会话的下行总流量除以内容会话GET消息到本次会话结束的时间间隔，单位为kbps。结合IUPS口信令记录，通过对手机USIM卡限速（速率从800kbps到2048kbps，步长为200）来模拟评估乐视视频的播放感知。在无线信号质量良好的环境下（RSCP>-80dbm,Ec/Io>-6dB），从大量的测试分析得知：下载速率大于1300kbps时，观看视频流畅，偶尔有卡顿问题，而速率低于1300kbps时，均出现不同限度的卡顿和初始缓冲严重现象。因此初步拟定搜狐视频点播基准速率为1300kbps左右，低于该基准速率时用户感知相对较差，如表1所示。
表7 主流APP标清视频点播基准速率与卡顿门限关系

表8 主流APP高清视频点播基准速率与卡顿门限关系
表9 主流APP超清视频点播基准速率与卡顿门限关系

备注：以上只针对普通标清移动搜狐视频业务进行分析，未考虑终端性能影响，乐视超清视频基准速率约为3300kbps左右。本次区分码流类型，以视频APP类超清视频为基准。
3.4 应用下载类业务QoE模型构建
3.3.1应用下载QOE感知评价模型介绍
应用下载业务QOE总体评估方法和视频业务类似，基于IUPS平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流程指标性能进行评估，重要信令指标按照一般上网流程划分三类，涉及业务接入KQI指标（ATTACH、PDP、DNS、SYN、GET）业务完整性能KQI指标（GET和POST感知速率和时延）和保持性能KQI指标（TCP重传率、TCP重置率），上述三类指标量化后系数加权值作为数据业务上网感知性能（QOE）的最终数值。
表4：应用下载业务QOE评估体系—考核KQI子项权重和感知门限
KQI子项
KQI子项权重
QI
门限
QI权重
优秀
良好
正常
差
接入性KQI
30%
E-RAB建立成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
PS寻呼成功率(%)
>93%
90%-93%
88%-93%
<88%
5%
TAU成功率(%)
>98%
97%-98%
95%-97%
<95%
10%
attach成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
PDN建立成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
bearer成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
更新承载成功率
>97%
96%-97%
94%-96%
<94%
10%
Service_request成功率(%)
>99.5%
99.3%-99.5%
99%-99.3%
<99%
10%
DNS成功率(%)
>98%
95%-98%
90%-95%
<90%
10%
SYN成功率(%)
>97%
95%-97%
90%-95%
<90%
5%
HTTP_GET成功率（%）
>99%
95%-99%
90%-95%
<90%
10%
完整性KQI
50%
<100K数据包时延（小包）
<300
300-330
330-380
>380
0%
200K速率
>3000
2023-3000
1000-2023
<1000
100%
随即计算
500K速率
>3000
2023-3000
1000-2023
<1000
随即计算
1024K速率
>4000
3000-4000
2023-3000
<2023
随即计算
4096K速率
>5000
4000-5000
3000-4000
<3000
随即计算
8192K速率
>5000
4000-5000
3000-4000
<3000
随即计算
16384K速率
>6000
5000-6000
4000-5000
<4000
随即计算
>16384K速率
>12023
9000-12023
6000-9000
<6000
随即计算
保持性KQI
20%
TCP下行重置率
<1%
1%-2%
2%-3%
>3%
50.00%
TCP下行重传率
<0.6%
0.6%-1%
1%-1.2%
>1.2%
50.00%
UE异常掉线率
<1%
1%-3%
3%-4%
>4%
0.00%

3.3.2应用下载QOE数学模型介绍
应用下载QOE计算公式如下：
QOE=QOEa+QOEb+QOEc
QOE a、QOEb和QOE c分别是指业务接入性能子项QOE值、业务完整性能子项QOE值和业务保持性能子项QOE值，其中：QOEb=X* 业务保持性KQI值、QOEe=Y*业务完整性KQI值、QOEa= Z*业务接入性KQI值，X、Y、Z值为各子项业务KQI值系数权重因子，X+Y+Z=1。根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义X=30%,Y=50%,Z=20%。
3.3.3应用下载QOE和KQI等级划分
（1）应用下载业务QOE感知等级门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
（2）应用下载业务QOE由接入KQI、完整KQI和保持KQI构成，权重为：30%、50%、20%；
（3）接入KQI、完整KQI和保持KQI感知等级门限如下：
接入KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
完整KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；
保持KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分。
KQI感知门限划分原则：定义KQI得分小于差值门限为“感知差”等级，KQI得分大于差值小于良好值定义为“达标”等级，KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级，KQI得分大于优秀值门限定义为感知“优秀”等级。

3.1.4应用下载KQI计算模型描述
（1）接入性能KQI评估
通过S1接口平台记录相应维度（本次记录为全网区域和社区级别）子项KQI指标值，在制定KQI相应业务流量子项KQI感知门限后，根据QOE计算模型计算公式对业务感知进行评估打分（百分制），各子项KQI权重加权获得接入性能KQI感知得分，输出接入性能KQI感知等级。