移动集团ATU保障测试相关指标详细定义.docx

一、 测试指标及定义
1. 集团KPI呈现定义
1.1 全程呼叫成功率
（1） 全程呼叫成功率＝（（1-掉话率/100）*（接通率/100））×100％；
（2） 掉话率和接通率参考后续定义。

1.2 语音MOS质量
（1） 语音MOS质量＝（MOS>=3.0个数）/（MOS个数）×100％；
（2） 语音MOS质量取主、被叫手机的统计结果。
1.3 语音RxQuality质量（GSM制式）
（1） 语音RxQuality质量＝（RxQuality<=5采样点数）/ RxQuality总采样点数×100％；
（2） 取主、被叫手机的测试结果。
1.4 语音FER质量（CDMA制式）
（1） 语音FER质量＝（CDMA网络FER <=10%采样点数）/ CDMA网络FER总采样点数×100％；
（2） 取主、被叫手机的测试结果。

2. GSM指标定义
2.1 接通率
（1） 接通率＝总（Connect或Connect Acknowledge）数/总（channel request和CM service request）数×100％；
（2） 试呼次数：在信令未缺失的情况下，以channel request和CM service request同时出现来确定试呼开始；
（3） 接通次数：当一次试呼开始后出现了Connect，Connect Acknowledge消息中的任何一条就计数为一次接通；
（4） 接通率取主叫测试手机的统计结果。
2.2 掉话率
（1） 掉话率＝（主叫掉话+被叫掉话）/（主叫接通+被叫接通）×100％；
（2） 接通次数：当一次试呼开始后出现了Connect，Connect Acknowledge消息中的任何一条就计数为一次接通；
（3） 掉话次数：在一次通话中如出现Disconnect或Channel Release中任意一条，就计为一次呼叫正常释放。只有当两条消息都未出现而由专用模式转为空闲模式时，才计为一次掉话。（如通话时间不足规定时长，出现释放，要求通过层3信令解码判断原因）；
（4） 掉话率取主、被叫手机的统计结果。
2.3 覆盖率
（1） 覆盖率＝（>=-90dBm的采样点数（主叫＋被叫））/总采样点数（主叫＋被叫）×100％；
（2） 采样点数为180秒通话状态和20秒空闲状态样本点数之和；
（3） 取主、被叫手机的测试结果。
2.4 MOS话音质量
（1） 取MOS均值。
（2） 话音质量取主、被叫手机的统计结果之和。
注意：以下为考察项目
2.5 平均呼叫建立时延
（1） 呼叫建立时延：出现最后一条channel request到alert的时间差（以帧号差计算）；
（2） 取所有测试的平均时长；
（3） 取主叫手机的测试结果。
2.6 话音质量RxQual
（1） SUB值，列出RxQual0-7级各占的百分比；每部手机话音质量具体算法如下：话音质量＝([RxQual（0级）＋RxQual（1级）＋RxQual（2级）＋RxQual（3级）]×1＋[RxQual（4级）＋RxQual（5级）＋RxQual（6级）]×0.7)/( RxQual（0级）＋RxQual（1级）＋RxQual（2级）＋RxQual（3级）＋RxQual（4级）＋RxQual（5级）＋RxQual（6级）+ RxQual（7级）) ×100％
（2） 各级话音质量均指该级话音质量的样本点数占总样本点数的百分比；
（3） 话音质量取主、被叫手机的统计结果之和。
3. CDMA指标定义
3.1 接通率
（1） 接通率＝总Service Connect Completion Message数/总AC Origination Message数×100％；
（2） 试呼次数：在信令未缺失的情况下，有AC Origination Message表示进行了试呼；
（3） 接通次数：当一次试呼开始后出现了Service Connect Completion Message消息就计数为一次接通；
（4） 接通率取主叫测试手机的统计结果。
3.2 掉话率
（1） 掉话率＝（主叫掉话+被叫掉话）/（主叫接通+被叫接通）×100％；
（2） 接通次数：当一次试呼开始后出现了Service Connect Completion消息就计数为一次接通；
（3） 掉话次数：在一次通话中如出现Release Order，就计为一次呼叫正常释放。只有当该消息未出现而由专用模式转为空闲模式时，才计为一次掉话；
（4） 掉话率取主、被叫手机的统计结果。
3.3 覆盖率
（1） 覆盖率＝(Ec/Io≥-12dB&反向Tx_Power≤15dbm&前向RSSI≥-90dbm)（主叫＋被叫）的采样点数/取样总次数（主叫＋被叫）×100％；
（2） 采样点数为180秒通话状态和20秒空闲状态样本点数之和；
（3） 取主、被叫手机的统计结果。
3.4 MOS话音质量
（1） 取MOS均值。
（2） 话音质量取主、被叫手机的统计结果之和。
注意：以下为考察项目
3.5 平均呼叫建立时延
（1） 呼叫建立时延：出现Service Connect Completion Message到Alert with information的时间差；
（2） 取所有测试的平均时长；
（3） 取主叫手机的测试结果。
3.6 前向误帧率FFER
（1） 话音质量=[（0%≤FFER≤3%的采样点数）*1+（3%<FFER≤10%的采样点数）*0.7]/（总采样点数）×100％；
（2） 取主叫手机及被叫手机的测试结果。
4. MOS指标定义
对于语音质量的常用评定方法是MOS(Mean Opinion Score)，是目前使用得最广泛的一种ITU(P.800)确定的主观评定方法，评分范围是1到5分：
（1） 5（优），不察觉失真；
（2） 4（良），刚察觉失真，但不讨厌；
（3） 3（中），察觉失真，稍微讨厌；
（4） 2（差），讨厌，但不令人反感；
（5） 1（劣），极其讨厌，令人反感。
一般再现语音频率若达7kHz以上，MOS可评5分。一般高质量的语音(例如G.711PCM编码方法)可以达到4分。
PESQ(P.862 Perceptual Evaluation of Speech Quality)则是基于语音模型的计算机辅助测试工具，可以客观地评价语音质量，减少主观因素的影响。这种评价标准广泛应用于多媒体技术和通信中，如可视电话、电视会议、语音电子邮件、语音信箱等。
本项目中使用专业设备对移动GSM网络、联通GSM、电信CDMA网络的MOS值进行评估测试。
二、 测试方法
本次测试的测试方法要求如下：
（1） 测试手机置于车内，主、被叫手机均与测试仪表相连，同时连接GPS接收机进行测试。
（2） GSM主、被叫手机均使用自动双频测试。
（3） 采用手机相互拨打的方式，手机拨叫、接听、挂机都采用自动方式。每次通话时长180秒，呼叫间隔20秒；如出现未接通或掉话，应间隔20秒进行下一次试呼。
（4） 在测试中国移动GSM网络的同时，在同一车内采用相同方法测试中国联通的GSM网络和中国电信的CDMA网络质量。
（5） MOS测试采用和语音DT相同的测试方式，在同一车内采用相同方法测试中国联通的GSM和中国电信的CDMA MOS，采用4-6秒成年男声语音样本。测试手机必须使用电池进行供电方式，不能使用充电方式。
（6） 全部测试必须使用相同的测试仪表和后台数据处理软件。
三、 测试要求
对于本次测试还有如下要求：
（1） 对城市主要道路的测试采用专业仪表驱车测试方式，测试使用当地移动GSM、联通GSM、电信CDMA签约用户卡。
（2） 测试时间必须安排在周一至周日9:00-12:00，17:00-20:00进行。
（3） 测试路线要求均匀覆盖市区主要街道，并且尽量不重复；环城高速、高架桥、市区到机场公路必须进行测试。
（4） 测试速度在市区保持正常行驶速度，不设置最高限速。
（5） 不考虑交通情况，大型城市测3天，中型城市测2天，小型城市测1天，每天6小时。
四、 三率指标
（1） 网格道路渗透率（%）：网格内已测网格内道路的总里程数占网格内道路总长度的比例。要求高于85%。每发现一次网格测试渗透率低于85%，拟扣网络质量考核的KPI分值0.01分；每月测试网格平均渗透率如未达到85%，每低于1个点，拟扣网络质量考核的KPI分值0.1分。
（2） 网格道路重复率（%）：网格内重复测试的道路长度占已测试道路长度的比例。要求低于30%。每发现一次网格测试重复率高于30%，拟扣网络质量考核的KPI分值0.01分；每月测试网格平均重复率如高于30%，每高于1个点，拟扣网络质量考核的KPI分值0.1分。
（3） 网格道路溢出率（%）：网格测试中非目标测试网格网格的采样点占总测试采样点的比例。要求低于20%。 每发现一次网格测试溢出率高于20%，拟扣网络质量考核的KPI分值0.01分；每月测试网格平均溢出率如高于20%，每高于1个点，拟扣网络质量考核的KPI分值0.1分。