IPTV_QoE测试指标概述.doc

IPTV QoE的测试主要包括两个指标，准确的频道切换时间(I-Frame Join Latency)计算和主客观的视频质量的评定。本文着重介绍了视频质量评定指标MDI，MOS_V和 PEVQ的定义和计算方法，最后对Ixia端到端QoE测试方案进行了总结。
1  引言
IPTV的未来发展目前是业界关注的焦点话题。据MRG市场研究公司的统计，全球IPTV用户将由2004年的200万增加至2010年的2000万，预计全球IPTV市场2005～2010年的复合增长率为102%。在国内，IPTV产业仍然处于试验阶段，中国电信、中国网通在各地积极开展IPTV试验，并在部分地区投入商用。所以对IPTV设备和网络的性能评估在部署前后的测试就显得非常重要。
QoE是Quality of Experience的简称，是从普通用户体验的角度评定设备或网络的性能，而不是采用业界通常使用的各种专业指标，比如时延、丢包率和抖动等。由于其良好的结果直观性，并容易被非专业人士理解，所以QoE的各种指标得到了广泛认可和应用。
2  IPTV QoE测试指标介绍
目前，国内外已经有很多设备厂家提供IPTV系统平台和设备，业界公认IPTV业务包含两种基本业务：TV直播和VoD点播。TV直播采用的Multicast技术（见图1）。

图1  TV直播示意
VoD点播采用的是Unicast技术（见图2）

图2  VoD点播示意
从用户QoE角度来看，IPTV相关测试主要关心两个方面，即频道切换时间和视频质量评定。
（1）频道切换时间（Channel Change time or Channel Zapping Time）：通常意义的频道切换时间等于Join Latency + CSD，但是这种评定方式是不准确的。最为精确的频道切换时间为I-Frame Join Latency。因为只有当从用户端发出观看某一频道的请求到收到I Frame时，才表示频道加入成功并有视频流到用户端。
（2）视频质量评定主要有3个指标：MDI（RFC 4445，Media Deliver Index）MOS_V（Mean Opinion Score for Video）和视频质量的全参考质量评定指标PEVQ(Perceptual Evaluation of Video Quality)。在介绍相关指标之前，首先简单说明影响视频质量的特性：视频内容（视频片源本身或编码器造成的）和网络传输特性所造成的损伤。
网络传输特性往往归纳为3个指标：延迟，抖动和丢包；和特定码流类型有关的可以归纳为两个指标：码流类型和码流速率。
●延迟：在视频传输应用中，恒定的延迟表现为视频观看时间的推迟。为了避免网络抖动而产生视频播放效果恶化，网络节点和视频解码器往往需要对视频流进行缓冲。实验数据表明，视频播放延迟不影响视频观看的质量。
●抖动：抖动产生有多种原因：视频解码器/服务器性能变化，网络线路出现拥挤，网络设备性能变化都可以导致视频流的抖动变化。观测视频流的抖动变化可以提前发现视频传输质量恶化的趋势。
●丢包：丢包对视频播放质量有直接的影响。试验表明，无论视频丢包的类型（I，B，P帧），在没有适当的视频解码补偿或者丢包重传机制下，视频播放质量都会出现不同程度的下降。
●码流类型：不同的码流类型由于压缩算法的不同，视频的质量也有些不同，目前认为H.264的压缩效率最高，MPEG4-2次之，MPEG2较差。
●码流速率：在相同的码流类型下，码流速率越高，视频质量越好。
3  频道切换时间相关指标定义
和频道切换时间相关的指标还有多个，比如离开频道的时间，切换时两个频道之间的间隔时间和重叠时间等，图3表示了各个指标之间的关系。

图3  频道切换时间相关指标定义与之间的关系
4  视频质量评定指标介绍
4.1  MDI介绍
MDI是2006年4月正式发布的RFC 4445规范，对IP视频流的传输质量标识为：DF：MLR。
（1）Delay Factor（延迟因素，简称DF）：该数值表明被测试视频流的延迟和抖动状况。DF的单位是毫秒（ms）。DF将视频流抖动的变化换算为对视频传输和解码设备缓冲的需求。被测试视频流抖动越大，DF值越大。在采样周期中，DF首先计算在测量点每个IP视频数据包到达时间变化。然后与预期的视频流速度对比得出。采样周期默认为1s。DF的数值在每次周期完成后更新。
与一般的二、三层抖动（InterArrival Time）计算相比，DF指标是专门针对媒体流的，他的计算因子是媒体流速率，而不是一般的物理传输速率。因此它可以很好地被用来评估视频的传输和播放质量。
（2）Media Loss Rate（媒体丢包速率，简称MLR）：MLR的单位是每秒的媒体数据包丢失数量。该数值表明被测试视频的传输丢包速率。由于视频信息的数据包丢失将直接影响视频播放质量，理想情况下的IP视频流传输要求MLR的数值为零。因为具体的视频播放设备对丢包可以通过视频解码中进行补偿或者丢包重传，在实际测试中MLR的阈值可以相应调整。
MLR=媒体数据包丢失总数/采样周期，默认采样周期为1s。MPEG-2 TS数据包格式是指有效的MPEG 数据包（不包括填充MPEG Frame）。
由于MDI指标具有下面的特点，并且是正式的RFC标准，所以被标准评测机构、运营商和IPTV设备制造商普遍认可，是目前应用最广泛的视频质量评定指标之一。
●扩展性好，方便评估上百个Channel，上千个用户的视频流质量。
●直接表现出和视频质量有关的网络问题。
●不关心上层传输的媒体流类型，与编码类型无关。
●适合实时的视频流质量评估。
4.2  MOS_V介绍
MOS_V是客观的视频质量评定指标（Objective Assessment Factor）。该指标目前是ITU FOCUS GROUP on IPTV推荐的重要QoE指标。
提到MOS_V，不能不提的是另外两个重要的指标VSPQ和VSTQ。VSPQ(Video Service Picture Quality) 是一种和编码类型相关的主观视频质量计算方法，计分范围从0~100。VSPQ根据编码类型码流速率经过复杂的理论计算处理得到初始值，该视频流经过网络传送造成的损伤后（丢包和抖动）得到最终的VSPQ值。VSTQ(Video Service Transmission Quality)是一种和编码类型无关、评定RTP通道支持可靠视频流质量能力、计分范围也是0~100的视频质量评定方法。
MOS_V（Mean Opinion Score for Video）是将图像质量划分为0~5的等级来评定图像质量的好坏，是以用户感知的角度来评价视频质量。评定视频质量时综合考虑丢包率，抖动和编码类型等多种因素。其是以VSPQ因子为基础得到的视频评定指标。图4是IXIA公司在实验室得到VSxQ与MOS_V之间关系的例子。

图4  IXIA在实验室得到的VSxQ与MOS-V之间关系
由于MOS_V指标的直观性，并且可以同时评估成千上万条视频流的质量，所以特别适合运营商在网络建设验收测试时使用。
4.3  PEVQ介绍
视频质量的评定方法可以分为3类：全参考型（Full Reference），部分参考型（Reduced Reference）和无参考型（No Reference）。MDI和MOS_V都属于无参考型的视频质量评定方式。PEVQ(Perceptual Evaluation of Video Quality)有知觉的视频质量评定，是一种全参考型（Full Reference）、插入式（Intrusive）的视频质量评定方法。它采用类似语音质量测试中大家熟悉的MOS（Mean Opinion Score）计量方式评定视频流通过网络之后，根据多个关键性能指标KPIs（Key Performance Indicators）结合人的视觉系统来测试和验证视频流的质量。图5是全参考型视频质量评定方法的图示。

图5  全参考型视频质量评定方法
对于视频内容本身影响的视频质量，主要采用下面3个指标：
●Blockiness：由于低码流速率和片源的低质量造成的损伤；
●Bluriness：由于片源编码压缩降低了分辨率而造成的损伤；
●Jerkiness：由于网络损伤和采样频率偏大造成的损伤。
对于网络传输对视频质量的影响，主要有4个方面：
●Frame freeze/skips：由于视频数据（MPEG Frame）丢失造成的损伤；
●Noise：由于传输和随机噪声造成的损伤；
●Loss：由于严重的数据包丢失而造成视频质量的下降；
●Jitter：由于数据包发送和接收顺序不一致而引起错序或错误而造成的损伤。
图6清楚地显示了上述各个因素指标对视频质量直观影响的对比。

图6  各因素对视频质量的直观影响对比
IXIA PEVQ评定视频质量和其他评定方式相比，最显著优势就是可以把视频内容和网络传输结合起来，全面评估视频流的质量。主要输出指标有：
●PEVQ MOS：该指标对视频质量从1~5进行打分，1为最差，5为最好。该指标最为清楚直观，最容易被大家理解和接受，是PEVQ中最重要指标，其他指标都是为该指标服务的；
●Distortion Indicators：该指标从亮度（Luminance）、色度（Chrominance）和时间域（Temporal Domain）等方面深入分析各种因素对视频流的影响；
●Delay：接收端视频流数据帧和源视频帧的时间差；
●Brightness：接收端视频流和源视频流的亮度值；
●Contrast：接收端视频流数据帧和源视频帧的顺序比较值；
●PSNR：Peak Signal-to-Noise Ratio，用于分析接收端视频流的质量，PSNR分为PSNR Y，PSNR Cb和PSNR Cr；PSNR Y主要评估YCbCr视频颜色图谱的黑和白（Black and White）部分PSNR Cb主要评估YCbCr视频颜色图谱的蓝色（Chroma blue）部分；PSNR Cr主要评估YCbCr视频颜色图谱的红色（Chroma red）部分；
●Jerkiness：主要在接收端评估视频流传输时由于受到较低的抽样频率（Down-Sampling）、编码过程的分辨率精度处理（Coding Processes）和受到干扰的传输（Perturbed Transmissions）的影响的平滑度（Smoothness）指标；
●Blur：主要评估视频图像轮廓清晰度和立体空间精度的失真指标；
●Blockiness：通常是由于较低的码流速率和粗糙的视频图像量子化指标造成的损伤；
●Frame Skips和Freezes：通常是网络过载引起的视频停滞或丢包等损伤；
●Effective Frame Rate：由于视频流在采样时会造成一些信息的丢失，该指标主要就是用定量的方法评估有效的视频包发送速率；
●Temporal and Spacial Activity：根据ITU-T P.910的建议，该指标主要采用定量的方法计算视频内容中Activity和Movement的数量。
由于PEVQ采用的是帧对帧(Frame by Frame)的视频比较，所以适合于研究机构对视频流质量做深入分析时使用。
5  Ixia端到端QoE建议值和测试方案总结
由于网络的复杂性有些QoE指标在国际上并没有统一规定，建议的频道切换时间、MDI阈值和MOS_V只能通过相应标准的参考或者通过实验室测试得到。因为网络结构设计、视频压缩标准、视频码率、并发视频流数目、机顶盒缓冲大小等都影响相应指标设定。根据IXIA的经验：
●Frame Join Latency值应在2s以内；
●MDI：DF的最大值应该避免和平均值偏离超过50%。比如，平均MDI：DF为100ms。当MDI：DF出现最大值为200ms时候，这意味着视频流会出现明显的抖动变化。如果MDI：DF Minimum和MDI：DF Maximum在50ms和150ms范围内，认为视频质量是好的。IXIA MDIDF建议值为10~50ms；
●MDI：MLR值为0是最好的，也就是不允许有丢包，但是极少量的丢包可以通过STB的Buffer来补偿，IXIA建议MDI：MLR = 4个媒体包/s；
●MOS_V的最低值在3.6以上，最好为4.0以上。如果低于3.6，则不能被接受，高于4.0，则认为比较好的视频质量；
●PEVQ MOS值最低为3.6以上，低于3.6，则不能接受。
IXIA目前的IPTV QoE测试特点包括：
●频道切换时间测试，I-Frame Join Latency测试；
●基于每个视频流质量测试：MDI和MOS_V；
●视频质量的Full-Reference分析：PEVQ
●视频质量的主观与客观结合的评定方式：在得到上述指标的同时，线速实时地将视频流输出到终端上；
●MPEG2/MPEG4/H.264/AVC-1 Over MPEG2 TS Over RTP/UDP；
●MPEG2/MPEG4/H.264/AVC-1 Over RTP/UDP；
●Microsoft IPTV(MSTV)标准的频道切换时间测试和A，D，V服务器的仿真与测试。
6  结束语
做为全球IP测试方案的领导者，Ixia继续提供领先的IPTV QoE端到端测试方案，覆盖机顶盒(STB)，Cable Modem，IP DSLAM，组播交换机和路由器，视频服务器以及IPTV承载网的完整测试方案。