YDT23092011音频质量主观测试方法.pdf

I C S3 3 1 6 0 3 0M3 6Y 口中华人民共和国通信行业标准Y D 厂r2 3 0 9 2 0 11音频质量主观测试方法M e t h o d sf o rt h es u b j e c t i v ea s s e s s m e n to fa u d i oq q a l i t y(M O D，I T U-RB S 1 2 8 4，G e n e r a lm e t h o d sf o rt h es u b j e c t i v ea s s e s s m e n to fs o u n dq u a l i t y)2 0 1 1 _ 0 6-0 1 发布2 0 11 0 6 0 1 实施中华人民共和国工业和信息化部发布目次前言I I1 范围12 规范性引用标准13 术语和定义14 缩略语35 测试设计36 测听成员的选择37 测试方法47 1 评分方法47 2 测试规程58 属性58 1 基本音频质量58 2 规定双声道立体声和多声道声音质量的属性68 _ 3 规定声音与伴随图像之间的关系属性68 4 详细声音质量绝对评估的主要属性6$1 5 规定数字传输编码声音质量细节的属性69 编排材料61 0 再现设备61 0 1 在被测系统中不包含扬声器(或耳机)的测试61 0 2 在被测系统中包含有扬声器(或耳机)的测试71 1 测听条件71 2 数据的统计处理71 3 测听结果的表示81 3 1 概述81 3 2 均值81 3-3 显著性水平和置信区间81 4 测试报告的内容8附录A(规范性附录)详细描述声音质量绝对评估的主要属性、子属性和公共描述项的例子9附录B(规范性附录)在使用数字编码和传输技术过程中可能出现的人为噪声的种类1 2标准分享网 w w w.b z f x w.c o m 免费下载刖置Y D T2 3 0 9-2 0 11本标准遵循G B 厂r1 1 2 0 0 9 的规则编写。本标准修改采用I T U。R B S 1 2 8 4-2 0 0 3 的内容，与I T U R B S 1 2 8 4-2 0 0 3 的不同点在于：1)按照G B f1 1-2 0 0 9 给出的规则编写；2)将I T U R B S 1 1 1 6-1 9 9 7 中给出的部分词汇作为第三章“定义”。本标准由中国通信标准协会提出并归口。本标准起草单位：工业和信息化部电信研究院、华为技术有限公司、中兴通讯股份有限公司。本标准主要起草人：聂秀英、张恒升、袁浩、罗忠、黎家力、马付伟。标准分享网 w w w.b z f x w.c o m 免费下载音频质量主观测试方法Y D 厂r2 3 0 9 2 0 111 范围本标准规定音频质量的主观测试方法。主要包括测试设计、测试方法、测昕者训练方式、测试素材、测听时间以及主观评测试验室要求等相关技术要求。本标准适用于包括音频编解码系统在内的音频质量主观评估和测试。2 规范性引用标准下列文件对于本标准的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本标准。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本标准。I T U R B S 1 1 1 6 _ 1 9 9 7 包括多信息声音系统的音频系统中小损伤主观评估方法3 术语和定义下列术语和定义适用于本标准。3 13 23 33 43 53 63 7属性A n r b u t e根据给定的口头或书面定义，测听活动可感知的特征。盲测B l i n dT e s t一种测试方法，在该测试中，激励是为测听者提供的唯一信息源。双重盲测试D o u b l eB l i n dT e s t盲测中的一种，在该盲测中，测听组织者和测听测试之间没有不受控制的交互可能性。素材E x c e r p t适合于评估被测给定系统声音质量的个性特征或参数的一段音乐、语音或其他声音信号。测试素材通常为声音录音(C D、R-D A T 或其他录音或源格式)。等级评分G r a d e根据给定标准，一个属性量级的数字表示。隐藏参考H i d d e nR e f e r e n c e未向测听者标识的参考。条目I t e m由被测系统处理过的一段素材。标准分享网 w w w.b z f x w.c o m 免费下载Y D T2 3 0 9-2 0 113 8测昕组L i s t e n i n gP a n e l为测听测试生成数据的所有测听者。3 9位置L o c a t i o n测听测试进行的位置。可能是测昕房间的地理位置或测听者位置。3 1 0客体O b j e c t用被测系统处理过的一些素材表示的被测系统。3 1 1参考R e f e r e n c e测试素材，没有由测试客体处理而生成的测试素材，这些素材是损伤测试比较的基础。3 1 2完整测试S e s s i o n在某一持续时间内，要由一个测听者或所有测听人员评估的所有试验。3 1 3激励S t i m u l u s客体或隐藏参考或参考和部分或全部素材的组合。3 1 4测昕者S u b j e c t在一个测听测试中评估激励的测试人。3 1 5试验T H a i一个完整测试的子集，该子集以表示一组激励开始，并以完成对它们的等级评分结束。3 1 6测昕测试L i s t e n n i n g le s t测听测试为针对某一被测声音系统所进行的一次主观测试活动。该活动涉及到上面所介绍的一些术语，这些术语之间的关系如图l 所示。2标准分享网 w w w.b z f x w.c o m 免费下载Y D 厂r2 3 0 9 2 0 11I 厂鼍1 厂厂 厂r 5 卜1 I。?、j7、，、?。、7、l 圈圈豳嘲匡i i 西IE 王二磊二二二二t激励图4 缩略语时间表示测听者在参考、隐藏的参考和客体之间做出的选择图1本标准中使用的术语之间的相互关系图解下列缩略语适用于本标准。D C RD e g r a d a t i o nC a t e g o r yR a t i n g退化分类评分5 测试设计在设计测试时，应考虑I T U RB S 1 1 1 6 第2 章给出的一些考虑。然而，由于被测试的损伤可能不是小损伤，因而不总是需要使用参考。若使用参考，不要求参考是绝对无损伤的。一般情况，在设计测试时需要统计方面的专门技术。这包括确定需要的测听次数、分析数据以及模型有效性的检验和统计分析结果的正确解释。6 测听成员的选择专家测昕者总是优于非专家测听者。可能会对专家测听者的选择有疑问，认为非专家测听者代表更广泛的大众，专家测听者可能过于严格。但是，经过长期的测听，某些非专家测听者也会变为专家。因此，从长期来看，使用专家的测试会给出更快更可靠的结果。在有疑问的情况下，可以对专家和非专家的观点进行调查。标准分享网 w w w.b z f x w.c o m 免费下载Y D T2 3 0 9-2 0 11一般情况下，专家测听者的最小数量是1 0，而非专家测听者的最小数量应为2 0。无论是针对高质量的声音广播还是针对再现，均需要使用专家测听者。一般来讲，测听者应进行针对测试规程、测试素材以及测试环境的培训，以使他们熟悉这些内容。7 测试方法7 1 评分方法对于声音质量或损伤的主观测试，应使用表1 给出的5 分制评分标准。测试种类和目的将决定两类评分标准哪个更合适。表15 分制评分标准等级评分损伤程度(t m p a i r m e n 05 非常好5 感知不到失真(I m p e r c e p t i b l e)4 好4 能感知到失真但不恼人(P e r c e p t i b l e，b u tn o ta n n o y i n g)3 一般3 能感知到失真且稍微恼k(S l i g h t l ya n n o y i n 9 12 不好4 感知到失真且恼人(A n n o y i n g)1 差5 感到失真且非常恼人(V e r ya n n o y i n g)对于比较测试，可以使用基于表2 给出的7 分制评分方法或者使用表1 的5 分制评分方法。一般情况下，这些评分方法是不等同的，也可能会给出不同的结果。有必要明确指出希望比较的方向。注l：评分刻度应该是连续的，建议评分值采用带有一位小数的十进制数表示。注2：已经表明使用预先定义的评分值可能会引入偏差，可以使用没有对评分值进行描述的评分。在这种情况下，必须指出评分所代表的倾向。这也帮助克服为比较采用不同语音描述的测试中存在的翻译问题。如果不使用预先定义的评分值，将单个测听者的结果进行均方差归一化是必要的。公式(1)可以用来实现这样的归一化。z，(x i-x s i)s，+t(1)S s i其中：Z i：归一化结果X：测听者i 的评分x：测听者i 在s 组中的平均分z。：所有测昕者在s 组中的平均分4标准分享网 w w w.b z f x w.c o m 免费下载Y D q 2 3 0 9-2 0 11S。：所有测听者在s 组中的标准方差S 测昕者i 在s 组中的标准方差7 2 测试规程测试可以是单独表示、成对比较(一个可以是参考)或者有或者没有参考情况下的多比较，可以根据需要重复进行。应使用这些测试规程及7 1 节中的评分方法。对于包含有使用5 分制质量或损伤等级参考的成对比较测试，可以使用下面给出的次序，将该相同编排序列连续地重复4 次：1)参考序列：2)有损伤的相同序列；3)参考序列(重复的)；4)有损伤的相同序列(重复的)。受人仅有短时记忆的限制，每一个编排素材的时长应当在1 5 s 2 0 s 之内；对于一些测试，这些编排素材非常短(几秒种)。在音乐条目的情况下，内容不应出现中断。在播放序列1 和2 之间、序列3 和4 之间的间隔应大约为0 5 s 到l s，在播放序列2 和3 之间可以稍微长一些，例如1 5 s。确切时间应根据用例的类型确定。在测试序列不在测听者控制之中时，有必要提供对当前播放的指示音。对具有相同或不同程度损伤的相同序列不应在两个连续的场合下呈现，编排序列和损伤应采用随机次序呈现。对于包含采用7 个等级的比较评分标准的两个损伤条件的成对比较测试，可以使用如下次序的播放集：一条件1；一条件2；一条件1(重复的)；一条件2(重复的)。应采用随机的次序互换条件1 和条件2。另外，在每一轮4 次呈现的开始，可以呈现一个参考条件，在这种情况下，应给出一个确定的指示音(如使用光信号)，以表示该项为参考条件。在没有中断的情况下，任何完整测试均不应超过1 5 2 0 m i n。若必须连续进行多个完整测试，在两次完整测试之间，测听者的休息时间应不少于测听时间。切换设备不应引入任何音频干扰。在测听者单独进行测试的情况下，建议测听者按照I T U R B S 1 1 1 6 中所描述的控制激励之间的切换。8 属性根据测试目的的不同，可以使用不同数量和类型的属性来描述感知的质量。必须明确地定义使用的任何属性。8 1 基本音频质量属性基本音频质量包括被评估的声音质量的所有方面。它包括但不限于如下一些内容：音质、透明性、立体声印象、空间呈现、回响、回声、谐波失真、量化噪声、砰然声、滴答声以及背景噪声。对于具有小损伤的评估，属性基本音频质量在建议I T u R B S 1 1 1 6 中有不同的定义。标准分享网 w w w.b z f x w.c o m 免费下载Y D 几2 3 0 9-2 0 1182 规定双声道立体声和多声道声音质量的属性8-21 双声道立体声质量该属性与参考和客体在声场位置、音频信号的层次和真实感觉之间的差异相关。822 多声道立体声质量该前向声场音频质量属性与前置声源的位置相关，它包括立体声场质量和清晰度的损失。该环绕声场质量属性与空间感觉、周围环境或特定的方向环绕效果相关。83 规定声音与伴随图像之间的关系属性规定声音和伴随图像之间相互关系的属性可以包括如下特征：从可视和可听的信息中提取出的源位置相关性(包括方位角、仰角以及远近)；声音和图像空间相关性；音频和视频时间相关性。8 4 详细声音质量绝对评估的主要属I 生附录A 给出了属性的详细列表。8 5 规定数字传输，编码声音质量细节的属性附录B 给出了主要属性列表。9 编排材料根据测试的确切目的，特别针对被测试的声音编排传输或再现系统的特定类别，根据被测试系统引入的特定损伤行为，严格一致地选择测试材料。在其他情况下，可以使用不是非常严格地选择测试材料。建议I T U R B S 1 1 1 6 的第6 章包含有为不同目的与严格地选择编排材料相关因素和选择的详细描述。在系统希望承载高质量的声音时，应使用严格选择的素材。为确保在不同地点和或不同时间获得的测试数据的可比较性，应使用相同的测试编排材料。在任何一种情况中，测试序列的内容不应太有趣或太讨厌以免测听者会感到心烦意乱。1 0 再现设备1 0 1 在被测系统中不包含扬声器(或耳机)的测试应遵循建议I T u R B S1 1 1 6 第7 章规定的需求。然而，应注意使用具有宽带信号“A”加权声压电平时，不必给出精确的主观响度评估。若再现系统包括不同带宽的构件时，尤其应采用上述正确方法。为确保对于所有再现声道正确的增益设置，有必要使用替代方法。选择扬声器或耳机，以便于所有的声音测试信号或其他测试信号可以最适合的方式再现，换句话讲，应对所有类型的再现提供中性声音并可用于单声道评估和双或多声道立体声系统。在使用耳机再现的情况下，会更明显地感觉到一定质量缺欠，而在使用扬声器再现时，更明显地感觉到其他质量缺欠。因而，有必要通过主观预测试确定合适的再现设备种类。特别是在缺欠将影响到立体声场的特征时，应使用扬声器再现。在评估双声道立体声音系统时，有必要同时使用立体声扬声器和耳机。在评估单声道声音系统时，可以使用中心扬声器和或耳机。6标准分享网 w w w.b z f x w.c o m 免费下载Y D T2 3 0 9-2 0 11在进行评估时，只要彼此可以进行比较，可以使用耳机。因为，耳机再现、测听、控制房间的几何和声学特征无关，原则上，在没有系统差错的情况下，使用耳机可以具有更高的精度同时容易再现。此情况下，不适用于使用扬声器再现。另外，在使用耳机再现的情况下，在相同的时间和统一的测昕条件下由多个测听者进行评估测试。对于有或没有伴随图像的多声道声音系统，若需要对同时播放的所有再现声道的影响进行评估，必须使用扬声器。在所有情况下，每一个扬声器在相关频率范围内的声学上必须相匹配，这样在它们之间具有最小的固有声质差异。1 0 1 1 参考测听扬声器“参考测听扬声器”是指高质量演播室测听设备，包括特定尺寸大小机架的综合扬声器单元，由特定的均衡器、高质量功率放大器和合适的交叉网络组成。“参考测听扬声器”的电声特征应满足建i,R 1 T U-R B S 1 n 6 的7 2 2 给出的要求。应注意这些要求对于某类测试可能过于严格。1 0 1 2 参考测听耳机“参考测听耳机”指高质量演播室测听设备，等同于散射场响应。“参考测听耳机”的电声特征应满足建议I T U RB S 1 1 1 6 的7 3 2 给出的要求。应注意这些要求对于某类测试可能过于严格。1 0 2 在被测系统中包含有扬声器(或耳机)的测试在被测试系统中包含有再现设备的测试中应根据系统特征建立测试。在比较测试中，系统在响度上必须精确匹配。1 1 测听条件“测听条件”描述影响扬声器生成的声音在参考测听点测听空间内测昕者参考声场的复杂声学要求。这些包括如下特征：测听房间的声学特征；测听电平：测听房间的扬声器的安排：参考测听点或区域的位置。这些将生成该点或区域的音场特征。测听条件应符合建议I T u R B s 1 1 1 6 第8 章中的要求。应当注意对于某类测试这些要求可能太严格。1 2 数据的统计处理应对主观数据进行处理以得出均值和置信区间。均值和置信区间可用于描述数据。若生成的差别不能满足测试的目标，应进行进一步的处理。可以使用建议I T u RB s 1 1 1 6 的第9 章中给出的方法。一般情况下，需要统计专家来对数据进行分析。若为检验测试的基本假设、评估测试者的可靠性，对数据进行进一步的分析，所有的测试数据将更准确。标准分享网 w w w.b z f x w.c o m 免费下载Y D T2 3 0 9 2 0 111 3 测昕结果的表示1 3 1 概述表示应当使一般读者和专家均能够评估相关的信息。最初，任何读者均想看到总体的试验输出，最好以图表的形式表示。尽管全部详细的数据分析应放在附件中，这样一个表示可以通过更为详细的量化信息来支持。应单独表示由专家测听人员给出的测听结果和由非专家测听人员给出的测听结果。应给出测听条件和声音强度的相关细节；应描述分析测试结果使用的所有统计方法。只要可能，测听结果的表示应符合建议I T u R B S 1 1 1 6 的第1 0 章的要求。1 3 2 均值均值的表示可以很好地给出数据的总体概貌。1 3 3 显著性水平和置信区间应规定显著性水平以及便于读者理解的有关统计方法和输出。这些细节可能包括置信区间或图表中的差错条。当然没有“正确的”重要水准。然而，传统上选择值00 5。原则上根据被测试的假设可以使用单尾或双尾测试。1 4 测试报告的内容只要可能，应报告测试的所有方面，甚至包括不能实施和控制的那些方面。例如，若没有进行训练，报告书里应报告该事实。测试报告应尽可能清楚地传达研究的基本原理、使用的方法和得出的结论。应给出足够的细节。这样原则上，有相关知识背景的人可以重复该研究，以便于对输出进行以经验为主的检查。被告知的读者也能够对测试的主要细节进行了解并给出评论，像研究的根本原因，试验设计方法以及执行、分析和结 仓。应对下面的内容给予特别的注意：测听者和素材的规范和选择；测听环境和设备的物理细节，包括房间大小和声学特征，转换器类型和放置、电子设备规范等；一试验设计、训练、指导、试验序列、测试规程以及数据生成；一数据处理，包括描述和分析推论统计表；一得出的所有结论的详细基础。附录A(规范性附录)详细描述声音质量绝对评估的主要属|生、子属性和公共描述项的例子A 1 详细描述声音质量绝对评估的主要属性、子属性和公共描述项的例子表A 1声音质量绝对评估的主要属性、于属性和公共描述项的例子Y D，T2 3 0 9 2 0 11主属性子属性一般描述项的例子1 空间感觉空问声音的同质性房间混响无混响混响直接间接在合适的空间环境中出现的性能声学平衡大房间，小房间房间大小距离感混响的音色2 立体声感觉各向平衡性宽窄声源产生具有正确和合适的方向分布的声场稳定性精确不精确声场宽度位置精度3 清晰度声源清晰度清楚浑浊可以清楚地感知所有的表现细节时间精确度可理解性4 声音平衡度响度平衡声源太响太弱设置独立声源，以调节声场的适当平衡。动态范围声音压缩无压缩5 音色声色低沉尖锐声源的不同声音特征的精确描写声音力度暗明暖冷6 无噪声和失真可感知的，不可感知的没有恼人的电子噪声、声学噪声、公共噪声、比特差错、混乱失真等7 总体印象考虑各种参数之间的总体声音印象和交互作用的完整性，前面6 个属性的主观加权平均A2 主属性和子属性定义表A2 给出主属性和子属性的定义。表A 2 主属性和子属性的定义属性类别解释声学平衡对直接和间接(反射的)声音产生的主观感觉A c o u s t i cB a l a n c e：声学噪声房间中不想要的声音，如由空调设备、照明设备、椅子的运动等产生的噪声：或A c o u s t i cN o i s e：者由建筑物的结构，象来自室外的碰撞，交通工具等产生的噪声感知房间大小对房间大小的主观感觉，包括原始房间大小和装修过的A p p a r e n tR o o mS i z e：表A 2(续)属性类别解释比特差错源于数字系统的不连续噪声或失真B l tE i _ r o r s深度感声场具有前后深度的主观感觉。(测听者在评估这个参数时应该意识到，会受到D e p t hP e r s p e c t i v e来自于测听环境的干扰，而不仅仅受双声道立体声录音参数的影响)方向性平衡放置声源到合适位置使得人主观感觉到整个声场的方向平衡D i r e c f i o n a lB a l a n t e失真由于在记录或再生系统中的错误或非线性特性引起的声音质量的退化。D i s t o r t i O t i s动态范围在播放过程中声音强弱范围的主观感觉，这种强弱范围是相对于测听者对这种测D y n a m i cR a n g e试素材的期望而言电子噪声和失真由类噪声、滴答声、非线性失真以及衰落等电声传输信道或信号处理引起的不想E l e c t r i c a l N o i s ea n d D i s t o r t i o n s要的信号成分无噪声和失真没有恼人的电子噪声、声学噪声、公共噪声、比特差错、失真等F R E E D O MF R O MN O I S EA N DD I S T o R T I o N S空间声音的同质声音空间是均匀的整体的主观印象H o m o g e n e i t yo f t h eS p a t i a lS o u n d完整对于性能的合适声音印象的主观印象这样两者作为一个完整的整体出现I n t e g r i t y可理解性区分讲话和唱歌文本消息的可能性I n t e l l i g i b i l i t y位置精度所有的声音源在声音印象中精确定位的主观印象L o c a t i o nA c c u r a c y响度平衡各种声音源合适的相对强度的主观印象L o u d t l e S$B a l a r t c e；主要印基考虑所有声音事件的总体性和不同参数的相互作用，空间印象、立体声印象、透M A I NI M P R E S S I o N明性、平衡、声质以及无噪声和失真这些参数的加权主观值公共噪声由听众引起的干扰的主观印象P u b l i cN o i s e回响自然或人造间接声音的适当的持续时间的主观印象R e v e r b e r a n c e声音冲击声音开始的速度的主观印象，声音在非常短的去件以及该期间的持续时间增加的S o u n dA t t a c k：速率的组合声音平衡在一般声音印象中单独声音源的平衡的主观印象S O U N DB A L A N C E声音色度包括所有的特性和声单元的每一个源的合适声音的主观印象S o u n dC o l o u r回响声音色度包括任何人造回响的地点声学中的自然声学色度的主观印象S o u n dC o l o u ro f R e v e r b e r a t i o n声音印象宽度立体声场中声音活动领域的合适的宽度的主观印象S o u n dI m a g eW i d t h1 0表A 2(续)Y D T2 3 0 9-2 0 11属性类别解释声音源分辨率可以同时鉴别和区分出不同的乐器或环绕语音的主观印象S o u n dS o u r c eD e f i n i t i o n空间印象在合适的空间环境中发生的性能主观印象S P A T I A LI m R E S S I o N稳定性S t a b i l i t y所有的声音源放置在所希望的位置上的主观印象立体声印簟声音印象具有正确和合适的声音源的方向性分布的主观印象S T E R E oI m R E S S I o N时间分辨力可以鉴别或区分快速连续性的单独短声音的主观印象。T i m eD e f i n i t i o n音质声音源的不同声音特性的精确描写的主观印象T D 佃R E透明性可阻清楚地感知性能的所有细节的主观印象T R A N S P A R E N C Y注；其中黑体字(英文采用大写)表示主属性。Y D F2 3 0 9-2 0 11附录B(规范性附录)在使用数字编码和传输技术过程中可能出现的人为噪声的种类由数字编码或传输处理而引起的语音信号的损伤，为分析或分类人为噪声的类别可以使用一些类别。人为噪声类别解释量化噪声与不足的数字精度相关的噪声，例如，颗粒度失真、噪声电平的不稳定变化等Q u a n t i s a f i o nD e f e c t频率特性失真缺少高或低频，像发出齿擦音或发嘶嘶声的过多的高频声音、共振峰、梳状滤波D i s t o r t i o no f F r e q u e n c y效果等C h a r a c t c r i s f i c增益特性失真源信号、电平调动(步)的电平(增益)变化或动态范围D i s t o r t i 0 1 1o f G a i nC h a r a c t c r i s t i c s周期性调制噪声信号幅度的周期性变化，如颤音、抽动或摆动P e r i o d i cM o d u l a t i o nE f f b c t非周期性调制噪声与瞬间相关的噪声，如，嘈杂或脉冲，临时处理的变形N o n-P e r i o d i cM o d I l I a t i o nE f f b c tN o i l L i n e a rD i s t o r t i o n谐波或非谐波非线性失真，混淆 折叠 失真非线性失真T e m p o r a lD i s t o r t i o n信号或信道的前回声和后回声、拖尾效应(源信号的时间透明性的消失)，异步时域失真额外声音(噪音)与源材料不相关的假声音，像滴答声、噪声、音调构件E x t r aS o u n d(N o i s e)丢失声音源材料的声音构件的丢失，如由于标记差错引起的M i s s i n gS o u n d相关性影响(串音)在信道之间线性或非线性串音漏音或信道内相关C o r r e l a t i o n sE f f e c t(C r o s s t a t k)空间印象质量失真包括大规模的传播、运动、局部性稳定、平衡、局部性精度和变化的所有方面D i s t o r t i o no f S p a t i a lI m a g eQ u a l i t y1 2