第3章声音.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多媒体技术研究所,*,第 3 章 声音（1）,10/27/2026,1,多媒体技术研究所,一、声音的数字化,10/27/2026,2,多媒体技术研究所,1 什么是声音？,frequency(Hz),音调,音高(12音阶),amplitude/power,(W,mW),音量,响度(Phon,方),shape of waveform,音色,注意：物理特性与心理/生理感觉有关，但并不是线性关系！,物理特性 心理/生理感觉特性,声音是通过一定介质（如空气、水等）传播的连续的波,10/27/2026,3,多媒体技术研究所,2 声音的分类（1）,按频率划分：,次声(Infra-sound)0-20Hz,可听声 (Audio)20-20kHz,超声 (Ultrasound)20kHZ-1GHz,可听声中，声音分为：,语音,言语(speech),300-3400Hz,全频带声音,20-20kHz,音乐 (music),其它声音 (effect sound,noise),10/27/2026,4,多媒体技术研究所,声音的分类（2）,数字波形声音,语音,音乐,效果声,数字合成声音,合成语音,MIDI,10/27/2026,5,多媒体技术研究所,数字化声音举例,声音类型,带宽(Hz),取样频率(kHz),量化位数(bits),声道数,码率(kB/s),电话语音,3003,400,8,8,1,8,AM,广播,507,000,16,8,1,16,CD,唱片,2020,000,44.1,16,2,176.4,DAT磁带,2020,000,48,16,2,192,10/27/2026,8,多媒体技术研究所,4 数字声音的文件格式,.wav(waveform)，主要用在PC上,.mp3,MPEG Layer III,.rm，.ra(RealAudio),RealNetworks的流式声音文件,.wma，微软公司的流式声音文件,.aif(Audio Interchangeable File Format)，苹果机,.mid,.tts,10/27/2026,9,多媒体技术研究所,5 声音获取设备,联机获取设备,麦克风,（microphone）,声音卡,（sound card）,声波转换为电波,取样、量化、压缩、编码、,模拟声音,数字声音,脱机获取设备：数码录音笔,10/27/2026,10,多媒体技术研究所,麦克风,动圈式麦克风,Moving-coil MIC(Dynamic),利用声波推动震膜，震膜带动线圈，利用磁力线的改变产生微弱的电压。,例,电容式麦克风,Condenser MIC,丝带式麦克风,RIBBON MIC,压电式麦克风,PIEZO-ELECTRONIC MIC,10/27/2026,11,多媒体技术研究所,麦克风的指向性(Directional,),指向性是指话筒灵敏度随声波入射方向而变化的特性,区分：,心型指向指向麦克风,超心型指向麦克风,全指向麦克风,8字型球指向麦克风,10/27/2026,12,多媒体技术研究所,声卡,(,sound card,),用途,：,波形声音的获取、编码；,波形声音的重建、播放；,MIDI,声音的输入；,MIDI,声音的合成、播放；,(CD-ROM,驱动器的控制，,CD-DA,声音的播放。,),10/27/2026,13,多媒体技术研究所,声音卡结构图,扬声器输出,主芯片,CODEC,芯片,运 算,放大器,功 率,放大器,MIDI/,joystick,MIC输入/,线路输入,总 线 接 口,线路输出,DSP芯片：三维音效处理的运算和加速、MIDI波表合成引擎以及硬件级的声音处理（如硬件均衡器、各类混响处理等）,包括数模转换（D/A）和模数转换（A/D），实现声音的获取和重建，也负责声音的叠加与混合处理,10/27/2026,14,多媒体技术研究所,声卡的性能参数,最高取样频率、量化精度；,输出功率（,110W,）；,是否支持波表合成，波表的容量；,芯片类型：,Advance Logic,，,Aureal,，,ESS,支持的,API,：,D3D,、,A3D,、,EAX,CPU,占有率,Money,10/27/2026,15,多媒体技术研究所,数码录音笔,长时间录音：,可以利用,4,个档案，分别录音,99,个内容,录音模式：根据用途可以选择音质和时间,剩余录音时间显示功能,电源自动关闭功能,外接输入输出转录功能,录音中可用耳机听取录音内容,VOS,功能：仅有声音的情况下，才可录音,搜索功能：放音过程中播出每内容的最前部,反复放音功能,10/27/2026,16,多媒体技术研究所,二、波形声音的编辑,10/27/2026,17,多媒体技术研究所,1 常用声音编辑软件,Cool Edit,Sound Forge,Digital Audio,10/27/2026,18,多媒体技术研究所,2 声音的,基本编辑,操作,声音剪辑,音量调节,声音反转,(Reverse),时间压缩,/,拉伸,直流噪音消除,声音频谱分析,10/27/2026,19,多媒体技术研究所,3 声音的效果处理,混响,/,回声,/,延迟（,Reverb/Echo/Delay,）,和声（合唱）效果（,Chorus,）,动态（压限,/,门,/,扩展）效果（,Dynamics,）,升降调（,pitch,）,镶边、颤音、失真等,10/27/2026,20,多媒体技术研究所,4 格式转换功能,将不同取样频率和量化位数的波形声音进行转换,将不同文件格式的波形声音进行相互转换,将,wav,格式声音与,MP3,声音进行相互转换,转换,10/27/2026,21,多媒体技术研究所,三、数字音频的应用,1、IP电话,2、交互式语音应答系统（自动声讯服务）,3、呼叫中心,4、声音欺骗系统,5、用光盘听书,6、Internet上的实时音频,10/27/2026,22,多媒体技术研究所,四、语音合成,(Speech synthesis),10/27/2026,23,多媒体技术研究所,1 概述,语音合成：利用适当的方法和手段，从文本、概念或意向通过合成产生语音的过程。,语音合成的,3,个层次：,从文本到语音的合成（,Text-to-Speech,，,简称,TTS,）；,从概念到语音的合成（,Concept-to-Speech,）；,从意向到语音的合成（,Intention-to-Speech,）。,10/27/2026,24,多媒体技术研究所,文语转换的要求,对合成语音的要求：,可理解,自然,低延迟,语速可变,声音可变,语言可变,应用：,声讯服务，自动应答,有声电子邮件,残疾人服务,自动配音等,.,10/27/2026,25,多媒体技术研究所,语音基础知识,音素,(phoneme),是语音的最小单位。音素分为：,元音,(vowel),（,浊音），不受声道阻碍的音。,辅音,(consonant),（,浊音或清音），受声道阻碍的音。,10/27/2026,26,多媒体技术研究所,英语语音,每字,(,词,),一个或几个音节,(syllable),（,多音节字）,音节由一个或几个音素组成,英语的音素：,元音,20,个,辅音,28,个,10/27/2026,27,多媒体技术研究所,汉语语音,每字一个音节,(syllable),（,单音节字）,音节由一个或几个音素组成,汉语的音素,声母,(21,个，,b,p,m,f,d,t,n,l,),韵母,(39,个，,a,e,i,o,u,ao,ou,an,en,eng,ong,),音调,(4,个,:,阴平、阳平、上声、去声,),汉语语音的数目：,无声调的音节数目：,412,个,带声调的音节数目：,1282,个,10/27/2026,28,多媒体技术研究所,（）音系简单（音节少、音素少）,（）汉语没有词的自然界限分词问题,咬死了猎人的狗,下雨天留客天留我不留,今年真好晦气全无财帛进门,（）一字多音：,我们都是同行，我们一路同行，去参加人参培植研讨会。,（4）数字的读音：,南京大学计算机系2002年招收了202名本科生，130多名硕士生，分成2个专业。,汉语语音的特点,10/27/2026,29,多媒体技术研究所,文语转换过程,文本分析与理解,文本,韵律控制,语音生成,合成语音,一串语音基元,语音,基元库,文本到发音的转换,发音标注,发音,规则库,韵律分析,韵律控制参数,韵律,规则库,查找拼写错误，对不规范或无法发音的字符进行过滤。,分析文本中词或短语的边界，,分析文本中的数字、姓氏、特殊字符、专有词语等有关词语读音的性质,。,根据文本的结构、组成和标点符号，确定发音时语气的变换以及不同音的轻重方式。,分析并决定各个音节的声调、语气和停顿方式，发音的轻重、长短等,10/27/2026,30,多媒体技术研究所,2 文语转换方法,参数合成法,波形拼接法,10/27/2026,31,多媒体技术研究所,(1)参数合成法,优点：音素参数库比较小，韵律控制能力较强,不足：音质难以达到较好的水平,“声道滤波器”模型,声学参数,音素,参数库,发音标注,合成的语音,韵律标注,先从音素库中选择相应的声学参数,根据韵律控制参数作一定的修改调整,“声道滤波器”模型按照激励源和滤波器的参数(一般每隔10ms-30ms一组参数)，合成出语音。,10/27/2026,32,多媒体技术研究所,发声器官的组成,Vocal apparatus,声源,喉：振动源,肺：能源,声道,从喉到口腔，到唇,(,谐振源,),鼻腔,(,谐振源,),发射机构,包括唇、齿、舌、面颊,10/27/2026,33,多媒体技术研究所,(2)波形拼接法,优点:语音基元取自自然语音的词或句子，它隐含了声调、重音、发音速度变化时的细微特性，合成的语音清晰自然，其质量普遍高于参数合成法.,缺点:韵律参数修改范围受限,机器味较浓，其自然度还不能达到用户可广泛接受的程度,波形拼接与韵律修饰,波形,语音基元,波形,库,发音标注,合成的语音,韵律标注,预先存储了大量语音基元(字或词组)的波形，合成时，按字(词)读取基元的波形,进行拼接和韵律修饰，然后输出连续语流,10/27/2026,34,多媒体技术研究所,波形拼接法需考虑的问题,语音基元的选择,。语音基元是拼接的基本单位。它可能是音素、半音节（首音、尾音）、音节、词语、语句等。基元越小，语音数据库越小，拼接越灵活，韵律修饰的规则就越复杂。,语音基元的样板数,。对于同一个基元，由于语境不同和重音表现不同，其声学特征有很大差别。为了减小韵律修饰的负担，可以建立多样板语音数据库。,10/27/2026,35,多媒体技术研究所,几个TTS系统,中国科大讯飞TTS系统,Office Home Office,的缩写，亦即“小型的、家庭的办公室”的含义。,中科大,微软,比如“很久没见了”这句话，英文正确的说法应该是“,I havent seen you for a long time,”，一些人凑凑合合地说成“,Long time no see.”,不合语法，但意思明白了。,中科大,微软,10/27/2026,37,多媒体技术研究所,3,进一步的发展方向,提高合成语音的自然度,丰富合成语音的表现力,多语种文语合成,(multi-language TTS).,文本到可视语音的转换,(text-to-visual speech,，,TTVS),，,10/27/2026,38,多媒体技术研究所,MPEG-4 TTS的功能,可以控制合成语音的语种,说话人性别、年龄,说话的速度及韵律等,可控制合成语音的起、停、反向播放,正向播放。,比特流中还可以在文本基础上添加原始语音的韵律信息，如音素序列、每个音素的时长（,duration,）、,能量，使合成器能生成与原来语音非常相似的语音,使合成语音与计算机生成的说话人,(talking head),的嘴唇运动同步,使用户不仅听到合成的声音，还看到说话人嘴唇的动作。,10/27/2026,39,多媒体技术研究所,