大学计算机信息技术市公开课特等奖市赛课微课一等奖课件.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大学计算机信息技术,5.3 数字声音及应用,5.3.1 波形声音获取和播放,5.3.2 声音表示与压缩编码,5.3.3 波形声音编辑,5.3.4 计算机合成声音,第1页,5.3.1 波形声音获取与播放,1.声音信息数字化,2.波形声音获取设备,3.声音播放,第2页,(1)基本概念,带宽：,组成,声音不一样谐波,频率范围,称为声音带宽。,带宽是声音一项主要参数。,多媒体技术处理声音信号：,主要是,人耳可听到,20,20kHz,音频信号,(audio),言语/语音,：人说话声音。,其频率范围约为,300,3400Hz,全频带声音,：音乐声、风雨声、汽车声等其它声音。,其带宽可到达,20,20kHz,1.声音信号数字化,第3页,(2)声音数字化过程,将模拟声音信号转换成数字编码形式，方便于计算机进行处理过程。主要过程为：,取样,量化,编码,模拟声音信号,取 样,量 化,编 码,数字声音,011010011101,1.声音信号数字化,第4页,A/D转换,（,模拟信号-数字编码,）,电压值,时间间隔,5,4,3,2,1,0,1,2,3,4,5,第5页,A/D转换,（,模拟信号-数字编码,）,电压值,时间间隔,l,第6页,模拟声音信号,取 样,量 化,编 码,数字声音,011010011101,为了不失真,取样频率大于声音信号2倍,进行数据压缩,降低存放量,量化精度高，声音保真度好,第7页,(3)声音以数字形式表示优点：,以数字形式存放声音重放性能好，复制时,没有失真,数字声音可编辑性强，易于进行,效果处理,数字声音能进行数据,压缩,，传输时抗干扰能力强,数字声音轻易与其它媒体相互结合（,集成,）,数字声音为自动提取“元数据”和实现基于内容检索创造了条件,1.声音信号数字化,第8页,(1)麦克风,：将声波转换为电信号,(2)声卡,：进行数字化,声卡主要功效：,波形声音获取,：把模拟声音转换为数字形式。,(话筒或线路输入)能够获取单、双声道设备,波形声音重建与播放,MIDI声音输入,(Musical Instrument Digital Interface),MIDI声音合成与播放,2.波形声音获取设备,第9页,3.声音播放,数字声音,解 码,数模转换,插 值,重建模拟声音信号,011010011101,(1)声音播放,：计算机输出声音过程，分两步：,重建：把声音从数字形式转换为模拟形式,将模拟信号经过处理和放大送到扬声器发声,(2)重建过程：,由声卡完成,回复为压缩前状态,重建声音送音箱发声,第10页,音箱分类,普通音箱,：接收是重建模拟声音信号,数字音箱,：可直接接收声卡输出,数字声音信号,，防止信号在传输中发生畸变和受到干扰，其音响效果愈加突出,3.声音播放,第11页,5.3.2 波形声音表示与压缩编码,1.波形声音主要参数,2.全频带声音压缩编码,3.数字声音压缩编码,第12页,数字化波形声音是一个使用二进制表示串行比特流。数据,按时间次序,进行组织,(1)主要参数,取样频率,量化位数,声道数目,(2)数码率,：指是每秒钟数据量，也称比特率、码率,数字声音未压缩前：,波形声音码率=,取样频率,*,量化位数,*,声道数,压缩编码后,波形声音码率 压缩前码率/压缩倍数,1.波形声音主要参数,第13页,A/D转换,（,模拟信号-数字编码,）,值,时间间隔,5,4,3,2,1,0,1,2,3,4,5,第14页,数字化波形声音是一个使用二进制表示串行比特流。数据,按时间次序,进行组织,(1)主要参数,取样频率,量化位数,声道数目,(2)数码率,：指是每秒钟数据量，也称比特率、码率,数字声音未压缩前：,波形声音码率=,取样频率,*,量化位数,*,声道数,压缩编码后,波形声音码率 压缩前码率/压缩倍数,1.波形声音主要参数,第15页,1.波形声音主要参数,例：,某PC机声卡在处理声音信息时，采样频率为44KHz，A/D转换精度为16位。若连续采集2分钟声音信息，则在不进行压缩编码情况保留这段声音，需要存放空间近_。双声道呢？,A.88KB,B.176KB,C.11MB,D.83MB,第16页,几个常见数字声音主要参数,声音类型,带宽（Hz）,取样频率（kHz）,量化位数（bits）,声道数,未压缩时码率,压缩后码率,数字语音,3003400,8,8,1,64kb/s,264kb/s,CD唱片,200,44.1,16,2,176.4kB/s,176.4kB/s,MP3音乐,200,44.1,16,2,176.4kB/s,128112kb/s,1.波形声音主要参数,第17页,2.全频带声音压缩编码,因为数据量大，为了降低存放成本和传输通信带宽，对数字波形声音进行数据压缩,(1)压缩可能性,：,声音信号中包含有大量冗余信息,利用人听觉感知特征,(2)声音数据压缩算法评价,：,压缩倍数高，声音失真小，算法简单;,编码器/解码器成本低,第18页,(3)第2代全频带声音压缩编码标准,名称,压缩后码率（每个声道）,声道数目,主要应用,MPEG-1层1,384kbps（压缩4倍）,2,数字盒式录音带,MPEG-1层2,256192kbps,（压缩68倍）,2,DAB，VCD,MPEG-1层3,128112kbps,（压缩1012倍）,2,Internet，,MP3音乐,MPEG-2层audio,与MPEG-1层1，层2，层3相同,5.1，7.1,同MPEG-1,Dolby AC-3,64kbps,5.1，7.1,DVD，DTV，,家庭影院,2.全频带声音压缩编码,第19页,杜比数字AC-3（Dolby Digital AC-3）：,美国杜比企业开发多声道全频带声音编码系统，它提供,围绕立体声系统,由5个全频带声道加一个超低音声道组成，,6个声道,信息在制作和还原过程中全部数字化，信息损失极少，细节丰富，含有真正立体声效果.,在数字电视、DVD和家庭影院中广泛使用。,2.全频带声音压缩编码,第20页,语音：带宽只有3003400Hz,(1)波形编码压缩,（基于感觉模型压缩方法）,特点：码率较高（64kb/s、32kb/s）、语音质量高、,算法简单、易实现,应用：固定电话通信系统、多媒体文档,(2)参数编码或模型编码压缩,特点：码率很低、声音质量较差,应用：保密通信,(3)混合编码压缩,特点：中度码率(4.8-16 kb/s)、压缩比较高、,语音质量很好,应用：,移动通信、,IP,电话,3.数字语音压缩编码,第21页,5.3.3 波形声音编辑,第22页,(1)基本编辑操作,声音,剪辑,(删除、移动或复制一段声音，插入空白等),声音,音量调整,(提升或降低音量，淡入、淡出处理等),声音,反转,连续时间,压缩/拉伸,消除噪音,、声音,频谱分析,(2)声音效果处理,包含混响、回声、延迟、频率均衡、和声效果、动态效果、升降调、颤音等,(3)格式转换功效,(4)其它功效,:如分轨录音，配音，刻录CD唱片等,1.声音编辑软件功效,第23页,2.声音编辑软件界面,时间刻度,左声道,信号波形,淡入,淡出,播放标尺,右声道,信号波形,数字声音参数,第24页,5.3.4 计算机合成声音,1.语音合成,2.音乐合成,第25页,(1)语音合成,依据语言学和自然语言了解知识,，使,计算机模仿人发声,，自动生成语音过程。,当前主要是按照文本（书面语言）进行语音合成，这个过程称为,文语转换,（Text-To-Speech,简称TTS）。,(2)文语转换过程,文本分析,韵律分析,语音生成,1.语音合成,文本,文本,分析,韵律,处理,语音,合成,合成语音,词典，发音规则,韵律规则库,语音库,第26页,(3)计算机合成语音应用：,查询:股票交易、航班、电话报税等业务,有声,E-mail,服务,CAI,课件或游戏讲解词自动配音,文稿校对、语言学习、语音秘书、自动报警、残疾人服务等,1.语音合成,第27页,音乐是使用乐器演奏而成,音乐基本单元是一些音符,(1)音符属性,：,音调：声波基频,音色：由声音频谱决定，不一样乐器有不一样音色,音强：声音强度,旋律：乐曲中音符连续时间改变,(2)音源,：,也称为音乐合成器，它能模仿许多乐器生成各种不一样音色音符。PC机声卡普通都带有音源,2.音乐合成,第28页,(3)MIDI,要求,：,乐谱中音符及其定时、速度、音色（乐器）等采取,MIDI,消息（,MIDI message,）进行描述,每个,MIDI,消息描述一个音乐事件（如开始演奏某个音符、结束演奏某个音符、选择音符音色、改变演奏速度等）,一首乐曲所对应全部,MIDI消息组成一个,MIDI,文件,MIDI,文件在计算机中文件扩展名为,.MID,，它是计算机合成音乐交换标准，也是商业音乐作品发行标准,2.音乐合成,第29页,MIDI,音乐制作与播放：,实时演奏,MIDI键盘,MIDI消息,乐谱输入,音序器,软件,MIDI,文件,媒体,播放器,MIDI,合成器,MIDI消息,MIDI音乐,2.音乐合成,第30页,MID,I文件在,Windows,系统中能够使用媒体播放器进行播放。,播放,MIDI,音乐过程,：,媒体播放器软件从磁盘上读入,MID,文件,把其中一个个,MIDI,消息发送给声卡上音乐合成器,由音乐合成器解释并执行,MIDI,消息所要求操作,合成出各种音色音符，经过扬声器播放出乐曲来,2.音乐合成,第31页,(4)MIDI,音乐与高保真波形声音相比,：,缺点：,音质方面较差,无法合成出全部各种不一样声音（比如语音）,优点：,数据量极少,(比CD-DA少3个数量级，比MP3少2个数量级),易于编辑修改,能够与波形声音同时播放,2.音乐合成,第32页,5.4 数字视频及应用,5.4.1 数字视频基础,5.4.2 数字视频压缩编码,5.4.3 数字视频编辑,5.4.4 计算机动画,5.4.5 数字视频应用,第33页,5.4.1 数字视频基础,1 电视基础知识,2 视频信号数字化,3 视频卡与视频获取设备,第34页,(1)基本概念,视频,（video）：是指内容随时间改变一个图像序列，,也称为活动图像(motion picture)。,常见视频有,电视,和,计算机动画,。,电视,：能传输和再现真实世界图像与声音,电视是当代最有影响力信息传输工具。,数字视频,：数字化电视信号称为数字视频。,计算机动画,：是计算机制作图像序列，是一个计算机,合成视频,。,1.电视基础知识,第35页,(2),PAL,制式（中国采取）,帧频,25,帧,/s,场频,50,场,/s,图像垂直分辨率,625,线，,电视信号行频为,625,25=15.625 kHz,(3)远距离传输时用亮度信号Y和两个色度信号U、V来表示，,优点：,能与黑白电视接收机保持兼容,可利用人眼对两个色度信号不太灵敏视觉特征来节约电视信号带宽和发射功率,1.电视基础知识,第36页,(1)数字视频与模拟视频相比优点：,复制和传输时不会造成质量下降,轻易进行编辑修改,有利于传输,(,抗干扰能力强，易于加密,),可节约频率资源,(2)视频信号数字化,：,2.视频信号数字化,BT.601,CIF,QCIF,SQCIF,行数/帧,像素/行,行数/帧,像素/行,行数/帧,像素/行,行数/帧,像素/行,亮度(Y),576,720,288,360,144,180,96,128,色度(U),576,360,144,180,72,90,48,64,色度(V),576,360,144,180,7290,48,64,BT.601，CIF，QCIF和SQCIF视频图像格式,第37页,3.视频卡与视频获取设备,(1)视频采集卡：,简称视频卡，,PC,机中用于视频信号数字化插卡,功效：,模拟信号与数字信号,转换,将模拟视频(及伴音信号)数字化并存放在硬盘中,数字化后视频图像，经彩色空间转换后显示在屏幕上。,使用数字信号处理器(DSP)进行音频和视频数据,压缩,编码,第38页,(2)视频捕捉设备,数字摄像头,：在线获取数字视频设备。,不需视频采集卡进行模数转换。,最高分辨率：,640480,，镜头视角：,45,60,度,光传感器：大多采取,CCD,，部分采取,CMOS,3.视频卡与视频获取设备数字摄像机,：离线数字视频获取设备。,原理：与数码相机类似，功效更多,压缩编码：视频图像及伴音使用,M-JPEG,或,MPEG-2,统计介质：磁带，硬盘,接口：,USB,接口，,IEEE1394,（火线）接口。,第39页,5.4.2 数字视频压缩编码,第40页,数字视频数据量：很大。,1,分钟,BT.601,数字视频数据量约为,1G,字节,1.数字视频压缩可行性：,画面内部信息相关性很强,相邻画面内容含有高度连贯性,人眼视觉特征,5.4.2 数字视频压缩编码,第41页,名称,源图像格式,压缩后码率,主要应用,MPEG-1,CIF格式,大约1.2Mb/s1.5Mb/s,适适用于VCD、数码相机数字摄像机等,H.261,CIF格式，,QCIF格式,P64Kb/s(P=1、2时，只支持QCIF格式，P6时，可支持CIF格式),应用于视频通信，如可视电话、会议电视等,MPEG-2,(MPML),720576,5Mb/s15Mb/s,用途最广，如,DVD,，150路卫星电视直播，540路,C,ATV等,MPEG-2,HighProfile,14401552,19201152,80Mb/s100Mb/s,目标是高清楚度电视（HDTV）领域,MPEG-4,(H.324),各种不一样视频格式,与MPEG-1，MPEG-2相当，但最低可抵达64Kb/s,适合于交互式多媒体应用，包含虚拟现实、远程教学、交互式电视等,2.视频压缩编码标准及其应用,5.4.2 数字视频压缩编码,第42页,5.4.4 合成视频计算机动画,第43页,1.计算机动画概念,采取计算机生成一系列可供实时演播连续画面一个技术。,是一个,合成数字视频,比如：动画片、游戏等,2.基础,：计算机图形学,制作过程：,在计算机中生成场景和形体模型,设置它们运动,生成图像并转换为视频信号输出,5.4.4 计算机动画,第44页,3.创作软件,二维动画软件:如,Animator Pro,三维动画软件:如,3D StudioMAX,等,4.与GIF比，Flash动画优点,：,矢量图形，图形清楚度与缩放无关,文件小，便于网上传输,流式传输技术，能一边传输数据，一边播放,能够将音乐、声效、视频和动画画面结合在一起,含有交互性,5.4.4 计算机动画,第45页,5.4.5 数字视频应用,1 VCD与DVD,2 可视电话与视频电视,3 数字电视,4 点播电视(VOD),第46页,(1)CD,：,小型光盘,最早应用于数字音响领域,CD,唱片存放容量是,650MB,左右，可存放,1,小时立体声高保真音乐。,(2)Video CD,(,简称,VCD),：,1994,年由,JVC,、,Philips,等企业联合定义一个以,数字技术在CD光盘上存放视频和音频信息规范,。要求了将,MPEG-1,音频,/视频,数据统计在,CD,光盘上文件系统标准，,一张,CD,光盘统计约,60,分钟音视频数据，图像质量到达家用录放像机水平，可播放立体声。,VCD,播放机体积小,价格廉价,音视频质量很好。,1,.,VCD,与,DVD,第47页,(3)DVD,(,Digital Versatile Disk,)：,数字多用途光盘。有各种规格，用途广泛。,其中DVD-Video（日常简称为DVD）是一个类似于LD或Video CD家用影碟。,(4)DVD影碟与VCD相比,：,存放容量大得多。DVD单面单层,DVD,容量,4.7GB,压缩编码：,MPEG-2,画面品质比,VCD,高,(5)DVD-Video特点：,可提供32种文字、8种语言、多节局、多角度变焦、锁定控制,1,.,VCD,与,DVD,第48页,(1)分类：,静态图像：图、声交替传输,动态图像：图、声同时传输,(2)编码,图像格式：QCIF,帧频大于10帧/s,(3)应用,商业谈判、办公自动化、紧抢救援、现场指挥,如：MSN Messenger,2.可视电话与视频会议,第49页,(1)数字电视：,将电视信号进行数字化,然后以数字形式进行编辑、制作、传输、接收和播放。,(2)数字电视特点,：,频道利用率高、图像清楚度好,能够开展交互式数据业务,(3),编码标准,视频都采取,MPEG-2,标准，音频采取,MPEG-2,或,Dolby AC-3,3.数字电视,包含：电视购物、电视银行、电视商务、电视通信、电视游戏、,实时点播电视、电视网上游览、观众参加电视竞赛等,(4)数字电视接收机（简称DTV接收机）三种形式：,数字电视接收机传统模拟电视接收机换代产品,传统模拟电视机外加一个数字机顶盒,能够接收数字电视PC机,第50页,VOD,（,Video On Demand,）：视频点播（也称为点播电视）技术简称,即用户能够依据自己需要收看电视节目。,视频点播系统分类,TVOD,（,True VOD,）：用户提出要求即可及时从,VOD,系统得到服务，为每个用户提供单独连接，每个连接占用一定网络带宽,NVOD,（,Near VOD,）：准视频点播，系统每隔一段时间（比如,10,分钟）在不一样频道上播放同一个节目，用户可选择收看,特点：播放切换,缺点：不能为用户及时提供点播服务功效,优点：降低用户连接数目,节约网络带宽与费用,降低服务器性能要求,点播电视（,VOD）,第51页,*.wav(waveform)：用于PC,*.PCM：使用PCM编码声音文件,*.Mp3：MPEG 1层 III,*.rm，ra(RealAudio)：RealNetworks流式声音文件,*.wma：微软企业流式声音文件,波形声音文件格式,第52页,