《计算机多媒体技术》课件.ppt

1 12 2内内 容容 简简 介介本书以声音、图像、动画、视频等几种常见的多媒体素材为线索，主要内容包括：多媒体技术概述、数字音频基础、图像的数据表示、动画处理技术、视频基础、多媒体数据压缩、多媒体数据存储技术、多媒体网络概述、流媒体技术及视频会议系统共9章。全书内容由浅入深，本书只要介绍多媒体技术的基础知识，适当的通过实例来介绍基本的理论和方法。在本书后面的章节重点介绍多媒体技术在网络方面的一些应用，使读者能了解多媒体技术的前沿知识。本书总结了作者多年教学和实践经验的精华，吸收了多媒体教学研究的新成果、新技术。它可以作为各大专院校计算机及相关专业等本科教材，也可供各方面从事多媒体技术研究人员参考。3 3目 录 第第1章章 多媒体技术概论多媒体技术概论第第2章章 数字音频技数字音频技术术第第3章章 图像的数据表图像的数据表示示第第4章章 计算机动画处理技计算机动画处理技术术第第5章章 视频基视频基础础第第6章章 多媒体数据压多媒体数据压缩缩第第7章章 多媒体存储技多媒体存储技术术第第8章章 流媒体概流媒体概述述第第9章章 流媒体技术及视频会议系流媒体技术及视频会议系统统4 4学习要点：学习要点：了解多媒体及相关概念 掌握多媒体技术定义及基本特征 了解多媒体技术的发展和应用 了解多媒体个人计算机组成5 5 计算机多媒体技术课程已逐渐成为计计算机多媒体技术课程已逐渐成为计算机学科的重要课程之一，尤其是现在，算机学科的重要课程之一，尤其是现在，多媒体涉及到计算机科学的众多领域。随多媒体涉及到计算机科学的众多领域。随着计算机软、硬件技术的进一步发展，计着计算机软、硬件技术的进一步发展，计算机的处理能力越来越强，计算机的应用算机的处理能力越来越强，计算机的应用领域得到进一步拓展，应用需求也大幅度领域得到进一步拓展，应用需求也大幅度增加，在很大的程度上促进了多媒体技术增加，在很大的程度上促进了多媒体技术的发展和完善。多媒体技术由当初的单一的发展和完善。多媒体技术由当初的单一媒体形式逐渐发展到目前的文字、声音、媒体形式逐渐发展到目前的文字、声音、图形、图像和动画等多种媒体形式。图形、图像和动画等多种媒体形式。1.1 1.1 多媒体的基本概念多媒体的基本概念6 6“多媒体多媒体多媒体多媒体”一词源一词源一词源一词源“MultiMultiMultiMultimediamediamediamedia”MultipleMultiple多重、复合多重、复合多重、复合多重、复合medium medium 的复数形式的复数形式的复数形式的复数形式 mediamedia介质、媒介和媒体介质、媒介和媒体介质、媒介和媒体介质、媒介和媒体 通常所说的媒体有两种含义：通常所说的媒体有两种含义：存储信息的实体。存储信息的实体。表现信息的载体。表现信息的载体。7 7国际电话电报咨询委员会CCITT制定媒体分类标准如下媒体类型作 用表 现内 容感觉媒体用于人类感知客观环境听觉、视觉、触觉文字、图形、图像、动画、声音等表示媒体用于定义信息的表达特征计算机数据格式ASCII编码、图像编码、声音编码、视频信号等显示媒体用于表达信息输入、输出信息键盘、鼠标、麦克、手写板、扫描仪、打印机等存储媒体用于存储信息保存、取出信息优盘、硬盘、光盘、SD卡等传输媒体用于连续数据信息的传输信息传输的网络介质光缆、电缆、无线链路等8 81.2 1.2 多媒体技术概述多媒体技术概述 多媒体技术定义多媒体技术定义多媒体技术定义多媒体技术定义 多多多多媒媒媒媒体体体体技技技技术术术术是是是是指指指指利利利利用用用用计计计计算算算算机机机机对对对对文文文文字字字字、图图图图形形形形、图图图图像像像像、音音音音频频频频、视视视视频频频频、动动动动画画画画等等等等多多多多种种种种媒媒媒媒体体体体信信信信息息息息进进进进行行行行综综综综合合合合处处处处理理理理、建立逻辑关系和人机交互作用的产物。建立逻辑关系和人机交互作用的产物。建立逻辑关系和人机交互作用的产物。建立逻辑关系和人机交互作用的产物。9 9多样性：指多媒体技术涉及的是多样化的信息，多种信息载体使信息在多样性：指多媒体技术涉及的是多样化的信息，多种信息载体使信息在交换时有更灵活的方式和更广泛的自由空间。交换时有更灵活的方式和更广泛的自由空间。集成性：多媒体技术的集成性体现在处理多种信息载体集合的能力。集成性：多媒体技术的集成性体现在处理多种信息载体集合的能力。交交互互性性：指指用用户户与与计计算算机机之之间间进进行行数数据据交交换换、媒媒体体交交换换和和控控制制权权交交换换的的一种特征。一种特征。1.2.1 1.2.1 多媒体技术特征多媒体技术特征实时性：指多媒体信息系统所具有的高同步和即时处理特征。实时性：指多媒体信息系统所具有的高同步和即时处理特征。10101.2.2 1.2.2 多媒体关键技术多媒体关键技术1、大容量数据存储技术 2、多媒体数据压缩及编码技术 3、基于内容的多媒体信息检索技术 4、多媒体网络技术 5、智能多媒体技术11111978年年美国麻省理工学院的“构造机器小组”有感于广播、出版和计算机三者融合成为电子的新趋势，对人机界面问题进行研究，提出了计算机界面的“所见即所得”的基本概念。1981年年美国Maryland大学研制成的EMOB机，用于进行模式识别、图像处理、并行计算研究。后来开发了工作站级的二维、三维图像处理硬件和软件，并在动画制作方面也推出了相应的软件。1984年年美国Apple公司开创了计算机进行图像处理的先河，在世界上首次使用Bitmap（位图）概念来描述图像。1985年年美国Commodore公司将世界上首台多媒体计算机系统展现在世人面前，该计算机系统被命名为Amiga。1.2.3 1.2.3 多媒体技术的发展多媒体技术的发展12121986年年荷兰PHILIPS公司和日本SONY公司共同制订了交互式紧凑光盘系统CD-I，使多媒体信息的存储规范化和标准化。CD-I标准允许一片直径5英寸的激光盘上存储650M的数字信息量。1987年年美国RCA公司推出了交互式数字视频系统DVI，它以计算机技术为基础，用标准光盘片来存储和检索静止图像、活动图像、声音和其他数据。1990年年美国Microsoft公司联合IBM、DELL、Intel、PHILIPS等公司在内的一些计算机技术公司成立“多媒体个人计算机市场协会。1991年年多媒体个人计算机市场协会推出了MPC1标准。从此，全球计算机业界共同遵守该标准所规定的各项内容，促进了MPC的标准化和生产销售，使多媒体个人计算机成为一种新的流行趋势。1.2.3 1.2.3 多媒体技术的发展多媒体技术的发展13131992年年美国Microsoft公司推出了Windows3.1操作系统。它不仅综合了原有操作系统的多媒体扩展技术，还增加了多个多媒体功能软件。1993年年多媒体个人计算机市场协会公布了MPC2标准，之后协会演变成多媒体个人计算机工作组。1995年年多媒体个人计算机工作组公布了MPC3标准。同年，由美国Microsoft公司开发的功能强大的Windows95操作系统问世，使个人计算机市场已经占据主导地位。1998年年颁布了MPEG-4新标准，该标准已经能够向无线电/电视和互联网的各种范例提供技术支持，提出了MPEG-7标准草案，2001年成为对各类多媒体进行标准化以便搜索查询的国际标准。1.2.3 1.2.3 多媒体技术的发展多媒体技术的发展14141.2.4 1.2.4 多媒体技术的应用多媒体技术的应用休闲娱乐教育培训工程应用与科学研究多媒体网络通信15151.2.5 1.2.5 多媒体技术的现状及发展多媒体技术的现状及发展 多媒体技术现状多媒体技术现状 近近年年来来，计计算算机机、通通信信和和视视频频等等相相关关技技术术的的发发展展，为为多多媒媒体体技技术术的的发发展展提提供供了了必必要要的的手手段段。在在短短短短的的几几年年中中，超超大大规规模模集集成成电电路路的的密密度度不不断增加。断增加。多媒体技术发展多媒体技术发展（1）三电合一及三网合一（2）CSCW（3）完善的多媒体技术标准（4）人机交互智能化（5）CPU中多媒体芯片的嵌入16161.3 1.3 多媒体个人计算机多媒体个人计算机 习惯上，我们把具有多媒体功能的微型计算习惯上，我们把具有多媒体功能的微型计算机称为机称为“多媒体个人计算机多媒体个人计算机”（MPC）。多媒体）。多媒体个人计算机并不是一种全新的个人计算机，它是个人计算机并不是一种全新的个人计算机，它是在现有个人计算机的基础上加上一些硬件及相应在现有个人计算机的基础上加上一些硬件及相应软件，使其具有综合处理声音、文字、图像等信软件，使其具有综合处理声音、文字、图像等信息的功能。息的功能。一般来说，多媒体个人计算机系统也有计算一般来说，多媒体个人计算机系统也有计算机硬件和软件两大部分组成。机硬件和软件两大部分组成。1717设备与软件设备与软件标准配置标准配置推荐配置推荐配置CPU386 SX386 DX or 486 SX系统时钟16 MHz内存储器2 MB4 MB硬盘30 MB80 MB接口种类串行、并行、游戏棒接口MIDI 接口MIDI 合成与混音功能的 MIDI 输入输出接口显示模式VGA 模式，分辨率为 640480 像素，16 色256 色激光驱动器单速 CD-ROM，数据传输速率 150 kbit/s，平均访问时间 1s声音输入/重放麦克风 mV 级灵敏度输入，耳机、扬声器输出声卡模式8 bit/11.025 kHz 采样，11.025 kHz 和 22.05 kHz 输出操作系统DOS 3.1 版本或以上，Windows 3.0 带多媒体扩展模块1.MPC1.MPC基本标准基本标准MPC-1标准 1818 MPC-2标准 设备与软件设备与软件标准配置标准配置推荐配置推荐配置CPU486 SX or 486 SX or 兼容兼容 CPU CPU486 DX or DX2486 DX or DX2系统时钟25 MHz25 MHz内存储器4 MB4 MB8 MB8 MB硬盘160 MB160 MB400 MB400 MB接口种类串行、并行、游戏棒接口MIDI 接口MIDI 合成与混音功能的 MIDI 输入输出接口显示模式VGA 模式，分辨率为 640480 像素，256 256 色色65536 65536 色色激光驱动器倍速倍速 CD-ROM CD-ROM，数据传输速率，数据传输速率 300 kbit/s 300 kbit/s，平均访问时间，平均访问时间 0.4s=2fmax)，采样之后的数字信号完整地保留了原始信号中的信息，一般实际应用中保证采样频率为信号最高频率的510倍。34342.1.4 2.1.4 音频质量与数据量音频质量与数据量 音质是指声音的质量，与频率的范围成正比，一般来说，声音中的谐波成分越多，其所占据的频率范围越宽，声音质量也就越好，当然对应的数据量也就越大。音频质量音频质量 未经压缩的数字化的声音的数据量大小取决于对声音信号作数字化处理时的采样频率和量化精度，并正比于采用的声道数。声音的数据量公式可按照以下公式计算：声音数据量=采样频率量化精度8声道数音频数据量音频数据量35352.1.5 2.1.5 常见的音频文件格式常见的音频文件格式无损压缩 无损的音频格式压缩比大约是2：1，解压时不会产生数据/质量上的损失，解压产生的数据与未压缩的数据完全相同。如需要保证音乐的原始质量，应当选择无损音频编解码器。例如，用免费的TTA无损音频编解码器你可以在一张DVD-R碟上存储相当于20张CD的音乐。36362.1.5 2.1.5 常见的音频文件格式常见的音频文件格式有损压缩 有损文件格式是基于声学心理学的模型，除去人类很难或根本听不到的声音，例如：一个音量很高的声音后面紧跟着一个音量很低的声音。MP3就属于这一类文件。有损压缩应用很多，但在专业领域使用不多，有损压缩具有很大的压缩比，提供相对不错的声音质量。3737描述：一种最直接的表达声音波形的数字音频文件，主要用于自然声音的描述：一种最直接的表达声音波形的数字音频文件，主要用于自然声音的描述：一种最直接的表达声音波形的数字音频文件，主要用于自然声音的描述：一种最直接的表达声音波形的数字音频文件，主要用于自然声音的 保存与重放。保存与重放。保存与重放。保存与重放。WAV波形音频文件波形音频文件 特点：声音层次丰富、还原性好、表现力强；如果采样率高，其音质极特点：声音层次丰富、还原性好、表现力强；如果采样率高，其音质极特点：声音层次丰富、还原性好、表现力强；如果采样率高，其音质极特点：声音层次丰富、还原性好、表现力强；如果采样率高，其音质极 佳；但数据量大，与采样频率、量化位数、声道数成正比。佳；但数据量大，与采样频率、量化位数、声道数成正比。佳；但数据量大，与采样频率、量化位数、声道数成正比。佳；但数据量大，与采样频率、量化位数、声道数成正比。应用：该格式文件应用非常广泛，各种算法语言可直接使用，电子幻灯片应用：该格式文件应用非常广泛，各种算法语言可直接使用，电子幻灯片应用：该格式文件应用非常广泛，各种算法语言可直接使用，电子幻灯片应用：该格式文件应用非常广泛，各种算法语言可直接使用，电子幻灯片 制作、音乐光盘制作等。制作、音乐光盘制作等。制作、音乐光盘制作等。制作、音乐光盘制作等。3838描述：一种计算机数字音乐接口生成的数字描述音频文件，文件中包含音描述：一种计算机数字音乐接口生成的数字描述音频文件，文件中包含音描述：一种计算机数字音乐接口生成的数字描述音频文件，文件中包含音描述：一种计算机数字音乐接口生成的数字描述音频文件，文件中包含音 符、定时和多达符、定时和多达符、定时和多达符、定时和多达1616个通道的乐器定义。个通道的乐器定义。个通道的乐器定义。个通道的乐器定义。MIDI音频文件音频文件 特点：文件不记载声音本身波形数据，用数字形式记录声音特征，演奏特点：文件不记载声音本身波形数据，用数字形式记录声音特征，演奏特点：文件不记载声音本身波形数据，用数字形式记录声音特征，演奏特点：文件不记载声音本身波形数据，用数字形式记录声音特征，演奏 MIDI MIDI乐器或重放时，将数字描述与声音对位处理，数据量小。乐器或重放时，将数字描述与声音对位处理，数据量小。乐器或重放时，将数字描述与声音对位处理，数据量小。乐器或重放时，将数字描述与声音对位处理，数据量小。应用：该文件适合应用在对资源占用要求苛刻的场合，比如：多媒体光应用：该文件适合应用在对资源占用要求苛刻的场合，比如：多媒体光应用：该文件适合应用在对资源占用要求苛刻的场合，比如：多媒体光应用：该文件适合应用在对资源占用要求苛刻的场合，比如：多媒体光 盘、游戏制作等。盘、游戏制作等。盘、游戏制作等。盘、游戏制作等。3939描述：采用描述：采用描述：采用描述：采用MPEGMPEG标准音频数据压缩编码中标准音频数据压缩编码中标准音频数据压缩编码中标准音频数据压缩编码中层层技术压缩之后的数字音频文技术压缩之后的数字音频文 件。件。MP3压缩音频文件压缩音频文件 特点：压缩比高、数据量小、音质好，压缩比例有特点：压缩比高、数据量小、音质好，压缩比例有特点：压缩比高、数据量小、音质好，压缩比例有特点：压缩比高、数据量小、音质好，压缩比例有10:110:1、17:117:1，甚至，甚至，甚至，甚至70:70:1 1；数据率可以是；数据率可以是；数据率可以是；数据率可以是64kbps64kbps，也可以是，也可以是，也可以是，也可以是320kbps320kbps。应用：该文件由于音质较好，被广泛应用在国际互联网和各个领域。应用：该文件由于音质较好，被广泛应用在国际互联网和各个领域。应用：该文件由于音质较好，被广泛应用在国际互联网和各个领域。应用：该文件由于音质较好，被广泛应用在国际互联网和各个领域。4040描述：描述：描述：描述：Microsoft研制的一种压缩离散文件或流式文件，它提供了一个研制的一种压缩离散文件或流式文件，它提供了一个MP3 之外的选择机会。之外的选择机会。WMA流式音频文件流式音频文件 特点：相对于特点：相对于特点：相对于特点：相对于MP3MP3具有较高压缩率和良好音质。当小于具有较高压缩率和良好音质。当小于具有较高压缩率和良好音质。当小于具有较高压缩率和良好音质。当小于128kbps128kbps时，最为时，最为时，最为时，最为 出色且编码后音频文件很小；当大于出色且编码后音频文件很小；当大于出色且编码后音频文件很小；当大于出色且编码后音频文件很小；当大于128kbps128kbps时，音质损失过大。时，音质损失过大。时，音质损失过大。时，音质损失过大。应用：应用：应用：应用：该文件由于压缩率较高常常用于网络广播。该文件由于压缩率较高常常用于网络广播。4141描述：描述：描述：描述：Real networksReal networks推出的一种音乐压缩格式，其压缩比可达到推出的一种音乐压缩格式，其压缩比可达到推出的一种音乐压缩格式，其压缩比可达到推出的一种音乐压缩格式，其压缩比可达到 96:1 96:1，因此，在网上比较流行。因此，在网上比较流行。因此，在网上比较流行。因此，在网上比较流行。RA流式音频文件流式音频文件 特点：由于采用流媒体的方式，所以可以实现网上实时播放，即边下载边特点：由于采用流媒体的方式，所以可以实现网上实时播放，即边下载边特点：由于采用流媒体的方式，所以可以实现网上实时播放，即边下载边特点：由于采用流媒体的方式，所以可以实现网上实时播放，即边下载边 播放。经过压缩的音乐文件可以在通过速率为播放。经过压缩的音乐文件可以在通过速率为播放。经过压缩的音乐文件可以在通过速率为播放。经过压缩的音乐文件可以在通过速率为14.4kbps14.4kbps的的的的ModemModem上上上上 网的计算机中流畅访问。网的计算机中流畅访问。网的计算机中流畅访问。网的计算机中流畅访问。应用：该文件主要适用于网络上的在线音乐欣赏。应用：该文件主要适用于网络上的在线音乐欣赏。应用：该文件主要适用于网络上的在线音乐欣赏。应用：该文件主要适用于网络上的在线音乐欣赏。4242描述：模拟的音频信号经过模数转换（描述：模拟的音频信号经过模数转换（描述：模拟的音频信号经过模数转换（描述：模拟的音频信号经过模数转换（A/DA/D转换）直接形成的二进制数字序转换）直接形成的二进制数字序转换）直接形成的二进制数字序转换）直接形成的二进制数字序 列，该文件没有附加的文件头和文件结束标志。列，该文件没有附加的文件头和文件结束标志。列，该文件没有附加的文件头和文件结束标志。列，该文件没有附加的文件头和文件结束标志。PCM数字音频文件数字音频文件 特点：音源信息完整，虽然音质好，但信息量大，冗余度过大。特点：音源信息完整，虽然音质好，但信息量大，冗余度过大。特点：音源信息完整，虽然音质好，但信息量大，冗余度过大。特点：音源信息完整，虽然音质好，但信息量大，冗余度过大。应用：该文件由于可得到音质相当好的效果常常用于后期录音。应用：该文件由于可得到音质相当好的效果常常用于后期录音。应用：该文件由于可得到音质相当好的效果常常用于后期录音。应用：该文件由于可得到音质相当好的效果常常用于后期录音。4343描述：一种基于自适应预测过滤的无损音频压缩文件。描述：一种基于自适应预测过滤的无损音频压缩文件。描述：一种基于自适应预测过滤的无损音频压缩文件。描述：一种基于自适应预测过滤的无损音频压缩文件。TTA音频文件音频文件 特点：可将数据压缩至特点：可将数据压缩至特点：可将数据压缩至特点：可将数据压缩至30%30%的无损音频数据压缩；支持实时编码的无损音频数据压缩；支持实时编码的无损音频数据压缩；支持实时编码的无损音频数据压缩；支持实时编码/解码算解码算解码算解码算 法；操作快捷、对系统要求低。法；操作快捷、对系统要求低。法；操作快捷、对系统要求低。法；操作快捷、对系统要求低。应用：该文件是一种新生格式，在日本应用范围比较广。应用：该文件是一种新生格式，在日本应用范围比较广。应用：该文件是一种新生格式，在日本应用范围比较广。应用：该文件是一种新生格式，在日本应用范围比较广。4444描述：描述：描述：描述：OggOgg是一个完全开放性的多媒体系统计划的名称，也是是一个完全开放性的多媒体系统计划的名称，也是是一个完全开放性的多媒体系统计划的名称，也是是一个完全开放性的多媒体系统计划的名称，也是Ogg VorbisOgg Vorbis 文件的扩展名，文件的扩展名，文件的扩展名，文件的扩展名，VorbisVorbis是这种音频压缩格式的名称。目前是这种音频压缩格式的名称。目前是这种音频压缩格式的名称。目前是这种音频压缩格式的名称。目前OggOgg计划计划计划计划 只实现了只实现了只实现了只实现了VorbisVorbis的部分。的部分。的部分。的部分。Ogg音频文件音频文件 特点：它是一种新的音频压缩格式，它类似于特点：它是一种新的音频压缩格式，它类似于特点：它是一种新的音频压缩格式，它类似于特点：它是一种新的音频压缩格式，它类似于Mp3Mp3等现有的音频压缩格等现有的音频压缩格等现有的音频压缩格等现有的音频压缩格 式，它是完全免费、开放和没有专利限制的。它格式非常先进，虽式，它是完全免费、开放和没有专利限制的。它格式非常先进，虽式，它是完全免费、开放和没有专利限制的。它格式非常先进，虽式，它是完全免费、开放和没有专利限制的。它格式非常先进，虽 然然然然VorbisVorbis也是有损压缩，但是由于其使用了更加先进的声学模型去也是有损压缩，但是由于其使用了更加先进的声学模型去也是有损压缩，但是由于其使用了更加先进的声学模型去也是有损压缩，但是由于其使用了更加先进的声学模型去 减少损失，并且它支持多声减少损失，并且它支持多声减少损失，并且它支持多声减少损失，并且它支持多声 道，它的流行使以后用随身听来听道，它的流行使以后用随身听来听道，它的流行使以后用随身听来听道，它的流行使以后用随身听来听DTSDTS 编码的多声道作品将不会是梦想。编码的多声道作品将不会是梦想。编码的多声道作品将不会是梦想。编码的多声道作品将不会是梦想。应用：该文件格式可以不断地进行大小和音质的改良很可能成为一个流行趋应用：该文件格式可以不断地进行大小和音质的改良很可能成为一个流行趋应用：该文件格式可以不断地进行大小和音质的改良很可能成为一个流行趋应用：该文件格式可以不断地进行大小和音质的改良很可能成为一个流行趋势势势势 。4545描述：出现于描述：出现于描述：出现于描述：出现于19971997年，是基于年，是基于年，是基于年，是基于MPEG-2MPEG-2的音频编码技术。由的音频编码技术。由的音频编码技术。由的音频编码技术。由Fraunhofer Fraunhofer IIS IIS、DolbyDolby、苹果、索尼等公司共同开发，以取代、苹果、索尼等公司共同开发，以取代、苹果、索尼等公司共同开发，以取代、苹果、索尼等公司共同开发，以取代mp3mp3格式。格式。格式。格式。AAC音频文件音频文件 特点：作为一种高压缩比的音频压缩算法，特点：作为一种高压缩比的音频压缩算法，特点：作为一种高压缩比的音频压缩算法，特点：作为一种高压缩比的音频压缩算法，AACAAC压缩比通常为压缩比通常为压缩比通常为压缩比通常为1818：1 1，也有，也有，也有，也有 资料说为资料说为资料说为资料说为2020：1 1，远胜，远胜，远胜，远胜mp3mp3，而音质由于采用多声道，和使用低复杂，而音质由于采用多声道，和使用低复杂，而音质由于采用多声道，和使用低复杂，而音质由于采用多声道，和使用低复杂 性的描述方式，使其比几乎所有的传统编码方式在同规格的情况下性的描述方式，使其比几乎所有的传统编码方式在同规格的情况下性的描述方式，使其比几乎所有的传统编码方式在同规格的情况下性的描述方式，使其比几乎所有的传统编码方式在同规格的情况下 更胜一筹。更胜一筹。更胜一筹。更胜一筹。应用：该文件主要应用于媒体播放器中。应用：该文件主要应用于媒体播放器中。应用：该文件主要应用于媒体播放器中。应用：该文件主要应用于媒体播放器中。46462.2 MIDI 2.2 MIDI（乐器数字接口）（乐器数字接口）如果在一些多媒体项目中，我们想对声音做处理，只需要在主板的扩展槽上增加一块声卡，使用乐器数码接口（Musical Instrument Digital Interface,MIDI）简单的脚本语言以及硬件配置方案，就能够通过连接在主板上的扩音器处理输出声音，通过连接到计算机上的麦克风来录制声音，还能处理存储在磁盘上的音频文件。47472.2.1 MIDI2.2.1 MIDI的相关知识的相关知识 MIDI是一个工业标准的电子通信协定，为电子乐器等演奏装置（如合成器）定义各种音符或弹奏码，容许电子乐器、计算机或其他的演奏配备彼此连接，调节和同步，得即时交换演奏数据。MIDI不传送声音，只传送如音调和音乐强度等数码数据、音量、抖音和panning（让声音交替地从左右声道上发出，产生声的立体效果）等参数的控制信号，还有设定节奏的时钟信号。现在，几乎所有的音乐录音将MIDI作为一项关键开放技术来记录音乐。除此之外，MIDI也用来控制包括录音设备的硬件，如舞台灯、效应踏板等高性能的设备。最近，MIDI 已经渗入移动电话领域。48482.2.2 MIDI2.2.2 MIDI设备设备1.MIDI合成器 调频音乐合成器是用硬件芯片来实现，使用波形发生器合成不同的声音，具有声音合成的任意性。即利用频率调制原理产生出各种频率的复合波形，以模拟各种乐器的声音，比如单簧管、吉他、鼓等。调频音乐合成器调频音乐合成器 波形表合成器事先把真实乐器发出的声音经过采样、量化之后以数字形式记录下来，固化在称为声波速查表的ROM区中，可以通过软件来管理，并可以对声音进行混音、编辑和增强等处理。波形表合成器波形表合成器49492.2.2 MIDI2.2.2 MIDI设备设备2.MIDI音序器 MIDI音序器（sequencer）是指一种用来以MIDI数据形式存储和编辑一系列音乐事件的专用硬件。现在多指计算机上用于编辑音乐的软件。3.MIDI键盘 MIDI键盘（keyboard）不会发出声音，而是产生MIDI指令序列，这些指令序列称为MIDI消息（MIDI messages）。50502.2.3 MIDI2.2.3 MIDI运作运作 计算机音乐也称电子音乐，是由计算机音乐软件创作、修改和编辑，再通过合成器把数字乐谱变换成声音波形，再经过混音后送到音箱播放的乐曲。当MIDI乐器演奏了一个音符的时候，它随之将音符转换成MIDI消息一个典型的由键盘获取的音符的MIDI消息的过程如下：用户以特定速率演奏中央C音符。此速率通常转变成音符的音量，但也可以用合成器设定音符的音色。用户改变按压键盘按键的力度，这个技术称为键后触感。用户释放并停止演奏中央C音符。51512.3 2.3 数字音频编码数字音频编码 音音频频信信号号数数字字化化之之后后所所面面临临的的一一个个问问题题是是巨巨大大的的数数据据量量，这这为为存存储储和和传传输输带带来来了了压压力力。例例如如，对对于于CD音音质质的的数数字字音音频频，所所用用的的采采样样频频率率为为44.1kHz，量量化化精精度度为为16bit；采采用用双双声声道道立立体体声声时时，其其数数码码率率约约为为1.41 Mbit/s；1秒秒的的CD立立体体声声信信号号需需要要约约17KB的的存存储储空空间间。因因此此，为为了了降降低低传传输输或或存存储储的的费用，就必须对数字音频信号进行编码压缩。费用，就必须对数字音频信号进行编码压缩。52522.3.1 2.3.1 数字音频编码技术分类数字音频编码技术分类 波形编码是在时域上进行处理，力图使重建的语音波形保持原始波形编码是在时域上进行处理，力图使重建的语音波形保持原始波形编码是在时域上进行处理，力图使重建的语音波形保持原始波形编码是在时域上进行处理，力图使重建的语音波形保持原始语音信号的形状，它将语音信号作为一般的波形信号来处理，具有适语音信号的形状，它将语音信号作为一般的波形信号来处理，具有适语音信号的形状，它将语音信号作为一般的波形信号来处理，具有适语音信号的形状，它将语音信号作为一般的波形信号来处理，具有适应能力强、话音质量好等优点，缺点是压缩比偏低。应能力强、话音质量好等优点，缺点是压缩比偏低。应能力强、话音质量好等优点，缺点是压缩比偏低。应能力强、话音质量好等优点，缺点是压缩比偏低。波形编码波形编码 利用语音信息产生的数学模型，提取语音信号的特征参量，并按利用语音信息产生的数学模型，提取语音信号的特征参量，并按利用语音信息产生的数学模型，提取语音信号的特征参量，并按利用语音信息产生的数学模型，提取语音信号的特征参量，并按照模型参数重构音频信号。它只能收敛到模型约束的最好质量上，力照模型参数重构音频信号。它只能收敛到模型约束的最好质量上，力照模型参数重构音频信号。它只能收敛到模型约束的最好质量上，力照模型参数重构音频信号。它只能收敛到模型约束的最好质量上，力图使重建语音信号具有尽可能高的可懂性，而重建信号的波形与原始图使重建语音信号具有尽可能高的可懂性，而重建信号的波形与原始图使重建语音信号具有尽可能高的可懂性，而重建信号的波形与原始图使重建语音信号具有尽可能高的可懂性，而重建信号的波形与原始语音信号的波形相比可能会有相当大的差别。语音信号的波形相比可能会有相当大的差别。语音信号的波形相比可能会有相当大的差别。语音信号的波形相比可能会有相当大的差别。参数编码参数编码 将上述两种编码方法结合起来，采用混合编码的方法，可以在较低的数码率上得到较高的音质。混合编码混合编码5353 消费电子类数字音响设备消费电子类数字音响设备2.3.2 2.3.2 数字音频编码的主要应用数字音频编码的主要应用 广播节目制作系统广播节目制作系统 多媒体应用多媒体应用 广播电视数字化广播电视数字化 通信系统通信系统54542.3.32.3.3数字音频编码标准现状和趋势数字音频编码标准现状和趋势 国际电信联盟（International Telecommunications Union，ITU）主要负责研究和制定与通信相关的标准，作为主要通信业务的电话通信业务中使用的语音编码标准均是由ITU负责完成的。其中用于固定网络电话业务使用的语音编码标准如ITU-T G.711等主要在光和其他传送网组（ITU-T SG 15）完成，并广泛应用于全球的电话通信系统之中。语音编码标准发展及趋势语音编码标准发展及趋势 55552.3.32.3.3数字音频编码标准现状和趋势数字音频编码标准现状和趋势 音频编码标准主要由ISO的MPEG组来完成。MPEG1是世界上第一个高保真音频数据压缩标准。MPEG1是针对最多两声道的音频而开发的。但随着技术的不断进步和生活水准的不断提高，有的立体声形式已经不能满足听众对声音节目的欣赏要求，具有更强定位能力和空间效果的三维声音技术得到蓬勃发展。音频编码标准发展及趋势音频编码标准发展及趋势 5656小结 声音是携带信息的极其重要的媒体，是多媒体技术研究中的一个重要内容。声音类似于光，是一种波动现象，声音的主要物理特性有声音的强度和频率。音频文件格式专指存放音频数据的文件的格式，存在多种不同的格式。有两类主要的音频文件格式：无损格式和有损格式。MIDI是一个工业标准的电子通信协定，为电子乐器等演奏装置（如合成器）定义各种音符或弹奏码，容许电子乐器、计算机或其他的演奏配备彼此连接，调节和同步，得即时交换演奏数据。MIDI常见的设备有MIDI合成器、MIDI音序器、MIDI键盘。57575858学习要点：学习要点：了解图像的特征及指标 掌握图像颜色的来源、颜色模型 了解数字化图像的获取及文件格式 掌握ACDSee环境下数字图像处理方法5959 图像是计算机多媒体技术所处理的重图像是计算机多媒体技术所处理的重要信息之一，在日常生活中人们会发现，要信息之一，在日常生活中人们会发现，有时用语言和文字难以表达的事物，用一有时用语言和文字难以表达的事物，用一张简单的图就能精辟而准确地表达。因此，张简单的图就能精辟而准确地表达。因此，在多媒体计算机中图形和图像信息的获取在多媒体计算机中图形和图像信息的获取及其文件格式就显得非常重要。及其文件格式就显得非常重要。图像和图形的处理一直是计算机应用图像和图形的处理一直是计算机应用的一个重要领域，也是多媒体技术所涉及的一个重要领域，也是多媒体技术所涉及的一种重要的媒体形式。的一种重要的媒体形式。3.1 3.1 多媒体的基本概念多媒体的基本概念60603.1.1 3.1.1 图像和图形图像和图形 图图像像是是人人们们最最熟熟悉悉的的事事物物，自自然然界界中中的的景景物物和和生生物物通通过过人人们们的的视视觉觉观观察察，在在人人脑脑中中留留下下了了印印记记，这这就就是是图图像像。图图像像处处理理是是将将已已有有的的图图像像变变成成一一幅幅新新的的、更更好好的的图图像像。表表示示图图的的手手段段有有两两种种：一一种种是是图图像像，另另一一种种是图形。是图形。图像是直接量化的原始信号形式，由像素点构成，像素点是组成图像的图像是直接量化的原始信号形式，由像素点构成，像素点是组成图像的最基本的元素。最基本的元素。每个像点采用若干个二进制位进行描每个像点采用若干个二进制位进行描述，并且对应每一个显示像素，这种对应述，并且对应每一个显示像素，这种对应关系叫做关系叫做“位映射位映射”关系，因此，图像又关系，因此，图像又有有“位图位图”之称。像点是组成图像最基本之称。像点是组成图像最基本的元素，构成数字化图像的众多像点有序的元素，构成数字化图像的众多像点有序排列，形成点阵图，其形式如同报纸上印排列，形成点阵图，其形式如同报纸上印刷的图片。计算机在处理图像时，并不直刷的图片。计算机在处理图像时，并不直接把每个像点进行传送和保存，而是采用接把每个像点进行传送和保存，而是采用压缩数据算法，找出并去掉图像中的冗余，压缩数据算法，找出并去掉图像中的冗余，以较少的数据量进行保存和传送。图像通以较少的数据量进行保存和传送。图像通常用于表现自然景观、人物、动物、植物常用于表现自然景观、人物、动物、植物和一切引起人类视觉感受的事物。和一切引起人类视觉感受的事物。61613.1.1 3.1.1 图像和图形图像和图形 图图形形是是指指经经过过计计算算机机运运算算而而形形成成的的抽抽象象化化结结果果，由由具具有有方方向向和和长长度度的的矢矢量量线线段段构构成成。图图形形的的描描述述不不使使用用像像点点数数据据，而而是是使使用用坐坐标标数数据据、运运算关系以及颜色描述数据。因此，人们通常把图形叫做算关系以及颜色描述数据。因此，人们通常把图形叫做“矢量图矢量图”由于图形不直接采用逐个描述像点的方法，因此数据量很小。但是，由于图形的显示完全依赖数据的运算结果，因而稍微复杂的图形需要花费较多的运算时间，显示速度受到影响。矢量化的图形通常用于表现直线、曲线、复杂运算曲线以及由各种线段围成的图形。6262 图像的数据量相对较大，图形的数据量相对较小。图像的数据量相对较大，图形的数据量相对较小。图像的数据量相对较大，图形的数据量相对较小。图像的数据量相对较大，图形的数据量相对较小。图像的像点之间没有内在联系，在放大与缩小时，部分像点图像的像点之间没有内在联系，在放大与缩小时，部分像点图像的像点之间没有内在联系，在放大与缩小时，部分像点图像的像点之间没有内在联系，在放大与缩小时，部分像点被丢失或被重复添加，导致图像的清晰度受影响；而图形由运被丢失或被重复添加，导致图像的清晰度受影响；而图形由运被丢失或被重复添加，导致图像的清晰度受影响；而图形由运被丢失或被重复添加，导致图像的清晰度受影响；而图形由运算关系支配，放大与缩小不会影响图形的各种特征。算关系支配，放大与