多媒体技术基础(1227).docx

《多媒体技术基础》讲义

教育科学学院

1 概述 - 1 -
教学目标 - 1 -
教学内容 - 1 -
1.1 什么是多媒体 - 1 -
1.2 多媒体的特点 - 3 -
1.3 多媒体与多种媒体组合 - 5 -
1.4 多媒体的通信方式[本节略讲] - 6 -
2 数字化技术 - 1 -
教学目标 - 1 -
教学内容 - 1 -
2.1 文本与图形的数字化 - 1 -
2.2 声音的数字化 - 4 -
2.3 静止图像的数字化 - 6 -
2.4 视频信号的数字化 - 8 -
3 声音合成 - 1 -
教学目标 - 1 -
教学内容 - 1 -
3.1 录音编辑 - 1 -
3.2 脉冲代码调制 - 2 -
3.3 增量调制 - 5 -
3.4 差分脉冲代码调制 - 11 -
3.5 线性预测 - 12 -
4 图像数据压缩编码基础 - 1 -
教学目标 - 1 -
教学内容 - 1 -
4.1 编码与解码 - 1 -
4.2 媒体的数据量 - 2 -
4.3 压缩编码概述 - 3 -
4.4 压缩编码的方法 - 8 -
5 静止图像压缩 - 1 -
教学目标 - 1 -
教学内容 - 1 -
5.1 JPEG的目的 - 1 -
5.2 JPEG算法概述 - 2 -
5.3 基本处理算法 - 4 -
5.4 扩张处理算法（累进处理） - 4 -
5.5 无失真处理算法 - 5 -
5.6 数据结构 - 5 -
5.7 表色系及其编码 - 7 -
6 运动图像压缩 - 1 -
教学目标 - 1 -
教学内容 - 1 -
6.1 运动图像压缩编码的基本方法 - 1 -
6.2 MPEG I的基本特点 - 2 -
6.3 MPEG I的基本技术 - 3 -
6.4 MPEG I的数据结构 - 4 -
6.5 MPEG II简介 - 4 -
7 超媒体 - 1 -
教学目标 - 1 -
教学内容 - 1 -
7.1 概述 - 1 -
7.2 节点与链 - 4 -
7.3 超媒体的信息结构 - 5 -
7.4 超媒体系统的信息结构设计 - 6 -
7.5 超媒体系统的体系结构 - 8 -
7.6 超媒体系统的应用 - 9 -
8 多媒体数据整合 - 1 -
教学目标 - 1 -
教学内容 - 1 -
8.1 多媒体数据整合的特点 - 1 -
8.2 多媒体文档 - 2 -
8.3 多媒体数据同步 - 3 -
8.4 多媒体写作工具 - 3 -
9 虚拟现实 - 1 -
教学目标 - 1 -
教学内容 - 1 -
9.1 概述 - 2 -
9.2 虚拟现实的构成 - 5 -
9.3 虚拟现实的基本技术 - 8 -
9.4 虚拟现实的应用 - 14 -
9.5 虚拟现实的教育应用 - 16 -

1 概述
教学目标
通过本章学习，应对多媒体的概念有一个明确的认识，能：
1． 说明甚么是多媒体，并能够根据多媒体的基本特点来理解多媒体。
2． 指出多媒体与多种媒体组合的不同。
3． 基于多媒体的特点，说明多媒体通信方式与传统通信方式的不同，并说明ATM通信方式的基本原理。
教学内容
1． 什么是多媒体——有关多媒体的各种定义
2． 多媒体的特点——多种媒体的整合（数字化，交互性，超媒体）
3． 多媒体与多种媒体组合——多种媒体的组合，多媒体系统
4． 多媒体的通信方式——传统的通信方式（分时多路复用，分组交换），ATM通信方式（ATM的工作原理，ATM的信源结构，ATM交换机）
1.1 什么是多媒体
1.1.1 媒体
在多媒体技术中，媒体（medium）是一个重要的概念。那么，什么是媒体呢？媒体是信息的载体。“媒体”一词本身来自于拉丁文“medius”一字，为中介、中间的意思。因此可以说，人与人之间所赖以沟通及交流观念、思想或意见的中介物便可称之为媒体。Hyper Card的创始人Nelson说过：“我们居身在媒体世界中就像鱼生活在水中一样。”现代科技的发展大大方便了人与人的交流与沟通，也给媒体赋予许多崭新的内涵。
1.1.2 媒体的分类
国际电报电话咨询委员会（CCITT，目前已被ITU取代）曾对媒体做如下分类：
1．感觉媒体（perception medium）
指能直接作用于人的感官，使人能直接产生感觉的一类媒体。如人类的各种语言、音乐，自然界的各种声音、图形、图像，计算机系统中的文字、数据和文件等都属于感觉媒体。
2．表示媒体（representation medium）
表示媒体是为了加工、处理和传输感觉媒体而人为研究、构造出来的一种媒体。其目的是更有效的将感觉媒体从一地向另一外地传送，便于加工和处理。表示媒体有各种编码方式，如语言编码、文本编码、图像编码等。
3．表现媒体（presentation medium）
指感觉媒体和用于通信的电信号之间转换用的一类媒体。它又分为两种：一种是输入表现媒体，如键盘、摄像机、光笔、话筒等；另一种是输出表现媒体，如显示器、喇叭、打印机等。
4．存储媒体（storage medium）
存储媒体用于存放表示媒体（感觉媒体数字化后的代码），以便计算机随时处理、加工和调用信息编码。这类媒体有硬盘、软盘、磁带及CD-ROM等。
5．传输媒体（transmission medium）
传输媒体是用来将媒体从一处传送到另一处的物理载体。传输媒体是通信的信息载体，它有双绞线、同轴电缆、光纤等。
1.1.3 多媒体的定义
文本、声音、图形、图像和动画等是信息的载体，它们中的两个或多于两个的组合称为多媒体。多媒体计算机技术的定义很多，比较确切的是Lippincott和Robinson在1990年2月份《Byte》杂志上两篇文章的定义：所谓多媒体计算机技术就是计算机交互式综合处理多种媒体信息——文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简言之，多媒体技术就是计算机综合处理声、文、图信息的技术，具有集成性、实时性和交互性。
多媒体系统是指利用计算机技术和数字通信技术来处理和控制多媒体信息的系统，简单地说，一个电视节目、一部动画片、CAI课件或者视频/音频演示系统，都可以称之为多媒体系统。 多媒体开发研究的目标是将多种计算机软硬件技术、数字化声像技术和高速通信网技术集成为一个整体，把多种媒体信息的获取、加工、处理、传输、存储、表现于一体。
1.2 多媒体的特点
1.2.1 促进多媒体技术发展的关键技术
1． CD-ROM解决了多媒体信息的存储问题；
2． 高速计算机网络可以传送多媒体信息；
3． 高速位处理技术、专用集成电路和亚微米集成电路技术的发展，为多媒体技术提供了高速处理的硬件环境；
4． 各种多媒体压缩算法、人机交互和分布式处理系统等使得多媒体系统的产生成为可能。
1.2.2 多媒体的关键特性
1． 集成性
集成性包括两方面，一方面是媒体信息即声音、文件、图像、视频等的集成，另一方面是显示或表现媒体设备的集成，即多媒体系统一般不仅包括了计算机本身而且还包括了像电视、音响、录像机、激光唱片等设备。
2． 实时性
所谓实时性是指在多媒体系统中声音及活动的视频图像是强实时的（hard realtime），多媒体系统提供了对这些媒体实时处理的能力。支持实时处理在网络传输中尤为重要。
3． 交互性
所谓交互性是多媒体计算机与其他像电视机、录音机等家用电器有所差别的关键特征。"交互性"是因特网媒体较之传统媒体的一大优越性。虽然在传统媒体中，传播者和受众之间也存在交流，如报纸设的读者信箱，电台的热线电话等，但在这些交流中，受众流向传播者的信息比传播者向受众"推"出的信息要少得多，受众在传播中显然处于被动地位，传播模式基本上是单向传播。在网络中，这种现象正在逐渐改变。受众享有了前所未有的参与度，成为媒体的一部分。受众由被动变为主动，随心所欲地从媒体中"拉"出所需信息，也可以参与媒体的传播活动。媒体和受众形成充分的双向交流。
4． 超媒体
多媒体的信息结构形式应是一种超媒体的结构形式。
[参考资料]
Hard and Soft real time systems
from wikipedia.org
A system is said to be real-time if the total correctness of an operation depends not only upon its logical correctness, but also upon the time in which it is performed. The classical conception is that in a hard or immediate real-time system, the completion of an operation after its deadline is considered useless - ultimately, this may lead to a critical failure of the complete system. A soft real-time system on the other hand will tolerate such lateness, and may respond with decreased service quality (e.g., dropping frames while displaying a video).
Hard real-time systems are typically found interacting at a low level with physical hardware, in embedded systems. For example, a car engine control system is a hard real-time system because a delayed signal may cause engine failure or damage. Other examples of hard real-time embedded systems include medical systems such as heart pacemakers and industrial process controllers.
Hard real-time systems are used when it is imperative that an event is reacted to within a strict deadline. Usually such strong guarantees are required of systems for which not reacting in a certain window of time would cause great loss in some manner, especially physically damaging the surroundings or threatening human lives (although the strict definition is simply that missing the deadline constitutes failure of the system). Systems that always have hard real-time constraints (due to the potentially severe outcome of missing a deadline) include nuclear power stations and car airbags. In the context of multitasking systems the scheduling policy is normally priority driven pre-emptive schedulers. Other scheduling algorithms include Earliest Deadline First, which, ignoring the overhead of context switching, is sufficient for system loads of less than 100%.
New overlay scheduling systems, such as an Adaptive Partition Scheduler assist in managing large systems with a mixture of hard real-time and non real-time applications.
Soft real-time systems are typically those used where there is some issue of concurrent access and the need to keep a number of connected systems up to date with changing situations. Example: the software that maintains and updates the flight plans for commercial airliners. These can operate to a latency of seconds. Live audio-video systems are also usually soft real-time; violation of constraints results in degraded quality, but the system can continue to operate.
It is important to note that hard versus soft real-time does not necessarily relate to the length of time available. A machine may overheat if a processor does not turn on cooling within 15 minutes (hard real-time). On the other hand, a network interface card may lose buffered data if it is not read within a fraction of a second, but the data can be resent over the network (soft real-time), without major adverse consequences.
1.3 多媒体与多种媒体组合
1.3.1 多种媒体的组合
多种媒体的组合系统中，各种单媒体彼此相互独立，各自以不同的信息形式、不同的信息通道进行传递。系统中的信息不是数字化的信息，这些信息没有经过整合，不具备交互性。基于多媒体的基本特点，可以说，这样的系统不是通常意义上的多媒体系统。
1.3.2 多媒体系统
多媒体系统的输入端应将多种数字化后的单媒体信息整合为一维的多媒体信息进行传递。输出端则通过分离将各单媒体信息传送到不同的媒体设备予以呈现。在这个系统中，各种媒体数据不仅具有相同的形式，而且经过整合后变换成一维信息进行传递。一般来说，系统中的信息结构应是超媒体的非线性结构形式，用户可通过人机交互的方式对信息进行各种操作。
称这样的系统为多媒体系统。

1.4 多媒体的通信方式[本节略讲]
多媒体是基于各项多媒体技术发展起来的，支持多媒体及其应用的发展的主要技术很多，这里先对多媒体通信方式的基本原理进行简单的介绍。
1.4.1 多路复用通信方式
多路复用是指两个或多个用户共享公用信道的一种机制。通过多路复用技术，多个终端能共享一条高速信道，从而达到节省信道资源的目的，多路复用有频分多路复用（FDM），时分多路复用（TDM），码分多路复用（CDM）几种。
1． 频分复用
FDM（Frequency-division multiplexing）：频分多路复用是一种将多路基带信号调制到不同频率载波上再进行叠加形成一个复合信号的多路复用技术。
历史上，电话网络曾使用FDM技术在单个物理电路上传输若干条语音信道。这样，12路语音信道被调制到载波上各自占据4KHz带宽。这路占据60－108KHz频段的复合信号被认为是一个组。反过来，五个这样的信号组本身被同样的方法多路复用到一个超级组中，这个组包含60条语音信道。进一步甚至有更高层次的多路复用，这样使得单个电路中传输几千条语音信道成为可能。
在现代电话系统所使用的数字传输方式中，TDM（时分多路复用，Time-Division Multiplexing）代替了FDM技术。
FDM也能被用于在最终调制到载波上之前合并多路信号。在这种情况下，所载信号被认为是次载波。立体声调频（stereo FM）传输就是这样一个例子：38KHz次载波被用于在复合信号频率调制之前从中央左右合并信道中分离出左右不同的信号。
频分复用系统的最大优点是信道复用率高，容许复用的路数多，分路也很方便。因此，它成为目前模拟通信中最主要的一种复用方式。特别是在有线和微波通信系统中应用十分广泛。频分复用系统的主要缺点是设备生产比较复杂，会因滤波器件特性不够理想和信道内存在非线性而产生路间干扰。
2． 时分复用
时分复用(TDM，Time Division Multiplexing)就是将提供给整个信道传输信息的时间划分成若干时间片（简称时隙），并将这些时隙分配给每一个信号源使用，每一路信号在自己的时隙内独占信道进行数据传输。时分复用技术的特点是时隙事先规划分配好且固定不变，所以有时也叫同步时分复用。其优点是时隙分配固定，便于调节控制，适于数字信息的传输；缺点是当某信号源没有数据传输时，它所对应的信道会出现空闲，而其他繁忙的信道无法占用这个空闲的信道，因此会降低线路的利用率。时分复用技术与频分复用技术一样，有着非常广泛的应用，电话就是其中最经典的例子，此外时分复用技术在广电也同样取得了广泛地应用，如SDH，ATM，IP和 HFC网络中CM与CMTS的通信都是利用了时分复用的技术。
3． 码分复用[此部分内容只作了解要求]
码分复用(CDM，Code Division Multiplexing)是靠不同的编码来区分各路原始信号的一种复用方式，主要和各种多址技术结合产生了各种接入技术，包括无线和有线接入。例如在多址蜂窝系统中是以信道来区分通信对象的，一个信道只容纳1个用户进行通话，许多同时通话的用户，互相以信道来区分，这就是多址。移动通信系统是一个多信道同时工作的系统，具有广播和大面积覆盖的特点。在移动通信环境的电波覆盖区内，建立用户之间的无线信道连接，是无线多址接入方式，属于多址接入技术。CDMA(Code Division Multiple Access)就是码分复用的一种方式，称为码分多址，此外还有频分多址(FDMA)、时分多址(TDMA)和同步码分多址(SCDMA)。
1.4.2 分组交换方式
1． 分组交换的原理
分组交换也称包交换，从根本上讲也是一种多路复用的通信技术。分组交换的本质特征是 “存储—转发”，这是将它单列来讲的原因。它是将用户传送的数据划分成一定的长度，每个部分叫做一个分组。在每个分组的前面加上一个分组头，用以指明该分组发往何地址，然后由交换机根据每个分组的地址标志，将他们转发至目的地，这一过程称为分组交换。进行分组交换的通信网称为分组交换网。分组交换在线路上采用动态复用技术传送按一定长度分割为许多小段的数据—分组。每个分组标识后，在一条物理线路上采用动态复用的技术，同时传送多个数据分组。把来自用户发端的数据暂存在交换机的存储器内，接着在网内转发。到达接收端，再去掉分组头将各数据字段按顺序重新装配成完整的报文。分组交换比电路交换的电路利用率高，比报文交换的传输时延小，交互性好。
2． 分组交换的特点
在分组交换方式中，由于能够以分组方式进行数据的暂存交换，经交换机处理后，很容易地实现不同速率、不同规程的终端间通信。分组交换的特点主要有：
（1）线路利用率高：分组交换以虚电路的形式进行信道的多路复用，实现资源共享，可在一条物理线路上提供多条逻辑信道，极大地提高线路的利用率。使传输费用明显下降。
（2）不同种类的终端可以相互通信：分组网以X.25协议向用户提供标准接口，数据以分组为单位在网络内存储转发，使不同速率终端，不同协议的设备经网络提供的协议变换功能后实现互相通信。
（3）信息传输可靠性高：在网络中每个分组进行传输时，在节点交换机之间采用差错校验与重发的功能，因而在网中传送的误码率大大降低。而且在网内发生故障时，网络中的路由机制会使分组自动地选择一条新的路由避开故障点，不会造成通信中断。
（4）分组多路通信：由于每个分组都包含有控制信息，所以分组型终端可以同时与多个用户终端进行通信，可把同一信息发送到不同用户。
（5）计费与传输距离无关：网络计费按时长、信息量计费，与传输距离无关，特别适合那些非实时性，而通信量不大的用户。
1.4.3 ATM通信方式
ATM也是一种分组交换的通信方式。
1． ATM的基本原理
ATM（Asynchronous Transfer Mode）是一种传输模式，在这一模式中，信息被组织成信元，因包含来自某用户信息的各个信元不需要周期性出现，这种传输模式是异步的。
ATM信元是固定长度的分组，共有53个字节，分为2个部分。前面5个字节为信头，主要完成寻址的功能；后面的48个字节为信息段，用来装载来自不同用户，不同业务的信息。话音，数据，图像等所有的数字信息都要经过切割，封装成统一格式的信元在网中传递，并在接收端恢复成所需格式。由于ATM技术简化了交换过程，去除了不必要的数据校验，采用易于处理的固定信元格式，所以ATM交换速率大大高于传统的数据网，如x.25，DDN,帧中继等。另外，对于如此高速的数据网，ATM网络采用了一些有效的业务流量监控机制，对网上用户数据进行实时监控，把网络拥塞发生的可能性降到最小。对不同业务赋予不同的“特权”，如语音的实时性特权最高，一般数据文件传输的正确性特权最高，网络对不同业务分配不同的网络资源，这样不同的业务在网络中才能做到“和平共处”。
2． ATM的信元结构

3． ATM交换机

2 数字化技术
教学目标
通过本章学习，应对各种媒体信息数字化的基本原理与方法有一定的理解，能说明文本信息、图形信息、声音信息、静止图像信息、视频图像信息数字化的基本原理方法。
教学内容
1. 文本与图形的数字化——文本信息的数字化，图形的数字化
2. 声音的数字化——采用与采样定律，分配码字，数字化处理
3. 静止图像的数字化——平面采样，图像扫描，图像信号数字化，颜色处理
4. 视频信号的数字化——视频信号扫描，视频信号的数字化，视频信号中的色信号
2.1 文本与图形的数字化
在数字化过程中，影响声音、图像等媒体信息数字化质量的因素是采样频率和量化精度。
2.1.1 文本信息的数字化
文本信息一方面具有符号的特点，另一方面，在书写时又具有颜色、大小这样的图形特性。作为符号的文本信息，一般都是以一个字节（如英文的字母）或两个字节（如汉字）的代码进行数字化处理的。英文和数字以及一些基本的标点符号等是以ASCII码实现文本信息的数字化的。除了基本的ASCII码以外，还应对包括实现文本处理时的改行、翻页等各种操作进行编码。
所谓文本信息，通常是指文字信息的集合。以呈现为主要目的德文本信息，除文本给出的信息内容外，还应包括文字的形状种类、大小、颜色和呈现方式等有关信息。
1． 西文在计算机中的表示
在计算机中，西文采用ASCII码表示。ASCII是美国信息交换标准代码（American Standard Code for Information Interchange）的英文缩写。它是一个由7个二进制位组成的字符编码系统，包括大小写字母、标点符号、控制字符等共128个字符。目前，ASCII码已在计算机领域中得到了最广泛的应用。
例如：字符A的ASCII码值为065；
字符B的ASCII码值为066；
字符C的ASCII码值为067。
2． 汉字的不同编码
（1）汉字的输入编码
汉字与西文不同，为了能直接使用西文标准键盘把汉字输入到计算机，就必须为汉字设计相应的输入编码方法。当前采用的方法主要有以下三类：
一是数字编码。常用的是国际区位码，用数字串代表一个汉字输入。区位码是将国家标准局公布的6763个两极汉字分为94个区，每个区分94位，实际上是把汉字表示成二维数组，每个汉字在数组中的下标就是区位码。区码和位码各有两位十进制数字，因此输入一个汉字需按键四次。；例如"中"字位于第54区48位，区位码为5488。
数字编码输入的优点是无重码，且输入码与内部编码的转换比较方便，缺点是代码难以记忆。
二是拼音码。拼音码是以汉语拼音为基础的输入方法，凡掌握汉语拼音的人，不需训练和记忆，即可使用。但汉字同音字太多，输入重码率太高，因此按拼音输入后还必须进行同音字选择，影响了输入速度。
三是字型编码。字型编码是用汉字的形状来进行的编码。汉字总数虽多，但是由一笔一划组成，全部汉字的部件和笔划是有限的。因此，把汉字的笔划部件用字母或数字进行编码，按笔划的顺序依次输入，就能表示一个汉字。例如五笔字型编码就是一种著名的字型编码方法。
除了上述三种编码方法外，为了加快输入速度，在上述方法基础上，发展了词组输入、联想输入等多种快速输入方法，但是都利用了键盘进行"手动"输入。比较好的方法是利用语音或图像识别技术"自动"将拼音或文本输入到计算机内，使计算机能认识汉字，听懂汉语，并将其转换为机内代码表示
（2）汉字内码
汉字内码是用于汉字信息的存储、交换、检索等操作的机内代码，一般采用两个字节表示。英文字符的机内代码是七位的ASCII码，当用一个字节表示时，最高位为“0”。为了与英文字符能相互区别，汉字机内代码中两个字节的最高位均规定为“1”。
有的系统中字节的最高位用于奇偶校验位，这种情况下用三个字节表示汉字内码。
（3）汉字字模码
字模码是用点阵表示的汉字字型代码，它是汉字的输出形式。
根据汉字输出的要求不同，点阵的多少也不同。简易汉字为16*16点阵，提高型汉字为24*24点阵，32*32点阵，64*64电阵，甚至更高。因此字模点阵的信息量是很大的，所占存储空间也很大。以16*16为例，每个汉字要站占用32个字节，国际两级汉字要占用256K字节。因此字模点阵只能用来构成汉字库，而不能用于机内存储。字库中存储了每个汉字的点阵代码。当显示输出或打印输出时才检测字库，输出字模点阵，得到字形。
汉字的数目很多，常用的就有几千个。现在常用的汉字可用两个字节表示，而要表示更多的汉字时，还要用更多的字节。在我国使用计算机，汉字是必须考虑的
2.1.2 图形的数字化
图形是一种抽象化的图像，是由线段和在封闭领域内的涂色所表示的图像。各种图形都可以由图形代码的集合来表示。用一系列计算机指令来描述和记录一幅图，这幅图可分解为一系列关于点、线、面等简单图形的计算机指令，及其一些基本的特征参数。通常，将图形称之为矢量图形。
矢量图的描述方法是用数学的方式来描述一幅图形，因此需要专门的软件来解释对应的图形指令。编辑这种矢量图形的软件通常称为绘图程序（draw program），如Autodesk公司开发的 AUTOCAD软件，它特别适于绘制机械图，电路图等。
矢量图有许多优点。如当需要编辑每一小块图形时，矢量图非常有效；对象图形的移动、缩放、旋转、复制、属性的改变（如线条的宽窄、颜色等）也很容易做到；相同或类似的对象可以当作基本图块，并存入图库中。这样不仅可以加速图的生成，而且可以减少矢量图文件的大小。然而，当图变得很复杂时，计算机就要花费很长的时间去执行绘图指令才能把一幅图显示出来。对于一幅复杂的彩色照片，就很难用数学来描述，用矢量图来表示。
CGM是图形代码的一种国际标准。基本图形的代码如表格所示：
代码
图形
POLYLINE
直线
TEXT
文本的描述
POLYGON
多边形
RECTANGLE
长方形
CIRCLE
圆
ELLIPSE
椭圆
2.2 声音的数字化
数字音频是指音频信号用一系列的数字表示，其特点是保真度好，动态范围大。在计算机内的音频必须是数字形式的，因此必须把模拟音频信号转换成有限个数字表示的离散序列，既实现音频数字化。在这一处理技术中，要考虑采样、量化和编码的问题。
一个音频信号转换成在计算机中的数据文件的过程如下：
选择采样频率，进行采样。选择分辨率，进行量化。形成声音文件，如下图所示。

1． 采样与采样定理
声音信号数字化过程的第一个实质性阶段是采样。
采样也称之为数字化，其作用是把时间上连续的信号，变成在时间上不连续的信号序列，即通常的A/D模数转换，其功能是将模拟信号变换成数字信号。根据采样定理，采样的频率至少高于信号最高频率的2倍。采样的频率越高，声音"回放"出来的质量也越高，但是要求的存储量也越大。
根据采样定理，设模拟信号的最高频率为，采样频率为，只有选择

才能无失真地从样本序列中恢复原来的模拟信号。
在多媒体中，对于音频，最常用的有三种采样频率：44.1Hz、22.5Hz、11.025Hz。
2． 分配码字（分辨率）
分配码字是指把采样所得的值（通常为反映某一瞬间声波幅度的电压值）数字化，即用二进制来表示模拟量，进而实现模/数转换。显然，用来表示一个电压模拟值的二进制位数越多，其分辨率也越高。过程所用到的主要硬件设备便是模拟/数字转换器（Analog to Digital Converter，即ADC）。采样的过程实际上是将通常的模拟音频信号的电信号转换成许多称作“比特（bit）”的二进制码0和1，这些0和1便构成了数字音频文件。
一个数字音频文件的数据量是很大的。一般来说，要求声音的质量越高，则量化级数和采样频率也越高，为了保存这一段声音的文件也越大，即要求的存储空间越大。
声音通道的个数表明声音记录是只产生一个波形（单声道）还是产生两个波形（立体声双声道）。立体声的声音有空间感，但需要两倍的存储空间。
（1）对于单声道，决定数字录音文件大小的公式为：
 S=R*D*（r/8）*1
其中，S表示文件大小，单位为字节；
R表示采样速率，单位为kHz，也可叫采样频率；
D表示录音的声音，单位为秒；
 r表示分辨率，单位为二进制位（BIT），如8位、16位等。
 式中的数字1表示对应的单声道。公式中的"/8"是为了把二进制位换算成以字节作为单位，一个字节等于8位二进制位。
（2）对于立体声，决定数字录音文件大小的公式与单声道的情况类似（仍以字节为单位），如下式所示：
S=R*D*（r/8）*2
其中个符号的含义与上示相同，唯一不同的是乘以数字2，表示对应立体声，即立体声的文件大小为单声道的两倍。
例如，如果采样频率为44.1kHz，分辨率为16位，立体声，录音的时间长度为10秒的情况下，文件的大小S为：
S=（44100*10*16/8）*2=1764kB
3． 声音信号的数字化处理

根据声音信号的品质要求决定采样频率。声音信号经低通滤波器虑掉高于以上的频率成分。滤波后的声音信号按的采样间隔采样后，通过量化、分配码字等操作便换成数字信号，实现声音信号的数字化处理。
2.3 静止图像的数字化
位图与矢量图的比较
主要看空间和性能两方面，一般说来，要看图像的复杂程度，简单的图使用矢量图描述好一些，复杂的图使用位图好一些。

局部在全图中的位置

位图的局部

矢量图的局部
2.3.1 平面采样
一个图像有若干个点组成。帧存储器中存放了与屏幕画面上的每一个像素一一对应的一个个矩阵。矩阵中的每一个元素就是像素值,像素值反映了对应像素的某些特性，而这个矩阵就称之为位图。简而言之，位图（BITMAP，或称点阵图）是一个用来描述像素的简单的信息矩阵，每个像素的颜色信息由RGB组合或者灰度值表示。位图也称为图像。
位图图像是指在空间和亮度上已经离散化的图像。我们可以把一幅位图图像考虑为一个矩阵，矩阵中的任一元素对应图像中的一个点，相应的值表示该点的灰度或颜色等级。位图图像适用于逼真照片或要求精细细节的图像。为了节省内存和磁盘空间，通常，图像文件总是以压缩的方式进行存储的。位图的绘制过程也即逐点映射的过程，与图像的复杂程度无关。位图的表现力强，可适于任何自然图像，细腻、层次多、细节多。
为了实现无失真编码，根据采样定理，设静止图像的空间频率成分中，方向的最高频率为，方向的最高频率为，其中、方向的采样频率、应满足
，
称图像数字化时的样本点为像素。
2.3.2 图像扫描
图像信号数字化是通过扫描将图像信号变成一维信号进行处理的。对静止图像的扫描，通常采用的是逐行扫描，即逐行地从左到右，从上至下地扫描。

正交格子与晶状格子
2.3.3 图像信号的量化
单色（黑、白两种）用一维矩阵表示，更多的信息要用多位信息来表示。例如，4位可以表示16种颜色，8位可以表示256种颜色。
2.3.4 颜色的处理
彩色图像的颜色表示方法大致可以分为三类，它们是：
RGB，即以红（R）、绿（G）、蓝（B）三色为基色的加色系表示和处理方法，也称R、G、B为加原色。各种摄像设备和CRT多用这种方式对颜色予以表示和处理。
CMYK减色系表示和处理方法。
这是一种以C（青）、M（品红）、Y（黄）、K（黑）为基色的减色系的颜色的表示和处理方法，也称C、M、Y为减原色。这种方式多用于各种印刷系统对颜色的表示和处理。印刷物是以反射光来识别颜色的，若仅使用C、M、Y，在呈现黑色时存在着一些问题，因此，在减色系中，除C、M、Y外，还需加入K（黑色）。
亮度和色差信号对彩色图像进行表示和处理的方式。
2.4 视频信号的数字化
视频信号的运动效果与电影和动画一样，可以认为是一幅一幅的静止图像以一定的时间间隙逐次呈现的结果。称视频信号中的一幅静止图像为一帧。电视信号中，每秒传送的静止图像为25帧（PAL制式）到30帧（NTSC）制式之间。
美国国家电视系统委员会于1940年成立，隶属于美国联邦通讯委员会(FCC)，成立目的是为了解决各公司不同的电视制式的分歧，从而统一全国的电视传送制式。1941年3月，委员会就无线电制造协会于1936年建议，发布了关于黑白电视机技术标准。NTSC标准同时建议了帧频为每秒30帧，每帧由两场交错扫描线组成，每场由262.5条线组成，每秒组成60场。委员会在最后建议中使用4:3画面比例，和使用FM调制伴音。
1950年1月，委员会职责改为为彩色电视制定标准化的标准。在1953年12月，该崭新的电视制式名称直接使用该组织简写，就是今天所称的NTSC 制式（后来又定义为RS-170A）。该彩色电视标准保留了与黑白电视机的兼容性。彩色信号加载在原黑白信号中的副载波中4.5X455/572MHz