人眼视觉原理.2.ppt

2024/11/8 2024/11/8 周周五五第一章 数字视频基础1.0.视频应用1.1.人类视觉系统与模型1.2.彩色模型1.3.数字视频基础1.4.多维随机信号分析视频应用视频应用n图像与视频信号处理无所不在图像与视频信号处理无所不在视频应用目标的检测与识别图像与视频拼接普通相机视场：普通相机视场：50350人眼视场：人眼视场：2001350全景拼接全景拼接（Panoramic Mosaic）：3601800运动视频分析系统1.1.人眼的视觉特性与模型2024/11/8 2024/11/8 周周五五1.1.人眼的视觉特性与模型n n人眼的构造人眼的构造n n视网膜的结构（杆状细胞，锥视网膜的结构（杆状细胞，锥状细胞）状细胞）n n视细胞的分布视细胞的分布n n人眼的视觉特性人眼的视觉特性n n视觉的适应视觉的适应n n绝对视觉阈绝对视觉阈n n阈值对比度阈值对比度n n光谱灵敏度光谱灵敏度n n分辨力分辨力n n视觉系统的调制传递函数视觉系统的调制传递函数n n 2024/11/8 2024/11/8 周周五五视网膜n n视网膜的结构视网膜的结构n n杆状细胞杆状细胞n n锥状细胞锥状细胞n n视细胞的分布视细胞的分布n n n n 2024/11/8 2024/11/8 周周五五视觉的适应n n明视觉明视觉n n暗视觉暗视觉n n中介视觉中介视觉n n颜色适应颜色适应310-5cd/m23cd/m23105cd/m2暗视觉暗视觉明视觉明视觉中介视觉中介视觉2024/11/8 2024/11/8 周周五五人眼的视觉特性n n绝绝对对视视觉觉阈阈：全全黑黑视视场场下下，人人眼眼感感觉觉到到的的最最小小光光刺刺激激值值，约约10109 9 lxlx量级。量级。n n阈阈值值对对比比度度：时时间间不不限限，使使用用双双眼眼探探测测一一个个亮亮度度大大于于背背景景亮亮度度的的圆盘，察觉概率为圆盘，察觉概率为50%50%时，不同背景亮度下的对比度。时，不同背景亮度下的对比度。n n对比度对比度C C：当：当L Lt t和和L Lb b分别为目标与背景的亮度时，对比度表示为：分别为目标与背景的亮度时，对比度表示为：由由于于背背景景亮亮度度、对对比比度度和和人人眼眼所所能能探探测测的的目目标标张张角角三三者者之之间间存存在在制制约约关关系系（WaldWald定定律律），特特别别是是在在目目标标张张角角77，时，存在，时，存在RoseRose定律：定律：2024/11/8 2024/11/8 周周五五人眼的视觉特性n n光光谱谱灵灵敏敏度度（光光谱谱光光视视效效率率）：人人眼眼对对各各种种不不同同波波长长的的辐辐射射光光有有不不同同的灵敏度（响应），对大量正常视力观察者的实验表明：的灵敏度（响应），对大量正常视力观察者的实验表明：n n在较明亮环境中，人眼视觉对波长在较明亮环境中，人眼视觉对波长0.5550.555 mm左右的绿光最敏感；左右的绿光最敏感；n n在较暗条件下，人眼视觉对波长在较暗条件下，人眼视觉对波长0.5120.512 mm左右的黄绿光最敏感；左右的黄绿光最敏感；右图给出不同视场亮度下，人眼的光谱光视效率曲线：右图给出不同视场亮度下，人眼的光谱光视效率曲线：n n人眼的分辨力：人眼能区分人眼的分辨力：人眼能区分两发光点的最小角距离称为两发光点的最小角距离称为极限分辨角极限分辨角，其倒数为人，其倒数为人眼分辨力。眼分辨力。n n从内因分析，影响分辨力的从内因分析，影响分辨力的因素为眼睛的构造。因素为眼睛的构造。n n从外因分析，是目标的亮度从外因分析，是目标的亮度与对比度。与对比度。人眼会根据外界条件自动进行人眼会根据外界条件自动进行适应，从而可以得到不同的适应，从而可以得到不同的极限分辨角。极限分辨角。明视觉 暗视觉 人眼观察物体的要求灵敏度：以量子阈值表示时，最小可探测的视觉刺激是58145个蓝绿光(波长为0.51m)的光子轰击角膜引起的，据估算，这一刺激只有514个光子实际到达并作用于视网膜上。分辨力：对比度：图案不同，对对比度的要求也不同（如点与点：26；方波条纹之间：3）信噪比：人眼观察物体需要排出干扰，如果干扰太大将影响到人眼的观察效果。图案不同，人眼对信噪比的要求不同（如方波图案：11.5左右；余弦图案：33.5左右）10-6lx10-5lx10-4lx10-3lx 光波与颜色波长与颜色关系次声波声波无线电波微波红外线红色光紫色光紫外线X射线可见光可见光频率范围：红 橙 黄 绿 兰 紫 4.3X1014Hz-7.5X1014光波与颜色由红绿蓝三色组成的颜色光的特征n n色调：主频率 决定颜色决定颜色n n亮度 单位时间、单位角度、单位投射面上光源幅射能量单位时间、单位角度、单位投射面上光源幅射能量n n饱和度：纯度 该频率的颜色表现该频率的颜色表现 能量分布能量分布能量E频率红紫白色光某主频光纯度 依赖于Ed与Ew差别Ew=0 纯度100%Ed=Ew 纯度0EwEd红紫RGB三基色 n nRGBRGB三基色三基色n n基本颜色基本颜色 可用来生成其他颜色的两种或三种颜色可用来生成其他颜色的两种或三种颜色n nBlue=435.8nmBlue=435.8nmn nGreen=546.1nmGreen=546.1nmn nRed=700nmRed=700nmn n二次色二次色n n品红（品红（magentamagenta）：红）：红+蓝蓝n n青（青（cyancyan）：蓝）：蓝+绿绿n n黄（黄（yellow)yellow)：红：红+绿绿n n补色补色标准基色和色度图原色：如果将原色：如果将X,Y,ZX,Y,Z三种颜色适当混合即可产生三种颜色适当混合即可产生 白白色效果，而其中两种颜色组合不能产生第三种颜色，色效果，而其中两种颜色组合不能产生第三种颜色，这三种颜色称为原色。即红、绿、兰为原色。这三种颜色称为原色。即红、绿、兰为原色。实验发现，很多颜色的光无法用RGB三种原色组合获得。例如，500nm颜色=G+B-RRGB彩色监视器无法获得标准基色和色度图n nXYZXYZXYZXYZ颜色模型颜色模型CIE(CIE(国际照度委员会国际照度委员会)X,Y,ZX,Y,Z表示产生一种颜色所表示产生一种颜色所需要的三基色的量需要的三基色的量 X=0.4902R+0.3099G+0.1999B Y=0.1770R+0.8123G+0.0107B Z=0.0000R+0.0101G+0.9899B x,y,z：色系数 2.2.标准基色和色度图标准基色和色度图CIECIE色度图色度图作用：为不同基色组比较整个颜色范围作用：为不同基色组比较整个颜色范围 标识互补颜色标识互补颜色 确定颜色主波长和纯度确定颜色主波长和纯度 2.2.标准基色和色度图标准基色和色度图2.标准基色和色度图（续）3.RGB颜色模型n nR R（红）（红）G G（绿）（绿）B B（蓝）（蓝）n n（0,0,00,0,0）代表黑色，）代表黑色，(1,1,1)(1,1,1)代表白色代表白色n n一种颜色一种颜色3.RGB颜色模型n nR R（红）（红）G G（绿）（绿）B B（蓝）（蓝）n n（0,0,00,0,0）代表黑色，）代表黑色，(1,1,1)(1,1,1)代表白色代表白色n n一种颜色一种颜色3.RGB颜色模型n nR R（红）（红）G G（绿）（绿）B B（蓝）（蓝）0.80.70.10.20.7n nCMY(青、品红、黄)、CMYK(青、品红、黄、黑）n n运用在大多数在纸上沉积彩色颜料的设备，如彩运用在大多数在纸上沉积彩色颜料的设备，如彩色打印机和复印机色打印机和复印机n n CMYKCMYKn n 打印中的主要颜色是黑色打印中的主要颜色是黑色n n 等量的等量的CMYCMY原色产生黑色，但不纯原色产生黑色，但不纯n n 在在CMYCMY基础上，加入黑色，形成基础上，加入黑色，形成CMYKCMYK彩色空间彩色空间4.CMY颜色模型RGBRGB是加色模型，是加色模型，CMYCMY是减色模型是减色模型5.HSI颜色模型 面向视觉感知的颜色模型 HSI(色调hue、饱和度saturation、亮度intensity）两个特点：I分量与图像的彩色信息无关 H和S分量与人感受颜色的方式是紧密相连的 将亮度(I)与色调（H）和饱和度（S）分开，避 免颜色受到光照明暗(I)等条件的干扰,仅仅分 析反映色彩本质的色调和饱和度 广泛用于计算机视觉、图像检索和视频检索5.HSI颜色模型n nH H（色调）：（色调）：为角度，从为角度，从0 0到到360360；n nS S（色饱和度）（色饱和度）：从从0 0到到1 1，S S0 0时只有灰度；时只有灰度；n n I I（明度）：（明度）：I I从从0 0到到1 1，I I0 0是黑色，是黑色，I=1I=1是白色是白色RGB RGB图像同与之对应的HIS图像HIS RGB彩色图象的彩色图象的R，G，B和和H，S，I各各分量的图示分量的图示 n n下图给出下图给出1 1组用灰度图形式表示彩色图象的例子，其中图组用灰度图形式表示彩色图象的例子，其中图(a)(a)，图，图(b)(b)，图，图(c)(c)分别分别为为1 1幅彩色图象的幅彩色图象的R R，G G，B B分量（每个分量用分量（每个分量用8 bit8 bit表示表示)，图，图(d)(d)，图，图(e)(e)，图，图(f)(f)分别为这幅彩色图象的分别为这幅彩色图象的H H，S S，I I分量（每个分量也各用分量（每个分量也各用8 bit8 bit表示表示)。1.3.数字视频基础模拟视频与数字视频n n视频（视频（VideoVideo）最初是在电视系统中提出的；）最初是在电视系统中提出的；n n2020世纪世纪2020年代后期，光电管及阴极射线管为核心技术年代后期，光电管及阴极射线管为核心技术的全电子电视系统问世后，才有真正意义上的视频，的全电子电视系统问世后，才有真正意义上的视频，即黑白视频；即黑白视频；n n在不考虑电视调制发射和接收等诸多环节，仅考虑和在不考虑电视调制发射和接收等诸多环节，仅考虑和研究电视基带信号的摄取、改善、传输、记录、编辑、研究电视基带信号的摄取、改善、传输、记录、编辑、显示的技术就叫做显示的技术就叫做“视频技术视频技术”；n n主要应用于广播电视的摄录编系统、安全及监控、视主要应用于广播电视的摄录编系统、安全及监控、视频通信和视频会议、远程教育及视听教学、影像医学、频通信和视频会议、远程教育及视听教学、影像医学、影音娱乐和电子广告等行业和领域。影音娱乐和电子广告等行业和领域。1.3.数字视频基础视频：动态图像，是一组图像按时间顺序的连续展示按信号组成和存储方式的不同：模拟视频：是由连续的模拟信号组成的图像序列，像电影、电视和录像的画面；数字视频：是一系列连续的数字图像序列；帧：一段视频中的每一幅图像称为一帧；帧：一段视频中的每一幅图像称为一帧；根据视觉暂留原理，要使人的视觉产生连续的动根据视觉暂留原理，要使人的视觉产生连续的动态感觉，每秒钟图像的播放帧数要在态感觉，每秒钟图像的播放帧数要在2430（帧频）（帧频）;帧频：每秒播放的帧数帧频：每秒播放的帧数n n图像序列构成视频数字视频n n广义的数字视频广义的数字视频是指依据人的视觉暂留特性，是指依据人的视觉暂留特性，借助计算机或微处理器芯片的高速运算，加上借助计算机或微处理器芯片的高速运算，加上CodecCodec技术、传输存储技术等来实现的以比特流为技术、传输存储技术等来实现的以比特流为特征的，能按照某种规律和标准在显示终端上再现特征的，能按照某种规律和标准在显示终端上再现活动影音的信息媒介；活动影音的信息媒介；n n狭义的数字视频狭义的数字视频是指与具体媒体格式所对应的是指与具体媒体格式所对应的数字视频，如数字视频，如DVDV格式数字视频、格式数字视频、DVDDVD光盘格式数字光盘格式数字视频、视频、AVIAVI桌面格式数字视频、桌面格式数字视频、RMRM流媒体格式数字流媒体格式数字视频、视频、MP4MP4固体存储数字视频等。固体存储数字视频等。低通滤波器容许低频信号通过低通滤波器容许低频信号通过,减弱减弱(或减少或减少)频率高于截频率高于截止频率的信号的通过。止频率的信号的通过。n n取样（采样）n n将时间和幅度上连续的模拟信号转变为时间离散将时间和幅度上连续的模拟信号转变为时间离散的信号，即时间离散化。的信号，即时间离散化。tt幅幅度度 取样频率至少是模拟取样频率至少是模拟信号最高频率的两倍。信号最高频率的两倍。一般选在一般选在2.52.5倍左右。倍左右。n n量化n n将幅度连续信号转换为幅度离散的信号，即将幅度连续信号转换为幅度离散的信号，即幅度离散化。幅度离散化。n n度量每一个取样值，归类于设定的量化电平度量每一个取样值，归类于设定的量化电平中的一个电平。中的一个电平。n n量化电平越细，失真程度越低，数字化后的量化电平越细，失真程度越低，数字化后的比特率越高。反之，相反。比特率越高。反之，相反。n n一般来说，二进制方式，其量化比特为一般来说，二进制方式，其量化比特为8 8的话，的话，其量化电平数为其量化电平数为2 28 8，即，即256256个量化电平。个量化电平。n nITU-601ITU-601标准规定，演播室用量化位数为标准规定，演播室用量化位数为10bit10bit，用于传输的量化位数为，用于传输的量化位数为8bit8bitn n编码n n按照一定的规律，将时间和幅度上离散信号按照一定的规律，将时间和幅度上离散信号用对应的二进制或多进制代码表示。用对应的二进制或多进制代码表示。tt幅度2比特码比特码 8比特码比特码（4个）个）（256个）个）11 10001011 10 10001010 01 10001001 00 10001000以上是分别用以上是分别用2 2和和8 8比特码量化的电平。比特码量化的电平。根据取样的量化电平数，确定量化比特码根据取样的量化电平数，确定量化比特码数。数。n n视频数字化n n将视频信号经过视频采集卡转换成数字视频文件存储在数将视频信号经过视频采集卡转换成数字视频文件存储在数字载体中。字载体中。下面以计算机广泛采用的数字化技术，即下面以计算机广泛采用的数字化技术，即flashA/DflashA/D变换器来具变换器来具体看一下数字化工作情况：体看一下数字化工作情况：将图像分成栅状，每个小格子代表像素，将图像分成栅状，每个小格子代表像素，且位置确定。且位置确定。Flash变换器对每个像素取变换器对每个像素取样，量化、编码后，将这些数据存储到样，量化、编码后，将这些数据存储到存储器中。存储器中。计算机技术中，一个字节可以表示计算机技术中，一个字节可以表示0255范围内的值，但作为视频信号幅范围内的值，但作为视频信号幅度，只能在度，只能在0100 IRE单位之间。单位之间。注：注：IRE是视频测量中的单位，广播级视频电平规定了任何视频信号在播放时是视频测量中的单位，广播级视频电平规定了任何视频信号在播放时的亮度电平都不能超过的亮度电平都不能超过100 IRE。视频分辨率n视频质量通常用线分辨率来度量；视频质量通常用线分辨率来度量；n本质上是表示在显示器上可以显示多少不同的黑本质上是表示在显示器上可以显示多少不同的黑白垂直线；白垂直线；标准清晰度n n 标准清晰度视频通常定义为标准清晰度视频通常定义为480480或或576576的隔行有效的隔行有效扫描线的视频，分别称为扫描线的视频，分别称为“480i”480i”和和“576i”576i”；n n 固定像素（非固定像素（非CRTCRT）、具有）、具有4 4：3 3宽高比的消费类显宽高比的消费类显示器通过转换后，对应于示器通过转换后，对应于720480i720480i或或720576i720576i的的有效分辨率；有效分辨率；n n 对于对于1616：9 9的宽高比，转换后的有效分辨率对应于的宽高比，转换后的有效分辨率对应于960480i960480i或或960576i960576i。增强清晰度o增强清晰度视频通常定义为增强清晰度视频通常定义为480或或576的逐行的逐行有效扫描线的视频，分别称为有效扫描线的视频，分别称为“480p”和和“576p”；o 固定像素（非固定像素（非CRT）、具有）、具有4：3宽高比的消宽高比的消费类显示器通过转换后，对应于费类显示器通过转换后，对应于720480p或或720576p的有效分辨率；的有效分辨率；o 对于对于16：9的宽高比，转换后的有效分辨率对的宽高比，转换后的有效分辨率对应于应于960480p或或960576p。高清晰度o高清晰度视频通常定义为具有高清晰度视频通常定义为具有720逐行逐行（720p）或）或1080隔行（隔行（1080i）有效扫描线的）有效扫描线的视频；视频；o 固定像素（非固定像素（非CRT）、具有）、具有16：9宽高比的消宽高比的消费类显示器通过转换后的有效分辨率对应于费类显示器通过转换后的有效分辨率对应于1280720p或或1280 1080i；视频质量评估与方法n n 数字视频的质量直接反映了用户使用视频通信业务时的主观感受，因而要求采用合理的标准对视频质量进行快速、准确的评价；n n图像质量评价标准图像质量评价标准n n视频传输质量评估视频传输质量评估图像质量评价标准n n 主观评价观察者打分统计计算平均值作为评价结果（平均评价分值，MOS）；n n双刺激连续质量分级法双刺激连续质量分级法交替播放待评估序列交替播放待评估序列和基准序列进行直接质量比较，观察者打分，平和基准序列进行直接质量比较，观察者打分，平均值作为评价结果（最大程度降低图像场景情节均值作为评价结果（最大程度降低图像场景情节对评测影响）；对评测影响）；n n单刺激连续质量评价方法单刺激连续质量评价方法只播放待评价序列，只播放待评价序列，观察者观看同时根据评分表打分。观察者观看同时根据评分表打分。图像质量评价标准n n 客观测量相对评估和绝对评估n n 相对评估：将压缩或经传输的视频与原始相对评估：将压缩或经传输的视频与原始视频比较以获得相对评估指标值，由此评视频比较以获得相对评估指标值，由此评估图像质量；一般用于视频制作时的质量估图像质量；一般用于视频制作时的质量评估，准确性高；评估，准确性高；n n均方根误差（均方根误差（MSEMSE）n n峰值信噪比（峰值信噪比（PSNRPSNR）n n 绝对评估：直接对压缩或经传输的视频进绝对评估：直接对压缩或经传输的视频进行评估获得指标值，由此评估图像质量；行评估获得指标值，由此评估图像质量；一般在线观看测试，准确性稍低。一般在线观看测试，准确性稍低。视频传输质量评估 在通信和互联网应用中信源端和接收端对图像质量主要影响因素：n n可用带宽：衡量用户从网络取得互联网视频应可用带宽：衡量用户从网络取得互联网视频应用数据的能力；用数据的能力；n n延时：延迟超出缓存能力时，会发生丢包，影延时：延迟超出缓存能力时，会发生丢包，影响图像质量；响图像质量；n n丢包：导致图像质量劣化的最根本原因；丢包：导致图像质量劣化的最根本原因；n n码率波动：播放视频时接收端要求稳定码流，码率波动：播放视频时接收端要求稳定码流，码率波动过大会导致解码器主动丢包以保证前码率波动过大会导致解码器主动丢包以保证前后视频质量一致，引起质量下降。后视频质量一致，引起质量下降。视频传输质量评估n n评估主观视觉效果：评估主观视觉效果：n n图像跳跃：由于网络拥塞造成丢包使图像帧间运图像跳跃：由于网络拥塞造成丢包使图像帧间运动不平滑，有类似快进现象；动不平滑，有类似快进现象；n n块效应：由于传输误码造成的，是所有基于块效应：由于传输误码造成的，是所有基于DCTDCT技术压缩都可能出现的现象；技术压缩都可能出现的现象；n n模糊度：由于编码器为了适应固定码率而产生的，模糊度：由于编码器为了适应固定码率而产生的，图像高频细节部分丢失造成图像边缘模糊；图像高频细节部分丢失造成图像边缘模糊；n n噪声：由于采集和存储图像过程中，高频细节劣噪声：由于采集和存储图像过程中，高频细节劣化产生的附加像素点。化产生的附加像素点。彩色电视制式n nNTSC彩色电视制式是1952年美国国家电视标准委员会定义的彩色电视广播标准，称为正交平衡调幅制。美国、加拿大等大部分西半球国家，以及日本、韩国、菲律宾等国和中国的台湾采用这种制式。彩色电视制式n n德国在1962年制定了PAL彩色电视广播标准，称为逐行倒相正交平衡调幅制。德国、英国等一些西欧国家，以及中国、朝鲜等国家采用这种制式。n n法国制定了SECAM彩色电视广播标准，称为顺序传送彩色与存储制。法国、前苏联及东欧国家采用这种制式。世界上约有65个地区和国家试验这种制式。彩色电视制式n nNTSC制、PAL制和SECAM制都是互不兼容的电视制。n nNTSC制、PAL制和SECAM制都是彩色和黑白兼容的制式，这里的“兼容”有两层意思：n n一是指黑白电视机能接收彩色电视广播，显示的一是指黑白电视机能接收彩色电视广播，显示的是黑白图像，是黑白图像，n n另一层意思是彩色电视机能接收黑白电视广播，另一层意思是彩色电视机能接收黑白电视广播，显示的也是黑白图像，这叫逆兼容性。显示的也是黑白图像，这叫逆兼容性。兼容性实现n n必需采用与黑白电视相同的一些基本参数，如扫描方式、扫描行频、场频、帧频、同步信号、图像载频、伴音载频等等。n n需要将摄像机输出的三基色信号转换成一个亮度信号，以及代表色度的两个色差信号，并将它们组合成一个彩色全电视信号进行传送。在接收端，彩色电视机将彩色全电视信号重新转换成三个基色信号，在显象管上重现发送端的彩色图像。电视扫描n n扫描方式有隔行扫描和逐行扫描之分。黑白电视和彩色电视都有隔行扫描，而计算机显示图像时一般都采用逐行扫描。n n在隔行扫描方式中，隔行扫描要求第一场结束于最后一行的中间，不管电子束如何折回，它必须回到显示屏顶部的中央，这样就可以保证相邻的第二场扫描恰好嵌在第一场各扫描线的中间。在隔行扫描方式中，电子束扫完第在隔行扫描方式中，电子束扫完第1 1行后从第行后从第3 3行开始扫，接着行开始扫，接着扫第扫第5 5行，行，7 7行、行、,一直扫到最后一行的中间。奇数行扫完后以同一直扫到最后一行的中间。奇数行扫完后以同样的方式扫描偶数行，这样就完成了一帧的扫描。由此可见，隔行样的方式扫描偶数行，这样就完成了一帧的扫描。由此可见，隔行扫描的一帧图像是由两部分组成：一部分是由奇数行组成，称扫描的一帧图像是由两部分组成：一部分是由奇数行组成，称奇数奇数场场，另一部分是由偶数行组成，称为偶数场，两场合起来组成一帧。，另一部分是由偶数行组成，称为偶数场，两场合起来组成一帧。因此在隔行扫描中，无论是摄像机还是显示器，获取或显示一幅图因此在隔行扫描中，无论是摄像机还是显示器，获取或显示一幅图像都要扫描两遍才得到一幅完整的图像。像都要扫描两遍才得到一幅完整的图像。逐行扫描逐行扫描隔行扫描隔行扫描在逐行扫描方式中，电子束从在逐行扫描方式中，电子束从显示屏的左上角一行接一行地扫显示屏的左上角一行接一行地扫到右下角，在显示屏上扫一遍就到右下角，在显示屏上扫一遍就显示一幅完整的图像。显示一幅完整的图像。1.逐行扫描逐行扫描2.隔行扫描隔行扫描电视扫描术语n n每秒钟扫描多少行称为行频fH；每秒钟扫描多少场称为场频ff；每秒扫描多少帧称帧频fF。ff和fF是两个不同的概念。PAL电视制式的扫描特性n n 625行(扫描线)/帧，25帧/秒(40 ms/帧)n n高宽比(aspect ratio)：4:3 n n隔行扫描，2场/帧，312.5行/场n n颜色模型：YUV制式的含义n n一帧图像的总行数为一帧图像的总行数为625625，分两场扫描。行扫描频率是，分两场扫描。行扫描频率是15 625 Hz15 625 Hz，周期为，周期为64s64s；n n场扫描频率是场扫描频率是50 Hz,50 Hz,周期为周期为20 ms20 ms；帧频是；帧频是25 Hz25 Hz，是，是场频的一半，周期为场频的一半，周期为40 ms40 ms。n n在发送电视信号时，每一行中传送图像的时间是在发送电视信号时，每一行中传送图像的时间是52.2s52.2s，其余的，其余的11.8s11.8s不传送图像，是行扫描的逆程不传送图像，是行扫描的逆程时间，同时用作行同步及消隐用。时间，同时用作行同步及消隐用。n n每一场的扫描行数为每一场的扫描行数为625/2=312.5625/2=312.5行，其中行，其中2525行作场行作场回扫，不传送图像，传送图像的行数每场只有回扫，不传送图像，传送图像的行数每场只有287.5287.5行，行，因此每帧只有因此每帧只有575575行有图像显示。行有图像显示。NTSC制的扫描特性 n n525525行行/帧帧,30,30帧帧/秒秒(29.97 fps,33.37 ms/frame)(29.97 fps,33.37 ms/frame)n n高宽比：电视画面的长宽比高宽比：电视画面的长宽比(电视为电视为4:34:3；电影为；电影为3:23:2；高清晰度电视为高清晰度电视为16:9)16:9)n n隔行扫描，一帧分成隔行扫描，一帧分成2 2场场(field)(field)，262.5262.5线线/场场 n n在每场的开始部分保留在每场的开始部分保留2020扫描线作为控制信息，因此扫描线作为控制信息，因此只有只有485485条线的可视数据。条线的可视数据。n n每行每行63.5s63.5s，水平回扫时间，水平回扫时间10s(10s(包含包含5s5s的水平同步的水平同步脉冲脉冲)，所以显示时间是，所以显示时间是53.5s53.5sn n颜色模型：颜色模型：YIQ YIQ 彩色电视信号特点n n彩色电视中，用彩色电视中，用Y Y、C1,C2C1,C2彩色表示法分别表示亮度信彩色表示法分别表示亮度信号和两个色差信号，号和两个色差信号，C1C1，C2C2的含义与具体的应用有关的含义与具体的应用有关:n n在在NTSCNTSC彩色电视制中，彩色电视制中，C1C1，C2C2分别表示分别表示I I、QQ两个色差信号；两个色差信号；n n在在PALPAL彩色电视制中，彩色电视制中，C1C1，C2C2分别表示分别表示U U、V V两个色差信号；两个色差信号；n n在在CCIR 601CCIR 601数字电视标准中，数字电视标准中，C1C1，C2C2分别表示分别表示CrCr，CbCb两个两个色差信号。色差信号。n n色差是指基色信号中的三个分量信号色差是指基色信号中的三个分量信号(即即R R、G G、B)B)与亮与亮度信号之差。如：度信号之差。如：R-YR-Y和和B-Y.B-Y.彩色电视信号的类型n n复合电视信号n n分量电视信号n nS-video信号 复合视频信号，定义为包括亮度和色度的单路模拟信号，也即从全电视信号中分离出伴音后的视频信号，这时的色度信号还是间插在亮度信号的高端。由于复合视频接口的传输仍然是一种亮度色度混合的视频信号，仍然需要显示设备对其进行亮/色分离和色度解码才能成像，这种先混合再分离的过程必然会造成色彩信号的损失，色度信号和亮度信号也会有很大的机会相互干扰从而影响最终输出的图像质量。复合电视信号复合电视信号复合视频信号接口又称复合视频信号接口又称为为AVAV端子或端子或VideoVideo端子端子莲花线莲花线S-Video信号n n分离电视信号S-Video(Separated video-VHS)是亮度和色差分离的一种电视信号，是分量模拟电视信号和复合模拟电视信号的一种折中方案。n n使用S-Video有两个优点：n n减少亮度信号和色差信号之间的交叉干扰。减少亮度信号和色差信号之间的交叉干扰。n n不须要使用梳状滤波器来分离亮度信号和色差信不须要使用梳状滤波器来分离亮度信号和色差信号，这样可提高亮度信号的带宽。号，这样可提高亮度信号的带宽。S-video信号n n复合电视信号是把亮度信号和色差信号复合在一起，复合电视信号是把亮度信号和色差信号复合在一起，使用一条信号电缆线传输。使用一条信号电缆线传输。n nS-VideoS-Video信号则使用单独的两条信号电缆线，一条信号则使用单独的两条信号电缆线，一条用于亮度信号，另一条用于色差信号，这两个信号用于亮度信号，另一条用于色差信号，这两个信号称为称为Y/CY/C信号。信号。S-VideoS-Video使用使用4 4针连接器针连接器 S-video信号分量电视信号n n分量电视信号(component video signal)是指每个基色分量作为独立的电视信号。n n每个基色既可以分别用R、G和B表示，也可以用亮度-色差表示，如Y、I和Q，Y、U和V。n n使用分量电视信号是表示颜色的最好方法，但需要比较宽的带宽和同步信号。n n分量信号实际上也是亮色分离的信号，与s端子不同的是色度信号不用解调。电视图象数字化n n在大多数情况下，数字电视系统都希望用彩色分量来表示图像数在大多数情况下，数字电视系统都希望用彩色分量来表示图像数据，如用据，如用YCbCrYCbCr，YUVYUV，YIQYIQ或或RGBRGB彩色分量。因此，电视图像彩色分量。因此，电视图像数字化常用数字化常用“分量初始化，表示对彩色空间的每一个分量进行初分量初始化，表示对彩色空间的每一个分量进行初始化。始化。n n电视图像数字化常用的方法有两种：电视图像数字化常用的方法有两种：n n先从复合彩色电视图像中分离出彩色分量，然后数字化。如先从复合彩色电视图像中分离出彩色分量，然后数字化。如录象带、激光视盘、摄象机等的电视信号。对这类信号的数录象带、激光视盘、摄象机等的电视信号。对这类信号的数字化，通常的做法是首先把模拟的全彩色电视信号分离成字化，通常的做法是首先把模拟的全彩色电视信号分离成YCbCrYCbCr，YUVYUV，YIQYIQ或或RGBRGB彩色空间中的分量信号，然后用三彩色空间中的分量信号，然后用三个个A/DA/D转换器分别对它们数字化。转换器分别对它们数字化。(上游数字化）上游数字化）n n首先用一个高速首先用一个高速A/DA/D转换器对彩色全电视信号进行数字化，然转换器对彩色全电视信号进行数字化，然后在数字域中进行分离，以获得所希望的后在数字域中进行分离，以获得所希望的YCbCrYCbCr，YUVYUV，YIQYIQ或或RGBRGB分量数据。分量数据。（下游数字化）（下游数字化）数字化标准n n20世纪80年代初，国际无线电咨询委员会制定了彩色电视图像数字化标准，称为CCIR 601标准（ITU-R BT.601标准）。n n标准规定了彩色电视图像转换成数字图像时使用的采样频率，RGB和YCbCr(或者写成YCBCR)两个彩色空间之间的转换关系等。数字化标准n n彩色空间之间的转换n nY=0.299R+0.587G+0.114BY=0.299R+0.587G+0.114B +16 +16n nC Cr r=(0.5114R-0.4282G-0.0832B)=(0.5114R-0.4282G-0.0832B)+128 +128n nC Cb b=(-0.1726R-0.3388G+0.5114B)=(-0.1726R-0.3388G+0.5114B)+128 +128数字化标准n n采样频率n nCCIRCCIR为为NTSCNTSC制、制、PALPAL制和制和SECAMSECAM制规定了共同制规定了共同的电视图像采样频率。这个采样频率也用于远程的电视图像采样频率。这个采样频率也用于远程图像通信网络中的电视图像信号采样。图像通信网络中的电视图像信号采样。n nfs=13.5MHZfs=13.5MHZ数字化标准n n采样频率n n对对PALPAL制、制、SECAMSECAM制，采样频率制，采样频率fsfs为为fs=62525N=15625N=13.5 MHz,N=864fs=62525N=15625N=13.5 MHz,N=864其中，其中，NN为每一扫描行上的采样数目。为每一扫描行上的采样数目。n n对对NTSCNTSC制，采样频率制，采样频率fsfs为为fs=52529.97N=15734N=13.5 MHz,fs=52529.97N=15734N=13.5 MHz,N=858N=858其中，其中，NN为每一扫描行上的采样数目。为每一扫描行上的采样数目。数字化标准n n有效显示分辨率n n对对PALPAL制和制和SECAMSECAM制的亮度信号，每一条扫描制的亮度信号，每一条扫描行采样行采样864864个样本；对个样本；对NTSCNTSC制的亮度信号，每制的亮度信号，每一条扫描行采样一条扫描行采样858858个样本。对所有的制式，每个样本。对所有的制式，每一扫描行的有效样本数均为一扫描行的有效样本数均为720720个。每一扫描行个。每一扫描行的采样结构的采样结构 数字化标准n n彩色电视数字化参数彩色电视数字化参数采采样格式格式信号形式信号形式采采样频率率样本数本数/扫描行描行数字信号取数字信号取值(MHz)NTSCPAL范范围(A/D)(A/D)Y13.5858(720)864(720)220级(16 235)4:2:2Cr6.75429(360)432(360)225级(16 240)Cb6.75429(360)432(360)(128 112)Y13.5858(720)864(720)220级(16 235)4:4:4Cr13.5858(720)864(720)225级(16 240)Cb13.5858(720)864(720)(128 112)n n标准化格式标准化格式n nCCITTCCITT规定了称为公用中分辨率格式，规定了称为公用中分辨率格式，1/41/4公用中公用中分辨率格式分辨率格式QCIFQCIF和和SQCIFSQCIF格式格式 n nCIFCIF格式具有如下特性：格式具有如下特性：n n电视图像的空间分辨率为家用录象系统电视图像的空间分辨率为家用录象系统(Video(Video Home SystemHome System，VHS)VHS)的分辨率，即的分辨率，即352288352288。n n使用非隔行扫描使用非隔行扫描(non-interlaced scan)(non-interlaced scan)。n n使用使用NTSCNTSC帧速率，电视图像的最大帧速率为帧速率，电视图像的最大帧速率为30 30 000/100129.97000/100129.97幅幅/秒。秒。n n使用使用1/21/2的的PALPAL水平分辨率，即水平分辨率，即288288线。线。n n对亮度和两个色差信号对亮度和两个色差信号(Y(Y、CbCb和和Cr)Cr)分量分别进分量分别进行编码，它们的取值范围同行编码，它们的取值范围同ITU-R BT.601ITU-R BT.601。即黑。即黑色色=16=16，白色，白色=235=235，色差的最大值等于，色差的最大值等于240240，最，最小值等于小值等于1616。数字化标准n nCIFCIF和和QCIFQCIF相关格式的参数相关格式的参数CIF CIF QCIFQCIFSQCIFSQCIF行数行数/帧像素像素/行行行数行数/帧像素像素/行行行数行数/帧像素像素/行行亮度亮度(Y)(Y)288288360(352)360(352)144144180(176)180(176)9696128128色度色度(Cb)(Cb)144144180(176)180(176)727290(88)90(88)48486464色度色度(Cr)(Cr)144144180(176)180(176)727290(88)90(88)48486464尺寸尺寸 简称简称全写全写尺寸比例尺寸比例128 x 96128 x 96subQCIFsubQCIF4:34:3176 X 144176 X 144QCIFQCIF11:911:9320 x 240320