多媒体网络PPT课件.ppt

北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东信息与通信工程学院多媒体技术中心信息与通信工程学院多媒体技术中心第 7 讲多媒体网络门爱东教授多媒体技术Multimedia Technology 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT2内容提要7 多媒体网络 a）多媒体网络基础 网络结构（核心网）丢包和延迟 IP/TCP/UDP 协议 组播 网络中多媒体 b）多媒体网络协议 c）多媒体数据的复接和分接 d）实时交互多媒体终端 e）IP 流媒体终端 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT3多媒体网络基础：因特网n无数互联的计算机n硬件服务器、路由器、工作站、移动终端路由器：把数据包送到它们的目的地通信链路光纤、同轴、无线、卫星n软件分布式应用Web 冲浪、流媒体协议控制发送和接收的消息 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT4多媒体网络基础：因特网结构 n边缘网终端系统或主机（客户端、服务器）运行应用程序（例如 Web 浏览）n核心网路由器承载网n接入网，物理层：通信链路 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT5多媒体网络基础：核心网n路由器网络连接终端系统n如何构建核心网？电路交换（Circuit Switching，CS）：所有的资源保留，例如电话包交换（Packet Switching，PS）：资源不保留，例如 Internet 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT6n电路交换：每个链接包含许多电路在连接期间，保留特定的电路所有涉及到的节点具有相同的数据速率短时延需要呼叫建立网络资源（例如，带宽）划“片”（电路）频分（Frequency Division）时分（Time Division）“片”分配给呼叫如果所属的呼叫没有使用，则资源“片”空闲（没有共享）多媒体网络基础：核心网 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT7多媒体网络基础：核心网n电路交换：FDM 和 TDM 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT8多媒体网络基础：核心网n包交换 Packet Switching每个端到端的数据流划分为“包”（Packet）不同用户的“包”共享网络资源每个包使用全部的链路带宽“包”经由链路（link）和包交换（路由）传输允许更多的用户使用网络在路由器处需要缓存/队列每个链路有一个输出缓存如果链路忙：包在缓存中排队如果 Buffer 满，则丢包 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT9多媒体网络基础：核心网n包交换 vs 电路交换包交换允许更多的用户使用网络1Mb/s 链路每个用户：100kb/s，当“活动”时10%的时间“活动”电路交换10个用户包交换对于 35 个用户，大于 10 个“活动”用户的概率 0.0004几乎和只有 10 个用户的电路交换一样好包交换是当然选择？对突发数据来讲是 Great资源共享简单，不需要呼叫建立过度拥塞：包延迟和丢失，为了可靠传输数据，需要拥塞控制协议。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT10多媒体网络基础：丢包和延迟n路由器缓存器中的包队列队列延迟：包排队，等待输出，处理、传输和传播时间丢失：包达到的速率超过了输出链路的容量 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT11多媒体网络基础：丢包和延迟n包延迟的 4 种来源：处理延迟p校验比特错误p检查头p确定输出链路 队列延迟p输出传输链路的等待时间p依赖于路由器的拥塞程度 传输延迟p存储到传递延迟pR=链路带宽(bps)pL=包长度（bits）p发送时间=L/R 传播延迟p d=物理链路的长度p s=介质传播速度（2108 米/秒）p传播延迟=d/s 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT12n节点延迟 Nodal Delaydproc=处理延迟典型为几个微秒或更小dqueue=队列延迟取决于拥塞dtrans=传输延迟=L/R，对于低速链路可能很大dprop=传播延迟几个微妙到数百毫秒多媒体网络基础：丢包和延迟 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT13多媒体网络基础：网络协议n如何构建一个网络？采用分层的网络体系结构划分任务到不同的层相邻层通过标准接口联系简单的设计和协议实现更高的层逻辑上更靠近用户更低的层和数据物理传输 设备关系更密切n网络协议协议定义了在网络实体间消息发送和接收的格式、顺序等，以及消息发送和接收的动作对流媒体的重要性：确保服务器、客户端（媒体播放器）和媒体编解码器之间的互操作性 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT14 因特网(Internet)是全世界使用 TCP/IP 协议（Transmission Control Protocol/Internet Protocol，传输控制协议/网间协议）和网关设备(gateway)使用动态路由技术组成的网际网络。TCP/IP实际上已成为因特网的代名词。由于因特网的迅速发展，现今对网络多媒体的研究集中在因特网领域。为对多媒体网络应用有比较深入的理解，就需要了解因特网的基本术语、结构和协议。Internet 与 TCP/IP多媒体网络基础：网络协议 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT15多媒体网络基础：网络协议n应用层 Application Layer支持网络应用FTP、SMTP、STTPn传送层 Transport Layer主机-主机间数据传输TCP、UDPn网络层 Network Layer从源到目的地的数据报路由IP：路由协议n链路层 Link Layer相邻网络单元间的数据传输PPP、以太网n物理层 Physical Layer“线”上的bitOSI参考模型参考模型TCP/IP参考模型参考模型7654321应用层应用层表示层表示层会话层会话层传送层传送层网络层网络层数据链路层数据链路层物理层物理层应用层应用层 传送层传送层网络层网络层链路层链路层物理层物理层 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT16多媒体网络基础：网络协议封装 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT17多媒体网络基础：IP 包nIP 包头：20bytes源和目的 IP 地址：用于路由包长度校验 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT18多媒体网络基础：IP 地址分类nIP 地址分为 A、B、C、D、E 五类，每个 IP 地址包括两部分：网络地址和主机地址。A 类地址：地址范围从1.0.0.0到126.0.0.0，其中 0.0.0.0 和 127.0.0.0 保留 缺省子网掩码：255000 B 类地址 支持中到大型的网络地址范围从128.1.0.0到191.254.0.0。其中172.16.0.0和172.31.255.255保留。缺省子网掩码：25525500 C 类地址 用于支持大量的小型网络，这类地址可以认为 与A 类地址正好相反。C 类地址使用三个 8 位位组表示网络地址，仅用一个 8 位位组表示主机号。地址范围从192.0.1.0 至223.255.254.0，其中192.168.0.0和192.168.255.255保留。缺省子网掩码：2552552550 D 类地址 D 类地址用于在IP网络中的组播(multicasting，又称为多目广播)地址空间的范围从224.0.0.0到239.255.255.254。E 类地址 E 类地址保留作研究之用，因此 Internet 上没有可用的 E 类地址。地址范围从 240.0.0.0 至 255.255.255.255。nIP 地址分类由第一个八位组的值来确定。0127 间的网络地址均是一个 A 类地址，128 191 间的是 B 类地址，192223 间的是 C 类地址，224239 间的是 D 类地址，E 类保留。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT19多媒体网络基础：IPv4 存在的问题n地址空间不足成为制约 Inernet 成长的最大障碍。nIpv4 的自身结构影响着传输速度。最主要的制约在于网络规模膨胀所引发的路由表爆炸，从而导致了路由器的低效，制约了多种业务发展。n通信链接没有带宽和流量控制功能，不能满足更多的服务需要，而且服务质量（QOS）没有保证。nIpv4 在网络防卫方面相当脆弱，对众多安全要求性能高的服务感到力不从心。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT20多媒体网络基础：IPv4 中的 CIDR 技术nCIDR（Classless Inter-Domain Routing，无类别域间路由），它把划分子网的概念向相反的方向作了扩展：通过借用前三个字节的几位可以把多个连续的 C 类地址集聚在一起，将若干IP网络聚合在一起形成更大范围网络。n称做无类选路的原因在于它使得路由器可以忽略网络类别(C类)地址，并可以在决定如何转发数据报时向前再多看几位。就像所有到达某个 B 类地址的数据都将发给某个路由器一样，所有到达某一块 C 类地址的数据都将被选路至某个路由器上（红色），然后再进行选路。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT21多媒体网络基础：CIDR 优点和缺陷n好处减少了网络数目，缩小了路由选择表，增加了选路的效率，同时也增强了网络地址分配的效率从网络流量、CPU和内存方面说，可以降低开销对网络进行编址时，灵活性更大n缺陷可它却并不能增加 IPv4 下总的主机数量，因此这只是一种短期解决办法，而不是对于 IPv4 问题的长期解决方案。同时，由于 CIDR 缺乏同一性的地址继承性关系，直接影响网络寻址和选择路由的性能。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT22多媒体网络基础：IPv4 中的 NAT 技术nNAT 是“网络地址转换”(Network Address Translation)，它是IETF(Internet Engineering Task Force,因特网工程任务组)制定的标准。nNAT 允许一个整体机构以一个公用 IP 地址出现在 Internet 上。顾名思义，它是一种把内部私有网络地址（IP地址）翻译成合法网络 IP 地址的技术。内部网络合法IP地址NATInternet或其他外部网络翻译 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT23多媒体网络基础：NAT 的缺陷n尽管 NAT 很好地解决了公共 IP 地址紧缺的问题，但是它也带来了很多问题。NAT 破坏了全球惟一地址的模型与地址的稳定性；NAT 破坏了对等网络的模型，直接导致了很多点对点的业务无法开展；NAT 的存在直接导致了许多网络安全协议无法执行，QoS 更加无法保障。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT24多媒体网络基础：TCP 段结构 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT25多媒体网络基础：TCP/UDPnTCP 业务：可靠的、面向连接的协议。面向连接：需要在客户端和服务器之间建立连接可靠的传输：传送和接收过程之间流量控制：发送端不会淹没接收端拥塞控制：当网络过载时调节发送端不能提供：定时、最小带宽保证nUDP 业务：不可靠的、无连接的协议。发送和接收过程之间是不可靠的数据传输不能提供：连接建立，可靠，流量控制，拥塞控制，定时，或带宽保证常用于流媒体应用头：8byteUDP 的可靠传输：需要在应用层增加可靠性，错误恢复 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT26多媒体网络基础：组播 Multicastn多媒体涉及音频和视频数据，在交互和分配型应用中，典型地是广播（broadcast）和组播（Multicast）信息。因此，除常规的点对点通信外，多媒体通信需要支持多播通信方式。routerrouterrouterDR4DR5DR6DDD组播接收者组播接收者点对点接收者点对点接收者 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT27n组播又称多播或多路投递，其传送方式是把相同的数据送到一组选择的目的地站点，而广播是把相同数据传送到其它所有站点。n组播信息传递用的是组（group）地址，组地址是网络上与多个站点相关的多目的地址。n在对等通信模型中，是用二个对等层之间的关系来定义连接的。而对组播通信来说，是在群组（多个）对等层之间建立连接或通信关系。多媒体网络基础：组播 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT28TCP/IP 协议堆中支持 IP 组播。软件支持 IGMP(Internet Group Management Protocol，Internet 组管理协议)，这样就可以申请参加多播组(multicast group)和接收组播。要有 IP 组播应用软件，例如电视会议软件。在接收两端之间的所有路由器都具备组播的功能。许多新的路由器都有这个功能，老的路由器也许需要升级和更新。多媒体网络基础：组播环境 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT29RFC 1112：使用 IP 地址中的 D 类地址来实现 IP 多播(IP Multicast)。D 类地址：224.0.0.0 到 239.255.255.255 共 28 位表示，同时可有 25 亿个组。主机组地址分为两种：永久性地址，临时性地址。永久地址如：224.0.0.1 是 LAN 上的所有地址244.0.0.2 是 LAN 上的所有路由器的地址244.0.0.5 是 LAN 上的所有 OSPF 路由器的地址244.0.0.6 是 LAN 上的所有指定 OSPF 路由器的地址多媒体网络基础：组播地址OSPF：开放式最短路径优先协议（OpenShortestPathFirst)北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT30n典型应用存储式音视频流实况音视频流实时交互音视频n基本特性延时敏感端到端延时延时抖动容忍部分数据丢失不经常的丢失是微小的毛病传统的数据通信是不能容忍数据丢失，但容忍延时网络中的多媒体 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT31网络中的多媒体：流媒体面临的挑战n带宽Internet 的带宽是时变的需要码率控制算法去匹配信道速率n端到端延时需要 Buffer 控制，以处理延迟和延迟抖动n传输损耗压缩的比特流对传输损失更敏感需要误码控制，以恢复传输信息 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT32内容提要7 多媒体网络 a）多媒体网络基础 b）多媒体网络协议 RTP 和 RTCP RTSP 和 SIP SDP 和 SAP RSVP c）多媒体数据的复接和分接 d）实时交互多媒体终端 e）IP 流媒体终端 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT33多媒体网络相关协议nInternet 协议IP：因特网协议 Internet ProtocolTCP：传输控制协议 Transmission Control ProtocolUDP：用户数据报协议 User Datagram Protocoln媒体传送/传递协议RTP：实时传送协议 Real-time Transport ProtocolRTCP：实时控制协议 Real-time Control Protocoln媒体控制协议RTSP：实时流协议 Real-time Streaming ProtocolSIP：会话初始协议 Session Initiation Protocoln媒体描述和通告协议SDP：会话描述协议 Session Description ProtocolSAP：会话通告协议 Session Announcement Protocol 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT34nRTP：Real-Time ProtocolnRTP 定义在 RFC 1889 中，是一种提供端对端传输服务的实时传输协议，用来支持在单目标广播和多目标广播网络服务中传输实时数据。nRTP 定义了携带 audio/video 数据的包结构nRTP 在端系统中运行，与中间的路由器没有关系。p路由器的作用还是完成传统的尽力而为的服务，而对 RTP 包的传递没有任何实时性促进的作用。nRTP 包被封装在 UDP 数据段中nRTP 不承诺任何服务质量保证p要为应用程序提供 QoS，因特网必须要提供其他的机制,例如 RSVP，为应用程序预留网络资源。多媒体网络协议：RTP 协议 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT35RTP 运行在 UDP 之上RTP 库提供了传输层接口来扩展 UDP:n 端口号,IP 地址 n 跨段的错误校验n 负荷类型标记n 包顺序编号n 时间戳 多媒体网络协议：RTP 协议nRTP 允许每个信源(例如,一台摄像机或一个麦克风)赋以各自独立的 RTP 包流。例如，对有两个参与者的得视讯会议,要打开 4 个RTP 流:2 个用于传输音频(一个方向一个)和 2 个视频流(同样,一个方向一个)。n但是,一些常用的编码技术 包括 MPEG1和 MPEG2 在编码过程中将音频和视频合成一个流媒体。这种情况下，在每个方向上只需一个 RTP 流。n对于一场 many-to-many 的组播会话来说,所有的发送方和信源一般将 RTP 流依据同样的组播地址送入同一组播树。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT36多媒体网络协议：RTP 报文版本号有无填充字固定头之后有无附加的扩展头同步源标识符提供源清单 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT37多媒体网络协议：RTP 报文Payload Type(7 bits):说明传输包的编码类型.如果在会议过程中发送端改变编码类型，则通过payload type字段通知接收端.Payload type 0:PCM mu-law,64 KbpsPayload type 3,GSM,13 KbpsPayload type 7,LPC,2.4 KbpsPayload type 26,Motion JPEGPayload type 31.H.261Payload type 33,MPEG2 videoSequence Number(16 bits):该序号按所发送的 RTP 包递增，可用于测试数据丢失和恢复失序的包。Timestamp field(32 bytes long)：表示 RTP 数据包中首个字节的采样瞬间。在接收端可使用该字段消除抖动和提供同步播出。该时间戳是由发送端的采样时钟提供的。只要信源处于激活状态，时间戳时钟就以恒定的速率递增。SSRC field(32 bits long)：定义信源的 RTP 流。在一个RTP会话中，每个流都必须有一个独特的 SSRC.北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT38nRTP 和 QoSRTP 不提供任何机制来确保数据的及时传递，或提供其他的服务质量保证RTP 封装只在终端系统能看到，中间 路由器是看不到的路由器提供了尽力而为的服务，不为了确保 RTP 包及时到达目的地而做特殊努力。n流媒体 Header 的总体大小多媒体网络协议：RTP 和 QoS 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT39n实时传输控制协议(Real-time Control Protocol，RTCP)也定义在 RFC 1889 中，多媒体网络应用把 RTCP 和 RTP 一起使用，协同工作。nRTCP 用来监视服务质量和传送有关与会者的信息，主要功能是为应用程序提供会话质量或者广播性能质量的信息。nRTP 会话中的每个参与者都要周期性的传输 RTCP 控制包给所有其它的参与者。p每个 RTCP 包都包含了发送端和/或接收端的统计报告，对应用层有用。统计数据包括包发送数量、包丢失数量、包到达的间歇抖动等.p这种反馈信息可用于控制应用程序的性能和进行诊断，发送方可根据反馈信息修改传输参数。多媒体网络协议：RTCP 协议 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT40-典型的 RTP 会话都有一个组播(multicast)地址;所有的 RTP 和 RTCP 包只要同属该会话，就使用该组播地址。-RTP 和 RTCP 包可使用不同的端口号来相互区别-为限制数据流量,当参与者增加时，每个与会者都会减少 RTCP 数据的发送。多媒体网络协议：RTCP 协议 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT41多媒体网络协议：RTSPnRTSP：实时流协议 Real-time Streaming Protocol客户端-服务器应用层协议Realnetwork、Netscape 和 Columbia 大学开发用于视频流中建立会话支持基本的 VCR 功能：播放、暂停和记录等使用 RTP 传送多媒体数据nHTTP 协议HTTP 所服务的媒体已经定型：HTML，images，applets 等HTTP 的设计没有考虑流媒体（即音频、视频等）nRTSP 没有定义的：没有流媒体传递过程中的audio/video 数据的封装不限制流媒体的传递方式;既可以用 UDP 也可以用TCP。没有定义流媒体播放器如何对 audio/video数据进行缓存 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT42RTSP：启动和控制传递n首先客户端获取多媒体的表示方式描述，这可以由若干媒体流组成。n浏览器根据表示方式所描述的内容类型调用媒体播放器。n表示描述中使用URL方法 rtsp:/将媒体流包含在内。n播放器发送 RTSP SETUP 请求；服务器发送 RTSP SETUP 响应。n播放器发送 RTSP PLAY 请求；服务器发送 RTSP PLAY 响应。n媒体服务器“送出”流媒体。n播放器发送 RTSP PAUSE请求；服务器发送 RTSP PAUSE响应。n播放器发送 RTSP TEARDOWN请求;服 务 器 发 送 RTSP TEARDOWN响应。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT43多媒体网络协议：SIPnSIP：会话发起协议 Session Control Protocol应用层协议基于纯文本的信令协议可以管理不同接入网络上的会晤会晤可以是终 端设备之间任何类型的通信，如视频会晤、既时信息处理或协作会晤。呼叫转移 call transfer多播会议的邀请终端类型的协商和选择终端能力的协商呼叫者和被呼叫者身份认证不会定义或限制可使用的业务，传输、服务质量、计费、安全性等问题都由基本核心网 络和其它协议处理。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT44多媒体网络协议：媒体描述和通告协议nSDP：会话描述协议 Session Description Protocol描述流媒体初始参数的格式描述一个会话是否是视频或音频，编解码、比特率、持续时间等RTSP 使用的公共格式nSAP：会话通告协议 Session Announcement Protocol多播节目有效性的通告通常使用 SDP 作为会话描述的格式多播会话典型使用 RTPn应用3GPP 使用了 SIP/SDP/RTP/RTSP 作为包交换网络的协议3GPP 使用了 H.324M 作为电路交换网络的协议，例如 3G 移动电话系统 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT45n资源保留协议(Resource Reservation Protocol，RSVP)定义在 RFC 2205 中，它提供一种机制，允许应用程序保留因特网上的资源，目的是为多媒体网络应用提供有质量保证的服务。n主要特性：保留多播树上的带宽，单播是一个特殊情况。接收端导向，也就是接收端启动和维护资源的保留。多媒体网络协议：RSVP RSVP 标准没有指定网络如何为数据流保留资源，这个协议仅是允许应用程序提出保留必要的链路带宽的一个协议。一旦提出要求保留资源，实际上是因特网上的路由器来为数据流保留带宽，让路由器接口来维护途经这个接口的各种数据流信息包。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT46内容提要7 多媒体网络 a）多媒体网络基础 b）多媒体网络协议 c）多媒体数据的复接和分接 H.221 同步复用（时分复用）H.222 异步复用（包复用）d）实时交互多媒体终端 e）IP 流媒体终端 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT47多媒体数据的复用和分接：H.221H.221 同步复用帧结构(N-ISDN 上H.320视听会议终端)实质上，H.221复用是一种固定分配的同步时分复用结构，一种媒体剩余的子信道也不能为其它媒体所使用。A*：音频数据V*：视频数据一个数据帧第3个子信道公务子信道一个字节由8bit构成bit1bit2bit8bit7第6个子信道（8个比特）（8个比特）（8个比特）北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT48多媒体数据的复用和分接：H.222 复用nITU-T Rec.H.222.0 实际上是 MPEG2 系统层，即 ISO/IEC13818-1。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT49H.222 复用和分接：TS 码流和 PS 码流nPS 和 TS 码流如图所示 TS 和 PS 码流nTS 流是由音频 A、视频 V 和数据 D 时分复用而成的定长包流。nPS 流由音频、视频和数据的不等长包 PES 流复用而成。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT50包头格式包头格式传送码流(Transport Stream,TS 流)格式188 Bytes4 Bytes包头包头自适应区自适应区(可变长度可变长度)净荷净荷 Payload同步字节同步字节(0 x47)13 bit PIDAdaptation headerorpacket payload1 bit:传送优先级传送优先级1 bit:净荷单元起始指示净荷单元起始指示1 bit:传输误码指示传输误码指示4 bit:连续计数器连续计数器2 bit:自适应区控制自适应区控制2 bit:传送置乱控制传送置乱控制H.222 复用和分接：TS 码流格式 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT51H.222 复用和分接：PS 码流格式n在 PS 流中，根据特定的规则将若干个 PES包封装在一个 Pack 中，如图5.4所示。nPack 头中包含系统时钟参考 SCR 和解码器接收比特率的信息。图5.4 PS 流中，Pack 包的结构 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT52H.222 复用和分接：定时与同步nTS 流主要用于复接多路电视节目，电视节目的来源可能各异。因此，没有必要让传送流中的各路节目同步。但传送流的各路节目的解码器必须能相互独立地将其工作时钟锁定于相应的编码器时钟。在传送包的扩展包头中有一个 48 比特的节目时钟参考 PCR 域，提供了这种同步机制。n节目流中的所有节目必须同步，因此，在解码端只需要一个时钟。在 Pack 包头中的 48 比特的系统时钟参考 SCR，提供了这种同步机制。北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT53H.222 复用和分接：PES 包和时间戳n基本码流 ES 由接入单元组成。视频接入单元是压缩编码后的一帧图像，接入单元不一定按显示顺序排列、其传输时间也不等；音频接入单元是压缩编码后的一帧声音。n分块数据便于传输和存储，因此，将基本码流打包形成包基本码流 PES，如图所示。PES 包的结构 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT54H.222 复用和分接：多节目流复用 北北京京邮邮电电大大学学信信息息与与通通信信工工程程学学院院多多媒媒体体技技术术中中心心门门爱爱东东 Men Aidong,Multimedia Center,SICE,BUPT55H.222 复用和分接：多节目流复用n单个节目 TS 流含 PES 流，它有一公共系统时钟(又称为时基)和描述节目的控制比特流，并且由位于包头中的 PID 信息所标识。nT