流媒体相关内容总结知识分享.doc

流媒体相关内容总结精品文档流媒体相关内容总结1 RTSP协议RTSP（Real Time Stream Protocol，实时流协议RFC 2326）是研究如何有效地在IP网络上传输流媒体数据的应用层协议。RTSP的消息有两大类,一是请求消息(request),一是回应消息(response),两种消息的格式不同.请求消息:方法URIRTSP版本CR LF消息头CR LFCR LF 消息体CR LF回应消息: RTSP版本 状态码 解释CR LF 消息头CR LFCR LF 消息体CR LF其中RTSP版本一般都是RTSP/1.0,状态码是一个数值,200表示成功,解释是与状态码对应的文本解释。1.1 流媒体服务器Windows Media Server：支持mms协议Helix Server：推送协议为私有协议，播放协议使用RTSPDarvin Streaming Server：支持RTSP推送和播放。如果是点播播放，本地文件需要索引化。1.2 SDP格式sdp的格式v=o= s=i=u=e=p=c= b=:t= r= z= .k=k=:a=a=:m= v = （协议版本） o = （所有者/创建者和会话标识符） s = （会话名称） i = *（会话信息） u = * （URI 描述） e = * （Email 地址） p = * （电话号码） c = * （连接信息） b = * （带宽信息） z = * （时间区域调整） k = * （加密密钥） a = * （0 个或多个会话属性行）时间描述：t = （会话活动时间） r = * （0或多次重复次数） 媒体描述：m = （媒体名称和传输地址） i = * （媒体标题） c = * （连接信息 如果包含在会话层则该字段可选） b = * （带宽信息） k = * （加密密钥） a = * （0 个或多个媒体属性行）1.3 例子以AAC推送流为例。具体代码：DeviceHandler/AACHandler & StreamSender1.3.1 推送过程2009-12-29 9:58:02:234ANNOUNCE rtsp:/202.102.126.10/0123456789ABCDEF.sdp RTSP/1.0CSeq:3452816846Content-Type:application/sdpContent-Length:303v=0o=streamsender 0 0 IN IP4 0.0.0.0c=IN IP4 202.102.126.10a=tool:sdr v2.4a6m=audio 0 RTP/AVP 96a=control:trackID=0a=rtpmap:96 mpeg4-generic/44100/2a=fmtp:96 streamtype=5; profile-level-id=15; mode=AAC-hbr; config=1210; SizeLength=13; IndexLength=3; IndexDeltaLength=3;a=mpeg4-esid:1012009-12-29 9:58:02:265RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 34528168462009-12-29 9:58:02:265SETUP rtsp:/202.102.126.10/0123456789ABCDEF.sdp/trackID=0 RTSP/1.0CSeq:3452816847Transport:RTP/AVP/TCP;unicast;mode=record;interleaved=0-12009-12-29 9:58:02:265RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 3452816847Cache-Control: no-cacheSession: 134866268081914Date: Tue, 29 Dec 2009 01:58:17 GMTExpires: Tue, 29 Dec 2009 01:58:17 GMTTransport: RTP/AVP/TCP;unicast;mode=record;interleaved=0-12009-12-29 9:58:02:265RECORD rtsp:/202.102.126.10/0123456789ABCDEF.sdp RTSP/1.0CSeq: 3452816848Session: 1348662680819142009-12-29 9:58:02:281RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 3452816848Session: 134866268081914RTP-Info: url=rtsp:/202.102.126.10/0123456789ABCDEF.sdp/trackID=01.3.2 播放过程2009-12-29 9:58:47:765OPTIONS rtsp:/202.102.126.10:1554/0123456789ABCDEF RTSP/1.0CSeq: 6User-Agent: VLC media player (LIVE555 Streaming Media v2009.04.20)2009-12-29 9:58:47:765RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 6Public: DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, OPTIONS, ANNOUNCE, RECORD2009-12-29 9:58:47:765DESCRIBE rtsp:/202.102.126.10:1554/0123456789ABCDEF RTSP/1.0CSeq: 7Accept: application/sdpUser-Agent: VLC media player (LIVE555 Streaming Media v2009.04.20)2009-12-29 9:58:47:765RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 7Cache-Control: no-cacheContent-length: 341Date: Tue, 29 Dec 2009 01:59:02 GMTExpires: Tue, 29 Dec 2009 01:59:02 GMTContent-Type: application/sdpx-Accept-Retransmit: our-retransmitx-Accept-Dynamic-Rate: 1Content-Base: rtsp:/202.102.126.10:1554/0123456789ABCDEF/v=0o=streamsender 0 0 IN IP4 0.0.0.0s=0123456789ABCDEF.sdpc=IN IP4 0.0.0.0t=0 0a=tool:sdr v2.4a6a=control:*m=audio 0 RTP/AVP 96a=control:trackID=0a=rtpmap:96 mpeg4-generic/44100/2a=fmtp:96 streamtype=5; profile-level-id=15; mode=AAC-hbr; config=1210; SizeLength=13; IndexLength=3; IndexDeltaLength=3;a=mpeg4-esid:1012009-12-29 9:58:47:781SETUP rtsp:/202.102.126.10:1554/0123456789ABCDEF/trackID=0 RTSP/1.0CSeq: 8Transport: RTP/AVP/TCP;unicast;interleaved=0-1User-Agent: VLC media player (LIVE555 Streaming Media v2009.04.20)2009-12-29 9:58:47:781RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 8Cache-Control: no-cacheSession: 14027363211279Date: Tue, 29 Dec 2009 01:58:17 GMTExpires: Tue, 29 Dec 2009 01:58:17 GMTTransport: RTP/AVP/TCP;unicast;interleaved=0-12009-12-29 9:58:47:781PLAY rtsp:/202.102.126.10:1554/0123456789ABCDEF/ RTSP/1.0CSeq: 9Session: 14027363211279Range: npt=0.000-User-Agent: VLC media player (LIVE555 Streaming Media v2009.04.20)2009-12-29 9:58:47:796RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 9Session: 14027363211279Range: npt=now-RTP-Info: url=rtsp:/202.102.126.10:1554/0123456789ABCDEF/trackID=02 RTP协议RTP(Real-time Transport Protocol，实时传输协议RFC 1889、RFC 3550、RFC 3551)，它是由IETF的多媒体传输工作小组1996年在RFC 1889中公布的。RTP 本身并没有提供按时发送机制或其它服务质量（QoS）保证，它依赖于低层服务去实现这一过程。 RTP 并不保证传送或防止无序传送，也不确定底层网络的可靠性。 RTP 实行有序传送， RTP 中的序列号允许接收方重组发送方的包序列。参考StreamSender项目。/* tcp通道中传输rtp数据。size:4 */struct _rtpTcpHeadu_int8 symbol;/$,0x24u_int8 channelId;/interlevelu_int16 len; /rtp包长度，不包括_rtpTcpHead的长度。;/* rtp包头。size:12 */struct _rtpHead/* rtp */u_int8 RTP_CC:4;/0u_int8 RTP_PX:2; /0u_int8 RTP_VER:2; /版本号：2u_int8 RTP_PT:7; /负载类型u_int8 RTP_MARK:1;/是否是帧的最后分片u_int16 RTP_SEQUENCE; /序列号，网络序u_int32 RTP_TIMESTAMP;/时间戳，网络序，时间戳增量和采样率关系很大u_int32 RTP_SSRC;/同步源标识，网络序;图形表示为：3 RTP负载首先要说明的是，音频帧的固定长度是1024（编码前）。3.1 H264参考RFC 3984，代码参考DeviceHandler/StreamSender。H264原始流以00 00 00 01(字节)或00 00 01(3字节)开头，紧跟的是1字节的网络抽象层单元NALU。RTP传输H264流的时候，将“0001”头去掉。SDP有两个参数profile-level-id和sprop-parameter-sets，这两个参数由0x670x68结构的数据生成，生成方法参考StreamH264。3.1.1 结构定义下面定义了单帧、分片的结构，组包的结构复杂些。/* * H264头, FU-A */* 网络抽象层单元NALU*/struct _naluu_int8 Type:5;u_int8 NRI:2;u_int8 F:1;单帧模式就是原h264流/* 单一NAL 单元模式*/typedef _nalu _h264SingleFrameHead;/* 分片模式*/分片模式有两种类型：28 | FU-A | Fragmentation unit29 | FU-B | Fragmentation unit一般使用的是FU-A类型。typedef _nalu _fuIndicator;struct _fuHeaderu_int8 Type:5;u_int8 R:1;/0u_int8 E:1;/结束位u_int8 S:1;/开始位;struct _h264FUHead_fuIndicator fuIndicator;_fuHeader fuHeader;/* 组包模式*/组包模式有四种，两种单时间组合包，24 | STAP-A | Single-time aggregation packet25 | STAP-B | Single-time aggregation packet和两种多时间组合包，26 | MTAP16 | Multi-time aggregation packet 27 | MTAP24 | Multi-time aggregation packet一般使用的是STAP-A，这种模式的格式为：RTPHeader(12字节) STAP-A NALU(1字节) frameSize(2)frameframeSizeframe-，与MPEG4组包是不同的，可对比着看。3.1.2 推送过程2009-12-30 15:09:45:843ANNOUNCE rtsp:/202.102.126.10/0123456789ABCDEF.sdp RTSP/1.0CSeq:1Content-Type:application/sdpContent-Length:328v=0o=streamsender 0 0 IN IP4 0.0.0.0c=IN IP4 202.102.126.10a=tool:sdr v2.4a6m=video 554 RTP/AVP 96a=control:trackID=0a=rtpmap:96 H264/90000a=fmtp:96 packetization-mode=1;profile-level-id=42e014;sprop-parameter-sets=Z0LgFNoFglE=,aM4wpA=a=mpeg4-esid:201a=Width:integer;352a=Height:integer;288a=framerate:52009-12-30 15:09:45:843RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 12009-12-30 15:09:45:875SETUP rtsp:/202.102.126.10/0123456789ABCDEF.sdp/trackID=0 RTSP/1.0CSeq:2Transport:RTP/AVP/TCP;unicast;mode=record;interleaved=0-12009-12-30 15:09:45:890RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 2Cache-Control: no-cacheSession: 26813480845923Date: Wed, 30 Dec 2009 07:10:00 GMTExpires: Wed, 30 Dec 2009 07:10:00 GMTTransport: RTP/AVP/TCP;unicast;mode=record;interleaved=0-12009-12-30 15:09:45:906RECORD rtsp:/202.102.126.10/0123456789ABCDEF.sdp RTSP/1.0CSeq: 3Session: 268134808459232009-12-30 15:09:45:906RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 3Session: 26813480845923RTP-Info: url=rtsp:/202.102.126.10/0123456789ABCDEF.sdp/trackID=03.1.3 播放过程2009-12-30 15:10:30:859OPTIONS rtsp:/202.102.126.10:1554/0123456789ABCDEF RTSP/1.0CSeq: 1User-Agent: VLC media player (LIVE555 Streaming Media v2009.04.20)2009-12-30 15:10:30:859RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 1Public: DESCRIBE, SETUP, TEARDOWN, PLAY, PAUSE, OPTIONS, ANNOUNCE, RECORD2009-12-30 15:10:30:859DESCRIBE rtsp:/202.102.126.10:1554/0123456789ABCDEF RTSP/1.0CSeq: 2Accept: application/sdpUser-Agent: VLC media player (LIVE555 Streaming Media v2009.04.20)2009-12-30 15:10:30:875RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 2Cache-Control: no-cacheContent-length: 364Date: Wed, 30 Dec 2009 07:10:00 GMTExpires: Wed, 30 Dec 2009 07:10:00 GMTContent-Type: application/sdpx-Accept-Retransmit: our-retransmitx-Accept-Dynamic-Rate: 1Content-Base: rtsp:/202.102.126.10:1554/0123456789ABCDEF/v=0o=streamsender 0 0 IN IP4 0.0.0.0s=0123456789ABCDEF.sdpc=IN IP4 0.0.0.0t=0 0a=tool:sdr v2.4a6a=control:*m=video 0 RTP/AVP 96a=control:trackID=0a=rtpmap:96 H264/90000a=fmtp:96 packetization-mode=1;profile-level-id=42e014;sprop-parameter-sets=Z0LgFNoFglE=,aM4wpA=a=mpeg4-esid:201a=Width:integer;352a=Height:integer;288a=framerate:52009-12-30 15:10:30:906SETUP rtsp:/202.102.126.10:1554/0123456789ABCDEF/trackID=0 RTSP/1.0CSeq: 3Transport: RTP/AVP;unicast;client_port=2770-2771User-Agent: VLC media player (LIVE555 Streaming Media v2009.04.20)2009-12-30 15:10:30:921RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 3Cache-Control: no-cacheSession: 60374355309628Date: Wed, 30 Dec 2009 07:10:45 GMTExpires: Wed, 30 Dec 2009 07:10:45 GMTTransport: RTP/AVP;unicast;source=202.102.126.10;client_port=2770-2771;server_port=6970-69712009-12-30 15:10:30:921PLAY rtsp:/202.102.126.10:1554/0123456789ABCDEF/ RTSP/1.0CSeq: 4Session: 60374355309628Range: npt=0.000-User-Agent: VLC media player (LIVE555 Streaming Media v2009.04.20)2009-12-30 15:10:30:921RTSP/1.0 200 OKServer: DSS/5.5.5 (Build/489.16; Platform/Win32; Release/Darwin; state/beta; )Cseq: 4Session: 60374355309628Range: npt=now-RTP-Info: url=rtsp:/202.102.126.10:1554/0123456789ABCDEF/trackID=03.2 MPEG4MPEG4传输参考RFC 3016、RFC 3640两篇文档，其中，RFC 3016支持“mp4V-ES”视频传输方式，还支持“mp4A-LATM”AAC音频传输方式，但是，据说它没有使用MPEG4的同步技术和流管理技术；RFC 3640支持“mpeg4-generic”方式传输音视频，还支持传输其它的ES流，如系统流等。MPEG4视频一般采用mp4V-ES方式，AAC一般采用mpeg4-generic方式。图3-2 MPEG4的RTP负载结构图3-2是MPEG4的RTP负载结构，其中，AU Header Length是字节长度，表示AU Header的总位数，并且是网络字节序。AU Header包含一些可选的字段，长度不固定，包含字段具体在SDP头中指定。如果AU Header的总位数不是8的倍数，那么AU Header最后要添加填充位，位值为0，这时AU Header Length长度不包括填充位的长度。另外，RFC 3640上面还指出“The Auxiliary Section”段，因为这个段一般不用，所以没有考虑。RFC 3640 “3.2.1.1 The AU-header”一节中详细的介绍了AU Header的字段。3.2.1 AAC参考RFC 3640。RFC 3640介绍了负载AAC的两种模式，Low Bit-rate AAC和High Bit-rate AAC，我使用的是High Bit-rate AAC。High Bit-rate AAC模式支持AAC帧大小可变，帧最大长度是8191字节。High Bit-rate AAC模式需要在SDP中指定mode=AAC-hbr, AU Header只包含了两个字段AU-size(13位)和AU-Index(3位)，这样AU Header的长度正好为2字节，AU-Index填充为0, AU-size是网络字节序。传输AAC帧不需要包含ADTS头，RTP单帧、分片、组包传输除了RTP头字段中的RTP_MARK没有特别需要注意的地方。AAC网络流使用ADTS格式保存，ADTS指Audio Data Transport Stream，它依次包含固定头(28位)和可变头(28位)两部分，它们的具体结构如下：adts_fixed_header()syncword; 12位ID; 1位layer; 2位protection_absent; 1位profile; 2位sampling_frequency_index; 4位private_bit; 1位channel_configuration; 3位original/copy; 1位home; 1位adts_variable_header()copyright_identification_bit; 1位copyright_identification_start; 1位frame_length; 13位adts_buffer_fullness; 11位number_of_raw_data_blocks_in_frame; 2位详细说明下ADTS头的重要数据部分：syncword 同步字The bit string 1111 1111 1111，说明一个ADTS帧的开始。ID MPEG 标示符, 设置为1.layer Indicates which layer is used. Set to 00protection_absent 表示是否误码校验profile 表示使用哪个级别的AAC，如01 Low Complexity(LC)- AACLC0 Main profile 1 Low Complexity profile (LC) 2 Scalable Sampling Rate profile (SSR)3 (reserved)sampling_frequency_index 表示使用的采样率下标sampling_frequency_index sampling frequeny Hz0x0 960000x1 882000x2 640000x3 480000x4 441000x5 320000x6 240000x7 220500x8 160000x9 20000xa 110250xb 80000xc reserved0xd reserved0xe reserved0xf reservedchannel_configuration 表示声道数frame_length 一个ADTS帧的长度包括ADTS头和raw data block.adts_buffer_fullness 0x7FF 说明是码率可变的码流number_of_raw_data_blocks_in_frame表示ADTS帧中有number_of_raw_data_blocks_in_frame + 1个AAC原始帧.所以说number_of_raw_data_blocks_in_frame = 0 表示说ADTS帧中有一个AAC数据块并不是说没有。(一个AAC原始帧包含一段时间内1024个采样及相关数据)AAC的RTP推送过程、播放过程及SDP的例子参见1.2节，RTP数据传输参考DeviceHandler/StreamSender/StreamAAC.cpp和DeviceHandler/AACHandler/aacHander.cpp。SDP中有个参数config，它对应AudioSpecificConfig结构：AudioSpecificConfig两字节，它的16进制的字符串就是config。3.2.2 视频参考RFC 3016、live555 MPEG4和ISO-IEC-14496-2_2001_MPEG4_Visual，MPEG4视频采用MP4V-ES方式。MPEG4编码的主要概念是对象(Object)和背景，还有VS、VO、VOL、VOP、GOP等。使用RTP推送MPEG4视频主要考虑两个关键点：1、参数：profile_level_id: 000001B0F3,其中F3就是profile_level_id，它紧跟在VS起始码之后config: 000001B6(VOP)之前的数值的16进制表示。2、RTP封包：直接封包：MPEG4直接封包分片：MPEG4可以直接分片，防止包丢失可以copy Vop头。3.2.2.1 推送过程2010-5-7 10:22:13:625ANNOUNCE rtsp:/202.102.126.10/0123456789ABCDEF.sdp RTSP/1.0CSeq:3452816846Content-Type:application/sdpContent-Length:351v=0o=streamsender 0 0 IN IP4 0.0.0.0c=IN IP4 202.102.126.10a=tool:sdr v2.4a6m=video 554 RTP/AVP 96a=control:trackID=0a=rtpmap:96 MP4V-ES/90000a=fmtp:96 profile-level-id=224;config=000001B0F4000001B50900000100000001200086C400670C161048518F000001B2587669443030a=mpeg4-esid:201a=Width:integer;352a=Height:integer;288a=framerate:252010-5-7 10:22:13:656RTSP/1.0 200 OK