中国移动统一DPI设备规范20140815.doc

QB-╳╳-╳╳╳-╳╳╳╳

中国移动通信企业标准

QB-╳╳-╳╳╳-╳╳╳╳

中国移动
统一DPI设备技术规范

Technical Specification of Deep Packet Inspection Equipment for CMCC

版本号：1.0

╳╳╳╳-╳╳-╳╳实施
╳╳╳╳-╳╳-╳╳发布

中国移动通信集团公司 发布

55
QB-╳╳-╳╳╳-╳╳╳╳
目　　录
前 言 IV
1 范围 1
2 规范性引用文件 1
3 术语、定义和缩略语 2
3.1 定义和术语 2
3.2 缩写 2
4 设备概述 2
4.1 统一DPI定义 2
4.2 适用场景 3
4.2.1 场景一：PS侧 3
4.2.2 场景二：IDC出口 3
4.2.3 场景三：省网出口 3
4.2.4 场景四：省网网间出口 3
4.2.5 场景五：骨干网网间出口 3
4.3 复用方式 3
4.3.1 方式一：分光复用（可选） 3
4.3.2 方式二：原始报文镜像复用 3
4.3.3 方式三：会话级数据复用 3
4.3.4 方式四：统计级数据复用 3
5 设备结构 4
5.1 设备结构图 4
5.2 模块功能描述 4
5.3 接口描述 4
6 设备功能要求 5
6.1 识别功能 5
6.2 分析统计功能 6
6.2.1 流量流向及业务占比分析统计 6
6.2.2 网站分析统计 6
6.3 控制功能 6
6.3.1 串接模式下的控制功能 6
6.3.2 并接模式下的控制功能（可选） 7
6.4 复用功能 7
6.4.1 分光复用（可选） 7
6.4.2 原始报文镜像复用 7
6.4.3 会话级数据复用 8
6.4.4 统计级数据复用 8
6.5 安全功能 8
6.5.1 DDoS攻击监控 8
6.5.2 文本/图片还原 8
6.5.3 软件还原（仅对PS侧场景要求） 8
6.6 回填功能 8
6.7 非对称流量归并功能 9
6.8 数据回放功能 9
6.9 原始数据留存功能（仅对PS侧场景要求） 9
6.10 用户在线状态查询功能（仅对PS侧场景要求） 9
6.11 上报告警功能要求（仅对PS侧场景要求） 9
7 接口物理要求 9
7.1 线路接口 9
7.2 复用、配置接口 10
8 接口格式要求 10
8.1 镜像接口 10
8.2 会话数据接口 10
8.2.1 文件接口 10
8.2.2 实时接口（仅对PS侧场景要求） 11
8.2.3 数据要求 12
8.3 统计数据接口 27
8.3.1 接口概要 27
8.3.2 通信流程 27
8.3.3 统计指标集 28
8.4 配置接口 30
8.4.1 接口概要 30
8.4.2 消息格式 31
9 设备性能要求 46
9.1 流量识别和控制指标 46
9.2 转发性能指标（仅对串接设备要求） 46
9.3 复用性能要求 47
9.4 节能要求 47
10 时间同步要求 47
11 可靠性要求 47
12 网管要求 48
12.1 配置管理 48
12.2 查询设备信息 49
12.2.1 设备硬件信息 49
12.2.2 设备网络信息 49
12.3 查询设备状态 50
12.3.1 设备负荷 50
12.4 设备状态管理 51
12.4.1 故障管理 51
12.5 性能管理 51
12.6 安全管理 51
13 操作维护要求 52
13.1 可管理性 52
13.2 可维护性 52
13.3 易用性 52
14 附录 53
14.1 附录A状态编码 53
14.2 附录B消息类型定义 53
14.3 附录C策略回应错误类型 54
14.4 附录D XDR类型编码 54
14.5 附录E 统计报表类型编码 54
14.6 附录F 浏览工具 54
14.7 附录G 门户应用集合 55
14.8 附录H Email事务类型编码 55
15 编制历史 57

前 言
本规范对中国移动网内使用的深度包检测（DPI）设备的功能和性能提出要求，是部署统一DPI设备需要遵从的技术文件。
本规范主要包括以下几方面内容：设备概述、设备结构、设备功能要求、接口格式要求、设备性能要求等。
本规范是统一DPI系列标准之一，该系列规范的结构、名称或预计的名称如下：
序号
标准编号
标准名称
[1]
QB-X-XXX-XXXX
中国移动统一DPI设备技术规范
[2]
QB-X-XXX-XXXX
中国移动统一DPI设备测试规范
[3]
QB-X-XXX-XXXX
中国移动数据流量DPI识别能力规范
[4]
QB-X-XXX-XXXX
中国移动上网日志留存系统-LTE采集解析设备规范-硬采分册
[5]
QB-X-XXX-XXXX
中国移动上网日志留存系统-LTE采集解析设备规范-软采分册
[6]
QB-X-XXX-XXXX
中国移动上网日志留存系统-LTE采集解析设备XDR接口规范
[7]
QB-X-XXX-XXXX
中国移动上网日志留存系统-数据合成服务器设备规范
[8]
QB-X-XXX-XXXX
中国移动上网日志留存系统-数据合成服务器接口规范

本规范由中移技 号印发。
本规范由中国移动通信集团计划部提出。
本规范起草单位：中国移动通信研究院。
本规范主要起草人：
本规范解释权：中国移动通信研究院。

1 范围
本规范适用于中国移动的深度报文检测（DPI）设备，供中国移动内部和厂家共同使用。
本规范是中国移动进行DPI设备采购和统一DPI复用的技术依据。
本规范主要包含设备概述、设备结构、设备功能要求、接口格式要求、设备性能要求等内容。
2 规范性引用文件
下列文件中的条款通过本规范的引用而成为本规范的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范，然而，鼓励根据本规范达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本规范。
表2-1 规范性引用文件列表
序号
标准编号
标准名称
发布单位
[1]
QB-X-XXX-XXXX
中国移动数据流量DPI识别能力规范v2.1
中国移动通信集团公司
[2]
QB-X-XXX-XXXX
中国移动上网日志留存系统-LTE采集解析设备XDR接口规范
中国移动通信集团公司
[3]
QB-X-XXX-XXXX
中国移动手机恶意软件监测系统接口规范
中国移动通信集团公司
[4]
QB-X-XXX-XXXX
中国移动上网日志留存系统-数据合成服务器接口规范（PS域LTE分册）
中国移动通信集团公司
[5]
QB-X-XXX-XXXX
中国移动上网日志留存系统-Gn采集解析设备规范
中国移动通信集团公司

3 术语、定义和缩略语
3.1 定义和术语
本规范采用了下列定义：
[1] 深度报文检测
DPI（Deep Packet Inspection）是一种基于数据包的深度检测技术，针对不同的网络应用层载荷（例如 HTTP、DNS等）进行深度检测，通过对报文的有效载荷检测决定其合法性。
[2] 深度流检测
DFI（Deep Flow Inspection）是一种基于网络数据流的深度检测技术，针对不同的Flow（IP五元组）的流量统计规律和连接规律，例如连接速率、流持续时间、报文长度分布等进行深度检测，对流进行分类。
[3] 串接接入方式
直接将DPI设备串接到上下游两台核心网设备之间的链路中，原数据流量全部流经DPI设备并完成分析、流控和转发。串接接入方式要求DPI设备对源网络实现链路层透明转发，不增加新的路由跳数。
[4] 并接接入方式
通过在监测链路上部署分光器件将数据流量复制一份到DPI设备进行分析，原数据报文不发生改变进行传输。并接接入方式也可以通过交换机端口镜像实现。并接方式通过向业务源端或目的端发送伪造的控制数据包，实现在业务流的源端或目的端降低流量或中断该数据流。
[5] XDR
XDR(X Data Recording)是由CDR(Call Data Recording 呼叫数据记录)演变而来的概念。CDR是传统通信网中对通话过程中网络关键信息的记录。XDR是CDR概念的扩展，在本规范中泛指对移动网络、承载网络中数据流量的关键信息记录，即流量日志，以用户会话为单位，一个会话形成一条XDR记录。
3.2 缩写
本规范使用了下列缩写：
DPI
Deep Packet Inspection，深度报文检测
DFI
Deep Flow Inspection，深度流检测
IDC
Internet Data Center 互联网数据中心
P2P
Peer to Peer 点对点
VoIP
Voice over Internet Protocol 互联网电话
QoS
Quality of Service，服务质量
APN
Access Point Name，接入点名称
4 设备概述
4.1 统一DPI定义
DPI(Deep Packet Inspection)设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形、以及应用层拒绝服务攻击、对病毒、木马进行过滤和滥用P2P的控制等功能。
统一DPI指一套DPI设备对链路上的流量进行采集与识别，并将满足其它系统所需的流量或分析统计数据分发给各第三方应用系统服务器。网络中各类流量管理相关的应用系统，如网间流控、Web Cache、非法VoIP检测、上网日志留存等，主要由DPI设备和应用服务器组成。其中， DPI设备负责数据采集、流量分析统计、日志合成，应用服务器主要完成对数据的进一步分析处理，合理组织和存储数据，并进行呈现。统一DPI整合了多个第三方应用系统的DPI设备，通过DPI复用为多个系统提供DPI能力，如图4-1所示。

图4-1 DPI复用举例
4.2 适用场景
中国移动网内流量，从用户出发，按照接入网、城域网、省网、骨干网的顺序在网内传输。由此，在全网五个点进行流量分析，部署DPI设备，即可捕捉到网内流量全貌。按照部署位置的不同，可以把统一DPI分为五个应用场景，如图4-2所示。每个场景的流量具有不同的特征，上层的应用也有不同。

图4-2 统一DPI应用场景
4.2.1 场景一：PS侧
2G/3G网络的Gn接口链路，以及4G网络的S1-U接口链路。
4.2.2 场景二：IDC出口
指IDC连接省网/骨干网的出口，即IDC出口路由器与外部承载网络之间的链路。
4.2.3 场景三：省网出口
指省网到骨干网的出口，即省网汇接路由器与骨干网路由器之间的链路。
4.2.4 场景四：省网网间出口
指省网连接第三方网络的出口，即省网网间出口路由器与第三方网络之间的链路。
4.2.5 场景五：骨干网网间出口
指骨干网连接其他运营商网络的出口，即骨干网网间出口路由器与其他运营商网络之间的链路。
4.3 复用方式
按照应用系统所需数据内容和格式的不同，DPI复用分为四种方式，其中第一种复用可以由分光器复用来实现，后三种复用由DPI设备复用实现。统一DPI复用主要指后三种复用方式。
4.3.1 方式一：分光复用（可选）
指通过链路分光器或DPI设备分光功能，将光路信号完整的复制分发给应用系统。
适用于系统特征库特殊，不易整合的应用系统。
4.3.2 方式二：原始报文镜像复用
指DPI设备将全部原始报文或者经过特定条件过滤后的部分原始报文复制分发给应用系统。
适用于系统明确需要某种报文的应用系统。
4.3.3 方式三：会话级数据复用
指DPI设备分析记录流量的会话数据（XDR），并将会话数据按指定格式发送给应用系统。
适用于以分析流量日志为主的应用系统。
4.3.4 方式四：统计级数据复用
指DPI设备统计流量的各项指标，并将统计结果发送给应用系统。
适用于需要简单明确的统计指标的应用系统。
5 设备结构
5.1 设备结构图
如图5-1所示，统一DPI设备通过直接串接或者分光并接的方式接入链路，设备由采集识别模块和分析统计模块组成，形式可以是集成在一个设备中的两个功能模块，或者是独立的两个设备。
对于串接方式的统一DPI设备，要求增加Bypass保护，当串接设备发生故障时，可以切换到直通模式。

图5-1 统一DPI设备结构图
5.2 模块功能描述
(1) 识别控制模块
识别控制模块主要完成功能如下：
• 对链路流量的采集，以及流量中各种业务与协议的识别；
• 各种关键信息的提取与记录，如源IP地址、目的IP地址、源端口、目的端口、协议号等；
• 识别信息的上报；
• 原始数据镜像转发，可为每个目标镜像系统配置不同的镜像规则。
• 干扰措施的具体实施，对流量进行控制；
(2) 分析统计模块
分析统计模块主要完成功能如下：
• 配置消息的接收，可以接受来策略服务器或其他应用平台的管控策略、对象信息等；
• 负责标准格式流量日志的生成，并对其他应用系统进行日志提供；
• 完成基于识别控制模块识别结果上报信息的分析和统计，并生成统计报表呈现；
• 提供设备WEB的访问方式，为设备管理配置提供可操作平台。

5.3 接口描述
统一DPI设备的接口，按照功能角色的不同，可以分为线路接口、复用接口、和配置接口。如图5-2所示。线路接口和复用接口可以在设备上固化为不同的物理接口，也可以将同一个物理接口灵活配置为线路接口或复用接口。但一个物理接口在同一时间只能配置为某一种接口角色，不能同时担任两种角色。

图5-2 统一DPI接口示意图
• 线路接口
负责链路流量的接收（串接和并接情况）和转发（仅串接情况）。
• 复用接口
复用接口指统一DPI设备和第三方应用系统间的接口，负责给应用系统提供所需数据。
如图5-3所示，按照不同复用方式发送的数据内容，复用接口又可分为镜像接口（原始报文镜像复用）、会话数据接口（会话级数据复用）、和统计数据接口（统计级数据复用）。

图5-3 复用接口
• 配置接口
用于策略服务器给统一DPI设备下发策略、对象、特征库等信息，包括流量流向划分、识别特征库、控制策略等。策略服务器可由运营商统一设置，或由现有应用系统平台承担。
6 设备功能要求
6.1 识别功能
(1) 能够对常见协议及业务进行识别。目前，应能够识别的协议、业务类型、与识别准确性详见《中国移动数据流量DPI识别能力规范》，识别种类应包括但不限于规范所列内容。
(2) 设备的识别规则库可配置，能够接受通用规则库的下发，且自动加载为设备的识别规则库并生效。
(3) 能够基于源IP地址、目的IP地址、源端口、目的端口、协议号五元素及其组合对流量进行识别。
(4) 能根据EXP、TOS、DSCP等网络层及链路层特征字段对流量进行识别。
(5) 能够自动识别、还原网络中的隧道协议（VLAN，PPPOE, MPLS，GRE, GTP等）内封装的正常流量。
(6) 能够对流量特征进行采集，并进行流识别(DFI)。流量特征包括：流的传输速率、数据包长度、流的持续时间、以及数据流总量等。
(7) 能根据流量特征，对加密的应用进行识别，并对其流量进行统计。
(8) 能根据流量中的特征字段，对流量进行识别。特征字段指流量数据包中有固定特征的一段二进制序列。
(9) 同时支持IPv4和IPv6流量的识别。
(10) 能够识别Gn、S11接口的移动网络信令消息。（仅对PS侧场景要求）
6.2 分析统计功能
6.2.1 流量流向及业务占比分析统计
(1) 能够对网络流量进行流量流向分析和统计，流向包括运营商、省份及地市、网站、IP地址、AS域等，并建立流量模型。
(2) 支持按单个IP地址及IP地址段进行流量统计和分析，支持自定义IP地址或地址段作为流量流向统计中的访问源或目的，支持对自定义IP地址段进行添加和维护的功能。
(3) 能够针对指定的业务应用按流向进行统计和分析。
(4) 能够针对指定流向的流量按各类业务组分流量占比进行统计和分析。
(5) 支持按接入类型（包括：WLAN、GPRS/TD/LTE、家宽、集客）、出口节点（单选/多选/汇总：骨干各节点、31个省）、用户省份进行业务占比分析，并统计出口出流速、出口入流速、选定移动业务的出流速/流速占比、选定移动业务的入流速/流速占比、对各省出口的移动自有业务占比进行分析。
(6) 可提供在选取访问源和目的后，流量所经的出口路径/端口信息及对应路径的带宽。
(7) 支持动态选取以下统计条件或其组合定制流量流向信息报表：
• 时间段；
• 出口节点（31省出口节点、骨干出口节点，多选）：支持对选取节点的分开统计和汇总统计，选取该项，在呈现时需同时呈现节点带宽和流向；
• 访问源（可选）：包括但不限于（按照地域：网内/网外/AS域/31省/各点IDC/骨干/电信/联通等；按照接入类型：WLAN、GPRS/TD/LTE、家宽和集客），地域和接入类型可作为两个维度同时选取，同一维度可多选。
• 访问目的地（可选）：包括但不限于（按照地域：网内/网外/AS域/31省/各点IDC/骨干/电信/联通等；按照接入类型：WLAN、GPRS/TD/LTE、家宽和集客），地域和接入类型可作为两个维度同时选取，同一维度可多选。
• 业务类别：需统计的业务组分参见《中国移动数据流量DPI识别能力规范》大类分类要求。
6.2.2 网站分析统计
（1） 能够分域名/URL统计访问次数、访问流量，并能对域名按网站进行聚合。
（2） 能够记录对应域名/URL的访问源/目的IP地址。
（3） 能按照访问次数或流量进行域名/URL的TOP N排序。
6.3 控制功能
6.3.1 串接模式下的控制功能
(1) 至少应包括流量控制(带宽限制和带宽保证)与连接数控制两种模式。既可独立使用，也可以同时使用。
(2) 在链路拥塞的时候，能够对特定流量的带宽提供保障。
(3) 能够支持基于源地址、目的地址、协议号、源端口、目的端口及其任意组合的流量限制功能。
(4) 能够根据已识别的流量，实现基于应用协议的流量限制功能，包括：保证(最小带宽)、限制（最大带宽）、流量透传、丢弃等。
(5) 可针对单个用户分应用协议进行流量控制。策略应包括：保证(最小带宽)、限制（最大带宽）、流量透传、丢弃等。
(6) 支持对不同业务/应用、协议、IP地址、账号、时间等多维度条件，设定不同的控制策略。
(7) 能够基于源地址、目的地址、协议号、源端口、目的端口、域名、用户等信息设置白名单、黑名单。
(8) 能够支持入口的带宽控制，超过入口流量就随机丢包，以确保网络在超载时维持最大的数据传输能力。
(9) 能实现对链路上、下行流量分别进行限制的能力。
(10) 支持引流标记功能，即对能够对流量进行TOS/DSCP等特征字段的标记，由后续路由器根据标记进行差异化转发。
(11) 支持对业务中加密流量的控制功能。
(12) 支持对未识别流量的控制功能。
(13) 能够基于链路的流量拥塞情况，动态应用带宽控制策略。要求能够检测链路拥塞情况，流量到达拥塞门限值，即时进行带宽控制；链路流量低于门限值，自动取消带宽控制。
6.3.2 并接模式下的控制功能（可选）
(1) 并接DPI设备能够通过接入网络链路来发送干扰包，能够通过中断连接的方式进行端到端的带宽控制。其中TCP流量通过中断TCP连接来实现，UDP流量通过识别应用层协议并中断应用层连接来实现。
(2) 能够根据已识别的流量，实现基于应用协议的P2P流量限制功能，并能设置P2P白名单控制，即指定IP/IP段的流量不进行控制。
(3) 支持对不同业务/应用、协议、IP地址、账号、时间等多维度条件，设定不同的控制策略。
(4) 能够基于源地址、目的地址、协议号、源端口、目的端口、域名、用户等信息设置白名单、黑名单。
(5) 能实现对上、下行流量分别进行限制的能力。
(6) 并接设备控制范围误差率不超过5%.
6.4 复用功能
DPI设备支持四种方式的DPI复用：分光复用、原始报文镜像复用、会话级数据复用、统计级数据复用。
6.4.1 分光复用（可选）
对于具备分光功能的DPI设备，支持给第三方应用系统分光。
6.4.2 原始报文镜像复用
（1） 支持对已识别的流量进行过滤并镜像。
（2） 支持按照按协议、业务类型、网站、特征字段等条件过滤或组合维度过滤流量并镜像。应支持的协议和业务类型参见《中国移动数据业务识别能力规范》。
（3） 支持按照流量内容进行镜像，内容包括文本、图片、视频等。
（4） 支持按IP地址段镜像，可以是源IP，也可以是目的IP，也可以源IP和目的IP共同作为过滤条件。
（5） 支持按源端口、目的端口配置是否镜像。
（6） 支持根据报文的流向（上行、下行、双向）配置是否镜像。支持配置多个镜像规则，并对应至不同的镜像端口。镜像规则组（目标系统）不少于8个，每个规则组至少对应一个物理端口，且保证能向目标系统提供完整所需数据。
（7） 支持多个镜像端口能配置相同规则，并能够将符合规则的流量复制多份镜像给多个端口。
（8） 当多个镜像端口镜像同一份流量时，支持多个镜像端口之间的负载分担。
（9） 支持按照多个指定的规则分别进行镜像，并允许多个指定规则之间有交叠。
（10） 支持POS帧到以太帧的报文格式转换。
6.4.3 会话级数据复用
（1） DPI设备支持与第三方应用系统之间采用指定协议的文件接口实现会话数据交换，交换对象为DPI生成的日志文件（XDR）。
（2） 支持与第三方应用系统之间采用指定协议的实时数据接口实现XDR的实时发送。
（3） XDR针对会话生成，即一个会话对应一条XDR记录。会话指由一个IP五元组唯一确定的一条流。
（4） 支持日志数据订阅功能，即只发送订阅范围内的日志记录给应用系统，订阅条件包括用户、协议、应用、时间段等。
（5） DPI设备支持向多个系统（至少5个）吐出会话级数据，并能依据不同系统的订阅要求吐出相应的日志字段。
（6） 支持按照标准字段来生成日志记录，字段要求参见第8.2节会话接口数据要求。
6.4.4 统计级数据复用
统计级数据指DPI设备经过深度处理，生成统计报表类数据并输出给第三方应用系统。
统计级数据的粒度要大于会话级数据，其不能还原出各类用户、业务的每一次访问信息，而是对会话级数据的各个维度进行组织和统计分析得出的统计数据。
详细功能要求见上6.2 节分析统计功能。
6.5 安全功能
6.5.1 DDoS攻击监控
DPI设备支持DDoS检测，识别TCP Land、TCP WinNuke、TCP Flag、UDP Fraggle、Ping of Death等多种类型的异常包攻击和Flood攻击，统计出被攻击的IP地址、开始时间、结束时间、攻击类型、攻击流量等信息，并支持将信息定时或按要求时间上报。
对于串接设备，应同时支持对DDos攻击流量进行标记并发送至清洗平台。
6.5.2 文本/图片还原
设备应满足对需要识别的文本、图片进行还原，并支持将还原后的文件以FTP的形式上传。
文本、图片至少支持如下格式：
文本：编码方式至少支持Big5、UTF-8、GBK、GB2312；
内容类型至少支持txt、html、mht、xml、wml、xhtml；
图片：JPEG、GIF、PNG、BMP、TIFF、JPEG2000。
6.5.3 软件还原（仅对PS侧场景要求）
设备支持对指定协议和文件类型的流量进行还原获得网络日志和样本文件。
1) 支持对各类网络协议（包括http、WAP、MMS、SMTP、POP3、FTP）的还原，支持还原的文件类型包括sis、sisx、jar、apk、cab、exe、ipa、cod、alx、prc、zip、rar、elf，并支持将还原后的文件以FTP的形式上传；
2) 支持还原样本文件的同时生成相关的网络日志信息，日志结构详见《中国移动手机恶意软件监测系统接口规范》IF_ FileUpload接口的要求。
6.6 回填功能
(1) 设备能根据采集流量中的信令报文，解析出用户账号等关键信息，并将此类信息回填至相应的XDR中，比如用户号码MSISDN，IMSI信息需要回填到XDR。
(2) 设备能根据网络其他位置上部署的信令解析设备、NAT设备、Radius设备等采集的信令、公私IP地址对应关系、用户账号等信息，对数据流量识别后生成的XDR记录进行特定字段的回填操作，特定字段如用户号码MSISDN、IMSI、位置信息、公有IP地址等。
(3) 设备能够通过FTP下载、批量导入、手工添加等方式获取用户账号、终端信息等数据库信息，并提取所需字段回填至流量XDR中。
(4) 回填功能要求能够实时/准实时，满足回填后的XDR每5分钟上报的要求。
(5) 支持对未能正确回填的XDR进行保存及查询功能。
6.7 非对称流量归并功能
(1) 设备支持在同机房内将同一个会话分布在不同链路上的非对称流量进行正确的识别、统计、控制、还原等功能，并生成该会话完整的XDR。
(2) 对于只能采集单方向流量的情况，要求能够对不完整的会话同样进行分析与统计，并生成该会话不完整的XDR，供上层应用进行合成。
6.8 数据回放功能
设备支持从服务器下载pcap文件，并对下载的pcap文件进行回放。针对回放的文件，能够输出统计报表。
回放功能需要能够与对网络中正常流量的DPI检测功能并行实现，并相互独立，包括：
1) 回放数据同时能够不影响正常流量的检测，正常流量的XDR中不包括回放数据的XDR；
2) 能够对回放数据出单独的统计报表，其中不包括正常流量的信息。
Pcap文件下载消息参见8.4节“资源特征库下发消息”，统计报表参见8.3节“业务流量统计”报表。
6.9 原始数据留存功能（仅对PS侧场景要求）
设备支持对流量的原始数据包进行保留，需要保留的原始数据及留存要求包括：
(1) 信令和业务数据原始码流：设备能够经统一封装格式实时输出信令和业务数据原始码流，业务数据去掉Payload部分，将原始数据组成一个数据包，并在给每个数据包打上XDR ID后发给上层系统。具体封装格式及上报方式参考《中国移动上网日志留存系统-LTE采集解析设备XDR接口规范》“基于XDR的原始码流上报”。
(2) 预设条件的全量原始码流数据抓取：支持按照预设条件对全量数据（包括全量的控制面信令和全量用户面数据）进行抓取，支持的预设条件包括：
• eNodeB、MME的IP（单个或多个IP地址），SGSN、GGSN的IP（单个或多个IP地址）；
• 用户的IP地址，IMSI，MSISDN；
• 支持根据业务报文，也就是TCP的关键字（如TCP包头的40个字节内容）进行原始数据的抓取；(可选)
一般情况下，设备不对原始数据进行存储，只在两种情况下需要对数据进行存储：
(1) 当链路出现故障时，应具备把数据完整地缓存到硬盘的功能，待链路恢复后可由上层系统提取缓存的数据。需要缓存的数据包括：Gn的全量控制面信令，Gn的用户面数据（只保留包头不包括最上层payload数据），S1-U的用户面数据（只保留包头不包括最上层payload数据）。本地数据磁盘容量要求能满足在最高采集速率情况下存储1小时（10Gbps流量缓存1个小时）。
(2) 在开启原始数据抓取功能时，把满足抓取条件的全量数据（包括控制面和用户面）按照pcap格式存储在本地磁盘供提取。
6.10 用户在线状态查询功能（仅对PS侧场景要求）
设备支持对指定用户上线信息的监测与上报功能，具体功能要求参见《中国移动上网日志留存系统--Gn采集解析设备规范》 “用户上报实时监测模块功能要求”。
该功能仅对PS侧场景中的Gn接口做要求。
6.11 上报告警功能要求（仅对PS侧场景要求）
设备支持自身告警信息的上报功能，具体功能要求参见《中国移动上网日志留存系统--Gn采集解析设备规范》 “上报告警功能要求”。
7 接口物理要求
7.1 线路接口
设备需支持如下类型的线路接口：
(1) 支持GE接口的网络流量接入。
(2) 支持10GE WAN 和10GE LAN 两种接口的网络流量接入。
(3) 支持2.5G POS，10G POS接口的网络流量接入。
(4) 支持100GE接口的网络流量接入。
对于串接设备，以上各类型接口必须直接在DPI设备上支持，不允许通过分流器、交换机、协议转换设备等方案实现，避免引入更多的故障风险。
7.2 复用、配置接口
(1) 支持采用GE、10GE做为复用接口，对接第三方应用系统。
(2) 支持采用GE做为配置接口，对接第三方应用系统。
8 接口格式要求
8.1 镜像接口
镜像接口用于传输原始报文复用中产生的转发数据。
镜像接口数据采用原始报文的格式。
支持对镜像数据POS帧到以太帧的报文格式转换。
8.2 会话数据接口
会话数据接口完成会话级数据复用中XDR数据的传输，同时支持非实时/准实时的FTP文件接口，以及实时的SDTP接口，实时接口仅对场景一做要求。文件接口和实时接口对XDR数据格式的要求相同。
8.2.1 文件接口
8.2.1.1 接口概要
会话级数据上报接口中传输的数据为原始会话数据记录或原始会话数据记录经过筛选和裁剪的记录。会话数据通过FTP进行传输，FTP服务器由第三方应用系统提供。
会话数据采用文件方式上报，对文件名做如下的格式要求：
%A_%Y%m%d%H%M%S_%E.csv
其中，通配符的含义详见下表：
表8-1文件名通配符表
通配符
说明
%A
话单类型编码。参见附录D。
%Y
年，以四位数来表示。例如“2012”、“1999”。
%m
月，以“01”～“12”来表示。
%d
天，以“01”～“31”来表示。
%H
小时，以“00”～“23”来表示。
%M
分钟，以“00”～“59”来表示。
%E
文件序号，由位3位十进制数字表示，从000开始计数。

文件中以行区分不同记录，即一行代表一条流的记录；各字段之间以符号“|”分隔各列，代表不同的域；若该字段不涉及或无法获取，则置空。单个日志文件由多条日志记录组成。日志文件的最后包括该日志文件的总日志记录数。在数据文件首行输出表头。
文件上报前需采用zip方式压缩。通过压缩后的文件上报，可有效降低DPI设备与第三方应用系统间的通信带宽。
DPI设备在完成上报一个文件时，应及时写入一个与上报文件名同名，但后缀为.sgn 的文件，以表示对应文件上报完成。控制文件中要包括数据文件名、数据文件大小、记录数和整个数据文件的MD5校验值。第三方应用系统在进行文件读取时，只读取有后缀为.sgn的同名文件.csv 文件（zip解压缩之后为.csv文件）。
DPI设备支持按照文件生成周期、单个文件大小、记录条数的数值配置来生成日志文件，且这3个条件为或的关系。即生成周期、文件大小、记录条数同时设置时，如任一指标到达阀值则结束文件。在每个文件生成周期内，如果文件大小或者记录条数超过设定的阀值，则产生多个文件，同一文件生成周期内的多个文件通过文件序号递增进行区分。
• 文件生成周期：支持配置，单位为分钟，取值1-1440（默认为5分钟）。
• 单个文件大小(压缩前)：支持配置，单位为MB，取值100-100000（默认400M）。
• 记录条数：支持配置，单位为条，取值1~4294967295（默认不设置）。

8.2.1.2 通信流程
会话数据的订阅在配置接口中完成，具体的消息格式请参考8.4节。本章节描述的会话级数据接口仅用于是承载会话级数据的传输。结合配置接口的会话级数据订阅消息，和会话级数据的传输接口，有具体的通信过程如下：
（1） 策略服务器向DPI设备下发对象和会话级数据上报绑定激活的消息，消息格式参考8.4节；
（2） DPI设备根据从策略中获取的用户名和密码向第三方应用系统发送登陆请求；
（3） 如果登陆成功的话，DPI会按照策略中要求的会话级数据类型向第三方应用系统传输会话级数据；否则，DPI会收到登陆FTP服务器失败的消息，会话结束；
（4） 第三方分析分析器检查DPI设备上传的会话级数据文件名是否合法，是否有相同文件名的控制文件。
（5） 如果检查通过，则第三方应用系统开始读取数据文件；否则，检查失败会话结束。
（6） 第三方应用系统读完数据文件，会话结束。

图8-1 会话级数据的订阅流程
8.2.2 实时接口（仅对PS侧场景要求）
统一DPI设备支持通过SDTP协议向第三方应用系统实时传递XDR信息。
对于SDTP的接口要求请参考《中国移动上网日志留存系统-LTE采集解析设备XDR接口规范》的“接口协议”。

8.2.3 数据要求
会话数据要求规定DPI设备对流量识别后形成的XDR格式，包括字段名称、数据类型、长度。
XDR分为三类：
1) 移动网数据XDR。适用于场景一。
2) 移动网信令XDR。适用于场景一。
3) 承载网XDR。适用于场景二、三、四、五。
移动网数据XDR包含四部分，格式如下：
公共信息
移动网通用信息
通用业务信息
特定业务信息
移动网信令XDR包含两部分，格式如下：
公共信息
信令信息
承载网XDR包含三部分，格式如下：
公共信息
通用业务信息
特定业务信息

对典型业务及协议定义专用的XDR格式，同时填写通用业务信息和特定业务信息；其他会话采用通用业务XDR格式，仅填写通用业务信息。
当一个会话同时适用多种特定业务XDR时，优先选择对应的业务级别的XDR填写。
对于XDR中没有定义的字段，可以在各个XDR话单已定义的字段后进行顺序扩展。
8.2.3.1 公共信息
字段名
类型
长度
默认值
说明
Length
unsigned int
2
全F
用于指示整个XDR所占用字节数
City
byte
2
全F
城市区号，如010代表北京
Interface
unsigned int
1
全F
接口类型，16进制编码
1. Uu
2. X2
3. UE_MR
4. Cell_MR
5. S1-MME
6. S6a
7. S11
8. S10
9. SGs
10. S5/S8
11. S1-U
12. Gn
13~20 预留
21. IDC出口
22.省网出口
23.省网网间出口
24.骨干网网间出口
xDR ID
unsigned int
16
全F
DPI设备内唯一的xDR编号，16进制编码。一个会话生成一个xDR ID。
S1-U接口中，一个会话在同一个小区中的传输过程生成一个xDR ID，如该会话切换到新的小区，则生成新的XDR ID及会话记录。
对于超长会话设立时间阈值，超过阈值则该条记录结束，重新生成另一条会话记录并生成新的XDR ID，阈值默认为5分钟。
8.2.3.2 移动