深圳市IP城域网组网技术设计方案.docx

深圳市IP城域网
组网技术方案

深圳电信局新技术开发中心
2002年7月
目 录
一、设计原则 4
二、设备用途说明和命名规则 8
2.1 Site代码 8
2.2 设备命名规则 8
2.3 设备用途描述 9
三、网络架构 13
3.1 核心骨干模块 (backbone) 13
3.2 Internet(163/169)连接点模块 15
3.3 IP VPN服务模块 16
3.4 商业Internet接入模块 20
3.5 小区Internet接入模块 22
3.6 政府上网接入模块 24
3.7 主机托管模块 25
四、设备互连 27
4.1 远程连接 27
4.2 本地连接 27
4.3 设备插槽分配策略 28
4.4 VLAN编号和用途说明 28
五、IP地址 31
5.1 IP地址模式 31
5.2 域内路由协议(IGP) 31
5.3 IP地址分配 31
5.4 IP子网规划 32
六、和163/169的连接 34
6.1 缺省路由 34
6.2 EBGP出口路由设计 35
6.3 在多出口上实现流量均衡 35
七、MPLS VPN PE-CE的连接 37
八、VPN的INTERNET接入 39
8.1 VPN Internet 网关 39
8.2 VPDN for VPN 41
九、NMS 网段 43
十、安全控制 46
十一、QOS 49
11.1 可选择的工具 49
11.2 实现的模型 50
附件一：IP地址分配计划表 54
附件二：小区INTERNET接入方案 59
1、SSO（Service-Sign-On）系统 59
2．Redback SMS宽带接入服务器 63
3．两种方式的比较。 64
附件三：图表 66

一、设计原则
随着深圳电信的互联网业务的快速发展，可以预测的用户需求在几年内将成几何级数增长，同时，随着中国加入WTO的时间表的逼近，来自各个方面的竞争压力不断增加。但是，目前深圳电信的互联网基础设施还不够发达，不足以迅速占领市场的制高点，在未来的竞争中立于不败之地。
因此，深圳电信局决定建设一个先进的、灵活的、可靠的、基于标准的城市骨干通信平台，使得深圳电信能够基于这个平台，针对市场上IP用户的大量宽带多媒体应用的需求，迅速推出一系列崭新的宽带多媒体业务，从而吸引更多的用户，增加市场竞争力，实现网络的商用价值，并为今后满足市场新的业务需求而迅速推出新的业务打好基础。
深圳IP城域网一期工程的建设目标是将IP城域网建成为数据业务的统一骨干平台，在此平台上为政府、企业、学校提供高速接入，同时提供VPN等增值业务。
基于以上的建立目标，深圳IP城域网的设计原则为：
(1) 可靠性原则；
(2) 可扩充性原则；
(3) 简单和易于管理的原则；
(4) 可以集中管理的原则；
(5) 效率高；
(6) 和现有网络有较好的集成；
(7) 安全性；

网络可靠性通过下述的设计思路来达到：
- 在网络核心层进行Partial meshed冗余物理连接；
- 接入层设备通过Dual homing双连接到核心层；
- 网络采用多出口设计到Internete(163/169)；
- 在接入层采用Route summarization减少边缘链路波动对核心的影响；
- 合理采用静态路由，提高可靠性

网络可扩充性通过下述的设计思路来达到：
- 网络采用明显的“核心—分布”层次结构；
- 简单而有效的IP地址分配策略；
- 采用可靠和可扩展的IGP路由协议；

简单和易于维护性通过下述设计思路来达到：
- 所有的网络设备被分配专门的用途；
- 避免复杂的配置；
- 网络设备命名直观而易记；
- 统一的slot、port、VLAN的分配策略；
- 每台设备都配有loopback地址，易于维护；

集中管理通过下述设计思路来达到：
- 为中央网络管理系统配有专门的管理网段；
- 从中央网管网段可以到达所有设备；
- VPN PE-CE连接从NMS网段同样可以到达；
- 为所有互连网段包括VPN PE-CE连接都采用合法IP地址；

运行的高效性通过下述设计思路来达到：
- 核心层互连链路采用相同接口类型和相同速率，便于作负载平衡；
- 城域网内部采用缺省路由配合IGP metric作出口选择；
- 和Internet的多连接上采用BGP MED特性进行负载分担；

和现有网络的集成通过下述设计思路来达到：
- 采用开放的、标准的路由协议将城域网分为多个路由区域，现有网络可以通过单独的域连接上来；
- 和Internet(163/169)的BGP连接通过保留的AS号，这样不会影响广东省和中国电信163/169网络出国的BGP路由；

安全性通过下述设计思路来达到：
- 对所有重要事件进行log；
- 限制对设备的SNMP和TELNET；
- 采用NTP协议对全网的设备进行同步；
- 对不安全的端口上将路由协议进行Passive，防止不必要的路由泄露；
- 对网络设备的User和Privilege状态进行存取控制；

网络总体结构如图所示：

二、设备用途说明和命名规则
2.1 Site代码
Site
Site Code
枢纽
SN
黄木岗
HMG
电信
DX
南山
NS
新安
XA
龙中
LZ
沙头角
STJ
东港中心
DG
新南头
XNT
机关专用局
JG
蛇口
SK
鸿波
HB
龙脉
LM

Site代码是地点名的拼音缩写而成。前11个site是本期工程所要安装设备的点，后2个site不涉及设备安装。
2.2 设备命名规则
M-HMG-12012-A
Site Code

Unique Id
e.g. A – 1st 12012; B-2nd 12012

Equipment Type

MAN

解释:
(1) 设备类型为 “6509” 代表Catalyst 6509 switch的LAN switch 部分；
(2) 设备类型为 “6509R#” 代表Catalyst 6509 switch的 routing 部分：
6509R1 代表安装在6509的primary supervisory card 上的MSFC feature card；
6509R2代表安装在6509的Redundant supervisory card上的MSFC feature card。。
2.3 设备用途描述
Site
Device Model
Device Name
Usage
枢纽楼
GSR12012
M-SN-12012-A
MPLS core router

7507
M-SN-7507-A
MPLS PE router

3620
M-SN-3620-A
VPN Management CE router

2924M-XL
M-SN-2924-A
VPN GE Fan outaccess concentrator

2924M-XL
M-SN-2924-B
Commercial Internet access concentratorVPN GE Fan out

6509-MSFC
M-SN-6509R1-A
Inter-VLAN routing

6509-MSFC
M-SN-6509R2-A
Inter-VLAN routing

6509
M-SN-6509-A
Community Internet access concentratorLocal server hosting
黄木岗
GSR12012
M-HMG-12012-A
MPLS core router

7513
M-HMG-7513-A
MPLS PE router

2924M-XL
M-HMG-2924-A
VPN access concentratorGE Fan out

2924M-XL
M-HMG-2924-B
Commercial Internet access concentratorVPN FE Fan out

6509-MSFC
M-HMG-6509R1-A
Inter-VLAN routing

6509-MSFC
M-HMG-6509R2-A
Inter-VLAN routing

6509
M-HMG-6509-A
Community Internet access concentratorLocal server hosting
电信
GSR12012
M-DX-12012-A
MPLS core router

7507
M-DX-7507-A
MPLS PE router

2924M-XL
M-DX-2924-A
VPN access concentratorVPN GE Fan out

2924M-XL
M-DX-2924-B
Commercial Internet access concentratorVPN FE Fan out

6509-MSFC
M-DX-6509R1-A
Inter-VLAN routing

6509-MSFC
M-DX-6509R2-A
Inter-VLAN routing

6509
M-DX-6509-A
Community Internet access concentratorLocal server hosting

6509-MSFC
M-DX-6509R1-B
Inter-VLAN routing

6509-MSFC
M-DX-6509R2-B
Inter-VLAN routing

6509
M-DX-6509-B
Reserved for 163 server hosting in DXLocal server hosting
东港中心
6509-MSFC
M-DG-6509R1-A
Inter-VLAN routing

6509-MSFC
M-DG-6509R2-A
Inter-VLAN routing

6509
M-DG-6509-A
SRemote server hosting

6509-MSFC
M-DG-6509R1-B
Inter-VLAN routing

6509-MSFC
M-DG-6509R2-B
Inter-VLAN routing

6509
M-DG-6509-B
Server hosting
南山
GSR12012
M-NS-12012-A
MPLS core router

7507
M-NS-7507-A
MPLS PE router

2924M-XL
M-NS-2924-A
VPN access concentrator

2924M-XL
M-NS-2924-B
Commercial Internet access concentrator

6509-MSFC
M-NS-6509R1-A
Inter-VLAN routing

6509-MSFC
M-NS-6509R2-A
Inter-VLAN routing

6509
M-NS-6509-A
Community Internet access concentrator
新南头
6509-MSFC
M-XNT-6509R1-A
Inter-VLAN routing

6509-MSFC
M-XNT-6509R2-A
Inter-VLAN routing

6509
M-XNT-6509-A
Server hosting

6509-MSFC
M-XNT-6509R1-B
Inter-VLAN routing

6509-MSFC
M-XNT-6509R2-B
Inter-VLAN routing

6509
M-XNT-6509-B
Server hosting
新安
GSR12012
M-XA-12012-A
MPLS core router

7507
M-XA-7507-A
MPLS PE router

2924M-XL
M-XA-2924-A
VPN access concentrator

2924M-XL
M-XA-2924-B
Commercial Internet access concentrator
龙中
GSR12012
M-LZ-12012-A
MPLS core router

7507
M-LZ-7507-A
MPLS PE router

2924M-XL
M-LZ-2924-A
VPN access concentrator
沙头角
GSR12012
M-STJ-12012-A
MPLS core router

7507
M-STJ-7507-A
MPLS PE router

2924M-XL
M-STJ-2924-A
VPN access concentrator

2924M-XL
M-STJ-2924-B
Commercial Internet access concentrator
蛇口
7507
M-SK-7507-A
MPLS PE router

2924M-XL
M-SK-2924-A
Commercial Internet access concentrator
机关专用局
6509-MSFC
M-JG-6509R1-A
Inter-VLAN routing

6509-MSFC
M-JG-6509R2-A
Inter-VLAN routing

6509
M-JG-6509-A
Government agency Internet access concentrator

设备用途说明：

(1) MPLS Core Router
· 设备用作MPLS核心Label交换路由器；
· 不直接连接任何用户；
· 所有核心层路由器之间、核心路由器和PE路由器之间的连接必须MPLS Enabled；
· 核心路由器只能运行独一的IGP路由协议；

(2) MPLS PE Router
· 设备用作MPLS provider edge router（PE）；
· 所有VPN用户端的连接终结在PE上；
· 同时，PE路由器作为Internet分布层接入路由器；
· PE在IGP上作为ABR，进行路由聚合；

(3) VPN Access Concentrator
· 设备用于VPN扇出，上联链路为PE路由器GE VLAN Trunk；
· 每一个FE交换端口属于一个单独的VLAN；
· 每个FE交换端口和用户设备通过FE-to-Fiber单模光纤转换器连接；
　　　　　 ☆注：该转换连接不属本次工程范畴

(4) Commercial Internet Access Concentrator
· 设备用于商业用户的高速Internet接入；
· 每一个FE交换端口属于一个单独的VLAN；
· 每个FE交换端口和用户设备通过FE-to-Fiber单模光纤转换器连接；
☆ 注：该转换连接不属本次工程范畴

(5) Inter-VLAN Routing
· 设备用作Inter-VLAN路由，这些VLAN是通过Switch建立起来的；
· 同时，该设备还用于Internet接入路由器；
· 设备在IGP中作为ABR，进行路由聚合；

(6) Community Internet Access Concentrator
· 设备用于小区用户高速Internet接入；
· Supervisory Engine上的GE端口通过多模光纤连接到本地的MPLS core路由器上；
· VLANA1作用于Inter-VLAN路由器（MFSC）作为管理网段；
· VLAN通过FE-to-Fiber单模光纤转换器和小区的用户设备相连；
☆ 注：该转换连接不属本次工程范畴

(7) Server Hosting
· 设备（LAN交换机）用于连接各种主机托管服务器；
· Supervisory Engine上的GE端口通过单模光纤连接到远程的MPLS core路由器上；
· VLNA1作于Inter-VLAN路由器（MFSC）作为管理网段；

(8) VLAN Management CE Router
· 设备作为一个CE路由器，连接中央网管网段，通过VPN连接到所有的用户VPN上，以便于中央网管对所有PE－CE链路和CE路由器进行管理；
· 一个FE端口连接到本地PE上网管专用FE端口，另一个FE端口连接到Local Server Hosting以太网交换机上，通过网管专用网段和网管主机相连接；

(9) Government Internet Access Concentrator
· 设备用作政府机构上网的接入集中器，提供高速Internet连接；
· 6509上的supervisory engine的GE口通过单模光纤连接到最近的MPLS Core Router；
· VLANA1作用于Inter-VLAN路由器（MFSC）作为管理网段；
· VLAN通过FE-to-Fiber单模光纤转换器和小区的用户设备相连；
☆ 注：该转换连接不属本次工程范畴

三、网络架构
深圳IP城域网在网络结构上分成核心层和接入层，在功能上提供VPN互连、高速商业Internet接入、高速小区Internet接入、政府上网接入、主机托管连接等多种服务类别。因此，为了在一种清晰的结构上进行网络设计，对网络进行功能模块的划分，将深圳IP城域网分为以下几个模块：

Ø 核心骨干模块
Ø Internet(163/169)连接点模块
Ø IP VPN服务模块
Ø 商业Internet接入模块
Ø 小区Internet接入模块
Ø 政府上网接入模块
Ø 主机托管模块
Backbone Module
IP-VPN
Service Module
Commercial
Internet Access
Service Module
Community
Internet Access
Service Module
Government
Internet Access
Service Module
Server Hosting
Service Module
Internet
Peering Module
Network
Management
Module

3.1 核心骨干模块 (backbone)
1、结构
的城域网的核心骨干模块由分布在7个不同地点的7台Cisco GSR12012路由器构成，分别是：
n M-SN-12012-A 枢纽的GSR12012
n M-HMG-12012-A 黄木岗的GSR12012
n M-DX-12012-A 电信的GSR12012
n M-NS-12012-A 南山的GSR12012
n M-XA-12012-A 新安的GSR12012
n M-LZ-12012-A 龙中的GSR12012
n M-STJ-12012-A 沙头角的GSR12012

这7台GSR12012通过POS接口卡单模光纤以partial meshed结构互连；为了确保核心骨干模块的MPLS标签分配和路由表的稳定，这7台GSR12012及它们之间互相连接的Link必须独立地分配在IGP的area 0域中。从其它模块学到的路由在进入Core之前必须先进行Aggregate或Summarize，以免造成对Core的路由影响。
Core Area
Service
Modules
Service
Modules
Service
Modules
Aggregated or Summary Routes Only
DX
LZ
HMG
XA
NS

SN
STJ

2、实现
作为IP城域网的核心，要承载包括IPv4和MPLS VPN两种不同的traffic，所以，每台Core Router必须是能够支持Tag Switching。在这种配置下，MPLS VPN的traffic被Tag Switched，而普通IPv4的traffic被routed。
下面是一台Core router的Sample configuration:

Tag-switching advertise-tags

interface pos 2/0
description “SM01 fiber link to M-XA-12012-A pos 2/0”
ip address 123.123.1.1 255.255.255.252
tag switching ip

为了减少Tag Switch的目标lable，可以采取access list的方法来限制标签的分配。配置如下：
Tag-switching advertise-tags for 1

Access-list 1 permit 123.123.1.230 // loopback 0 address of M-SN-7507-A
Access-list 1 permit 123.123.1.231 // loopback 0 address of M-HMG-7513-A
Access-list 1 permit 123.123.1.232 // loopback 0 address of M-DX-7507-A
Access-list 1 permit 123.123.1.233 // loopback 0 address of M-NS-7507-A
Access-list 1 permit 123.123.1.234 // loopback 0 address of M-XA-7507-A
Access-list 1 permit 123.123.1.235 // loopback 0 address of M-LZ-7507-A
Access-list 1 permit 123.123.1.236 // loopback 0 address of M-STJ-7507-A

在上面的配置下，Tag Switching在限于目标地址是MultiProtocol BGP neighbor的Core Router的loopback地址，大大减轻了Core Router在Lable分配上的开销。
其它traffic进行普通路由。

3.2 Internet(163/169)连接点模块
1、结构
在本期IP城域网工程中，黄木岗和电信的两台Core RouterM-HMG-12012-A和M-DX-12012-A作为和163/169连接的边界路由器。
其中，黄木岗M-HMG-12012-A通过一条OC-48链路连接到163；电信M-DX-12012-A通过一条GE链路连接到163。
Core Area
163 Backbone
DX
LZ
HMG
XA
NS
SN
STJ

在广东省163扩容工程结束后，这种连接将改变。到那时，2台新加入的GSR路由器M-SN-12012-B和M-NS-12012-B将代替本期工程中的2台边界路由器作为新的163出口路由器。边界路由功能随之而转移到新的GSR路由器上。
在第六章中将详细讲述和163边界路由器的路由策略，包括如何在多出口点之间进行Inbound traffic和Outbound traffic的load balance，以及如何保证路由对称性的问题。

2、实现
深圳IP城域网和163网之间运行BGP路由协议，下面是M-HMG-12012-A的Sample Configuration：
router bgp 65001
no synchronization
network 123.123.0.0 mask 255.255.224.0
neighbor 123.123.1.46 remote-as 123
neighbor 123.123.1.46 description “2.5 Gbps links to HB 163 Backbone”
neighbor 123.123.1.46 version 4
neighbor 123.123.1.46 filter-list 1 in
neighbor 123.123.1.46 filter-list 10 out

ip as-path access-list 1 deny ^*
ip as-path access-list 10 permit ^$

ip route 123.123.0.0 255.255.224.0 null 0
ip route 0.0.0.0 0.0.0.0 123.123.1.46

城域网的边界路由器不从163路由器学习任何Internet路由，所有IP城域网不知道的路由都通过缺省路由送至163网络。

3.3 IP VPN服务模块
1、结构
IP VPN服务模块包括向用户提供IP-VPN服务的路由器和交换机，路由器主要是7507或7513，交换机主要是2924。这些设备包括：

Provider Edge (PE) Router (Cisco 7500 series routers):
· M-SN-7507-A
· M-HMG-7513-A
· M-DX-7507-A
· M-NS-7507-A
· M-XA-7507-A
· M-LZ-7507-A
· M-STJ-7507-A

VPN Access Concentrator (Cisco Catalyst 2924M-XL LAN switches):
· M-SN-2924-A
· M-HMG-2924-A
· M-DX-2924-A
· M-NS-2924-A
· M-XA-2924-A
· M-LZ-2924-A
· M-STJ-2924-A

所有VPN Access Concentrator 2924M-XL都是100MbaseT以太网交换机，通过GE链路连接到7500系列路由器上。该GE链路被定义为multi-VLAN Trunk。
2924M-XL上的每个100M端口被映射到一个单独的VLAN上，7500路由器上为每个VLAN建立一个sub-interface。
M-DX-7507-A
Router

……….
VLAN 1xx
VLAN 109
Logically function as point-to-point links

Router at customer site

要向用户提供IP-VPN服务，需要进行下列步骤：
· 在VPN Access Concentrator 2924M-XL上分配一个100M端口；
· 通过FE-to-Fiber单模光纤转换器连接用户端的设备；
· 将分配到的100M端口映射到VPN Access Concentrator 2924M-XL的一个VLAN上；
· 在PE 7500的GE端口上为该VLAN建立一个sub-interface；
· 将该sub-interface联系到一个VPN上；
· 在用户端，用户提供CE路由器通过100M端口连接到PE上。

2、实现
A、VLAN Trunk
Trunk是交换机之间或交换机和路由器之间的点到点链路，trunk在整个网络内承载multi-VLAN的流量。目前有两种trunk封包技术，一种是Cisco专用技术ISL(Inter Switch Link)，另一种是IEEE 802.1Q，是国际标准。在本次城域网工程中，使用IEEE 802.1Q作为inter-VLAN的trunk封包技术。
下面是2924M-XL用作VPN Access Concentrator的Sample Configuration：
interface gigabitethernet 1/1
switchport mode trunk
switchport trunk encapsulation dot1Q

下面是PE路由器7500的trunk端口的Sample configuration：
interface gigabitethernet 8/0/0.103
encapsulation dot1Q 103
ip address 123.123.4.1 255.255.255.252

B、MPLS VPN
MPLS采用虚拟路由表的方法来实现一个路由器上多个VPN的路由表。每一个VPN对应一个或多个VRFs(VPN routing/forwarding instance)。VRF定义连接到PE上的VPN成员(一个site)资格。一个VRF包括一个IP路由表、一个CEF(cisco express forwarding)表、几个相关联的端口、和一些控制路由的规则和参数。
用户site和VPN之间可以不是一一对应的，一个用户site可以是多个VPN的成员。但是，一个用户site只可以和一个VRF相关联。一个用户site的VRF包括所有该site所属VPN到该site的路由。
数据包的路由和交换由VRF路由表和单独的CEF表所控制，每一个VPN对应一个路由表和一个CEF表，这样可以防止packet被交换到不关联的端口上去，同时也防止不关联的端口的packet被交换到该VPN中。
VPN路由信息的传播由VPN route-target communities来控制，这主要是通过BGP的extended communities属性来实现的。VPN路由信息的传播通过下述的方法进行工作：
· 当一条从CE处学习到的VPN路由被inject到BGP中时，一些VPN route target communities属性被赋于它；其中主要包括route-target属性，该属性决定这些route将被export到哪些VRF。
· 每个VRF配置有一个import route-target列表，该列表指明了一个BGP的update中的community属性应该包含什么route-target才能被目标VRF接受。比如，某一个VRF的import route-target列表指明route-target communities A、B和C，这样，每一个MP-iBGP的update中communities属性的route-target中有A或B或C的route将被import到该VRF中。

一个PE路由器可通过静态路由、RIP或BGP从CE处得到某一个IP前缀的路由，该前缀是标准IPv4的前缀。然后，PE通过加上一个8字节的RD(route distinguisher)将它转换成为一个VPN-IPv4的前缀。通过这种方法，可以使用户地址唯一，即使用户使用的是IANA规定的保留地址。用于生成VPN-IPv4前缀的RD(route distinguisher)由PE路由器的VRF配置命令指定。
MP BGP协议为VPN的每个VPN-IPv4前缀传递NLRI(Network Layer Reachability Information)。BGP实体之间的通信有两种可能，AS内的iBGP和AS间的EBGP，PE-PE和PE-RR(route reflector)之间为iBGP，PE-CE之间为EBGP。
BGP协议通过BGP多协议扩展(BGP multiprotocol extensions 参见RFC 2283, Multiprotocol Extensions for BGP-4)来传递VPN-IPv4的路由可达性信息，多协议扩展的BGP采用的方法为限定BGP的peer只能从其它VPN的同伴处得到BGP路由。
IP包经过MPLS标签交换到其目标地址，其选路的基础是VRF路由表和VRF CEF表。
PE路由器为每一个从CE路由器学到的前缀产生一个label，然后将这个label作为一个BGP Communities属性附加到BGP更新中传递出去。当一个源PE路由器从CE路由器处得到一个IP包，它使用从目标PE路由器学到的label将该IP包发送出去。当目标PE路由器得到这个labeled IP包后，将label从IP包中去除，作为一个纯IP包发送到CE路由器。
当labeled IP包在核心骨干部分传递时其基于label switching或traffic engineered path进行，一个用户的IP包在核心穿行时，携带了2层label：
· 第一层label指示到正确的目标PE路由器；
· 第二层label给目标PE路由器指示，到哪一个其连接的site链路。

下面以黄木岗M-HMG-7513-A为例，给出建立一个名为“education”的VPN的sample configuration：
Step1: create vrf instance
ip vrf education ! Define VPN Routing instance “education”
rd 65001:101 ! Specify the route distinguisher
route-target both 65001:101 ! Configure import and export route-targets for “education”
Step 2: Activating PE exchange of VPNv4 NLRI over iMP-BGP:
router bgp 65001 ! Configure BGP sessions
no synchronization
no bgp default ipv4-activate ! Deactivate default IPv4 advertisements
neighbor 123.123.1.230 remote-as 65001 ! Define IBGP session with another PE
neighbor 123.123.1.230 description “M-SN-7507-A loopback”
neighbor 123.123.1.230 update-source lo0
address-family vpnv4 unicas