人力资源-MPLS VPN环境下的网络管理系统的部署.docx

金融网络MPLS/VPN 环境下的CiscoWorks2000网络管理的部署

在MPLS/VPN网络环境下，由于骨干网和各VPN之间的IP可通达性被隔离，基于SNMP的网络管理模式和传统IP网络有所不同。本文不介绍Ciscoworks 2000和VPN Solution Center的使用，只从网管系统和被管设备的部署的角度介绍几种方式以及各自的优点和需要考虑的方面。

虽然MPLS/VPN将网络分成了P Network （服务提供商网）和 C Network( 客户网络，即各VPN)，对于银行或证券公司网络来说，仍然属于同一个管理域之下。例如，对于一个省行，其骨干网和各业务子系统网络都需要从省分行网络中心进行统一管理。网络管理系统如何部署，可以有以下的几种方式。

（1） P网和C网分离进行管理

一种方式是骨干网和各VPN有各自的网管系统。这种方式不需对PE路由器作任何特殊配置，在骨干网、各VPN都设置各自的网络管理系统。如下图所示：

C Network
CE
CE
PE
PE
MPLS
Core

网管中心

CW2000
For Backbone
VPNSolution Center

CW2000
for VPN

骨干网的网管放置在全局（Globle），负责管理P和PE设备，拓扑图只显示骨干网的拓扑。
VPN的网管放置在VPN内部，负责管理所在VPN的所有设备，包括其他Site的C 网设备（设置拓扑发现时，针对每一Site都需设一个Seed Address），网络拓扑图只显示其所在VPN 的拓扑图。可能会出现各个Site的拓扑图分离的现象，某些网管软件能手工添加虚拟链路，即把MPLS骨干网看做一条链路。
这种方式不需对PE路由器的配置作任何修改，各网管系统有各自的管理范围，适合于管理分工明确、细化的客户。但客户需配置多台网管工作站和多套网管软件。

· CE设备在骨干网管理系统之外，不需要从CE到骨干网的IP 可通达性。从骨干网管理中心不能通过SNMP，Telnet等访问到CE，不能通过VPN Solution Center 来配置、管理CE，以及用SA代理来测试CE之间的响应时间等。
· 各CE设备IP地址空间独立。C网路由和骨干网路由完全分离。

（2） 用同一网管平台对所有P网设备和C网设备进行管理

另一种方式是用同一网管平台对骨干网和客户网络设备进行管理，即CE也由骨干网网管来管理。

· 被管CE处于骨干网的管理域，因此，需要从CE到骨干网网管的IP联通性，能够从CE访问到网管所在的网段。
· 骨干网网管能管理到CE的IP地址、主机名、口令和SNMP strings。
· 骨干网网管能管理到： Fault management、configuration management(collecting, archiving, &restoring， audit)。
· C网和P网的路由有交互。
· 可以从VPN Solution Center 对CE进行管理和配置，可以用SA代理来测试CE之间的响应时间，也可以用Netflow Collector。

首先，要建立一个网络管理子网（ Network Management Subnet）。

网络管理子网连接MPLS VPN Solution Center工作站，和其他网络管理工作站（CW2000，Openview等）。

一旦一台CE接入到一个VPN后，用传统的IPV4路由就无法到达这台设备。但网络管理子网要求必须能访问到被管理CE设备。

因此，需要考虑以下问题：

· 如何控制骨干网和CE路由器之间不必要的互通路由（除了网管信息）？
· 如何控制CE路由器和骨干网以及其他VPN CE之间的互通路由？
· 如何提供有效的安全性？
· 如何防止路由循环？
· 部署了MPLS/VPN之后的可通达性的改变？
在把CE放入一个VPN之前，可能可以同Ipv4到达CE。一旦CE放入VPN之后，就不能以IPV4 到达CE。除非 经适当配置后 从网管子网。

· 在非帧中继/ATM链路上，服务请求不能到Deployed状态，除非有网管子网。

网络管理子网实施技术：

网络管理子网必须能访问到管理CE（MCE），PE，和NetFlow Collector。
当需要带内（in－band）管理CE时，网管子网是必须的，这里带内是指客户的VPN 流量和网络管理流量使用同一条链路来传送。

Management CE(MCE)

网管子网连接到MCE，MCE作为网管中心的网关。MCE可以在MPLS VPN Solution Center网管软件中定义。
Management PE (MPE)管理PE连接MCE到骨干网。MPE可以和连接其他VPN CE的PE 共用一台设备。

目前，网管子网有三种部署方式：
· MPE-MCE 之间的链路使用一个网管VPN来连接所有需要管理的CE设备；而连接PE和Netflow Collector，MPE-MCE则使用并行的Ipv4链路。

· Extranet Multiple VPN 技术
MPE-MCE的链路使用外联多VPN技术来连接所有被管理的CE；而连接PE和Netflow Collector，MPE-MCE则使用并行的Ipv4链路。
· 带外管理
带外管理，MCE和所有被管理的CE和PE之间都有Ipv4的连接，out-of-band 指PE之间用单独的链路来传送网管流量。

（1） 当采用管理VPN 方式（即上面的第一种），如图所示：

MPE-MCE使用一个management VPN来连接到被管理CE，VPN的每个需要被管理的CE也要加到管理VPN，这可以通过VPN Solution Center或者CLI来配置。
只有需要管理的CE的路由（通常是CE上的loopback口的地址）才会进入management VPN的VRF，这通过定义route map来控制import rt 和export rt来实现。网管子网和各被管CE采用Hub-Spoke方式部署，即被管CE只能和网管子网通信，网管也只能到达各被管设备（CE和PE相连的地址或者是CE的Loopback地址），而不能到达VPN里的其他地址。
另外MPE和MCE还需要一条并行的non-MPLS VPN链路。

（2） Extranet Multiple VPN
这种方式的关键概念是： MPE-MCE是所有被管VPN的一部分，即网管子网实际上是一个所有被管VPN的交叠区域（overlapping site）。当你加一个新的VPN到这个交叠区时，必须把这个VPN 加到MPE-MCE。另外，MPE-MCE之间还需要并行的Ipv4链路。

在Extranet Multiple VPN(有时称为rainbow VPN)方式，需要考虑安全控制和访问列表，但所有这些考虑只集中在MPE和MCE。
MPE包括了到所有被管理VPN的BGP路由。

· 只有MPE有所有VPN的路由，其他PE则不会。即所有客户网络的路由只在MPE的VRF中。
· 只需在MPE-MCE上用ACL控制安全。
· 如果必要，可以很容易创建另外一个MPE-MCE。

（3） 带外管理(Out-of-Band)

带外管理不需要management VPN来管理CE。带外的连接提供Ipv4链路，PE之间、PE-CE之间有另外的链路来传送网管信息。

带外管理技术相对简单，不需要设置management VPN。但对每一需要管理的CE都要有Ipv4的连接，费用昂贵，同时实际实施起来比较复杂。

建议采用P网和C网分离进行管理或者建立management VPN的方式。

(4) 保证管理网络的安全性

尽管设置management VPN，在VRF中对路由进行了控制，为了网管子网和CE的安全性，仍需在CE上设置ACL来限制对CE的访问，设置对端口号的限制很重要，例如只允许来自网管的SNMP、TFTP。
建议如下：

· 允许从网管到CE址的SNMP、TFTP等，拒绝其他
· 允许从CE到网管的已经建立的TCP （established），拒绝其他
以上的ACL应用在CE连接PE的端口的输入列表（input list）。这样VPN中的其他设备（未被管理的CE或者主机、服务器等）不能和网管建立连接。只有从合法地址（CE 上用于网络管理的地址）来的对网管的响应能进入网管子网。
另一个选项是缩小网管子网，例如在MPE上建立32位掩码的静态路由：

IP route vrf management MCE_address

IP route vrf management MCE_address

为了防止不正确的路由的注入，可以加一条：
ip route vrf management 0.0.0.0/0 null0

为防止从CE访问到MCE，还可以在MPE上与MCE连接的端口上设置输出ACL：permit packet to {MPLS VPN solution Host, CW2000 Host,CIPM Host etc.}
and deny everthing else

网管安全总结：
1. MPE上配置以下命令:
ip route vrf management MPLS VPN Solution host ip/32
ip route vrf management cipm host ip/32

To dump unknowns, add this command:
ip route vrf management 0.0.0.0/0 Null0
2. 在MCE、CE 上也尽可能使用静态路由
如果必须使用动态路由，可以用RIP。只进行路由的单向重分发：从BGP重分发到RIP，但不要反向分发。
3. MCE上设置ACL ：
output access list: on link with access to the VPNs, make an output access list as follows:
permit {MPLS VPN Solution host, CIPM host} to
deny all

The input access list is as follows:
permit to {MPLS VPN Solution host, CIPM host} with tcp-established
deny all
4. 为保护 Management CE, 在MPE与MCE相连的management VPN端口上设置ACL:
permit to {MPLS VPN Solution host, CIPM host}
deny all
5. 如果需要，在MPE与MCE之间Ipv4 链路上也可以设置ACL，这取决于从骨干网上访问网管子网的需要。

附录：
测试

MPLS/VPN 环境下网络管理――集中管理P、PE和CE路由器

虽然MPLS/VPN将网络分成了P Network （服务提供商网）和 C Network( 客户网络，即各VPN)，对于银行或证券公司网络来说，仍然属于同一个管理域之下。例如，对于一个省行，其骨干网和各业务子系统网络都需要从省分行网络中心进行统一管理。即从同一网管平台，能够对全网（包括P路由器、PE路由器、需集中管理的CE路由器和其他C网设备）进行管理。

本测试即采用同一网管平台（CiscoWorks for Windows 6.0）对所有P网设备和C网设备进行管理 。

要求：

· 被管CE处于骨干网的管理域，因此，需要从CE到骨干网网管的IP联通性，能够从被管CE的Loopback端口访问到网管所在的网段。能够从网管访问到被管设备的Loopback地址（ping、telnet、snmp）。但C网内其他地址不能和网管网段互通。CE也不能通过网管网段访问到其他VPN的被管CE。
· 骨干网网管能管理到P、PE、CE的IP地址、主机名、口令和SNMP strings。
· 骨干网网管能管理到： Fault management、configuration management(collecting, archiving, &restoring， audit)。
· 骨干网网管上能用CiscoView管理P、PE、和CE设备。

首先，要建立一个网络管理子网（ Network Management Subnet）。

网络管理子网连接MPLS VPN Solution Center工作站，和其他网络管理工作站（CW2000，Openview等）。本次测试中采用CiscoWorks for Windows 6.0。

网络拓扑如下：

P1

CiscoWorks
MCE

50.0.10.0/24
30.1.1.0/24
30.1.2.0/24
20.7.7.0/24
20.8.8.0/24

.16
.1
40.1.1.0/24
40.1.2.0/24
10.1.1.0/24

10.7.7.7/32
50.1.10.1/32
50.0.0.0/24
CE2

192.20.20.0/24
PE2
PE1(MPE)

192.10.10.0/24
CE1

19211.11.0/24
50.0.2.2/32
20.12.12.0/24
10.5.5.5/32
10.2.2.2/32
P2

20.11.11.0/24

50.0.1.1

10.10.10.10/32

Loopback Interface

IPv4 Link (Global)

VPN-IPv4 Link (Management VPN)

PE1作为MPE（Management PE）， 连接MCE（Management CE）。MCE和MPE之间有两条链路，一条是普通Ipv4 Link，在Global地址段（10.1.1.0/24），用于网管子网M－Subnet（Management Subnet）和P、PE路由器的通信。另一条是VPN Ipv4 Link， 在M-VPN（Management VPN）地址段（50.0.0.0/24，本测试中M-VPN的地址为50.0.0.0），用于网管子网和被管CE设备的LOOPBACK端口的通信。MPE和MCE之间用静态路由。CE1和PE1之间、CE2和PE2之间运行RIP2路由协议。

其他主要参数配置如下：

VRF 定义

路由器

VRF Name

RD

RT

RouteMap

PE1（MPE）
vpn1
100:1
import 100:1
100:3
export 100:1
100:4
(export route-map nm)
Route-map nm
mathc ip address 1
set route-target export 100:4

access-list 1 permit 50.0.0.0.0.255.255.255
vpn2
100:2
import 100:2
100:3
export 100:2
100:4
(export route-map nm)
Route-map nm
mathc ip address 1
set route-target export 100:4

access-list 1 permit 50.0.0.0.0.255.255.255
management-VPN
100:3
Import 100:3
100:4
Export 100:3

PE2
vpn1
100:1
import 100:1
100:3
export 100:1
100:4
(export route-map nm)
Route-map nm
mathc ip address 1
set route-target export 100:4

access-list 1 permit 50.0.0.0.0.255.255.255
vpn2
100:2
import 100:2
100:3
export 100:2
100:4
(export route-map nm)
Route-map nm
mathc ip address 1
set route-target export 100:4

access-list 1 permit 50.0.0.0.0.255.255.255
注意： management－VPN只在MPE上定义。

vpn1和vpn2的VRF定义时，export route-target 用了route-map。 这个route-map的作用是：只有地址符合50.0.0.0 0.255.255.255时，export的RT 为100:4（这也是management－vpn vrf的import RT）。 50.0.0.0/8地址段为网管VPN的地址，即各被管CE的Loopback端口的地址都在这个地址段。因此，在MPE上management－vpn vrf里只有这个用于网管的Loopback 端口的IP地址的路由，而不会看到各VPN内的其他路由，这样，从各VPN的其他地址是不能到达网管子网的。同样，从网管也只能到达被管CE的Loopback地址（Ping、telnet、SNMP）。

在MCE上定义了两条静态路由：
ip route 50.0.0.0 255.0.0.0 50.0.0.1 ( 到被管CE的路由走VPN link，下一跳50.0.0.1是MPE上的位于vrf management的端口的IP地址)
ip route 10.0.0.0 255.0.0.0 10.1.1.1 （ 到P、PE路由器的路由走non-VPN link,下一跳10.1.1.1 是MPE上的位于global的端口的IP地址）
相应地，在MPE上的全局路由和management VRF里都配置上到网管子网（50.0.10.0/24）的静态路由，分别指向50.0.0.2和10.1.1.2。

配置完成后，从网管机（50.0.10.16）上能PING、Telnet到所有被管P、PE、和CE的loopback端口。

用CWW6.0的Whatsup的拓扑发现功能，得到网络拓扑图如下：

可以看到，Whatsup发现了所有被管设备及其相连的网段。需要注意的是，有的网段例如VPN1－Site1的192.11.11.0（CE1所连局域网段）在拓扑上能看到，但从网管不能直接到达，从网管只能到达CE1的Loopback 50.0.1.1。

在CWW desktop console里看到拓扑图如下：

用CiscoView来管理P、PE、和CE路由器：

显示P路由器 P1 面板：

显示PE路由器PE2面板：

显示CE路由器CE2：

CWW6.0提供了show管理工具，可以从网管上显示被管设备的各种show命令结果：
例如从网管上显示CE2上的running config：

从网管上显示PE1的running config：

将MCE与网管工作站连接的端口shutdown，模拟网络故障，Whatsup的拓扑显示出：

小结： 通过适当的配置，可以从统一的网管平台上同时对MPLS、VPN网络的 P、PE、和CE设备进行管理，同时不影响网络的安全性。CWW6.0的功能十分有限，如果在网管子网配置CW2000、CIC、VPNSC等，可以达到更强大的网管功能。

补充： Multi-vrf CE的管理

Multi-vrf CE和普通CE的网管部署不样。Multi-vrf CE上也有多个VRF存在，而网络管理和文件上载/下载（TFTP）所查找的是全局路由表，所以在multi－vrf CE和PE之间的链路上，专门设一个子接口用于网管。在这个子接口上，Multi-vrf CE这端不设VRF（在全局），而在PE这端的子接口上，则设ip vrf forwarding management-vpn, 在PE上定义management－vpn vrf（Import 和Export RT和MPE上定义的刚好相反）。其他VPN的vrf 不再需要定义route-map。BGP的相应的address-family里redistribute connect即可。这样，MPE上的mvpn 的vrf和MCE的路由表里都有被管理的Multi-vrf CE与PE相连的链路的路由，Mulit-vrf CE上的全局路由表里则有到网管子网的路由（可在其上设置静态路由）。而同时，骨干网对Multi-vrf CE仍然是不可见的。