广东四期扩容网络管理方案.doc

广东省ChinaNet-GD四期扩容工程网络管理系统设计/实行方案（网络部分）

一九九九年十二月

目 录
广东省CHINANET-GD四期扩容工程网络管理系统设计/实行方案（网络部分） 1
1、建立高效可靠的网管体系 3
1.1带外网管 3
1.2本期网管网络设备配置 4
2、带宽计算及网管拓扑结构 5
3、路由策略 6
3.1 各节点的网管路由器，属于该节点所在的区域。 6
3.2 NOC参与省网路由并与各节点带外网管路由器自成OSPF区域 7
[参考]带外网管的带宽计算 10

1、建立高效可靠的网管体系
广东省网管中心担负着对广东省内ChinaNet网络进行平常状态监测、故障响应、资源分派和控制等功能，同时采集网络运营数据进行业务流量、流向分析和网络发展规划，是保证广东省内ChinaNET有效高质量运营的关键功能之一。
根据Internet的发展历史和近年在国内的发展趋势，根据广东经济的发展和网络知识普及率的提高，可以预测广东省网在未来的几年内在规模上会有较大的发展，成为覆盖全省、拥有上百个节点(省级节点或地市级以下的POP节点)的超大规模ISP网络。所以，在进行网管平台的建设时，应当充足考虑到扩展性，规定网管系统具有对大型广域网的管理能力。具有对宽带网络（涉及宽带WAN琏路和高速局域网）的监控管理能力、对网络流量的分析和预测能力、对关键设备和服务的监控和管理能力、对用户服务质量的管理能力。同时，还应考虑到网管平台的可靠性和安全性。上述目的对网管平台的软件和硬件配置都提出了较高的规定。我们以上述目的为指导，进行了网管方案的设计。
随着因特网应用规模的扩大及对网络服务质量规定的提高，对于网管体系的规定趋于实时化和精细化成为国际上各大因特网服务提供者近来大量投入资源优化的一个重点，结合广东省网管系统的工作现状和几年来的运营实践并考虑到广东省网络扩容后对网管体系扩容升级后网络营运和业务开发对网管的规定,我们拟定广东省四期网管体系的基本建设原则为：建立起高精度、实时化对网络单元及运营状态进行涉及传统SNMP在内的基础上的综合网管支持。在网管体系中本期的目的是建设起带外网管系统、分层网管系统，以提高网管体系的效率与可靠性、提高网管数据的安全性。
1.1 带外网管
管理的方式是按照管理信息的传输途径来划分的。具有专用途径的管理方式称做“带外管理”，避免管理数据和网络中其他数据互相影响，使管理工作产生误差。这种方式重要合用于管理范围较广，管理节点较多的场合；自身不具有管理数据专用途径的管理方式称做“带内管理”，管理数据与其他数据在共享的途径中传输。这种方式合用于管理节点较少的内部网。
对于有条件的用户，带外网管是通过专门的网管通道（由路由器来完毕）实现对网络的管理，将网管数据与业务数据分开，为网管数据建立独立通道。通过对路由表进行设立，在广域网上与生产网络数据分离，这样可以保证重要管理数据，敏感的记录信息，敏感和占用带宽的实时计费信息在同一个网络中进行安全，可靠的传输。带外管理方式有助于提高网管的效率与可靠性，也有助于提高网管数据的安全性。
1.2 本期网管网络设备配置
对于各个管理节点的带外网管路由器的选择，由于管理节点的管理信息较少，流量较低，因此选用性能和解决能力较小的工作组级路由器。把带外网管路由器连接至各节点的局域网段中，同时通过一个专用的通路连接至网管中心的路由器。对于网管中心的路由器，由于汇集各个管理节点上传的管理信息和下传管理数据，因此，选用能力较高的部门级路由器。
考虑带外网管的未来发展，我们在选择带外网管路由器时，对设备配置的规定是：
1、重要核心节点网管路由器：
A、支持高速串口（2M以上）；
B、将来可以升级到ATM中继接口；
C、支持异步端口，可以连接到各管理设备的CONSOLE口；
D、有以太网接口。为保证灵活性，未来可以支持163/169统一网管网，最佳有2个以太网接口；
D、为在节点局域网扩容时保证投资，最佳是模块化结构，可以通过增长插板来扩充异步口、以太口、广域网口；
E、支持DIALIN，可以做应急支持。
考虑支持高速WAN接口（HSSI/ATM），我们在重要核心节点（涉及广州AB和深圳A、B节点）选用cisco3600系列产品作为带外路由器。为尽量综合运用现有设备，在有5800接入服务器的深圳节点，可以运用管理5800的SC3640路由器作为带外网管路由器。
2、其他节点带外路由器规定：
对WAN端口的规定不必限制在2M以上，其他相同。
可以选用2511产品作为带外路由器。
3、具体配置如下：
NOC节点。采用2M的DDN线路。运用原有7206VXR上的2个MC-8E1，并2块ATM卡。
深圳A、B节点。运用5800的管理设备SC3640，增配异步口板16A、WAN接口板4E1、MODEM。
广州A、B节点。增配cisco3640，配以太网板、异步口板16A、WAN接口板4E1、MODEM。
其他节点，涉及湛江、珠海、惠州、中山、东莞、佛山、顺德、南海、肇庆、阳江、梅州、韶关、潮洲、茂名、汕尾、清远、河源、潮阳、云浮、揭阳20等个节点。带外路由器选用原2511，另配MODEM。
2、带宽计算及网管拓扑结构
我们通过对计费数据，网管数据，NetFlow数据，Radius数据等占用的带宽进行计算，在本期工程中我们采用2M线路作为带外网管线路。详情可见[参考]。
网管网采用星形结构，覆盖整个163网的各个节点。各节点设立专门的网管路由器，直接将网管通道链路联接至NOC，实现网管数据和计费数据等与用户使用网络服务的数据的隔离传输。目的是更好的保证网管和计费等重要数据安全，可靠，高质量的传输，提高网管系统的响应性能；保证实时管理工具可以更好地发挥效能。网管中心配备2台CISCO 7206 VXR路由器，通过2Mb/s中继连接所有节点的带外网管路由器。每个节点配置一台独立的路由器作为带外网管专用路由器，并配置专用线路，与业务网完全独立。同时网管中心2台CISCO 7206 VXR上配备ATM卡，以ATM PVC分别到广州A、广州B的省网核心路由器GSR上，作为网管中心的一般出省的业务数据的的通道，和做为网管系统带内路由备份通道。
3、路由策略
对于本期带外网管系统的路由设立, 根据广东省网路由的特点和带外网管拓扑结构。我们做路由设计如下图所示：

3.1 各节点的网管路由器，属于该节点所在的区域。
我们在各节点的网管路由器上采用OSPF路由协议参与各节点163局域网络的统一路由。此时，各节点网管路由器通过OSPF路由表可以获取本节点内所有子网网段的路由信息，同时从OSPF路由协议中可以接受到节点出口路由器向节点内广播的缺省路由。
由于所有节点的带外网管路由器与网管中心台CISCO 7206 VXR有2M的直连链路，我们在带外网管路由器上设立几条指向网管中心的静态路由，同时在OSPF中redistribute这几条静态路由（E2）到节点内（必须注意到：指向NOC的静态路由地址段必须小于NOC广播到ISIS中的地址段，由于节点出口路由器OSPF的distance大于ISIS的distance，所以只有从OSPF获得的NOC地址段小于从ISIS获得的NOC地址段时，节点出口路由器到NOC才会优先通过OSPF走带外），这样一来，节点内的网管数据(涉及SNMP数据，Netflow数据，Radius数据，计费数据等)在正常情况下，经本节点的网管路由器直接送达NOC，当出现某节点至NOC的中继中断时，静态路由在网管路由器上消失，该节点的网管数据通过缺省路由到节点出口路由器，然后通过ISIS路由协议迂回至其他节点的出口路由器，同其他节点争用网管带宽，即通过ISIS路由协议迂回到其它节点再由其它节点的OSPF到达网管中心。
可以看出，我们可以通过适当的路由设立，使各节点到网管中心的数据优先地选择从带外网管至网管中心的路由，当带外网管路由器至网管中心的链路中断时，网络管理数据还可以从其它节点迂回至网络管理中心。同时，带外网管路由器的路由表中只有本节点局域网内路由信息和到网管中心的静态路由信息。
3.2 NOC参与省网路由并与各节点带外网管路由器自成OSPF区域
从NOC的两台CISCO 7206 VXR到省网出口存在两条用户数据电路，用于传送NOC用户出省的数据，同时作为专用网管电路的备份。我们可以在这两台路由器上运营ISIS路由协议，参与省网ISIS路由并作为L2路由器,可以通过ISIS获得全网路由表，同时也通过ISIS结合指向Null0的静态路由向全网的节点出口路由器广播NOC内部网段地址，目的是做NOC的出口广播并在专用网管电路或带外网管路由器发生故障时，让各节点出口路由器可以通过ISIS到达NOC。
为了让NOC动态的学习到各个节点内部的路由信息，达成NOC到各节点的网管数据优先走带外网管专线的目的，我们可以在NOC局域网内部和各节点带外网管路由器之间运营OSPF动态路由协议，自成一个独立的OSPF自治域，具体做法是：在各节点带外网管路由器上把本地OSPF路由表redistribute到网管OSPF中，节点网管路由器的本地OSPF只在以太网端口广播，网管OSPF只在到NOC的专用网管电路端口上广播，目的是把本节点的路由信息广播给NOC，为了减小路由表的长度以适应带外网管路由器的工作能力，可以通过在本地OSPF中设立distribute-list in结合access-list来控制所接受的路由信息仅为NOC所需管理的网段（亦即广播给NOC的网段）以及缺省路由信息,如有必要还可以通过在网管OSPF中做summary address和area range把地址段整理成较大的地址段（必须注意到：节点网管路由器通过网管OSPF广播的地址段必须不大于节点出口路由器在ISIS中广播的地址段，同时NOC 7206 VXR上OSPF的distance必须小于ISIS的distance，由于OSPF的distance小于ISIS，NOC到各节点所需管理网段才会通过OSPF优先走带外）,以减小NOC的CISCO 7206 VXR的路由表长度。
为了提高带外网管的安全性，可以在节点带外网管路由器的网管OSPF中设立distribute-list in结合access-list来拒绝网管中心广播来的路由信息(可以用deny any)，从而实现动态路由表的单向广播。
这样，NOC可以通过各节点带外网管路由器网管OSPF的单向广播获得所需管理网段的路由信息，NOC到各节点正常情况下走带外，带外有故障时带内可以做为备份。通过动态路由协议广播给NOC而不在NOC的CISCO 7206 VXR上设静态路由的好处是可以避免节点带外网管路由器以太网端口与节点局域网断开的情况，同时也减小了NOC的CISCO 7206 VXR的维护难度，形成二级维护体系。
在网管网络中选用OSPF不仅可以使NOC和各节点保持相同的结构，并且在于OSPF协议可以更好的适应于网络的变化和发展。在各节点带外网管路由器上起用两个OSPF进程的好处是相对隔离了本地OSPF与网管OSPF，并可以通过网管OSPF做灵活的地址Summary。
让我们总结一下上述路由策略:
带外线路连接在专门的带外网管路由器上，NOC作为L2路由器，有全网路由表，各节点所有有到NOC的连线，走静态路由静态有故障就转带内（default）；NOC 到各节点正常时走带外（OSPF），带外有故障时走带内（ISIS）。
带外网管路由器及CISCO 7206 VXR的配置如下：
Configuration of CISCO2511/CISCO3640:
router ospf 163
network area0
redistribute connected subnets
redistribute static subnets
distribute-list 11 in
!
router ospf 200
network area0
summary-address
summary-address
summary-address
redistribute connected subnets
redistribute ospf 163 subnets
distribute-list 12 in
!
ip route of NOC LAN 1> serial0
ip route serial0
ip route serial0
!
access-list 11 permit 0.0.0.0 0.0.0.0
access-list 11 permit
access-list 11 permit
access-list 11 permit k of local LAN n>
access-list 12 deny any
Configuration of NOC CISCO 7206 VXR:
!
ip route null0
!
router isis gdnet
redistribute static ip metric 1
passive-interface Loopback0
net 39.752f.0100.0014.0000.1000.XXXX.2023.0500.00XX.00
router ospf 200
network twork of local LAN 1> area0
network area0
network area0
default-information originate metric 5 metric-type 1

[参考]带外网管的带宽计算
在带外网管线路上,重要传输计费数据,网管数据等.下面分别计算。
1.2.1.1 计费/用户管理数据
为便于计算，我们根据本期工程竣工后的端口数，估算出用户总数，并按用户数量把节点分为3类（163+169），取3个典型值：
6万用户：例如GZ-A、GZ-B、SZ-A、SZ-B
3万用户：例如东莞、佛山、珠海、汕头
1万用户：其他节点。
以计费数据向NOC的单向传输为例,以下做一简朴估算:
广州A假设有60,000个用户,每个用户天天上网3次(即有6个计费记录),每个计费记录长度设为100 Bytes,则天天产生的计费信息量为:60,000*6*100≈36MB,设天天产生计费数据最密集的上网时长为12小时,若每半小时传输一次计费信息,则平均数据流量为:36/24=1500KB/次=1250K*8(bit/byte)=12Mbit/次.平均到每秒的数据流量为12M/(30*60)=6.6k bps.
但由于计费数据为定期峰值传送,非实时传送.因此,带宽配置需适量放大。
根据AIOBS4.0测试结果，在抱负的带宽条件下，分别传输30万、36万18万明细记录时，传输速率均为90Kbps左右。所以我们建议预留90Kbps带宽。但是，在用户量小的节点，对计费文献的传输速度不敏感，可以适当减低预留量。
同样根据专线用户计费数据的测试结果，我们建议为专线计费预留90Kbps带宽。
用户管理/用户自查询产生的数据流量因时间和本地具体情况的影响，较难估算，建议在总体调配的基础上预留一些带宽。

1.2.1.2 网管数据
带外网管上传的网管数据重要包含基本网络管理、主机系统资源和性能管理、Netmetrix等所产生的数据。
采用部分带外、部分带内的布置策略，在核心节点需要计算ITO、Perfview产生的流量，在其他节点只需要计算ITO产生的流量。在布放Netmetrix Probe的节点，需要计算probe上传数据的流量。
1.2.1.3 基本SNMP管理
根据广东的实际情况，我们把被管节点按object数量分为2类：
序号
节点
object
1
广州A+广州B，深圳A+深圳B
300
2
其他节点
100
基本SNMP管理的流量重要由IT/O Agent产生，可针对采集频度等参数而人为控制.对网络管理和系统管理的流量预计如下：
Device Status Polling
PPS (package per second)=(Num Of objects x 5/PollingInterval)
假如使用default Polling周期即5分钟,典型的局域网上有300个object需要查询,则计算结果为:
PPS=300x5/300=5pps
典型情况下,每个包的大小不也许超过50byte,即最大250byte.
即系统典型情况下产生的最大带宽为2,000bit/s

Other Polling Types
Device Discovery Polling:系统搜寻新节点时产生,典型情况一个支持SNMP的大网络路由器需要大约100个字节,缺省系统在刚安装时会产生Device Discovery Polling, 在无新节点产生后,系统每6小时产生一次.
Topology Configuration Polling:缺省系统每4小时产生一次,这时每个Interface产生10到20个package.
Device Configuration Check Polling:缺省系统每24小时产生一次,这时每个Device产生20到100个package.
Collection Station Status Polling:分布式管理时产生,缺省系统每5分钟一次,每个Collection Station形成约20个package.假如有五个地市有二级网管,则每分钟产生约20个包,占用带宽为:
20x50x8/60=135bit/s
综上所述可以得出：
序号
节点
object
流量
1
广州A+广州B，深圳A+深圳B
300
约2135bps
2
其他节点
100
约800bps
1.2.1.4 ITO/ITA
ITO/ITA在最初down load Agent和收集数据时会产生网络带宽,其后的网络流量只在系统发生故障时或系统数据发生变化时产生,每次变化或故障平均产生约30个包.假如系统中有30台主机,平均每台主机每5分钟产生一个故障,则每分钟系统中的故障数为6个,每分钟产生约180个包,占用带宽为:
180x50x8/60=1200bit/s
序号
节点
主机数量
流量
1
广州A+广州B，深圳A+深圳B
30
1200bps
2
其他节点
10
400bps

1.2.1.5 PerfView
在完毕数据采集时需要网络带宽,系统缺省数据更新的周期是5分钟,每次变化平均产生约100个包.假如系统中有30台主机,则每分钟产生约600个包,占用带宽为:
600x50x8/60=4000bit/s
序号
节点
主机数量
流量
1
广州A+广州B，深圳A+深圳B
30
4000bps
2
其他节点
10
1333bps

Other Applications:其它的应用程序如数据采集,监控MIB数据和连接到远端系统上也会产生网络流量.这依赖于用户具体的应用.

总结:
预计网络带宽为:2023+135+1200+4000=7335bit/s
即约为8Kbit/s。
序号
节点
基本SNMP
ITO/ITA
Perfview
总流量
1
广州A+广州B，深圳A+深圳B
约2135bps
1200bps
4000bps
7335
2
其他节点
约800bps
400bps
1333bps
2533

1.2.1.6 Netmetrix
产生的流量可以通过配置参数调整。
1.2.1.7 AINetTrend
在不同的网络中,由于“网民”行为差异较大,网流的大小均不尽相同,因此,对于网络流量输出的数据量的大小很难精确计算.
根据我公司在ChinaNet二期工程中的施工经验,100MB的出口带宽,一天内输出的原始数据量为10GB.因此,可以粗略的估算出1MB有效带宽（有效带宽:指AINetTrend所监视的数据链路带宽 * 带宽平均运用率）占用的数据量为:0.1GB.
Collector Server上的原始数据保存2天的数据量为0.1GB/MB.天 * 2 为0.2GB/MB.这些数据都会压缩存储,压缩率为50%,则实际保存2天的数据量为01GB/MB.天 * 2 *50%为0.1GB/MB
以上分析已得出1天之内1MB有效带宽产生的原始数据量0.1GB.通过AIPreMerge的合并,合并率为80%,再通过50%压缩则,1MB有效带宽1天之内上传的数据为0.1GB*(1-80%)*50%,为0.01GB.
故1MB有效带宽产生的数据量的网络带宽占用为
10*1024KB/24/3600 = 0.12KBS.
本期工程中应用Netflow技术的线路总的有效流量约为1-2G，占用带宽为： 0.12M-0.24M。即一个设立了NFC服务器的节点会有0.12M到0.24M的带宽需求。
1.2.1.8 各节点流量总和
综上所述, 大中型业务节点假如采用2M线路作为带外网管线路,小型节点暂时通过带内连接到上级节点，再转入带外线路，其流量叠加到相应的大型节点，则2M线路可以满足规定。
广东省163/169扩容工程

17

第 17 页 共 18页