广东省某运营商项目网络实施方案.doc

中国思科华为网络技术论坛搜集整理

广东省WAP增值业务平台
网络实施方案

世纪通讯有限公司
2003年5月目 录

1. 网络结构 3
1 .1 广域网 3
1 .2 局域网 4
2. 路由 5
2.1路由策略 5
2.2 路由定向 6
3. 交换 6
3.1 vlan结构…………………………………………………………………………………..7
4 . VIP与负载均衡 8
4.1 配置VIP 9
4.2负载均衡 9
5. IP地址分配 11
6. 网络设备端口使用表 15

说明：为描述方便，方案中所引用的IP地址段为广州增值业务平台，其他省点参照实施
1. 网络结构
1 .1 广域网
鉴于目前联通广域网的建设情况，增值业务平台的广域传输部分可以通过开放互联网（165网）、ATM以及CDMA 1x骨干网，建议采取基于CDMA 1x骨干网进行传输，结构如下：

采用CDMA 1x骨干网进行传输主要理由如下：
1． 提供较好的安全保障和流量控制：
由于CDMA 1x骨干网依托165网上基于MPLS的三层VPN，MPLS VPN具有传统的虚拟专网（VPN）的特点，因此基于该网的通讯设备可以采用私网IP，较经过165通过公网IP传输具有更好的安全性。同时，MPLS VPN更增设了流量控制、地址复用等功能，能够为增值业务提供更好的可适配性和可扩展性。
2． 接入简单，数据配置容易。
各省增值业务平台通过PE路由器接入骨干网，由于骨干网采取动态路由，相关数据和配置在接入路由器和PE路由器之间完成，较ATM端到端的物理线路铺设和调试简单，易于管理和操作。
接入CDMA 1x 骨干网步骤：
A． 各省增值业务平台通过本地PE路由器接入骨干网。
B． 增值业务平台之间通过MPLS VPN进行通讯
1 .2 局域网
增值业务平台局域网主要包括网络和应用服务器两大部分，其中网络部分包括接入路由器、防火墙、交换机；应用服务器主要包括计费、数据库、门户（portal）、业务管理、统计分析（OLAP）、网管安全等服务器组成。

接入路由器：提供增值业务平台与骨干网、165、短信中心、计费中心及联通其他业务的路由和联通性。同时根据通讯的需要确定相关端口及模块。本项目使用cisco 3640做骨干网、计费中心、及联通其它业务网的接入，cisco 2600做165网接入。
防火墙：为增值业务平台提供安全屏障，同时实现内、外网互访功能。采用Cisco Pix 525防火墙互备使用，增强其安全性。
交换机：提供数据交换功能，如果需要通过该设备提供VLAN功能，采用三层交换机 Catalyst 3548。
四层交换设备：提供内网计费网关和portal设备的负载均衡。采用两台互备F5 BIG-IP 2000。
计费服务器：建议采用3台Sun V480。
数据库服务器：为整个平台提供数据支撑。建议采用2台Sun V880。
门户（ Portal）：WAP（WEB） Portal 为了用户系统提供统一的移动数据门户，例如：信息浏览、图片下载、电子邮件、位置服务等。同时通过WEB/WAP方式向用户进行信息发布、业务受理、个性化服务等功能。采用4台Sun F280。
业务管理：提供CP/SP管理，包括CP对自己业务的管理和中国联通对所有CP和所有业务的管理管理；提供平台系统管理和用户管理。采用HP DL380。
统计分析：提供全面的数据分析工具，帮助管理层对计费数据，用户数据进行多方位，多角度的分析，以改进现有业务或开发更适合用户要求的新业务。采用HP DL380做cognos主机，SUN F280和SUN A1000做cognos DB，使用SUN L25带库做备份设备。
接口参数服务器：对联通短信系统和营帐系统提供接口服务。采用SUN F280。
日志服务器：为华友增值平台提供日志统计、存储和分析。采用HP DL380。
2. 路由
2.1路由策略
此项目实施中，通过对联通整体网络应用结构的考虑，建议使用静态路由，即广域传输链路的上下行端口固定，路由跳跃点固定，上下行路由端口的IP地址固定。
1. 静态路由的算法设计简单，适于工作在网络拓扑相对可预言、网络设计相对简单的环境。
2. 静态路由不但可以满足快捷的路由寻址，而且可以减少网络负荷以及路由器的系统资源的耗费。
联通WAP网关在广域网设计上力求层次简单、结构分明。整个网络在正常使用后，应尽量保持广域拓扑结构的稳定，以保证整个网络结构改动较少，路由的更新、改变较小，从而使联通机房人员维护方便，出现故障能够迅速查找排除。

2.2 路由定向
增值业务平台网主要包括：到Internet,到短信中心以及到计费中心等路由。
具体可以实施如下：
接入地址 网关
路由定向： default 10.123.1.200 #到INTERNET
10.123.1.201 #到计费中心
192.168.50．50 192.168.50.1 #到广州短信中心
配置命令:
165路由：
router(config)#ip route 0.0.0.0 0.0.0.0 211.96.20.33
165_pix路由：
pix(config)#route outside 0.0.0.0 0.0.0.0 192.168.1.2
pix(config)#route inside 0.0.0.0 0.0.0.0 10.123.1.206
vpn路由：
vpn_pix路由：
短信中心路由：
router(config)#ip route 192.168.50.0 255.255.255.0 192.168.50.1
router(config)#ip route 192.168.20.0 255.255.255.0 192.168.50.1
router(config)#ip route 192.160.80.0 255.255.255.0 192.168.50.1
计费中心路由：
网管中心路由：
3. 交换与VLAN
VLAN能够保证网络性能，方便网络管理，划分VLAN能够有效的解决冲突域和广播域。VLAN可跨越主干及其它的交换机，打破物理位置的局限，将分散各处相同业务部门的主机归属于一个VLAN（一个IP子网）。根据增值业务平台网的系统范畴，考虑将：增值业务平台网划分为如下几个VLAN：广域接入路由内部端口，计费系统，业务管理统计分析应用系统，Portal应用系统，网络管理/安全系统。
广域接入路由内部端口
包括VPN、INTERNET、计费中心和联通短信等业务系统到增值业务平台的路由内部端口。
使用IP地址范围：10.123.1.0-10.123.1.31/255.255.255.224
VLAN路由交换地址：10.123.1.30
华友计费系统
包括华友计费数据库，计费网关等
使用IP地址范围：10.123.1.64-10.123.1.127/255.255.255.192
VLAN路由交换地址：10.123.1.126
Portal系统
包括华友的Portal业务平台。
使用IP地址范围：10.123.1.128-10.123.1.191\255.255.255.192
VLAN路由交换地址：10.123.1.190

CP/SP业务管理应用:
华友CP/SP管理系统，华友统计结算系统和CDR（计费信息）分发系统。
使用IP地址范围：10.123.1.192-10.123.1.207/255.255.255.240
VLAN路由交换地址：10.123.1.206

网管/安全及其他
包括网络管理系统，安全防范系统（ISS安全套件）。
使用IP地址范围：10.123.1.208-10.123.1.223/255.255.255.240
VLAN路由交换地址：10.123.1.222

业务接入路由外部端口
包括各地VPN、INTERNET和联通短信、计费中心等业务系统到增值业务平台路由外部端口。
使用IP地址范围：10.123.1.224-10.123.1.255

（短信中心地址： GW: 掩码：255.255.255.252）
(计费中心地址： GW: 掩码：255.255.255.192)
(VPN： 掩码：255.255.255.252)
地址预留
预留IP地址范围：10.2.17.32-10.2.17.63
配置命令：
BIG-IP2000：
通过控制线接入consle口，使用超级终端（速率：19200）进入命令行格式，login:root，password：default，登陆后输入config，根据提示配置vlan相关信息；也可以配置完管理端口IP后，通过WEB方式配置VLAN的名称并划分相应端口配置每一个VLAN的IP地址（VLAN路由交换地址），例如：网管/安全及其他VLAN的IP地址：10.123.1.222。
Calatyst3548：
Switch#config ter
Switch(config)#interface fa0/1
Switch(config-if)#switchport mode access
Switch(config-if)#switchport access vlan2

4 . VIP与负载均衡
根据局域网网络设备双备份，服务器双网卡及负载均衡等冗余设计，采取以下方式进行实施。
1. 每台服务器的两个网卡分别连接两个交换机：交换机之间采取trunking的方式；
2. 两个网卡配置成互为备份方式，例如，假设存在两个网卡hme0和hme1,当hme0 坏了，hme0的IP地址会自动切到hme1:2上。
3. 需要实现负载均衡的一组服务器再配置一层VIP,以实现负载均衡
4.1 配置VIP
配置命令（双网卡互备方式）：
 # ifconfig hme0 group testg 
  # ifconfig hme1 group testg 
  # ifconfig hme0  -failover deprecated up 
   # ifconfig hme1  -failover deprecated up 
4.2负载均衡
根据设计方案，需要Billing Gateway,Portal等服务器通过BIG-IP 2000 IP Application Switch实现负载均衡功能。
工作方式

服务内容完全一致的Billing Gateway/Portal服务器，统一映射到BIG-IP2000上的一个虚拟地址。服务请求通过负载均衡策略在总体上平均分配到两台能够提供正常工作的服务器上。
为了把应用请求能够准确、可靠的发送到正常工作的Billing Gateway/Portal服务器，必须对服务器进行必要的“健康检查”，通过以下列两个策略对Billing Gateway/Portal服务器进行“健康检查”：
第三层（网络层）：利用ICMP对Portal服务器进行检查，以确定服务器是否在网络中存在；
第四层（服务层）：对服务端口进行检查，即检查应用程序能否响应服务器上指定端口的服务。

只要上述检查任何一个不成功，BIG-IP2000将认为Billing Gateway/Portal服务器无法提供正常的应用服务，并自动将故障服务器从服务队列中清除。当故障服务器完全恢复应用后，经BIG-IP2000负载均衡策略检查正常后，自动将该服务器加入服务队列中。
负载均衡配置策略：
1、node
(1) billing
node1: 10.1.123.83 ； node name :BG-83-81\BG-83-3128\ora-bill； node sevice:10.123.1.83:81、10.123.1.83:3128、10.123.1.90:1521

node2 : 10.1.123.86 ； node name :BG-86-81\BG-86-3128\ora-bill； node sevice:10.123.1.86:81、10.123.1.86:3128、10.123.1.90:1521

node3 : 10.1.123.89 ； node name :BG-89-81\BG-89-3128\ora-bill； node sevice:10.123.1.89:81、10.123.1.89:3128、10.123.1.90:1521
(2) portal
node 1:10.123.1.133 ；node name :portal-monitor\portal-monitor；
node sevice:10.123.1.133:80、10.123.1.133:8080

node 1:10.123.1.136 ；node name :portal-monitor\portal-monitor；
node sevice:10.123.1.136:80、10.123.1.136:8080

node 1:10.123.1.133 ；node name :portal-monitor\portal-monitor；
node sevice:10.123.1.139:80、10.123.1.139:8080

2、poll
(1) Bill-GW poll
load balancing :least connection
member:10.123.1.83:0\10.123.1.86:0\10.123.1.89:0
(2) portal_wap_server_poll
load balancing :least connection
member:10.123.1.133:0\10.123.1.136:0\10.123.1.139:0
(3) portal_server_poll
load balancing :least connection
member:10.123.1.133:80\10.123.1.136:80\10.123.1.139:80
3、virtual server
billing-gw virtual server :10.123.1.80àpoll: Billing-GW
portal virtual server :10.123.1.130à portal_wap_server_poll\ portal_server_poll\portal rules
billing-gw virtual server :0.0.0.0/internal:81à Billing-GW
4、portal rules
if (http_uri starts_with "/hsweb/") {
use pool portal_server_pool
}
else {
use pool portal_wap_server_pool
}

2. Billing Gateway

应用服务器名称
实际地址
VIP1地址
计费系统
Billing Gateway服务器1
10.123.1.81
10.123.1.82
10.123.1.135
10.123.1.80
10.123.1.83
Billing Gateway服务器2
10.123.1.84
10.123.1.85
10.123.1.136
10.123.1.80
10.123.1.86
Billing Gateway服务器3
10.123.1.87
10.123.1.88
10.123.1.137
10.123.1.80
10.123.1.89
备注
负载均衡VIP2地址10.123.1.80由BIG-IP2000实现
10.123.1.83\86\89由sun双网卡绑定实现

Billing DB服务器1
10.123.1.91
10.123.1.92
10.123.1.x
10.123.1.90
10.123.1.93
Billing DB服务器2
10.123.1.94
10.123.1.95
10.123.1.x
10.123.1.90
10.123.1.96

VERITAS CLUSTER IE管理
10.123.1.97

备注
VIP10.123.1.90地址由VERITAS软件实现
10.123.1.93\96由sun双网卡绑定实现

4. Portal

应用服务器名称
实际地址
VIP1地址

Portal
WAP Portal服务器1
10.123.1.131
10.123.1.132
10.123.1.x
10.123.1.130
10.123.1.133
WAP Portal服务器2
10.123.1.134
10.123.1.135
10.123.1.x
10.123.1.130
10.123.1.136
WAP Portal服务器3
10.123.1.137
10.123.1.138
10.123.1.x
10.123.1.130
10.123.1.139
Web Portal服务器1
10.123.1.140
10.123.1.141
10.123.1.130
10.123.1.142
备注
VIP2地址10.123.1.130由BIG-IP2000实现
10.123.1.133\136\139\142由sun双网卡绑定实现

5 IP地址
说明：为避免地址出现冲突，建议增值业务平台各省点的内网IP地址遵照《联通CDMA 1X网IP地址规划》进行设计。
下列IP地址为广州增值业务平台设备地址使用

网络设备
设备名称
VLAN名称
实际地址

external
10.123.1.28\10.123.1.29\Share IP10.123.1.30
Internal(bill)
10.123.1.124\10.123.1.125\ Share IP10.123.1.126
Vlan 0(portal)
10.123.1.188\10.123.1.189\ Share IP10.123.1.190
Vlan 1(Cp/sp)
10.123.1.204\10.123.1.205\ Share IP10.123.1.206
Vlan 2(manger)
10.123.1.220\10.123.1.221\ Share IP10.123.1.222
CISCO Catalyst 3550
10.123.1.10\10.123.1.11
备注

2. Billing Gateway

应用服务器名称
实际地址
VIP1地址
计费系统
Billing Gateway服务器1
10.123.1.81
10.123.1.82
10.123.1.135
10.123.1.80
10.123.1.83
Billing Gateway服务器2
10.123.1.84
10.123.1.85
10.123.1.136
10.123.1.80
10.123.1.86
Billing Gateway服务器3
10.123.1.87
10.123.1.88
10.123.1.137
10.123.1.80
10.123.1.89
备注
负载均衡VIP2地址10.123.1.x由BIG-IP2000实现

Billing DB服务器1
10.123.1.91
10.123.1.92
10.123.1.x
10.123.1.90
10.123.1.93
Billing DB服务器2
10.123.1.94
10.123.1.95
10.123.1.x
10.123.1.90
10.123.1.96
备注
VIP(.80)地址由big-ip 2000实现，vip(.90)由VERITAS软件实现

3. Portal

应用服务器名称
实际地址
VIP1地址

Portal
WAP Portal服务器1
10.123.1.131
10.123.1.132
10.123.1.x
10.123.1.130
10.123.1.133
WAP Portal服务器2
10.123.1.134
10.123.1.135
10.123.1.x
10.123.1.130
10.123.1.136
WAP Portal服务器3
10.123.1.137
10.123.1.138
10.123.1.x
10.123.1.130
10.123.1.139
Web Portal服务器1
10.123.1.140
10.123.1.141
10.123.1.142
备注
VIP地址10.123.1.130由BIG-IP2000实现

4．CP/SP

应用服务器名称
实际地址
CP/SP
CP/SP Porxy
10.123.1.193

CP/SP管理
10.123.1.194
统计结算
10.123.1.195
统计结算DB
10.123.1.196
10.123.1.197
10.123.1.198
接口服务器
10.123.1.199
10.123.1.201
10.123.1.200

5．网管/安全及其他应用服务器

应用服务器名称
实际地址

ISS
10.123.1.209
网络管理
10.123.1.210
日志服务器
10.123.1.211

6、网络接口
网络设备名称
接口名称
实际地址
Pix 525
165防火墙pix内口
10.123.1.200/255.255.255.240
Pix 525
165防火墙pix外口
192.168.1.1/255.255.255.252
Pix 525
Pix nat 地址
211.96.20.46/255.255.255.0
Cisco 2610(1)
165路由器内口
192.168.1.2/255.255.255.252
Cisco 2610（1）
165路由器外口
211.96.20.34/255.255.255.0
Cisco 3640
VPN路由器内口
192.168.0.2/255.255.255.252
Cisco 3640
VPN路由器外口
220.192.32.33/255.255.255.224
Pix 525
VPN防火墙内口
10.123.1.100/255.255.255.192
Pix 525
VPN防火墙外口
192.168.0.1/255.255.255.252
Cisco 3640
短信中心内口地址
10.123.1.203/255.255.255.240
Cisco 3640
短信中心外口地址
192.168.50.50/255.255.255.0
Cisco 3640
计费中心端口地址
130.51.127.26/255.255.255.252
Cisco 2610(2)
网管中心端口地址

7、对端接入链路信息
设备型号
接入名称
实际地址
Cisco 2610
165对端接入地址
211.96.20.33/255.255.255.0
Cisco 3640
VPN对端接入地址
220.192.32.62/255.255.255.224
Cisco 3640
短信中心对端接入地址
192.168.50.1/255.255.255.0
Cisco 3640
短信中心服务器地址
192.160.80.160/255.255.255.0
Cisco 3640
短信中心中转路由器地址
192.168.20.1/255.255.255.0
Cisco 3640
计费中心对端地址
130.51.127.26/255.255.255.252
Cisco 3640
计费中心网段地址
10.156.76.0/255.255.255.0
Cisco 2610
网管中心对端地址

8、公网地址使用表(211.96.20.33-46/24)
应用服务器名称
实际地址
公网地址
Billing gw vip
10.123.1.80
211.96.20.38/255.255.255.0
Billing gw 1
10.123.1.83
211.96.20.41/255.255.255.0
Billing DB
10.123.1.90
211.96.20.37/255.255.255.0
Wap Portal vip
10.123.1.130
211.96.20.35/255.255.255.0
Wap Portal 1
10.123.1.133
211.96.20.39/255.255.255.0
Web portal
10.123.1.142
211.96.20.36/255.255.255.0
Cp/sp proxy
10.123.1.193
211.96.20.42/255.255.255.0
Cp/sp 管理
10.123.1.194
211.96.20.43/255.255.255.0
统计分析
10.123.1.195
211.96.20.44/255.255.255.0
接口服务器
10.123.1.197
211.96.20.45/255.255.255.0
日志服务器
10.123.1.211
211.96.20.40/255.255.255.0
Nat地址
10.123.1.0
211.96.20.46/255.255.255.0

9、VPN链路NAT地址映射列表
应用服务器名称
实际地址
NAT地址
Billing gw vip
10.123.1.80
10.123.2.33
Billing gw 1
10.123.1.83
10.123.2.34
Billing gw 2
10.123.1.86
10.123.2.35
Billing DB
10.123.1.90
10.123.2.36
Wap Portal vip
10.123.1.130
10.123.2.37
Wap Portal 1
10.123.1.133
10.123.2.38
Wap Portal 2
10.123.1.136
10.123.2.39
Web portal
10.123.1.142
10.123.2.40
Cp/sp proxy
10.123.1.193
10.123.2.41
Cp/sp 管理
10.123.1.194
10.123.2.42
统计分析
10.123.1.195
10.123.2.43
接口服务器
10.123.1.200
10.123.2.44
日志服务器
10.123.1.211
10.123.2.45
Pix nat 地址

10.123.2.46

6 网络设备端口使用表
网络设备名称
设备接口
端口类型名称
实际地址
Pix 525
165防火墙pix内口
Ethernet 1 (inside)
10.123.1.202/255.255.255.240
Pix 525
165防火墙pix外口
Ethernet 0 (outside)
192.168.1.1/255.255.255.252
Cisco 2610
165路由器内口
Fastethernet 0/0
192.168.1.2/255.255.255.252
Cisco 2610
165路由器外口
Fastethernet 0/1
211.96.20.34/255.255.255.0
Cisco 3640
VPN路由器内口
Fastethernet 0/0
192.168.0.2/255.255.255.252
Cisco 3640
VPN路由器外口
Fastethernet 0/1
220.192.32.33/255.255.255.224
Pix 525
VPN防火墙内口
Ethernet 1 (inside)
10.123.1.100/255.255.255.192
Pix 525
VPN防火墙外口
Ethernet 0 (outside)
192.168.0.1/255.255.255.252
Cisco 3640
短信中心内口地址
Fastethernet 1/0
10.123.1.203/255.255.255.240
Cisco 3640
短信中心外口地址
Fastethernet 1/1
192.168.50.50/255.255.255.0
Cisco 3640
计费中心端口地址
Fastethernet 1/0
130.51.127.26/255.255.255.252
Cisco 3548(1)
管理地址
Vlan 1
10.123.1.10/255.255.255.224
Cisco 3548(2)
管理地址
Vlan 1
10.123.1.11/255.255.255.224

网络设备名称
VLAN
端口
Big-ip 2000
external
1.1-1.3
Big-ip 2000
Internal(bill)
1.4-1.7
Big-ip 2000
portal
1.8-1.10
Big-ip 2000
hswapcpsp
1.11-1.13
Big-ip 2000
hswapnm
1.14-1.16

网络设备名称
VLAN
端口
Cisco 3548(1)
Vlan1(external)
1-8
Cisco 3548(1)
Vlan 2(hswapcpsp)
33-42,13,14
Cisco 3548(1)
Vlan 3(hswapnm)
43-48,15,16
Cisco 3548(1)
Vlan 4(bill)
25-32, 9,10
Cisco 3548(1)
Vlan 5(portal)
17-24,11,12

网络设备名称
VLAN
端口
Cisco 3548(2)
Vlan1(external)
1-16
Cisco 3548(2)
Vlan 2(hswapcpsp)
33-42
Cisco 3548(2)
Vlan 3(hswapnm)
43-48
Cisco 3548(2)
Vlan 4(bill)
25-32
Cisco 3548(2)
Vlan 5(portal)
17-24

17c