大数据中心系统总体部署情况.docx

1 大数据中心系统总体布署状况
1.1 大数据中心系统整体构造图

1.2 大数据中心系统网络拓扑图

1.3 大数据中心系统数据流向图

1.4 大数据中心物理服务器明细清单
服务器类别
序号
机柜
服务器IP
设备类型
功能分类
规划设备用途
操作系统
设备参数
大数据平台存储计算服务器
（合计30台）
1
XD5
172.16.80.36
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
RH2288H V3， 2*Xeon E5-2630 v3-8Core，64GB DDR4 内存，12*4000GB-SATA 6.0Gb/s-7200rpm-3.5 inch-64 MB硬盘+1*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB硬盘，SR430C RAID卡 1GB Cache，4XGE电口网卡，冗余风扇电源，三年服务
2
XD5
172.16.80.35
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
3
XD5
172.16.80.34
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
4
XD5
172.16.80.33
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
5
XD5
172.16.80.32
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
6
XD5
172.16.80.31
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
7
XD5
172.16.80.30
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
8
XD5
172.16.80.29
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
9
XD5
172.16.80.28
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
10
XD5
172.16.80.27
物理服务器
大数据平台服务器集群
资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
11
XD5
172.16.80.26
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
12
XD6
172.16.80.15
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
13
XD6
172.16.80.16
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
14
XD6
172.16.80.17
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
15
XD6
172.16.80.18
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
16
XD6
172.16.80.19
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
17
XD6
172.16.80.20
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式数据库系统HYPERBASE
centos6.5
18
XD6
172.16.80.21
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,分布式公布订阅消息系统KAFKA
centos6.5
19
XD6
172.16.80.22
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,分布式公布订阅消息系统KAFKA
centos6.5
20
XD6
172.16.80.23
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,分布式公布订阅消息系统KAFKA
centos6.5
21
XD6
172.16.80.24
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,分布式公布订阅消息系统KAFKA
centos6.5
22
XD6
172.16.80.25
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,分布式公布订阅消息系统KAFKA
centos6.5
23
XD6
172.16.80.11
物理服务器
大数据平台服务器集群
分布式应用程序协调服务ZOOKEEPER,分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE,搜索引擎ELASTICSEARCH
centos6.5
24
XD7
172.16.80.12
物理服务器
大数据平台服务器集群
分布式应用程序协调服务ZOOKEEPER,分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE,数据传递工具SQOOP,搜索引擎ELASTICSEARCH
centos6.5
25
XD7
172.16.80.13
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE,数据仓库INCEPTOR,搜索引擎ELASTICSEARCH,图形化接口HUE
centos6.5
26
XD7
172.16.80.14
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE,工作流调度引擎OOZIE,搜索引擎ELASTICSEARCH,图形化接口HUE
centos6.5
27
XD7
172.16.80.40
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
RH2288H V3
RH2288H V3， 2*Xeon E5-2630 v3-8Core，64GB DDR4 内存，12*4000GB-SATA 6.0Gb/s-7200rpm-3.5 inch-64 MB硬盘+1*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB硬盘，SR430C RAID卡 1GB Cache，4XGE电口网卡，冗余风扇电源，三年服务
2U
28
XD7
172.16.80.39
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
29
XD7
172.16.80.38
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
30
XD7
172.16.80.37
物理服务器
大数据平台服务器集群
分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE
centos6.5
大数据平台管理服务器（合计4台）
1
XD7
172.16.80.1
物理服务器
大数据平台服务器集群
分布式应用程序协调服务ZOOKEEPER,分布式文献系统HDFS,资源管理器YARN,分布式数据库系统HYPERBASE
centos6.5
RH2288H V3， 2*Xeon E5-2630 v3-8Core，64GB DDR4 内存，4*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB硬盘，RAID卡SR430C 1GB Cache，4XGE电口网卡，冗余风扇电源，三年服务
2
XD7
172.16.80.2
物理服务器
大数据平台服务器集群
分布式应用程序协调服务ZOOKEEPER,分布式公布订阅消息系统KAFKA
centos6.5
3
XD7
172.16.80.3
物理服务器
大数据平台服务器集群
分布式公布订阅消息系统KAFKA
centos6.5
4
XD7
172.16.80.4
物理服务器
大数据平台服务器集群
分布式公布订阅消息系统KAFKA
centos6.5
虚拟化服务器
（合计13台）
1
XD3
172.16.82.104
物理服务器
虚拟化服务器
iETL设计器、iESB设计器/自助仪表盘工具/SVN服务器
Windows
RH2288H V3， 2*Xeon E5-2650 v3-10Core，64GB DDR4 内存，3*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB硬盘，RAID卡SR430C 1GB Cache，4XGE电口网卡，2*8Gb单口HBA卡，冗余风扇电源，三年服务
2
XD3
172.16.82.103
物理服务器
虚拟化服务器
数据共享互换、目录管理系统/数据共享互换前置
centos6.5
3
XD3
172.16.82.102
物理服务器
虚拟化服务器
综合信息采集设计器、数据服务总线设计器、自助仪表盘BI
Windows
4
XD3
172.16.82.101
物理服务器
虚拟化服务器
iETL后台、统一身份认证、门户系统、人物画像系统、全文检索
centos6.5
5
XD3
172.16.82.108
物理服务器
虚拟化服务器
数据服务总线服务引擎、统一身份认证系统/数据共享互换服务引擎、综合信息采集控制台
centos6.5
6
XD3
172.16.82.109
物理服务器
虚拟化服务器
网络爬虫程序/综合信息采集设计器、数据服务总线设计器、政务智能设计器
centos6.5
7
XD3
172.16.82.110
物理服务器
虚拟化服务器
全文搜索程序/数据服务总线服务引擎、统一身份认证系统
centos6.5
8
XD3
172.16.82.111
物理服务器
虚拟化服务器
网络爬虫程序/综合信息采集设计器、数据服务总线设计器、政务智能设计器
centos6.5
9
XD3
172.16.82.112
物理服务器
虚拟化服务器
全文搜索程序/门户系统、目录管理系统
centos6.5
10
XD3
172.16.82.113
物理服务器
虚拟化服务器
数据共享互换前置
Windows
11
XD3
备用
物理服务器
虚拟化服务器
备用
centos6.5
12
XD5
172.16.81.1
物理服务器
ORACLE 数据库备份服务器
数据仓库备份服务器
centos6.5
13
XD5
172.16.81.2
物理服务器
ORACLE 数据库服务器
数据仓库服务器
centos6.5
MySQL服务器
（合计12台）
1
XD4
172.16.81.20
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy（请尽量用中文概括描述）
centos6.5
RH2288H V3
2*Xeon E5-2630 v3-8Core
64GB DDR4
8*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB
SR430C 1GB Cache
4XGE电口
2U
2
XD4
172.16.81.12
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
3
XD4
172.16.81.13
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
4
XD4
备用
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
5
XD4
备用
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
6
XD4
备用
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
7
XD4
172.16.81.14
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
8
XD4
172.16.81.15
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
9
XD4
172.16.81.16
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
10
XD4
172.16.81.17
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
11
XD4
172.16.81.18
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5
12
XD4
172.16.81.19
物理服务器
MYSQL集群服务器
MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy
centos6.5

1.5 大数据中心虚拟化平台虚拟机清单
序号
虚拟机物理机IP
虚拟机IP
规划用途
已安装使用
　操作系统
详细配置
1
172.16.82.104
172.16.83.3
iETL设计器、iESB设计器
iETL设计器、iESB设计器
Windows Server 2023
24G内存 360G硬盘，cpu8核
172.16.83.4
自助仪表盘工具
自助仪表盘工具
Windows Server 2023
24G内存 360G硬盘，cpu8核
172.16.83.30
SVN版本控制服务器
　SVN服务器
Windows Server 2023
4G内存 300G硬盘，cpu2核
2
172.16.82.103
172.16.83.1
数据共享互换、目录管理系统
数据共享互换、目录管理系统
centos64_6x
32G内存 360G硬盘，cpu6核
172.16.83.2
数据共享互换前置
数据共享互换前置
centos64_6x
16G内存 360G硬盘，cpu6核
3
172.16.82.102
172.16.83.7
大数据政府智能分析平台、元数据管理系统
大数据政府智能分析平台、元数据管理系统
centos64_6x
16g内存，500g硬盘，cpu8核
172.16.83.8
工单系统、数据质量系统
工单系统、数据质量系统
Windows Server 2023
16g内存，500g硬盘，cpu8核
172.16.83.106,
172.16.83.107
　管理

VRM02
8G内存 80G硬盘，cpu8核
4
172.16.82.101
172.16.83.5
iETL后台、统一身份认证、门户系统、人物画像系统
iETL后台、统一身份认证、门户系统、人物画像系统
centos64_6x
24G内存 360G硬盘，cpu8核
172.16.83.6
网络爬虫系统、数据服务总线、全文检索
网络爬虫系统、数据服务总线、全文检索
centos64_6x
16G内存 360G硬盘，cpu6核
172.16.83.105
全文搜索程序、数据共享互换前置

centos64_6x
8G内存 80G硬盘，cpu8核
5
172.16.82.108
172.16.83.151
备用

centos64_6x

172.16.83.160
数据共享互换、统一身份认证系统

centos64_6x

6
172.16.82.109
172.16.83.100
手工采集系统、大数据中心首页、网络爬虫程序、顾客画像
手工采集系统、大数据中心首页
centos64_6x
8G内存 80G硬盘，cpu8核
172.16.83.120
测试服务器

window2023R2
8G内存 260G硬盘，cpu4核
7
172.16.82.110
172.16.83.150
备用

centos64_6x
8G内存 210G硬盘，cpu4核
8
172.16.82.111
172.16.83.121
综合信息采集设计器、数据服务总线设计器、自助仪表盘BI

window2023R2
8G内存 210G硬盘，cpu4核
9
172.16.82.112
172.16.83.108
门户系统、目录管理系统

centos64_6x

172.16.83.130
门户系统、目录管理系统

centos64_6x

10
172.16.82.113
172.16.83.170
数据共享互换、统一身份认证系统

centos64_6x