1、1 大数据中心系统总体布署状况 1.1 大数据中心系统整体构造图 1.2 大数据中心系统网络拓扑图 1.3 大数据中心系统数据流向图 1.4 大数据中心物理服务器明细清单 服务器类别 序号 机柜 服务器IP 设备类型 功能分类 规划设备用途 操作系统 设备参数 大数据平台存储计算服务器 (合计30台) 1 XD5 172.16.80.36 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 RH2288H V3, 2*X
2、eon E5-2630 v3-8Core,64GB DDR4 内存,12*4000GB-SATA 6.0Gb/s-7200rpm-3.5 inch-64 MB硬盘+1*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB硬盘,SR430C RAID卡 1GB Cache,4XGE电口网卡,冗余风扇电源,三年服务 2 XD5 172.16.80.35 物理服务器 大数据平台服务器集群 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 3 XD5 172.16.80.34 物理服务器 大数据平
3、台服务器集群 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 4 XD5 172.16.80.33 物理服务器 大数据平台服务器集群 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 5 XD5 172.16.80.32 物理服务器 大数据平台服务器集群 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 6 XD5 172.16.80.31 物理服务器 大数据平台服务
4、器集群 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 7 XD5 172.16.80.30 物理服务器 大数据平台服务器集群 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 8 XD5 172.16.80.29 物理服务器 大数据平台服务器集群 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 9 XD5 172.16.80.28 物理服务器 大数据平台服务器集群
5、 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 10 XD5 172.16.80.27 物理服务器 大数据平台服务器集群 资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 11 XD5 172.16.80.26 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 12 XD6 172.16.80.15 物理服务器
6、 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 13 XD6 172.16.80.16 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 14 XD6 172.16.80.17 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE cen
7、tos6.5 15 XD6 172.16.80.18 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 16 XD6 172.16.80.19 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 17 XD6 172.16.80.20 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式数
8、据库系统HYPERBASE centos6.5 18 XD6 172.16.80.21 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,分布式公布订阅消息系统KAFKA centos6.5 19 XD6 172.16.80.22 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,分布式公布订阅消息系统KAFKA centos6.5 20 XD6 172.16.80.23 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,分布式公布订阅消息系统KAFKA centos6.5 21 XD6 172.16.80.24 物理
9、服务器 大数据平台服务器集群 分布式文献系统HDFS,分布式公布订阅消息系统KAFKA centos6.5 22 XD6 172.16.80.25 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,分布式公布订阅消息系统KAFKA centos6.5 23 XD6 172.16.80.11 物理服务器 大数据平台服务器集群 分布式应用程序协调服务ZOOKEEPER,分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE,搜索引擎ELASTICSEARCH centos6.5 24 XD7
10、 172.16.80.12 物理服务器 大数据平台服务器集群 分布式应用程序协调服务ZOOKEEPER,分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE,数据传递工具SQOOP,搜索引擎ELASTICSEARCH centos6.5 25 XD7 172.16.80.13 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE,数据仓库INCEPTOR,搜索引擎ELASTICSEARCH,图形化接口HUE cent
11、os6.5 26 XD7 172.16.80.14 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE,工作流调度引擎OOZIE,搜索引擎ELASTICSEARCH,图形化接口HUE centos6.5 27 XD7 172.16.80.40 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 RH2288H V3 RH2288H V3, 2*Xeo
12、n E5-2630 v3-8Core,64GB DDR4 内存,12*4000GB-SATA 6.0Gb/s-7200rpm-3.5 inch-64 MB硬盘+1*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB硬盘,SR430C RAID卡 1GB Cache,4XGE电口网卡,冗余风扇电源,三年服务 2U 28 XD7 172.16.80.39 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 29 XD7 172.16.80
13、38 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 30 XD7 172.16.80.37 物理服务器 大数据平台服务器集群 分布式文献系统HDFS,资源管理器YARN,分布式机器学习引擎DISCOVER,分布式数据库系统HYPERBASE centos6.5 大数据平台管理服务器(合计4台) 1 XD7 172.16.80.1 物理服务器 大数据平台服务器集群 分布式应用程序协调服务ZOOKEEPER,分布式文献系统HDFS,资源管
14、理器YARN,分布式数据库系统HYPERBASE centos6.5 RH2288H V3, 2*Xeon E5-2630 v3-8Core,64GB DDR4 内存,4*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB硬盘,RAID卡SR430C 1GB Cache,4XGE电口网卡,冗余风扇电源,三年服务 2 XD7 172.16.80.2 物理服务器 大数据平台服务器集群 分布式应用程序协调服务ZOOKEEPER,分布式公布订阅消息系统KAFKA centos6.5 3 XD7 172.16.80.3 物理服务器 大数据平台服务器集群
15、 分布式公布订阅消息系统KAFKA centos6.5 4 XD7 172.16.80.4 物理服务器 大数据平台服务器集群 分布式公布订阅消息系统KAFKA centos6.5 虚拟化服务器 (合计13台) 1 XD3 172.16.82.104 物理服务器 虚拟化服务器 iETL设计器、iESB设计器/自助仪表盘工具/SVN服务器 Windows RH2288H V3, 2*Xeon E5-2650 v3-10Core,64GB DDR4 内存,3*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB硬盘,RAID卡SR430C 1G
16、B Cache,4XGE电口网卡,2*8Gb单口HBA卡,冗余风扇电源,三年服务 2 XD3 172.16.82.103 物理服务器 虚拟化服务器 数据共享互换、目录管理系统/数据共享互换前置 centos6.5 3 XD3 172.16.82.102 物理服务器 虚拟化服务器 综合信息采集设计器、数据服务总线设计器、自助仪表盘BI Windows 4 XD3 172.16.82.101 物理服务器 虚拟化服务器 iETL后台、统一身份认证、门户系统、人物画像系统、全文检索 centos6.5 5 XD3 172.16.82.108 物理服务器
17、 虚拟化服务器 数据服务总线服务引擎、统一身份认证系统/数据共享互换服务引擎、综合信息采集控制台 centos6.5 6 XD3 172.16.82.109 物理服务器 虚拟化服务器 网络爬虫程序/综合信息采集设计器、数据服务总线设计器、政务智能设计器 centos6.5 7 XD3 172.16.82.110 物理服务器 虚拟化服务器 全文搜索程序/数据服务总线服务引擎、统一身份认证系统 centos6.5 8 XD3 172.16.82.111 物理服务器 虚拟化服务器 网络爬虫程序/综合信息采集设计器、数据服务总线设计器、政务智能设计器 c
18、entos6.5 9 XD3 172.16.82.112 物理服务器 虚拟化服务器 全文搜索程序/门户系统、目录管理系统 centos6.5 10 XD3 172.16.82.113 物理服务器 虚拟化服务器 数据共享互换前置 Windows 11 XD3 备用 物理服务器 虚拟化服务器 备用 centos6.5 12 XD5 172.16.81.1 物理服务器 ORACLE 数据库备份服务器 数据仓库备份服务器 centos6.5 13 XD5 172.16.81.2 物理服务器 ORACLE 数据库服务器 数据仓库服务器
19、 centos6.5 MySQL服务器 (合计12台) 1 XD4 172.16.81.20 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy(请尽量用中文概括描述) centos6.5 RH2288H V3 2*Xeon E5-2630 v3-8Core 64GB DDR4 8*600GB-SAS 6.0Gb/s-10000rpm-2.5"-16MB SR430C 1GB Cache 4XGE电口 2U 2 XD4 172.16.81
20、12 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 3 XD4 172.16.81.13 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 4 XD4 备用 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepaliv
21、ed,分布式数据库mycat,负载均衡haproxy centos6.5 5 XD4 备用 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 6 XD4 备用 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 7 XD4 172.16.81.14 物理服务器 MYSQL集群服
22、务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 8 XD4 172.16.81.15 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 9 XD4 172.16.81.16 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库m
23、ycat,负载均衡haproxy centos6.5 10 XD4 172.16.81.17 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 11 XD4 172.16.81.18 物理服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 12 XD4 172.16.81.19 物理
24、服务器 MYSQL集群服务器 MySQL高可用性和可扩展性旳处理方案percona,检测服务器状态keepalived,分布式数据库mycat,负载均衡haproxy centos6.5 1.5 大数据中心虚拟化平台虚拟机清单 序号 虚拟机物理机IP 虚拟机IP 规划用途 已安装使用 操作系统 详细配置 1 172.16.82.104 172.16.83.3 iETL设计器、iESB设计器 iETL设计器、iESB设计器 Windows Server 2023 24G内存 360G硬盘,cpu8核 172.16.83.4 自助仪表盘工具 自助仪表
25、盘工具 Windows Server 2023 24G内存 360G硬盘,cpu8核 172.16.83.30 SVN版本控制服务器 SVN服务器 Windows Server 2023 4G内存 300G硬盘,cpu2核 2 172.16.82.103 172.16.83.1 数据共享互换、目录管理系统 数据共享互换、目录管理系统 centos64_6x 32G内存 360G硬盘,cpu6核 172.16.83.2 数据共享互换前置 数据共享互换前置 centos64_6x 16G内存 360G硬盘,cpu6核 3 172.16.82.102
26、172.16.83.7 大数据政府智能分析平台、元数据管理系统 大数据政府智能分析平台、元数据管理系统 centos64_6x 16g内存,500g硬盘,cpu8核 172.16.83.8 工单系统、数据质量系统 工单系统、数据质量系统 Windows Server 2023 16g内存,500g硬盘,cpu8核 172.16.83.106, 172.16.83.107 管理 VRM02 8G内存 80G硬盘,cpu8核 4 172.16.82.101 172.16.83.5 iETL后台、统一身份认证、门户系统、人物画像系统 iETL后台、统一身份
27、认证、门户系统、人物画像系统 centos64_6x 24G内存 360G硬盘,cpu8核 172.16.83.6 网络爬虫系统、数据服务总线、全文检索 网络爬虫系统、数据服务总线、全文检索 centos64_6x 16G内存 360G硬盘,cpu6核 172.16.83.105 全文搜索程序、数据共享互换前置 centos64_6x 8G内存 80G硬盘,cpu8核 5 172.16.82.108 172.16.83.151 备用 centos64_6x 172.16.83.160 数据共享互换、统一身份认证系统 centos64
28、6x 6 172.16.82.109 172.16.83.100 手工采集系统、大数据中心首页、网络爬虫程序、顾客画像 手工采集系统、大数据中心首页 centos64_6x 8G内存 80G硬盘,cpu8核 172.16.83.120 测试服务器 window2023R2 8G内存 260G硬盘,cpu4核 7 172.16.82.110 172.16.83.150 备用 centos64_6x 8G内存 210G硬盘,cpu4核 8 172.16.82.111 172.16.83.121 综合信息采集设计器、数据服务总线设计器、自助仪表盘BI window2023R2 8G内存 210G硬盘,cpu4核 9 172.16.82.112 172.16.83.108 门户系统、目录管理系统 centos64_6x 172.16.83.130 门户系统、目录管理系统 centos64_6x 10 172.16.82.113 172.16.83.170 数据共享互换、统一身份认证系统 centos64_6x






