华为FusionInsight-LibrA-2.8-售前技术FAQ.docx

c

华为FusionInsight LibrA 2.8
售前技术FAQ

本文的主要读者为华为技术与产品相关的内部人员，请勿外传。
涉及口径及策略的问题，请以最新发布的对市场的宣传口径和销售指导书为准。
本文档不作为对客户的承诺。

华为技术有限公司

版权所有 © 华为技术有限公司 2018。 保留一切权利。

非经华为技术有限公司书面同意，任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部，并不得以任何形式传播。

商标声明
、HUAWEI、华为、是华为技术有限公司的商标或者注册商标。
在本手册中以及本手册描述的产品中，出现的其他商标、产品名称、服务名称以及公司名称，由其各自的所有人拥有。

免责声明
本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践中存在很多不确定因素，可能导致实际结果与预测信息有很大的差别。因此，本文档信息仅供参考，不构成任何要约或承诺。华为可能不经通知修改上述信息，恕不另行通知。

华为技术有限公司
地址：
深圳市龙岗区坂田华为总部办公楼 邮编：518129
网址：

客户服务邮箱：
support@

文档版本01 (2018-05-0505)
华为专有和保密信息 版权所有 © 华为技术有限公司
13

大数据平台解决方案售前技术FAQ
3 实施与运维篇

目 录

1 常识篇 3
1.1 什么是华为FusionInsight LibrA大数据平台？ 3
1.2 华为FusionInsight LibrA平台聚焦什么样的应用场景？ 3
2 解决方案篇 4
2.1 华为FusionInsight LibrA大数据平台相对于Hadoop平台更适合进行哪些数据处理？ 4
2.2 华为FusionInsight LibrA大数据平台对外提供哪些接口？ 5
2.3 华为FusionInsight LibrA大数据平台软件架构是怎样的？ 5
2.4 华为FusionInsight LibrA大数据平台物理结构是怎样的？ 6
2.5 华为FusionInsight LibrA的Manager提供哪些维护功能？ 8
3 实施与运维篇 8
3.1 华为FusionInsight LibrA典型的组网结构是什么样的？ 8
3.2 华为FusionInsight LibrA组网的交换机怎样选择？ 9
3.3 华为FusionInsight LibrA节点服务器怎样选择？ 9
3.4 华为FusionInsight LibrA提供怎样的安全策略？ 10
3.5 华为FusionInsight LibrA需要怎样的软件环境？ 11
3.6 华为FusionInsight LibrA对于安装提供哪些便捷支持？ 13
3.7 华为FusionInsight LibrA节点的HA是怎样作用的？ 13
3.8 华为FusionInsight LibrA性能指标如何？华为FusionInsight LibrA系统规格如何？ 13

1 常识篇
1.1 什么是华为FusionInsight LibrA大数据平台？
FusionInsight LibrA是企业级的大规模并行处理关系型数据库。FusionInsight LibrA采用MPP(Massive Parallel Processing)架构，支持行存储与列存储，提供PB(Petabyte，2的50次方字节)级别数据量的处理能力。
FusionInsight LibrA在核心技术上跟传统数据库相比有巨大优势，可以解决很多行业用户的数据处理性能问题，可以为超大规模数据管理提供高性价比的通用计算平台，并可用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统，统一为上层应用的决策分析等提供服务。
FusionInsight LibrA是FusionInsight解决方案的一个子产品。FusionInsight LibrA在FusionInsight解决方案中的位置如错误!超链接引用无效。所示。
图1 FusionInsight LibrA在FusionInsight解决方案中的位置

1.2 华为FusionInsight LibrA平台聚焦什么样的应用场景？
华为FusionInsight LibrA平台面向行业大数据应用，可以适用于以下场景：
· 详单查询
具备PB级数据负载能力，通过内存分析技术满足海量数据边入库边查询要求，适用于安全、电信、金融、物联网等行业的详单查询业务。
· 数据仓库
具备百TB级数据支撑能力，可以高效处理百亿行多表连接查询，适用于操作数据存储ODS（Operational Data Store）、数据仓库EDW（Enterprise Data Warehouse）、数据集市DM（Data Mart）。
· 混合负载
基于海量数据查询统计分析能力与事务处理能力，行列混存技术同时满足联机事务处理OLTP（On-Line Transaction Processing）与联机分析处理OLAP（Online Analytical Processing）混合负载场景。
· 大数据分析
支持结构化数据PB级分析能力。分布式并行数据库集群满足PB级结构化大数据的分析能力。

2 解决方案篇
2.1 华为FusionInsight LibrA大数据平台相对于Hadoop平台更适合进行哪些数据处理？
在企业领域，主要面向的还是数仓建设，SQL生态，建议以LibrA为主，承接数据仓库主体建设，主要是对结构化的数据进行存储和分析，Hadoop作为补充，主要应用于流处理、机器学习、图分析、历史数据及非结构化数据存储等场景；
建议采用LibrA+Hadoop架构，通过LibrA的跨集群访问HDFS特性将两者完美结合；
对于LibrA应用场景：SQL、关联统计、存储过程、全文检索、点查询、事务ACID
对于Hadoop应用场景：流处理（Storm/Flink）、ETL（MR）、机器学习（Spark）、图分析（TItan）、点查询（Hbase，固定条件）
2.2 华为FusionInsight LibrA大数据平台对外提供哪些接口？
FusionInsight LibrA支持标准的SQL92/SQL2003规范，支持存储过程和自定义函数，客户应用系统可进行平滑迁移到LibrA。
组件名支持的接口类型：
组件名称
支持的接口类型
MPPDB
JDBC API、ODBC API
Manager
REST API、SNMP、Syslog、FTP

2.3 华为FusionInsight LibrA大数据平台软件架构是怎样的？

华为并行数据库LibrA基于Shared-nothing/MPP架构，面向开放x86平台，数据跨所有节点均匀分布，所有节点以并行方式工作，提供标准SQL接口，支持SQL92,99,2003标准，支持JDBC/ODBC标准接口，提供多达256个物理节点PB级数据存储分析的扩展能力。
主要包含以下几个组件：
l CN（Coordinator）：协调节点组件，独立进程，SQL的统一入口，对外接收客户端SQL语句，生成分布式执行计划，下发计划片段到各执行节点，各执行节点返回执行结果到Coordinator，返回给客户端。主要职责是接收SQL请求，生成执行计划，汇聚最终结果。
l DN(DataNode)：执行节点组件，也称之为数据节点，独立进程，SQL执行计划的执行主体，并存放数据。
l GTM（Global Transaction Manager）：全局事务管理器，独立进程，主要是用于维护分布式系统中全局事务一致性。
l WLM（Workload Manager）：负载管理组件，内置功能组件，控制SQL语句的资源消耗，保证任务优先级。
l CM（Cluster Manager）:集群管理组件，由两部分组成，一个是CMServer，一个是CMAgent，每个主机节点部署一个CMAgent，CMServer和CMAgent均为独立进程，每个主机节点上部署一个CMAgent，CMAgent监控这个节点上的所有资源，包括监控网络状态，磁盘状态等硬件设备，以及CN节点，DN节点，GTM节点等软件设备的状态，CMAgent进程每隔一定时间向CMServer汇报集群各组件状态信息，CMServer根据CMAgent上报的状态信息判断集群资源是否发生故障，在集群发生故障时，能够根据故障类型做出相应的故障处理指令，保证集群自恢复。
l OM（Operation Manager）：安装部署运维，配置管理接口工具，独立进程。
系统业务处理流程：
l SQL语句业务处理流程：客户端发起SQL，CN节点接受SQL，生成分布式执行计划，CN节点向涉及DN节点下发分布式执行计划，DN节点执行分片执行计划，向CN节点返回执行结果，CN汇聚最终结果，返回给客户端。
l 集群启停业务处理逻辑：cm_ctl客户端工具发起集群启停命令，CMServer接受客户端工具发起的命令，将命令下发给各节点，执行启停命令。
集群状态查询业务处理逻辑：cm_ctl客户端工具发起集群状态查询命令，CMServer返回给客户端工具各节点状态信息。
2.4 华为FusionInsight LibrA大数据平台物理结构是怎样的？
FusionInsight LibrA支持双平面隔离组网，集群中每个节点分别接入业务平面和管理平面。组网隔离时，双平面可以采用各自独立的端口配置，典型物理部署图如下：

各组件进程部署图如下：

2.5 华为FusionInsight LibrA的Manager提供哪些维护功能？
Manager作为运维系统，为FusionInsight LibrA提供高可靠、安全、容错、易用的集群管理能力，可帮助客户解决在开局、日常维护、故障处理、业务开发场景下的相关问题。
Manager支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务
管理、健康检查、问题定位、升级和补丁等，提供如下功能：
ü 一键式安装
ü 统一监控告警
ü 统一用户管理
ü 服务管理
ü 健康检查
ü 维护操作审计
ü 单点登录
ü 故障定位
ü 备份恢复
ü 系统升级
3 实施与运维篇
3.1 华为FusionInsight LibrA典型的组网结构是什么样的？
FusionInsight LibrA平台典型组网如下：
Manager的管理进程一般会部署在2台管理服务器上，计算/存储进程会部署在其他服务器上。
典型物理部署组图如下：

3.2 华为FusionInsight LibrA组网的交换机怎样选择？
FusionInsight LibrA集群节点部署在同一数据中心内，所以采用交换机互联就可以。集群涉及到的网络包括两个平面：1.集群内部网络；2.服务器运行维护网络。
集群内建议采用万兆交换机，设备监控和服务器运维建议采用千兆交换机。
3.3 华为FusionInsight LibrA节点服务器怎样选择？
华为FusionInsight LibrA支持通用的x86服务器，企业可根据自身需求灵活选择，服务器配置要求如下表所示：
硬件
推荐配置
CPU
最低配置：双路4核Intel处理器。
推荐配置：双路8核Intel处理器。
Bit-mode
64位
网卡
· 管理平面使用两个GE电口配置bond。
· 业务平面使用两个10GE光口配置bond。
· 外部管理网络使用两个GE电口配置bond。
内存
≥64GB
说明：
为了满足实际业务运行，内存大小要求请结合实际服务部署计算规划。
硬盘RAID配置
· 管理节点：操作系统所在盘独占一个RAID组，且RAID组级别为RAID1；非操作系统所在盘独占一个RAID组，且RAID组级别为RAID1。
· 控制节点：操作系统所在盘独占一个RAID组，且RAID组级别为RAID1；非操作系统所在盘独占一个RAID组，且RAID组级别为RAID1。
· 数据节点：操作系统所在盘独占一个RAID组，且RAID组级别为RAID1；非操作系统所在盘独占多个RAID组，且RAID组级别为RAID5。
磁盘空间
· 管理节点：操作系统所在盘≥600GB，每个非操作系统盘≥600GB。
· 控制节点：操作系统所在盘≥600GB，每个非操作系统盘≥600GB。
· 数据节点：操作系统所在盘≥600GB，每个非操作系统盘≥500GB。
3.4 华为FusionInsight LibrA提供怎样的安全策略？
1．FusionInsight LibrA并行数据库安全解决方案由以下四部分组成：
l 管理层安全：为管理者提供管理工具和安全文档，管理者可以方便的配置用户权限。
l 应用层安全：应用层软件保证接入安全、数据安全、连接安全以及编码安全。
l 系统层安全：提供密码策略、身份认证、会话管理、用户权限管理和数据库审计。
l 网络层安全：集群内网和外部业务网络隔离，外部应用软件访问数据支持SSL网络安全协议。
华为并行数据库安全策略，如下：
l 权限管理
l 密码管理
l 认证及会话控制
l 加密算法
l 安全协议
l 文件权限管理
l 安装性日志
l 集群内容隔离
l 日志审计
2． 操作系统安全加固：
通过裁剪不必要组件，工具自动测试扫描，在业务节点、管理节点和用户\管理 Portal等组件采取业界标准来实现操作系统加固，保证基础设施的安全性。
3.5 华为FusionInsight LibrA需要怎样的软件环境？
1. FusionInsight LibrA平台目前支持的操作系统：
操作系统软件
支持的版本号
SUSE操作系统
· SUSE Linux Enterprise Server 11 SP4（SuSE11.4）
· SUSE Linux Enterprise Server 11 SP1（SuSE11.1）
· SUSE Linux Enterprise Server 11 SP2（SuSE11.2）
· SUSE Linux Enterprise Server 11 SP3（SuSE11.3）
· SUSE Linux Enterprise Server 12 （SuSE12.0）
· SUSE Linux Enterprise Server 12 SP1（SuSE12.1）
· SUSE Linux Enterprise Server 12 SP2（SuSE12.2）
· SUSE Linux Enterprise Server 12 SP3（SuSE12.3）
Red Hat操作系统
· RedHat-6.6-x86_64（RedHat6.6）
· RedHat-7.2-x86_64（RedHat7.2）
· RedHat-6.4-x86_64（RedHat6.4）
· RedHat-6.5-x86_64（RedHat6.5）
· RedHat-6.7-x86_64（RedHat6.7）
· RedHat-6.8-x86_64（RedHat6.8）
· RedHat-6.9-x86_64（RedHat6.9）
· RedHat-7.0-x86_64（RedHat7.0）
· RedHat-7.1-x86_64（RedHat7.1）
· RedHat-7.3-x86_64（RedHat7.3）
· RedHat-7.4-x86_64（RedHat7.4）
CentOS操作系统
· CentOS-6.4版本（CentOS6.4）
· CentOS-6.5版本（CentOS6.5）
· CentOS-6.6版本（CentOS6.6）
· CentOS-6.7版本（CentOS6.7）
· CentOS-6.8版本（CentOS6.8）
· CentOS-6.9版本（CentOS6.9）
· CentOS-7.0版本（CentOS7.0）
· CentOS-7.1版本（CentOS7.1）
· CentOS-7.2版本（CentOS7.2）
· CentOS-7.3版本（CentOS7.3）
· CentOS-7.4版本（CentOS7.4）

2. FusionInsight LibrA平台目前支持的浏览器：
软件
要求
浏览器
· IE 9（标准模式）及以上版本
· Google Chrome 21及以上版本
· 支持的Mozilla Firefox浏览器版本：
o Windows：24.x/31.x/40.x及以上版本
说明：
Firefox 24.x版本需要执行以下动作可正常访问FusionInsight Manager：
1. 在地址栏输入“about:config”，按回车打开设置界面。
2. 搜索“security.tls.version.max”，双击将数值改成“3”。
o Linux：SUSE 11.3自带Firefox 17.0.4版本
说明：
使用Linux自带Firefox浏览器的配置方法请参考《软件安装》的“使用Linux自带Firefox浏览器访问FusionInsight Manager”章节。

3. FusionInsight LibrA大数据平台目前支持的JDK：
l Oracle JDK：服务端支持1.8版本，客户端支持1.7和1.8版本
l IBM JDK：客户端支持1.7和1.8版本
3.6 华为FusionInsight LibrA对于安装提供哪些便捷支持？
FusionInsight LibrA大数据平台通过Manager的WebUI界面支持集群数据节点的批量安装。
支持集群模板安装，可以一键操作，非常方便。如果安装过程出现异常，会有屏幕提示和告警铃声，可以辅助帮助检查安装前哪些没有准备好。
FusionInsight LibrA安装后检查操作非常简便，可以登录管理图形界面，察看安装的服务的状态信息正常，说明安装成功。
3.7 华为FusionInsight LibrA节点的HA是怎样作用的？
FusionInsight LibrA通过主备节点保证集群的可靠性，当主节点服务失效，备节点可以接替主节点的业务，防止单点故障；在运行过程中主节点写入数据会同步将日志写入备节点，在备节点会生成跟主节点一样的另一副本数据；从备节点运行过程中不工作，在备节点故障后，从备节点备节点的业务，当备节点恢复正常之后，会将备节点故障时间段的数据从从备同步到备份节点，自此，主、备、从备节点的运行又恢复到初始运行状态，LibrA使用此机制保障整个集群的业务不中断。
3.8 华为FusionInsight LibrA性能指标如何？华为FusionInsight LibrA系统规格如何？
性能
数据导入能力：单节点60MB/s。
服务器配置
CPU: 2路12核 E5-2690
内存：256GB
硬盘：20块 600GB SAS盘
网络：10GE
数据导出能力：单节点200MB/s。
全表扫能力：单节点3亿条/s。
点查询能力：万亿条精确查询秒级响应。
分组能力（group by）：单节点2000万条/s。
连接能力（join）：单节点500万条/s。
排序能力（order by）：单节点300万条/s。

技术指标
最大值
数据容量
4PB
集群节点总数
256
集群逻辑节点
2048
单表大小
1PB
单行数据大小
1.6TB
每条记录单个字段的大小
1GB
单表记录数
248
单表列数
1600
单表中的索引个数
无限制
单表索引包含列数
32
单表约束个数
无限制
并发连接数
600

FusionInsight LibrA系统规格
项目
规格
说明
系统支持的最大节点数
256台
通用X86服务器
系统支持的最大存储容量
4 PB
参考值，根据单服务器配置硬盘容量不同会有变化