资源描述
园区大数据平台建设解决方案 V
项目编号:
智慧园区数字化建设
大数据平台建设与应用
解
决
方
案
项目编号:2022-XX-XX
编制单位:XX市XX中心
编制日期:二〇二二年十月
目录
1 总体平台设计 4
1.1 总体架构 4
1.2 体系结构图 4
2 人口基础数据库设计 5
2.1 数据接收服务 6
2.2 中心数据查询 6
2.3 决策支持子系统 6
2.4 授权管理 7
2.5 数据清洗比对管理 7
2.6 信息核验 7
2.7 系统管理 7
3 法人基础数据库设计 8
3.1 系统管理 8
3.2 授权服务 8
3.3 接收服务 9
3.4 信息服务 9
3.5 统计分析 10
4 大数据处理平台 10
4.1 大数据基础平台 10
4.2 大数据多维分析查询系统 19
4.3 大数据智能分析系统 27
5 数据管理服务平台 31
5.1 数据治理与监控系统 31
5.2 数据服务集成管理系统 38
5.3 大数据展现门户 49
1 总体平台设计
1.1 总体架构
园区大数据平台的核心是建立面向宏观经济发展、社会公共服务的数据库和数据服务。总体架构由支撑体系(标准规范支撑体系、管理运行维护支撑体系、安全支撑体系)、网络系统、信息共享平台软硬件系统环境、数据库体系(中心交换库、基础数据库、主题库、发布库、宏观经济数据库管理系统、元数据库系统)、应用系统(数据交换处理系统、应用支撑系统、数据综合分析系统)组成。
图 大数据平台总体架构图
信息共享平台通过网络收集统计系统和各共建部门的信息资源,并有效地将这些信息资源进行分类整理,实现跨部门、跨行业的宏观经济管理信息共享,并向用户提供数据服务。
1.2 体系结构图
园区公共基础数据库信息共享平台划分为工作(生产)区、发布(共享)区和互联网信息发布区。在工作(生产)区构建宏观经济数据的采集、整合、处理和存储系统;在发布(共享)区构建宏观经济数据的发布与共享、存储与备份和专网门户系统等环境支撑系统;在互联网信息发布区构建互联网门户系统,为社会公众提供宏观经济信息服务。
园区大数据平台采用在线填报、数据库对接和基于消息的数据交换三种采集方式,集中采集、整合、存储各共建部门指标数据。中心交换数据库存储各共建部门交换来的原貌数据,基础数据库是对原貌数据进行审核转换和加工而成,是主题数据库和发布库构成的基础。元数据库对数据的采集交换、整合、存储、分析和发布全过程进行定义和约束。专网和互联网的用户可通过门户系统,分别对发布(共享)区和互联网信息发布区的数据进行访问。
2 人口基础数据库设计
在没有数据标准的情况下,人口基础数据库数据中心对同一个数据字段可以从多个数据来源采集数据。如:婚姻状态字段可以从计生部门和公安部门采集。对于同一个数据字段,中心对于该数据字段保存多个来源的版本。人口基础数据管理系统提供工具、服务来展现数据的不一致性,数据管理员根据工作制度,对数据字段进行电话等多种手段核实字段的真实数值。中心通过数据交换系统以数据服务的方式从各业务部门采集数据,保存到公共数据缓存库,使用人口基础数据管理维护系统进行数据比对、冲突检查、数据审核、数据转换。当数据达到一致性、完整性要求时,数据将由公共数据缓存库转存到人口基础数据发布库中,并通过数据交换系统以订阅/发布的方式提供给各业务部门使用。
人口基础数据管理系统维护一个面向对象的公共数据模型,公共数据模型是公共数据标准规范的实现。公共数据维护系统控制着公共数据的输入和输出,为数据质量把关。人口基础信息综合查询系统采用B/S结构,客户端采用浏览器,用户界面是实现不同功能的网页。
综合查询系统的操作页面要求易于使用,使用户能够方便快捷的对网页提供的各项功能进行操作。采用菜单树的方式展开系统的功能。
人口基础信息综合查询系统可以有针对性地,按照用户授权的不同,为不同用户提供不同层次的人口资源公共查询服务。
人口基础信息功能如下图所示。
人口基础数据库管理应用系统功能模块列表:
2.1 数据接收服务
接收数据的查询是针对各部门交换汇总的信息,进行以部门为单位的信息查询。通过查询工作,可以了解各部门实际提交的信息情况,并实现信息详查和统计工作。系统提供了按部门查询的查询方式。
2.2 中心数据查询
人口中心数据,就是经过数据比对梳理完成的人口基础信息。针对人口信息量大,涵盖范围广、内容繁杂的特点,在人口基础信息中心数据库设计中,采用信息扩展和关联的方法,逐级分领域和部门展示人口基础信息和扩展信息。
系统根据部门需求进行查询分类,各部门根据本部门业务相关信息进行检索。如公安部门可根据身份证号、姓名、性别、民族为检索条件,进行基本信息的查询;可根据姓名、暂住证号、身份证号为检索条件,进行暂住人口信息的查询操作。
其他部门检索与查询操作类似。
2.3 决策支持子系统
决策支持子系统是根据业务需要,基于人口基础信息,进行数据挖掘,实现统计报表操作,为领导决策提供快速的报表支持。
2.4 授权管理
授权管理,就是提供信息需求部门申请查询授权,信息提供部门审批授权的功能。
申请部门选择对应的信息表,向信源部门提出申请;信源部门根据业务规则,对申请部门提供授权或不授权,此外,授权功能提供时限控制和授权使用次数控制。
2.5 数据清洗比对管理
数据比对系统通过数据比对引擎,实现对人口基础信息的比对工作。
依据的业务需要,数据比对包括比对操作,各部门数据的过滤查询,各部门信息比对入库结果查询。人口基础信息的比对,依据其特点,采用自动比对和人工参与比对结合的方式,实现基础信息的比对功能。
数据过滤查询是针对部门提交的数据,进行梳理过滤与清洗,得出的清洗出的问题数据进行查询操作。
与数据过滤查询类似,数据入库查询是将部门信息与人口基础信息总表信息进行比对,并经过相关部门审批确认,比对出现差异错误信息的查询。
2.6 信息核验
结合比对系统人工比对功能,提供部门提出比对结果意见功能。当部门业务信息进入比对系统后,如出现基础信息库和业务应用源头部门信息不匹配,需要业务人员参与的情况下,提供业务部门信息核验功能。
2.7 系统管理
系统管理功能是实现对使用人口基础信息查询系统的用户进行管理。
人口基础信息综合查询系统提供用户、角色、权限的设定。即每个申请的用户,根据其角色,享有角色指定的权限。系统管理员可以根据用户情况,赋予固定角色。
系统管理员可制定新增用户指定角色以及分配权限。
系统管理分为用户管理和角色管理。
(1)用户管理:管理系统用户,以及给系统用户分配角色和权限。
(2)角色管理:角色管理是对每个角色进行查询,并分配相应权限,系统管理员可以根据角色权限,以及每个用户的允许查询权限为用户授权。
3 法人基础数据库设计
法人基础数据库系统实现法人基础数据查询、统计和管理等功能的应用系统。系统主要功能包括:
法人基础信息管理应用系统功能模块列表:
3.1 系统管理
管理系统用户,以及给系统用户分配权限,其中包括用户角色管理、角色信息管理、部门账户管理、系统日志管理、系统网络布局查看以及部门交换频率查看。
3.2 授权服务
法人基础数据库系统设计原则遵循“谁提供谁维护”的原则,在中心形成的法人基础数据库中的法人信息,对于公开开放的数据,不需要经过部门授权就可以查看,但对于部门未开放或者指定对象开放的数据,其他部门需要查询该部门的数据需要向数据提供部门提出申请,在申请通过后,才可在授权允许的范围内进行查询。
授权服务主要功能包括:
(1)数据授权管理:通过申请查看授权向数据提供部门提出查询申请,信息所属部门可以对其他部门对本部门信息提请的查看申请进行审批授权。可以设置授权的查看次数和有效期限,也可以永久授权。
(2)数据交换申请:如果部门希望其他部门数据交换到本部门,通过数据交换申请向数据所属部门发送申请,申请得到授权后,通过自主交换的方式将数据交换到本部门的指定数据库内。
(3)共享信息管理:部门设置信息共享的级别,包括:授权开放、公众开放、部门开放等。同时通过信息管理日志查看用户的操作记录,以确保信息的安全。
3.3 接收服务
提供中心接收到各部门原始数据的查询功能,以及数据的清洗比对功能,具体功能包括:
n 接收数据查看:查询中心接收到各部门发送的原始数据。
清洗比对管理:管理和维护各个部门提供的原始数据的清洗和比对规则。可以增加、删除及保存规则。在系统后台会根据制定的规则来对接收的数据进行清洗和比对处理。
清洗比对结果:可以根据清洗和比对批次、时间段等条件查询清洗和比对结果,如比对成功和不成功的数据量及所占比例,以及未匹配数据的详细数据和未匹配成功的原因(如企业注册号相同,企业名称不同等)。
手工比对管理:对于通过比对规则比对不一致的数据,通过手工比对管理进行手工比对,比对一致的,通过手工操作更新中心法人信息库,比对仍不一致的,反馈到未匹配数据表,通过交换平台反馈相关部门进行核查。手动比对管理主要解决数据比较特殊,无法制定通用比对规则的数据之间的比对。
部门数据比对:进行部门间的数据比对,如工商有质监无的数据、工商有国税无、工商有地税无、质监有国税无、质监有社保无、国税有社保无等。
3.4 信息服务
根据查询条件或者组合条件查询法人信息,返回的结果为清洗比对后的准确数据,对于需要授权的数据,需要先通过授权服务进行授权申请。具体功能包括:
(1)法人信息服务:查询法人信息,用户也可按条件查询。
(2)部门信息统计:查看各部门法人信息的数据总量。
(3)法人码表信息:对于有国家标准的代码表,均会转换成国家标准的代码存入法人基础信息库,如行业类别、法定代表人性别等,对于部门专有的代码表,通过法人码表信息列出,供其他部门下载和使用。
3.5 统计分析
提供报表统计功能,结合各类基础信息,形成各类报表,提供多种统计功能,辅助领导决策。提供列表、折线图和柱状图等多种展示方式,统计内容主要包括:基础信息统计、行业类型统计、企业类型统计、部门数据差异统计等。
4 大数据处理平台
4.1 大数据基础平台
(1) 架构设计
SDC Hadoop大数据基础平台集工作台、工作流开发环境、任务调度、数据管理、数据检索、集群运维管理系统和应用门户为一体,为用户提供基于大数据的基础解决方案,全面满足不同行业、不同人群对大数据的个性化要求。
l 运维管理(SDC Console):SDC Console是大数据运维管理系统,为SDC Hadoop供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理等。
l SDC Hadoop集成开发工具:提供了web图形化方式操作,包括流程控制、作业调度、数据管理、数据搜索、元数据管理、文件管理等功能。
l HDFS: Hadoop分布式文件系统(Hadoop Distributed File System) ,提供高吞吐量的数据访问,适合大规模数据集方面的应用。
l Zookeeper:提供分布式、高可用性的协调服务能力。帮助系统避免单点故障,从而建立可靠的应用程序。
l HBase:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。
l Elasticsearch:提供了一个分布式多用户能力的全文搜索引擎。
l Parquet:面向分析型业务的列式存储格式。
l YARN 资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。
l Tachyon:分布式内存文件系统,可以在集群里以访问内存的速度来访问存在tachyon里的文件。
l Redis:提供基于内存的高性能分布式K-V缓存系统。
l MapReduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。
l Spark:基于内存进行计算的分布式计算框架。
l Strom:提供分布式、高容错的实时计算系统。
l Hive:建立在Hadoop基础上的开源的数据仓库,提供类似SQL的Hive Query Language语言操作结构化数据存储服务和基本的数据分析服务。
l Impala:提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
l Spark Streaming:建立在Spark上的实时计算框架,通过它提供的丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互试查询应用。
l Kylin:支持在超大数据集上进行秒级别的SQL及OLAP查询。
(2) 功能模块
大数据运维管理
大数据运维管理为大数据存储供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署、统一监控告警、统一用户权限管理、日志查询、服务管理等。
SDC Hadoop集成开发工具
提供了web图形化方式操作,包括流程控制、作业调度、数据管理、数据搜索、元数据管理、文件管理等功能。
l 流程控制
工作流是由多个节点和节点间的依赖关系所组成的一组逻辑和规则,形成一张有向无环图(DAG图)开发者可通过开发面板和管理面板新建工作流来新建工作流进入工作流设计器,在工作流设计器中通过拖拽不同类型节点并连线的方式来开发一个工作流,提供基本的数据集成、数据计算、数据调度等组件的工作流设计,支持工作流的新增、删除、修改、查询、测试运行、格式化、提交、保存。支持设置工作流任务定时执行,并实时监控任务执行情况,支持运行日志查看。
l 实时概况
采用多视图实时对流程运行进行监控,从状态、时段、步骤类型、耗时等不同角度查看过去12小时或24小时内所有流程的运行统计概况,帮助用户第一时间获知全局运行情况,并提供强大的性能分析报告优化流程调度作业调度
通过多时间维度的计算任务调度、在线运维、监控报警等功能为大数据开发提供稳定的计算调度能力,可以支持超过百万级的调度任务量。
l 数据管理
支持关系型数据、Hadoop等多种方式的数据查询操作。可指定数据库进行查询,支持历史查询记录查看。
提供图表化的查询结果展示,支持条状图、折线图、圆形图、映射图;图表还可按升序、降序及正常序显示查询结果。
支持查询结果导出为XLS和CSV格式,还可保存到HDFS或者Hive中。
l 数据搜索
通过平台建立多维索引,实现分布式实时搜索与分析引擎,可实时对数据进行深度搜索。
l 元数据管理
对元数据进行管理和操作,查看表结构、表的存储位置及样本数据。支持从文件创建一个表、手动创建一个表以及Hadoop体系与传统关系型数据库之间大批量数据的传输。
支持手动创建一个表,后续数据导入到该表文件夹下,可实现对数据的查询等操作;同时也支持从数据文件中导入数据的方式创建一个表:
l 文件管理
文件管理主要功能是实现对Hadoop文件的管理,实现海量数据文件的分布式存储。支持对文件进行新增、删除、修改、查询、权限更改等操作。
分布式文件系统HDFS
HDFS是Hadoop的分布式文件系统,实现高吞吐量的数据访问,适合大规模数据集方面的应用,为海量数据提供存储。
HDFS包含主、备NameNode和多个DataNode。在HDFS内部,一个文件分成一个或多个“数据块”DataNode集合里,NameNode负责保存和管理所有的HDFS元数据。客户端连接到NameNode,执行文件系统的“命名空间”操作,例如打开、关闭、重命名文件和目录,同时决定“数据块”到具体DataNode节点的映射。DataNode在NameNode的指挥下进行“数据块”的创建、删除和复制。客户端连接到DataNode,执行读写数据块操作。
分布式批处理引擎MapReduce
MapReduce 是用于并行处理大数据集的软件框架。MapReduce 的根源是函数性编程中的map和reduce函数。Map函数接受一组数据并将其转换为一个键/值对列表,输入域中的每个元素对应一个键/值对。Reduce函数接受Map函数生成的列表,然后根据它们的键缩小键/值对列表。MapReduce起到了将大事务分散到不同设备处理的能力,这样原本必须用单台较强服务器才能运行的任务,在分布式环境下也能完成了。
统一资源管理和调度框架YARN
YARN是Hadoop2.0中的资源管理系统,它是一个通用的资源管理模块,可以为各类应用程序进行资源管理和调度。YARN不仅局限于MapReduce一种框架使用,也可以供其他框架使用,比如Tez、Spark、Storm等。YARN主要分为ResourceManager、ApplicationMaster与NodeManager三个部分。
l ResourceManager:RM是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器 (Applications Manager) 。
ü 调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。调度器仅根据各个应用程序的资源需求进行资源分配,而资源分配单位用一个抽象概念Container表示。Container是一个动态资源分配单位,它将内存、CPU、磁盘、网络等资源封装在一起,从而限定每个任务使用的资源量。此外,该调度器是一个可插拔的组件,用户可根据自己的需要设计新的调度器,YARN提供了多种直接可用的调度器,比如Fair Scheduler和Capacity Scheduler等。
ü 应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。
l NodeManager:NM是每个节点上的资源和任务管理器。一方面,它会定时向RM汇报本节点上的资源使用情况和各个Container的运行状态;另一方面,它接收并处理来AM的Container启动/停止等各种请求。
l ApplicationMaster:AM负责一个Application生命周期内的所有工作。包括:
ü 与RM调度器协商以获取资源。
ü 将得到的资源进一步分配给内部的任务(资源的二次分配)。
ü 与NM通信以启动/停止任务。
ü 监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。
分布式数据库HBase
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase适合于存储大表数据(表的规模可以达到数十亿行以及数百万列) 访问可以达到实时级别。HBase集群由主备Master进程和多个RegionServer进程组成:
l 利用Hadoop HDFS(Hadoop Distributed File System)作为其文件存储系统,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。
l 为Spark和Hadoop MapReduce提供海量数据实时处理能力。
l 利用ZooKeeper作为协同服务。
分布式内存计算框架Spark
Spark是一个并行数据处理框架,能够帮助用户简单的开发快速,统一的大数据应用,对数据进行,协处理,流式处理,交互式分析等等。
Spark具有如下特点:
l 快速:数据处理能力,比MapReduce快10-100倍。
l 易用:可以通过Java,Scala,Python,简单快速的编写并行的应用处理大数据量,Spark提供了超过80种高层的操作符来帮助用户组件并行程序。
l 普遍性:Spark提供了众多高层的工具,例如Spark SQL,MLib,GraphX,Spark Stream,可以在一个应用中,方便的将这些工具进行组合。
l 与Hadoop集成:Spark能够直接运行于Hadoop 2.0的集群,并且能够直接读取现存的Hadoop数据。尤其,Spark和Hadoop紧密结合,可以通过大数据基础平台 Console部署安装Spark。
Spark Streaming是一种构建在Spark上的实时计算框架,它扩展了Spark处理大规模流式数据的能力。
Spark SQL是Spark中用于结构化数据处理的模块。Spark SQL提供了一种通用的访问多数据源的方式,可访问的数据源包括Hive、Avro、Parquet、ORC、JSON和JDBC数据源,这些不同的数据源直接也可以实现互相操作。Spark SQL复用了Hive的前端处理逻辑和元数据处理模块,使用Spark SQL可以直接对已有的Hive数据进行查询。另外,SparkSQL还提供了诸如API、CLI、JDBC等诸多接口,对客户端提供多样接入形式。
分布式搜索ElasticSearch
ElasticSearch是一个实时分布式搜索和分析引擎:
l 可用于全文搜索、结构化搜索、文本分析;
l 提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口,目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单;
l 使用Java开发的,用于复杂应用底层的搜索功能开发。
l Elasticsearch不仅仅是Lucene和全文搜索,还支持以下特性:
l 分布式的实时文件存储,每个字段都被索引并可被搜索;
l 分布式的实时分析搜索引擎;
l 可以扩展到上百台服务器,处理PB级结构化或非结构化数据。
l Elasticsearch是面向文档(document oriented)的:
l 可以存储整个对象或文档(document)。
l 同时会索引(index)每个文档的内容使之可以被搜索。
l 在Elasticsearch中,可以对文档(而非成行成列的数据)进行索引、搜索、排序、过滤。
数据仓库 Hive
Hive是建立在Hadoop上的数据仓库框架,提供类似SQL的Hive Query Language语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。Hive主要特点如下:
l 海量结构化数据分析汇总;
l 将复杂的MapReduce编写任务简化为SQL语句。
l 灵活的数据存储格式,支持JSON,CSV,TEXTFILE,RCFILE,SEQUENCEFILE,ORC(Optimized Row Columnar)这几种存储格式。中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等)录等。
流处理 Storm、Spark Streaming
Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中, 先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology) 被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行。一个拓扑中包括spout和bolt两种角色,其中spout发送消息,负责将数据流以tuple元组的形式发送出去;而bolt则负责转换这些数据流,在bolt中可以完成计算、过滤等操作,bolt自身也可以随机将数据发送给其他bolt。由spout发射出的tuple是不可变数组,对应着固定的键值对。
Spark Streaming是一种构建在Spark上的实时计算框架,它扩展了Spark处理大规模流式数据的能力。Spark Streaming具备以下特性:
l 能运行在100+的结点上,并达到秒级延迟。
l 使用基于内存的Spark作为执行引擎,具有高效和容错的特性。
l 能集成Spark的批处理和交互查询。
l 为实现复杂的算法提供和批处理类似的简单接口。
分布式缓存层(Tachyon、Redis)
Tachyon是Spark生态系统内快速崛起的一个新项目。本质上,Tachyon是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来,使Spark可以更专注计算的本身,以求通过更细的分工达到更高的执行效率。Tachyon可以有效地解决如下问题:当两个Spark作业需要共享数据时,无需再通过写磁盘,而是借助Tachyon进行内存读写,从而提高计算效率。在使用Tachyon对数据进行缓存后,即便在Spark程序崩溃JVM进程退出后,所缓存数据也不会丢失。这样,Spark工作重启时可以直接从Tachyon内存读取数据了。当两个Spark作业需要操作相同的数据时,它们可以直接从Tachyon获取,并不需要各自缓存一份数据,从而降低JVM内存压力,减少垃圾收集发生的频率。
Redis(REmote DIctionary Service)支持多种数据类型,集群扩容、减容,Balance。
l 数据类型:包括 string(字符串)、list(链表)、set(集合)、zset(有序集合)、 hash等。
l 集群扩容、减容:当集群需要提供大规模的处理能力时,可以一键式扩容一对或多对主从实例。在此过程中,系统会自动完成数据迁移和数据平衡,用户无需其他操作。
l Balance:出现扩容异常、部分实例掉线等异常场景时,Redis集群中的数据可能会分布不均匀,此时可以通过管理界面上提供的Balance功能,让系统自动对集群数据进行平衡,保证集群的健康运行。
l 分布式应用程序协调服务 ZooKeeper
l ZooKeeper是一个分布式、高可用性的协调服务。主要支持以下特性:
l 帮助系统避免单点故障,建立可靠的应用程序。
l 提供分布式协作服务和维护配置信息。
ZooKeeper集群中的节点分为三种角色:Leader、Follower和Observer,其结构和相互关系。通常来说,需要在集群中配置奇数个(2N+1)ZooKeeper服务,至少(N+1)个投票才能成功的执行写操作。
(3) 功能特性
安全性加固
SDC Hadoop大数据基础平台通过架构安全、认证安全、文件系统层加密实现多维度安全管理。架构安全基于微服务架构方式,针对每个微服务请求之间保持服务的相互认证;用户认证安全基于用户和角色的认证体系,支持安全协议Kerberos,使用LDAP作为账户管理系统,提供单点登录能力;文件系统层针对表、字段的存储关键信息动态加密,集群内部用户信息禁止明文存储。
统一工作台
SDC Hadoop统一工作台提供丰富的可视化组件,包括批量采集、实时采集、实时消息、批量计算任务、机器学习等任务类型。提供自动化的二次开发助手和开发样例,帮助软件开发人员快速上手。相较于开源的工作流拖拽,提供更为便捷和灵活的体验与交互。
资源动态管理
SDC Hadoop大数据基础平台在统一存储上建立资源管理层,提供企业用户统一的计算资源管理、动态资源分配、多租户之间资源配置和动态共享,灵活支持多租户多服务在统一平台上平滑运行;在可管理性方面优势显著;大数据基础平台基于YARN,支持同时运行多个计算框架。
统一运维管理
SDC Hadoop大数据基础平台作为企业级解决方案,开发了用户友好的图形化管理界面、提供了系统安装、集群配置,资源级别安全控制、监控及预警等多方面支持,在可管理性方面优势显著;
全链路大数据管理
SDC Hadoop大数据基础平台提供个性化的数据建模、数据查询、收藏、管理功能,用户可轻松收藏所关注的数据表,同时可对数据表的生命周期、基本信息、负责人等信息进行管理,也可查看数据表存储信息、分区信息、产出信息、血缘信息等内容。
海量批处理和高速流处理
SDC Hadoop大数据基础平台基于Labmda架构,有机集成了Hadoop、Spark、Storm等计算框架和HDFS、Hbase等数据存储服务,真正做到海量批处理和高速流处理的能力。
海量数据搜索
SDC Hadoop大数据基础平台分布式实时搜索与分析引擎,可实时对数据进行深度搜索,支持多维度的数据展现形态。
4.2 大数据多维分析查询系统
(1) 架构设计
SDC UE大数据多维分析查询系统整体架构如下图所示:
(2) 功能模块
Ø 多数据源管理
支持多种数据源的连接,包括:主流关系型数据库RDBMS、Excel/CVS文本数据源、基于hadoop的大数据平台数据源以及其他多种JDBC数据源。
类型
数据源描述
RDBMS数据源
可直接使用已有数据源,也可以定义新的数据源。支持:Oracle、MySQL、SQLServer、PostgraSQL等主流关系型数据库。
支持高级数据源
基于JDBC的数据集市DataMart、基于hadoop的大数据平台数据源
Excel数据源支持
可直接上传.xls .xlsx 或.cvs 文件,并可读取其中的每个sheet页签。
集成大数据基础平台
集成大数据基础平台,实现一体化解决方案。
API定制化的第三方数据源
预留通过标准的API接口,实现读取第三方自定义定制化数据源的能力。
Ø 数据建模
数据源建好之后,支持对数据表进行进行数据建模,构建BI分析需要的维度、指标。大数据多维分析查询系统支持星型、雪花模型,拖拽式可视化建模。模型创建后,系统自动生成Cube,供BI分析使用。
平台智能识别出维度和指标信息,并且支持对维度、指标的转换。
Ø 工程化管理
支持工程模式的管理,一个工程下支持多个页面,也支持多个分组,分组下还可以新建页面,便于对多个可视化页面进行分类管理。工程发布后,工程名字即是发布报表的一级菜单,里边的分组是二级菜单。
支持对工程的新增、删除、发布、复制、导入、导出功能。
Ø 可视化编排
SDC UE大数据多维分析查询系统是基于纯JS代码开发的IDE,可以在各种浏览器下实现报表制作。通过所见即所得拖拽方式实现灵活的可视化布局,极致的用户体验。您只需要通过拖拽,无需编程能力,在设计器上任意发挥创意,即可创造出专业的BI报表和可视化数据展现Web页面。
支持对不同的组件,包括基础组件、图标组件、GIS组件等设置不同的样式,以满足不同的需求场景。
l 主题
系统可以改变整个报表设计器的主题风格。
报表主题可以改变报表页面的主题风格。
l 模板
为了提高开发效率,为开发者提供了自定义布局模板和业务模板的保存。方便后续的项目可以继承之前项目的一些成果进行复用。布局模板只继承页面设置框架。业务模板在布局模板的基础上集成了和业务相关的数据模型的绑定。
可以将饼图和一个混合图配置好之后,把他们一起保存为自定义业务组件,保存到平台中。下次相同的业务场景,就可以直接将这个自定义业务组件“饼图+混合图组合组件”拖到页面中,不需要再重新配置。
Ø 组件库
系统既支持柱状图、折线图、饼图、雷达图、散点图、玫瑰图、气泡图、矢量地图等多种基本图表,同时支持漏斗图、词云图、GIS地图等特殊图表,满足不同场景的数据展现需求。特别是系统支持丰富多样的WEB组件。
l 图表组件
当前支持的有:面积图、条形图、趋势图、混合图、饼图、折线图、柱状图、折线堆积图、柱状堆积图、面积堆积图、表格、条形堆积图、南丁格尔玫瑰图、嵌套饼图、仪表盘、大规模散点图、标准气泡图、漏斗图、雷达图等等,样式丰富,且支持自定义扩展。
Ø 地图组件
l GIS地图
GIS组件支持用户自定义图层,提供多种控件和渲染方式,支持两种底图,支持卫星图。将带有“地域性”或“区域性”特征的信息通过地图的形式进行展现,更加直观地监控每个地区的业务情况。
多维BI分析
SDC UE大数据多维分析查询系统提供了各种常见的OLAP分析操作,除基本的分组聚合外,还可以进任意多维度分析,包含:钻取、切片、切块、旋转、排序、过滤等分析功能。
l 拖拽式自由分析
在多维BI分析一体化工作台中,您可以选择任意数据模型中的任意维度、度量进行自主拖拽分析。同一个模型中,所有的数据已经关联在一起了,这就决定了多维及时分析的自由度。同时,在一个页面就能进行数据模型选择、维度指标选择、图表选择、图表样式设置、数据预览。
l 多层钻取
在进行BI分析时,支持自由创建维度间的层级关系,构建维度分级。将具备层级的维度应用到各种图表上,即可实现自动多层钻取能力,逐层分析和查看各种数值情况。下钻之后,还能自由地返回上级。
l 组合过滤
提供以条件过滤的方式进行多维切片、切块分析。条件过滤可以应用到任意一个维度,即使该维度没有被用在图表上进行分析,增加了过滤的宽泛和强大性。过滤条件支持:大于、小于、大于等于、小于等于、包含、不包含、不等于、等于等各种条件判断,同时,每个条件判断支持采用逻辑表达式的方式组合,形成强大的过滤模型,满足各种切片和切块需要。
l 聚合
在数据分析工作中,除了对普通数据的维度、度量进行直接分析和观察数据的整体效应外,分析平均数、最大值、最小值、分位数等需求也是常见的。如果汇总方式仅有单一的求和汇总,则很难满足这类需求。
在SDC UE大数据多维分析查询系统中,能进行数据动态呈现的所有表格、图表、基本WEB组件除可进行分组或交叉汇总外,可以针对以选择的任意度量进行求和、求最值、求平均、求分位数等,并且它们之间可以实时切换。
l 自定义计算度量
度量(指标)可以来自于原始的数据字段,同时也可以是通过公式计算得来。
SDC UE支持创建自定义计算字段。这些新增字段是通过原有的一个或者多个数据字段,采用几十种普通的数学公式函数计算而来。比如:有一个垃圾短信字段、一个正常短信字段,那么在原本没有总发送短信字段的时候,就可以通过这两个字段相加而得到。
l 数据格式转换
针对度量数据,支持在分析时对这些数据进行格式转换,包含:时间转换、浮点数转换、流量转换、百分比转换、单位转换、经纬度转换、枚举值转换、服务区时间转换等等,还可以采用JavaScript代码,自定义转换函数。
数据格式转换及自定义代码
页面级编排
SDC UE大数据多维分析查询系统不仅仅能进行BI分析,编排通用的Dashboard报表页面,也能基于丰富的WEB组件,像Dreamweaver一样设计出用于数据呈现、数据查询、数据联动、数据分析的全套WEB系统。
相比于普通可视化分析产品只能编排出全图表式的Dashboard页面,SDC UE编排出的WEB页面支持丰富的WEB组件,以进行数据查询、图表之间联动、页面间联动和参数传递。
l WEB表单组件
为了在进行BI分析的同时,也能编排出一个完整的数据呈现WEB系统。SDC UE增加了独有的WEB表单组件。通过这些组件,可以设计出多样化的,具备交互能力的WEB系统。使得BI分析和页面展现一体化。
当前支持的有:文字控件、文本编辑、按钮、下拉框、单选框、复选框、上传组件、时间组件、矩形组件、开关组件、超链接组件、树组件、表单容器、Tab容器、查询容器、图片、菜单、行布局、状态设置、列布局、iframe容器、胶片容器、线条等等,样式丰富,且支持自定义扩展。
l 动态查询
丰富灵活的查询条件,支持运行时动态查询。
通过丰富的查询手段,既能满足普通用户自助式的简易查询需求,又能满足数据分析师的专业需要。业务用户可以轻松的访问、浏览和探察数据;满足业务人员自助式的、零编程的、快速的定制查询,数据分析。
l 事件可编程
可以为大多数组件设置事件动作的响应,包含:左键单击、左键双击、鼠标进入控件、鼠标划过控件、鼠标离开控件、控件初始化完成、控件渲染完成等等。
实时分析/计算引擎
独有的实时分析/实时计算
展开阅读全文