大数据分析平台总体架构方案.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,智慧金融：,金融集团大数据分析平台总体架构方案,议程,大数据分析平台综述,1,大数据分析平台总体架构,2,大数据分析平台演进路线,3,大数据分析平台一期实施重点,4,附录：数据质量管理平台,5,金融集团管理分析类应用建设现状基本分析,关注的内容,存在的问题,基本的现状,商城数据仓库累积数据没有充分利用,缺乏面向整个金融集团的统一、完整的数据视图；,缺乏支撑金融集团日常业务运转的风险评估体系；,缺乏金融集团客户,360,度视图，客户行为分析和预测无法实现；,缺乏面向金融业务运营管理的关键绩效指标体系；,商城已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；,金融集团已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；,数据平台、数据应用、数据管控,基础数据平台和,BI,应用建设是未来一段时间的重点！,数据平台整体架构；,数据平台各层建设的标准；,较成熟的金融业数据模型；,数据质量治理；,元数据管理；,数据标准建设,数据整合；,数据应用建设；,数据平台的软硬环境,大数据分析平台建设目标,外部非结构化数据,统一制定目标和分析模型,统一划分分析主题,统一设计数据模式,统一规划分析方法,统一部署技术基础,统一定义,BI,应用,自定义报表工具,行列的简单定义方式,多种格式报表,集团决策层,集团职能管控层,各级业务操作层,关注集团主要经营指标,业务人员使用,BI,应用实现业务协作和创新,BI,分析工具,供应链金融系统,POP,系统,其他业务系统,云数据推送平台已实现了主要零售及金融业务系统数据清洗、整合，为未来金融集团数据平台提供了丰富的数据源。,通过数据平台和,BI,应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力,采购管理系统,查看职能部门的业务经营情况,大数据分析平台建设预期收益,2.,加强业务协作,实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础,3.,促进业务创新,金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件,4.,提升建设效率,通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关,IT,系统的建设和运行效率,5.,改善数据质量,从中长期看，数据仓库对,金融集团分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性,通过数据平台实现数据集中，确保,金融集团,各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值,1.,实现数据共享,议程,大数据分析平台综述,1,大数据分析平台总体架构,2,大数据分析平台演进路线,3,大数据分析平台一期实施重点,4,附录：数据质量管理平台,5,大数据分析平台总体架构,历史数,据查询,数据交换平台,应用集市数据区,商城零售,供应链金融,人人贷系统,基金系统,系统,企业内外部半结构化、非结构化数据,大数据交换组件,数据库数据交换组件,数据区数据交换组件,数据计算层,大数据区,沙盘演练数据区,数据应用层,实时数据区,客户主题,协议主题,产品主题,业务沙盘演练,数据增,值产品,零售数据,供应链数据,增值产,品数据区,主题数据区,用户访问层,客户汇总,账户汇总,机构汇总,社交媒体,移动互联,用户评价,访问日志,处理后大数据,待处理大数据,流程调度,监控告警,数据标准,数据质量,元数据,数据安全,流程调度平台,数据管控平台,流程调度层,数据管控层,数据,产生层,数据交换层,实时数,据查询,客户管理,财务管理,外部用户,贴源数据区,内部管理分析,内部用户,历史归档数据区,IT,人员,风险管理,大数据分析平台总体架构,数据产生层,内部业务系统产生的结构化数据,商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水,金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水,企业内部非结构化数据,日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评,企业外部数据,企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息,源数据内容,在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据,商城和金融集团业务系统的数据,增量数据识别、获取由云数据推送平台负责，,云数据推送平台采用,分析、对比源系统日志方式实现,对于无法通过上述方式获取增量的源系统数据,，则采用某一个时间范围内的全部数据作为增量,初始数据加载均采用全量模式,源数据增量,大数据分析平台总体架构,数据交换层,数据交换层设计目标,传输组件是根据数据源存储的不同分类而设计的，本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具，以追求卓越的性能,保证数据在平台内,高速流转,保证数据交换过程中,不失真,保证数据交换过程中,不丢失,保证数据交换过程,安全可靠,数据区数据交换组件,数据库数据交换组件,大数据交换组件,金融集团系统,数据服务层,外部大数据,商城系统,Hadoop,元数据,云数据推送平台,数据平台导入临时区,数据平台导出临时区,NAS,存储,ETL,程序区,大数据分析平台总体架构,数据交换层,NAS,存储,Hadoop,集群元数据区,数据平台,ETL,数据处理程序区,数据平台临时数据区,存储数据平台各个,Hadoop,集群的元数据信息，如：,HDFS,文件系统元数据,集团数据交换平台每日获取运输局推送平台提供的业务系统变化数据，暂存在,NAS,临时数据区,金融数据平台加工计算结果返回给业务系统，暂存在,NAS,临时数据区,数据平台,ETL,加工处理程序（数据压缩、数据加载、各数据数据处理等）统一存储在,NAS,集群指定目录，各接口服务器通过文件系统,Link,建立映射,大数据分析平台总体架构,数据交换层大数据交换组件,企业内部非结构化、半结构化数据，如：音频、视频、邮件、,Office,文档、抵押品扫描件等,企业外部非结构化、半结构化数据，如：微博、贴吧、论坛、用户点击流、用户移动位置等,批量采集：大数据源以,SFTP,协议批量传输数据,文件,在线访问：开发,Java,或,C,应用，调用大据源,API,，或以网络平台爬虫方式抓取源系统非结构化、半结构化数据,组件以实时和批量两种模式实现下列功能：,数据采集,数据传输到数据交换平台（接口服务器）,NAS,指定目录,存储数据到数据平台大数据区指定,HDFS,目录,定时抽取用户访问日志，加载到数据平台大数据区,HDFS,指定目录，,MR,程序加工处理,开发网络爬虫程序，扫描用户微博，抓取用户微博内容，社交圈信息，存入大数据区,处理对象,实现技术,实现功能,应用场景,大数据分析平台总体架构,数据交换层数据库数据交换组件,企业内部业务系统产生的结构化数据，包括两大来源：,商城零售业务数据，数据存储在,Oracle,、,SQLServer,、,MySQL,和,MongoDB,四类数据库,金融集团互联网金融业务数据，数据存储在,MySQL,数据库,Perl,程序,数据采集，,调用,Perl,文件模块相关函数，轮询指定目录，获取数据文件,数据核查，,Perl,执行文件级数据质量检查,数据加载，调用,Hive Load,数据命令，加载到数据平台临时数据区的,Hive Table,组件以实时和批量模式实现下列功能：,数据采集，轮询,NAS,集群指定目录，获取数据文件（,LZO,压缩）,数据核查，对数据文件进行质量校验,数据加载，加载数据到临时数据区,云数据推送平台连接供应链金融系统数据库，分析供应链金融,MySQL,数据库日志，识别增量数据，存储到金融平台,NAS,存储的指定目录，金融平台加载数据文件到数据平台临时区,Hive,表,处理对象,实现技术,实现功能,应用场景,大数据分析平台总体架构,数据交换层数据区数据交换组件,数据平台计算层各数据区,贴源数据区,主题数据区,集市数据区,沙盘数据区,大数据区,归档数据区,Sqoop,实现集市数据区与数据平台其他,Hadoop,数据区的数据交换,Hadoop,命令、,Hive,外部表、,MR,程序实现数据平台,Hadoop,数据区间的数据交换,组件以批量方式实现下列数据交换功能：,贴源数据区和主题数据区到集市数据区,大数据区到主题数据区和集市数据区,主题数据区、贴源数据区、集市数据区到沙盘数据区,各个数据区数据归档,数据集市的数据按照据生命周期规划，统一将过期数据归档到历史数据归档区,处理对象,实现技术,实现功能,应用场景,大数据分析平台总体架构,流程调度层批量处理流程,批量数据处理由流程调度层部署的自定义开发,WorkFlow,组件调度运行,整个流程主要完成如下工作：,获取业务系统结构化数据，存入临时数据区,获取企业内外部非结构化数据，并进行结构化处理，存入主题或集市数据区,按照贴源数据模型整合数据（标准化、数据更新,/,追加）,按照主题数据模型整合数据并生成汇总,数据加工计算后，结果交付到数据集市，支持分析类应用,大数据分析平台总体架构,流程调度层实时数据处理流程,实时数据处理强调的是实时或准实时获取并处理数据，通常采取消息队列等技术构建“数据流”,整个处理流程由流程调度层部署的自定义开发,WorkFlow,组件调度运行,整个流程主要完成如下工作：,通过数据库数据交换组件获取增量数据，加载到实时数据区,通过大数据交换组件获取非结构化数据，并利用,Storm,处理数据，加载到实时数据区,针对实时数据区数据执行标准化处理和贴源整合,大数据分析平台总体架构,流程调度层归档数据处理流程,数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集市数据区数据,数据按照生命周期规划存储到归档区,Hadoop,集群，归档后原数据区删除此数据,整个处理流程由流程调度层部署的自定义开发,WorkFlow,组件调度运行,整个流程主要完成如下工作：,数据文件通过,HDFS,命令行,copyfromlocal,进行归档,贴源、主题和大数据区通过,HDFS,命令行,distcp,或自定义开发的,MR,程序执行归档,集市数据区通过,Sqoop,或数据库提供的,Hadoop,集成技术（如：外部表）执行归档,大数据分析平台总体架构,数据存储层,业务系统前日增量数据,缓存数据，支持后续,ELT,数据处理,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,平台要求,贴源数据模型,保存最近,7,天数据,贴源数据区和主题数据区批量作业访问,无最终用户访问,I/O,敏感，连续小批量的数据抽取和加载,少量量数据使用,Hive,的,Load,命令，大量数据使用,MR,程序,与主题区,/,贴源区,/,集市区构成一个,Hadoop,集群（,Hive,）,无单点故障，,724,小时,+,非工作日有限停机,主题数据区、集市数据区和沙盘演练数据区批量作业访问,无最终用户访问,I/O,敏感，日终批量,ETL,以,ELT,形式通过,Hive SQL,执行,与主题区,/,贴源区,/,集市区构成一个,Hadoop,集群（,Hive,）,无单点故障，,724,小时,+,非工作日有限停机,贴源数据模型,不保存历史,业务系统前日快照数据和一段时间的流水数据,数据标准化，为后续主题模型、集市和沙盘演练提供数据,临时数据区,贴源数据区,大数据分析平台总体架构,数据存储层（续）,企业内外部非结构化、半结构化数据,采集并存储数据，进行结构化处理，最终得到结构化数据,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,平台要求,数据按照,HDFS,文件存储,建议保留,1,年,集市区,/,沙盘区,/,增值产品区,/,主题区,/,归档区批量作业访问,少量高级业务人员进行大数据分析,MapReduce,分布式计算，半,/,非结构化数据的结构化处理（包括文本检索、语义分词、图像识别、音频识别等）,与主题区,/,贴源区构成一个,Hadoop,集群（,HDFS,）,无单点故障，,724,小时,+,非工作日有限停机,集市区,/,沙盘区,/,增值产品区,/,主题区,/,高时效区批量作业访问,业务人员执行历史数据查询,MapReduce,分布式计算，,HDFS,命令实现,Hadoop,集群内归档，,Sqoop,实现数据库归档，通过,Hive,提供历史查询,独立的,Hadoop,集群（,HDFS+Hive,）,无单点故障，,724,小时,+,非工作日有限停机,数据按照,HDFS,文件存储,数据文件按照数据区划分目录，建议保留,7,年,其他各数据区历史数据,按数据生命周期规划归档平台过期数据，支撑历史数据查询,大数据区,历史归档数据区,大数据分析平台总体架构,数据存储层（续）,业务系统历史明细数据,打破业务条线整合数据,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,可用性要求,第三范式模型,保留长期历史，需要根据主题细化,主题区,/,集市区,/,沙盘区,/,增值产品区,/,归档区批量作业访问,少量高级业务人员进行灵活查询、挖掘预测,I/O,敏感，日终批量,ETL,（合并、拉链、关联、汇总等等）,以,ELT,形式通过,Hive SQL,执行，复杂处理使用,MR,定制,UDF,与大数据区,/,贴源区构成一个,Hadoop,集群（,Hive,）,无单点故障，,724,小时,+,非工作日有限停机,集市区,/,沙盘区,/,增值产品区,/,归档区批量作业访问,少量高级业务人员进行灵活查询、挖掘预测,I/O,敏感，日终批量,ETL,（连接、聚合、汇总等等）,以,ELT,形式通过,Hive SQL,执行，复杂处理使用,MR,定制,UDF,与大数据区,/,贴源区构成一个,Hadoop,集群（,Hive,）,无单点故障，,724,小时,+,非工作日有限停机,逆范式宽表,依赖于集市数据需求,对主题数据预加工后的结果数据,针对应用需求进行数据预连接、预汇总，为集市提供数据,主题数据区,明细,主题数据区,汇总,大数据分析平台总体架构,数据存储层（续）,按沙盘演练需求，准备的明细或汇总业务数据,为数据科学家的挖掘预测操作提供数据服务,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,可用性要求,模型依赖于沙盘演练需求,在整个沙盘演练周期内保留,集市区,/,沙盘区,/,归档区批量作业访问,少量高级业务人员进行灵活查询、挖掘预测,I/O,敏感，终批量,ETL,（合并、拉链、关联、汇总等等）,以,ELT,形式通过,Hive SQL,执行，复杂处理使用,MR,定制,UDF,独立的,Hadoop,集群（,HDFS,）,无单点故障，,724,小时,+,非工作日有限停机,沙盘区,/,归档区批量作业访问,决策人员、管理人员、业务人员访问,I/O,敏感型，,BI,工具提交的报表、查询、分析,SQL,命令和日终批量,ETL,（汇总、聚集等操作，以,ELT,形式通过,SQL,执行）,基于开放平台的完全无共享,MPP,数据库集群,+,内存数据库,无单点故障，,724,小时,+,非工作日有限停机,维度数据模型,依赖业务需求,面向企业内部管理分析类应用需求的汇总数据,为客户、运营等管理分析主题和数据增值产品提供数据服务,沙盘演练数据区,应用集市数据区,大数据分析平台总体架构,数据存储层（续）,根据外部用户的数据使用需求数据平台加工计算的结果数据,为部署在数据平台上的企业内外部增值产品提供数据支持,数据内容,主要用途,数据模型,保留周期,用户,访问模式,工作负载,可用性要求,应用模型，依赖于用户业务需求,依赖于,用户业务需求,企业外部人员，如：京东客户,通过自己部署在,Paas,平台上的应用访问,I/O,敏感型，,BI,工具提交的报表、查询、分析,SQL,命令和日终批量,ETL,（汇总、聚集等操作，以,ELT,形式通过,SQL,执行）,独立的,Paas,平台，部署,Hadoop,集群,无单点故障，,724,小时,+,非工作日有限停机,企业业务人员,高时效、高并发、高可靠性的联机交易类查询,CPU,敏感，,BI,工具或业务系统高并发、高时效查询，以及准实时连续,ETL,处理,+SQL,批量处理,独立的内存数据库集群,无单点故障，,36524,小时不停机,贴源数据模型,依赖用户业务需求,面向应用的业务系统快照数据和一段时间的交易流水,为实时获准实时分析应用提供数据服务,增值产品数据区,实时数据区,大数据分析平台总体架构,数据存储层数据流,数据集成层,操作型聚合数据,临时数据区,实时数据区,公共汇总数据,主题明细数据,结构化数据,非结构化,&,半结构化数据,沙盘演练数据区,实验室数据,集市数据区,POP,自营数据,贴源数据区,金融业务数据,主题数据区,客户管理集市,财务管理集市,运营管理集市,风险管理集市,集市,大物流系统数据,供应链系统数据,财务审计数据,财务研发数据,操作型明细据,归档数据区,大数据区,源系统,数据文件,贴源数据,主题数据,集市数据,高时效,数据,大数据,增值产品数据区,大数据分析平台总体架构,数据应用层,大数据,平台应用,针对公检法查询需求、内外部审计需求和最终用户的历史交易查询需求，以贴源存储的归档数据为基础，实现的查询类应用,历史查询类应用通常使用,BI,工具或自主开发实现,客户经理等最终业务人员针对当前业务的发生（如：用户交易、用户访问日志），进行实时查询、分析的应用,管理分析类应用主要实现了集团客户管理、运营管理、财务管理、风险管理、监管信息披露五大分析体系功能,管理分析类应用通常采用套装软件和,BI,工具（,MicroStrategy,等）实现,业务人员根据业务需求或自己对业务的理解，设计计算模型，准备各类明细或汇总数据，导入模型运算，验证业务结果,沙盘演练类应用通常使用,R,语言在,Hadoop,分布式体系下实现,金融集团数据科学家根据自己对业务需求的理解或者对市场的判断，设计并运行模型，发掘数据价值，并封装成商业产品,数据增值产品通常采用,R,语言和,BI,工具实现，面向企业内外部用户,管理分析类应用,1,沙盘演练类应用,3,历史查询类应用,4,高时效类分析应用,5,数据增值类产品,2,实时分析类应用通常使用,CEP,、,ESB,等技术实现,大数据分析平台总体架构,平台,发展不同阶段对应应用,工作负载复杂度,大数据平台发展阶段划分,操作为主阶段,什么正在发生？,动态数据仓库阶段,让正确的事情发生！,分析为主阶段,为什么会发生,报表为主阶段,发生了什么,预测为主阶段,将会发生什么？,批量,随机查询,数据分析,持续更新加载,/,短查询,基于事件的动态触发,数据量增长,用户数增长,查询复杂度增长,ETL,处理复杂度增长,管理分析类应用,历史查询类应用,实时分析类应用,沙盘演练类应用,数据增值类产品,大数据分析平台总体架构,管理分析类应用,总账分析,资产负债表分析,损益表分析,现金流量表分析,财务指标分析,盈利分析,机构贡献度,产品贡献度,客户细分贡献度,渠道绩效,资产负债分析,主要指标报告，如：,净利息收入、净收入、,净现值、市场价值等,头寸报告,现金流报告,风险价值（,VaR,）计算,财务预算与计划,财务预算,财务计划执行监控,执行过程分析,年末财务计划执行分析,预测与场景分析,业务规模预测,收益预测,领导管理驾驶舱,机构绩效考核,客户经理考核,客户经理工作量评估,客户经理服务客户收益评估,产品绩效考核,业务量考核,供应链金融业务,人人贷业务,保理业务,基金业务,其它中间业务,渠道成本与收益,风险监控报表,/,信息披露,流动性报表,利率敏感性报表,资本充足率报表,市场风险,市场风险暴露值,流动性管理、利率管理,信用风险,信用风险暴露值计算,信用风险控制,（贷前控制、贷中监控、贷后分析）,操作风险,异常交易预警,后督差错检查,防欺诈,/,反洗钱,定义欺诈交易模型,可能性欺诈交易预警,欺诈交易分布分析,全面风险管理,目前监管机构没有明确要求,客户单一视图,公司客户信息管理,个人客户信息管理,同业客户信息管理,目标客户搜索,重点客户,关怀客户,风险客户,异动客户,客户细分,个人客户细分,公司客户细分,客户行为分析,客户轮廓分析,产品交叉销售分析,百分比分析,渠道偏好分析,营销活动管理,营销活动规划,营销活动定义,营销活动执行,营销活动苹果,营销活动自动化,渠道接口与集成,流程自动化,客户管理,运营,管理,财务管理,风险管理,监管披露,示例,大数据分析平台总体架构,数据访问层,即席查询：,通过即席查询工具,或手工书写,SQL,语句，,完成业务信息的即席查看,多维分析：,从多个维度灵活组合对目标值进行分析，常见功能包括上下钻取、透明钻取、旋转、分页、层钻、跨维钻取等,主动问题发现：,通过事件触发、规则匹配等方式发现企业运营中的问题，通过手机、邮件等方式报警,决策层,管理层,业务人员,即席查询,静态报表,多维分析,仪表盘,挖掘预测,仪表盘,：,通过仪表盘及其它展现方式对企业关键绩效指标进行展示，为领导层决策提供直观的数据支持,静态,报表：,按照预先定义格式，批处理报表，在线查询报表等,Office,集成,：,将分析应用嵌入到,Office,界面中，利用,Office,的方便、易用特性，降低用户使用难度,问题发现,Office,集成,Web,服务,挖掘,预测,：,使用专业的软件工具，,通过数理统计等高级统计分析,算法,，,分析结构化、非结构化数据，,通过数据模型去挖掘隐藏在数据中的价值,数据科学家,业务系统,Web,服务,：,将分析应用的功能发布为,Web,服务，注册在企业服务总线上，供其它业务系统或分析应用调用，获取分析结果,多种展现形式满足各层级用户及应用系统使用需求,大数据分析平台总体架构,数据管控层,金融数据管控体系涵盖,组织架构、评价与考核、管控流程、管控平台,四个域。,数据标准管理,数据质量管理,元数据管理,工作流管理,组织,数据与信息标准化委员会,数据管理人,数据所有人,数据生产人,数据使用人,IT,支持团队,考核指标,责任评价,标准执行评价,政策执行评价,评价标准,数据类型,数据格式,业务分类,真实性定义,及时性定义,完整性定义,技术元数据,流程,评价与考核流程,考核指标,建立,/,维护流程,标准建立,/,维护流程,组织建立,/,维护流程,评价,与,考核,业务含义,一致性定义,数据认责,平台,安全等级,权限定义,数据停用,数据共享,数据移动,数据存储,数据创建,业务元数据,管理元数据,数据全生命周期,数据安全管理,数据标准,数据质量,元数据,数据安全,审计定义,保留策略,大数据分析平台总体架构,数据管控体系内部运转机制,管控组织,数据管控委员会,数据所有人,数据认责人,IT,支持,管控,流程,数据接入,流程,数据变更流程,数据授权流程,数据退役流程,标准,/,政策制定流程,评价考核,流程,评价与考核,标准（数据标准、质量要求、安全要求）,遵守标准所需要的政策,政策与标准遵从考评定义,数据产生者,数据使用者,流程支撑,流程支撑,制,定,管控平台,工具,支撑,明确了数据管控过程中的组织结构、角色、职责等。管控组织除了要负责制定数据标准、质量、安全等要求外，还需要负责制定管控的相关流程和评价考核指标等内容。,考,评,制定,通过建立一些定性或定量的数据管控评价考核指标，去评估及考核数据相关责任人职责履行情况、数据管控标准及数据政策的执行情况等。,规范了数据管控过程中，各个环节日常任务处理的运作模式，例如数据定义如何变更、数据冲突如何协调等。,采用专门的技术平台支撑管控流程的自动化，发布管控组织制定的一些相关标准和规范，及时反映管控过程中存在的一些问题等。,管控综合管理,标准,/,规范管理,流程管理,考核仪表盘,元数据管理,业务元数据管理,技术元数据管理,管理元数据分析,数据质量管理,稽核规则管理,数据稽核,质量报告,工具,支撑,组织架构、评价与考核、管控流程、管控工具,这四个域相互作用、相互支撑，提供对各信息系统数据的管控。,大数据分析平台总体架构,数据管控组织,数据管控组织是数据管控体系中最重要的因素，它负责定义和管理业务数据相关标准，制定遵寻标准所必须的政策，监测正在进行的数据管控行动。,数据管控组织是否有完整与合理的角色定义、是否有高层领导的参与，是整个数据管控的成败的关键。,典型的数据管控组织如下所示：,数据管控负责部门,岗位,角色,数据管控主导方,信息管理委员会,数据,标准,管理,员,数据,质量,管理,员,数据产生部门,数据管控参与方,业务,协调,人,数据,分析,员,数据主管,数据使用部门,业务,协调,人,数据,分析,员,数据主管,数据拥有部门,业务,协调,人,数据,分析,员,数据主管,数据管理部门,运维组织,实施项目组,数据,安全,管理,员,数据管控经理,元数,据管,理员,大数据分析平台总体架构,数据标准管理,消除一数多义，提升数据的唯一性、一致性，将逐步形成的数据标准纳入一个规范的管理流程中，进行数据标准的更新、发布、使用监督等工作。,数据标准管理工作可以分为以下几个部分：数据标准建立和维护、数据标准执行、数据标准管理的考评。,数据标准建立和维护,数据分类,数据结构,关键业务对象,关键代码,数据维度,代码映射,客户类,数据标准,产品类,数据标准,。类,数据标准,数据标准执行,数据标准管理的考评,定性考评,定量考评,数据标准,分析报告,数据标准理念推广,归档系统,ODS,大数据分析平台总体架构,数据质量管理,数据质量管理框架蓝图如下，其中数据质量提升是改进数据质量的手段和质量考评的目的：,数据质量要求确认，根据业务要求制定和明确数据质量要求，同时也需要符合数据标准的要求；,数据质量考评，对数据质量的量化评价,制定数据质量问题解决方案，根据数据质量考评和日常工作中发现的数据质量问题，实施相应的措施，提升数据质量,数据质量要求,业务规则,数据一致性要求,数据完整性要求,数据唯一性要求,数据准确性要求,数据及时性要求,数据质量,标准,数据质量,验证规则,数据质量,考核指标,数据质量提升,数据补录,手工修正,自动修正,数据质量考评,数据质量监控,不定期数据质量检查,数据质量,分析报告,大数据分析平台总体架构,元数据管理,业务元数据：面向业务人员，从业务术语、业务描述、业务指标和业务规则等几个方面对数据进行描述,管理元数据：面向数据管理人员，从运维管理的角度描述数据处理、数据质量和数据安全的状态信息,技术元数据：面向技术人员，从数据结构和数据处理细节方面对数据进行技术化描述,大数据分析平台总体架构,数据安全管理,数据安全管理可分为数据安全分级管理和数据访问授权管理两个部分：,数据安全分级：根据业务要求，制定一系列的数据安全分级标准和政策，为数据应用以及数据管理中实施数据安全保护和访问提供数据安全控制的基础。,数据访问授权：数据访问授权的主要工作是根据数据安全分级标准，定义数据访问的授权方法及流程，建立基于数据安全分级的数据使用授权机制，实现数据访问和信息披露的安全。,数据安全分级,数据敏感度,数据安全,等级定义,数据访问授权,数据重要性,数据使用需求,数据使用者权责,数据访问,授权规则,安全技术,大数据分析平台总体架构,高阶工作流程,业务数据规划管理高阶流程,数据认责流程,数据治理考核体系,数据治理考核流程,数据治理考核指标体系,数据标准管理管理高阶流程,数据标准建立流程,数据标准维护流程,数据质量管理管理高阶流程,数据质量要求确定流程,元数据管理高阶流程,元数据变更流程,数据安全管理管理高阶流程,数据安全审批流程,数据认责流程,数据标准、质量、元数据、安全管理流程,协调会议,考核流程,大数据分析平台总体架构,数据管控平台,数据,管控平台从总体上来说分为数据层、应用层、展现层三个主要层面，以数据层的数据库及相关基础系统为主要信息来源，通过应用层的运算处理，以不同的形式，不同的功能在展现层提供用户接口,首页,标准管理,主,菜,单,指,标,速,递,待,办,事,项,信,息,地,图,标,准,浏,览,标,准,维,护,工作管理,流,程,管,理,绩,效,指,标,系统管理,用,户,管,理,权,限,管,理,规,范,管,理,数据管控平台统一用户集成界面,数据标准知识库,数据管控平台知识库,元数据管理,元,数,据,采,集,元数据知识库,质量管理,规,则,配,置,质量稽核库,数据,层,应用层,展现层,大数据分析平台总体产品框架,非结构化,/,半结构化数据,管理分析平台,（,X86 MPP,集群）,京东业务系统结构化数据,基础计算平台（贴源数据区,+,主题数据区,+,大数据区）,（,Hadoop,集群,+Hive,）,数据交换平台,（自主开发交换组件,+NAS,存储）,实时分析平台,（内存数据库）,沙盘演练平台,（,Hadoop,集群）,数据管控平台,FTP,SFTP/HTTP/API,Copyfromloal,Queue,京东云数据推送平台,增值产品平台,（,Hadoop,集群）,历史归档查询平台,（,Hadoop,集群,+Hive,）,Load,（,Hive,）,Distcp,HQL+Load,Distcp,Distcp,HQL+Load,Distcp,HQL+Load,Sqoop,Sqoop,Sqoop,MR,流程调度平台,议程,大数据分析平台综述,1,大数据分析平台总体架构,2,大数据分析平台演进路线,3,大数据分析平台一期实施重点,4,附录：数据质量管理平台,5,大数据分析平台演进路线,以基础平台搭建为主，配合金融集团初期业务开展，应用建设从客户信息管理、风险管理和运营管理三方面开展,搭建大数据处理平台和实时分析平台，应用方面开展实时分析和数据产品封装,开展客户信息管理、信用风险评级和业务统计分析三类应用建设,开展贴源数据整合，初步建立企业级数据视图，实现对管理分析类应用和实时分析类应用的支撑,规划数据管控蓝图，初步实施数据质量和技术元数据管理,2013,年,2014,年,2015,年,2015,年以后,对企业价值的创造,应,管,技,业务分析框架,基础数据平台,数据管控体系,应,技,管,全面开展内部管理分析、实时分析和沙盘演练应用建设，初步展开增值数据产品开发工作,全面开展大数据分析平台建设，引入更多数据源，丰富并完善平台数据区建设,随着应用体系的搭建，完善数据质量和元数据建设，开展数据标准化工作,应,技,管,深化分析体系，形成深度智能化业务分析,性能持续优化、数据平台持续完善、,持续深化数据管控体系，形成金融集团企业级的数据管控体系,应,技,管,一期,2013.10,当前位置,未来,持续优化提升阶段,第一阶段,第二阶段,第三阶段,大数据分析平台演进说明,基础数据平台,阶段划分,建设内容,预期效果,第一阶段,搭建数据交换平台，部署,NAS,存储集群，设计并实施数据库交换组件和数据区交换组件,搭建基础计算平台，设计并实施贴源数据区，以,T+1,频率整合商城和金融业务数据,搭建历史归档查询平台，归档商城和金融业务数据文件,搭建内部管理分析应用平台，部署,MPP,集群和,BI,分析应用环境,搭建实时分析平台，部署内存数据库和实时,BI,分析环境,实现了数据平台内部个数据区之间、数据平台与外部系统间的双向数据传输,实现了业务数据按照贴源数据模整合,实现了数据按照生命周期的归档管理,实现了内部管理分析环境搭建,实现实时分析环境搭建,第二阶段,数据交换平台增强和优化，包括：大数据交换组件设计实施,基础计算平台增强，包括：引入更多的数据源，增强贴源数据区；设计并实施主题数据区，打破业务条线整合数据；设计并实施大数据区，实现企业内外部非结构化、半结构化数据加工、处理,搭建沙盘演练平台,实时分析平台增强和优化，包括：引入更多应用及相关数据源,实现了基础数据一次存储、一次计算、多次使用,建立了数据分析人员的实验环境，实现了用户自主用数,为实时、准实时类分析用提供平台,为封装、销售数据类产品提供了平台,第三阶段,基础计算平台持续增强和优化，引入更多的数据源、优化模型和,ETL,处理,搭建增值产品平台，设计并实施增值产品数据区,数据交换平台、沙盘演练平台、实时分析平台进一步增强和优化,数据平台纳入尽可能多的企业内外部数据,数据平台以最优的性能支持各类数据应用,大数据分析平台演进说明,数据管控,阶段划分,建设内容,预期效果,第一阶段,分析和梳理当前数据管理方面的成果和现状，数据管控蓝图和路线图设计，数据管控工作的组织、技术和流程高阶设计,梳理金融集团大数据平台,ETL,流程各环节的数据质量要求，指定数据质量检查规则、评价指标、管控流程，并落地实施数据质量管理系统,梳理金融集团大数据平台包含的技术元数据，如：数据字典、,ETL,任务、,ETL,流程、,BI,语义层等，制定相应的管控流程并落地实施元数据管理系统,同步大数据分析平台,ETL,建设，实现了数据质量管理系统,收集并整合了金融集团所有技术元数据，实现了数据生命周管理、血缘分析和影响分析等功能,第二阶段,随着更多数据源的引入，进一步增强数据质量管理系统,随着更多数据源的引入、更多平台的建立，梳理并整合更多技术元数据,梳理金融集团大数据平台包含的业务和管理类元数据，如业务术语、业务指标、业务定义等，制定相应的管控流程并落地实施元数据管理系统,开展基础类数据标准建设，基础数据标准、管控流程、评价指标、落地策略,完善了数据质量管理体系，实现了问题及时发现、及时解决,实现了金融集团全方位的元数据管理，打通了业务和技术元数据关联关系,为金融集团数据平台建设提供了基础类数据标准,第三阶段,数据质量管理持续优化并增强,元数据管理持续优化并增强,基础类数据标准逐步落地实施,开展指标类数据标准建设基础数据标准、管控流程、评价指标、落地策略,通过完善的数据管控体系，提升数据质量、避免数据二义性、建立数据间的血缘关系，使得业务人员可以方便、有效的使用数据，提高数据实用性,大数据分析平台演进说明,应用体系,阶段划分,建设内容,预期效果,第一阶段,开展客户信息管理建设，设计并实施个人客户和供应商,360,视图、客户目标搜索、客户细分等功能,开展风险管理建设，设计并实施供应商和个人客户风险评级模型,开展运营管理建设，设计并实施供应链金融、人人贷等业务条线业务量统计分析,初步梳理实时、准实时分析需求，进行高时效分析应用试点,可以方便的对个人客户和供应商进行分群，以及全方位信息查询和展示,供应商和个人客户风险等级评定,针对目前开展的业务进行经营情况统计分析,搭建并验证高时效应用体系,第二阶段,随着金融集团业务的展开，逐步开展内部管理分析体系的建设，本阶段重点为客户关系管理、运营管理等,高级业务人员利用沙盘演练平台进行数据挖掘、预测和科学试验,进一步树立实时、准实时分析需求，深化开展高时效分析应用,开始梳理市场上的数据应用需求，尝试封装增值数据产品,通过内部管理分析体系的建设、满足了金融集团日常经营管理、决策分析和进一步提高价值创造力的需要,实现了业务人员自主用数,实现了高时效分析，与业务流程的整合,实现了数据产品的封装，提升了数据价值,第三阶段,随着金融集团业务的展开，进一步完善内部管理分析体系的建设，包括：市场风险管理、操作风险管理、财务管理等,收集实时分析需求，进一步增强并优化实时分析应用体系,增值数据产品设计逐渐成为重点，数据分析师收集企业内外部数据需求，设计更完善的增值数据产品,通过内部管理分析应用体系建设进一步实现