商业银行数据仓库系统方案.pptx

E,D,C,B,A,.,#,.,E,D,C,B,A,.,#,.,单击此处编辑母版标题样式,全球化,IT,综合服务 优势无处不在,.,#,.,E,D,C,B,A,.,#,.,E,D,C,B,A,.,#,.,单击此处编辑母版标题样式,.,#,.,E,D,C,B,A,.,#,.,单击此处编辑母版标题样式,.,#,.,E,D,C,B,A,商业银行数据,仓库系,统方案,专注金融领域、专业,IT,服务、,助力银行,信息化,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介绍,总体架构,主题,Q&A,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,高阶设计,背景与需求,总体规划,逻辑架构,数据架构,ETL,架构,物理架构,数据质量管理,运营管理,Q&A,技术架构,4,背景与需求,背景,：,整合所有的业务系统源数据，准确完整地分析南充市商业银行现有的数据及其流向，建设一套强大的基础数据,平台,整合系统,：,一,阶段：,核心、外汇、财务管理、,信贷,管理、,卡,平台、,综合前,置；六个系统,二,阶段：网上银行、人行支付、电话银行三个系统,建设范围,：,基础数据平台建设,KPI,仪表盘,业务报表应用,绩效考核系统,数据源接口设计,公共数据标准化,仓库模型设计,指标库设计,应用模型设计,总体框架设计,ETL,作业设计,ETL,调度平台建设,BI,门户建设,KPI,指标梳理,KPI,仪表盘框架设计,KPI,仪表盘开发及,测试,业务报表梳理,报表平台设计,报表设计,报表开发及测试,客户经理绩效考核系统调研及需求整理,应用功能开发及测试,数据应用开发及测试,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,高阶设计,背景与需求,总体规划,逻辑架构,数据架构,ETL,架构,物理架构,数据质量管理,运营管理,Q&A,技术架构,6,原则与目标,设计原则,：,实用性和适用性,开放性、兼容性和连通性,先进性,高可靠性和可用性,灵活性和可扩充性,易维护性,标准化,总体目标,：,业务目标,：,基础,数据,平台,初步,建设,180,张核心系统报表,200,业务报表,技术目标,：,系统搭建基础数据平台,标准化数据进行处理，建立业务数据模型。,支持主流厂商,ETL,、报表和展现工具。,基于,J2EE,框架设计。,采用平台化设计，支持功能性拓展。,通过系统设计，保持统计结果的一致性。,支持多用户并发查询报表和海量数据处理。,提供报表管理功能。,提供调度控制功能。,包含元数据的管理功能。,提供监控管理功能。,支持水平扩展和垂直扩展。,有效的数据质量提升策略和方法。,具有数据分发和报表分发功能。,支持集中式和分布式部署模式。,扩充方便，修改灵活，操作简单。,提供相关接口功能,具有开放性，做到标准化、通用化。,系统安全、可靠。,按照软件工程要求提供各类文档。,系统规划,蓝图,7,系统规划,线路图,8,逻辑架构,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,高阶设计,背景与需求,总体规划,数据架构,ETL,架构,物理架构,数据质量管理,运营管理,Q&A,技术架构,10,本期逻辑架构,11,逻辑架构：系模块间关联,11,12,逻辑架构：系统间数据流向,12,技术架构,逻辑架构,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,高阶设计,背景与需求,总体规划,数据架构,ETL,架构,物理架构,数据质量管理,运营管理,Q&A,14,技术架构,14,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,高阶设计,背景与需求,总体规划,ETL,架构,物理架构,数据质量管理,运营管理,Q&A,16,数据架构,16,17,数据模型,：总体设计,17,数据标准层,SDM,基础数据层,FDM,团体主体,产品主题,渠道主题,事件主题,总账主题,公用模型,加工汇总数据层,ADM,应用接口层,源数据缓冲层,TDM,数据模型层次划分,协议主题,ODS,缓冲区,18,数据模型：源数据缓冲层,18,层次设计,源的统一数据采集区，主要存放增量数据,数据结构接近于源，进行数据的临时保存,可作为全行历史归档数据的提供者,数据获取的两种方式,源卸数后主送,直接抽取,源系统增量获取的关键点,确认增量数据的识别规则确认增量卸出的时间,增量文件的接口规范定义,数据标准层,SDM,基础数据层,FDM,团体主体,产品主题,渠道主题,事件主题,总账主题,公用模型,加工汇总数据层,ADM,应用接口层,源数据缓冲层,TDM,数据模型层次划分,协议主题,ODS,缓冲区,19,数据模型：数据标准层,19,层次设计,对数据缓冲层的增量数据进行标准化处理,消除不同源在信息表达上的差异,为后续的数据整合流程提供标准化基础,标准化范围,公共代码标准化,数据类型标准化,数据格式标准化,数据标准层,SDM,基础数据层,FDM,团体主体,产品主题,渠道主题,事件主题,总账主题,公用模型,加工汇总数据层,ADM,应用接口层,源数据缓冲层,TDM,数据模型层次划分,协议主题,ODS,缓冲区,20,数据模型：基础数据层,20,层次设计,按主题对全行各业务系统的关键基础数据进行归类、整合和存储,数据来源于数据标准层,数据结构采用近源结构，可剪裁非关键数据,制定数据保存策略，保存全量快照或者明细表，保存关键数据的历史拉链,维护稳定的主体模型，需求变更时通过辅表的方式关联，避免主体模型受到变更影响。,主题划分,对数据进行归类,提高数据的使用便利性,分为：团体、协议、事件、渠道、产品、总账、公用,模型设计概述基础数据层,模型设计概述基础数据层（团体）,模型设计概述基础数据层（产品）,模型设计概述基础数据层（渠道）,模型设计概述基础数据层（协议）,模型设计概述基础数据层（事件）,模型设计概述基础数据层（总账）,28,数据模型：,建总,ODS,模型示例,数据模型：加工汇总层,29,层次设计,应用上共享的原子共性汇总，一次计算，多次共享,源于应用需求，统一分析、统一提炼,汇总主题划分,交易汇总,账户汇总,客户汇总,渠道汇总,机构汇总,30,数据模型：物理化,30,接口设计,源是数据库时，从源直抽并直接加载到目标的直接用,DataStage,实现，无需接口。,源是文本时，采用,DataStage,直接加载。,文件直传由交换层直接实现，无需接口,目标需要文本的，使用目标文本接口标准,针对多个目标的一致性应用，无需复杂处理的可以建立统一的数据视图，需要复杂处理的可以编制统一数据发布接口，为多个目标提供统一应用,统一对外的,XML,报文接口标准,存储优化,设计,确定索引策略,确定数据存放位置,确定存储分配,稳定性设计,不使用“,select*,”,数据标准层,SDM,中尽量不删除和修改字段，只是新增字段,使用辅表方式,屏蔽源系统设计,模型标准层入库设计,数据筛选设计,31,数据模型：模型设计工艺,31,划定数据范围,表级映射,字段级分析,逻辑模型设计,模型规划,模型规范,Mapping,设计,数据库物理设计,模型验证,字段差异调整,32,数据模型：模型设计工艺（示例）,32,ETL,架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,高阶设计,背景与需求,总体规划,物理架构,数据质量管理,运营管理,Q&A,34,ETL,架构,34,35,ETL,组件化,35,36,ETL,并发调度,36,37,ETL,处理集群,37,38,ETL,最佳实践,38,工具、组件积累,Datastage,开发规范,Stage Name,命名,说明,Aggregator,AGG,_,description,聚合,Change Capture,CCP,_,description,变化数据比对,Copy,CPY,_,description,数据拷贝,Data Set,DTS,_,filename,Data Set,文件，其中,filename,为文件名,DB2/UDB API(DB2/UDB Enterprise),DBA,_,tablename,DB,数据表，其中,tablename,为表名,File Set,FST,_,filename,File Set,文件，其中,filename,为文件名,常见的,Datastage,错误处理、经典的场景案例、,DatastageAPI,开发等,案例,问题描述,解决方法,JOIN,组件关联不到,如果在,Join,之前有做过排序操作的话，数据在各个分区的分布会重新被打乱，如果不进行重新分区的话，会出现记录关联不上的问题,在,Join,组件里面进行重新分区，分区方法一般选取,HASH,分区方式，,HASH,的主建就选取需要做关联的组件即可,数据库乱码问题,用,Oracle Enterprise,组件进行入库，常常会出现汉字入库后变成乱码的问题,这是由于数据库中的字符集和,DataStage,中用到的字符集不一致导致的。这时需要去查看数据库中的字符集，然后修改,DataStage,中的字符集映射：,$APT_ORCHHOME/etc/oracle_cs.txt,文件，文件中要能够找到映射关系，并且映射关系要于数据库中相符。,物理架构,ETL,架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践实施方案,高阶设计,背景与需求,总体规划,数据质量管理,运营管理,Q&A,总体,物理架构,41,软硬件配置,：,软件配置建议,41,软件类别,软件功能,配置,1,基础数据平台,管理和存储基础数据的数据库,Oracle,2,ODS,数据模型,管理和存储基础数据的数据模型,LFT,ODS,DataModel,3,控管软件,实现系统的调度、监控和自动化开发,ETL PLUS,4,ETL,软件,支持对,ETL,任务的定制和自动调度，以实现数据自动抽取和装载,SQL/SPL,5,前端展现平台,实现报表、查询、多维分析、仪表盘的定制和开发功能,BI.Office,6,应用服务器,实现,Web,应用服务器功能,在,用的应用服务器,42,软硬件配置,：,硬件配置,建议,42,系统硬件配置,DB Server,1,台,4CPU 8GB,内存,今后可以扩充为,RAC,集群,管控、报表、传输服务器,1,台,4CPU 8GB,安装,ETL PLUS,、,BI.Office,，今后根据业务增长再各自独立,ETL Server,1,台,2CPU 4GB,内存,今后可能需要再增加,1,台,ETL Work,1,台,4CPU 8GB,内存,今后可能需要再增加,12,台,数据质量管理,物理架构,ETL,架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,高阶设计,背景与需求,总体规划,运营管理,Q&A,数据质量：,度量标准,44,非功能性,及时性：指数据刷新、修改和提取等的及时和快速性,安全性：主要包括数据在传输、使用过程中的安全性,扩展性：该系统数据体系在不满足业务需求时进行扩展的可能性与复杂度,功能性,完整性：主要包括实体缺失、属性缺失、,记录缺失和字段值缺失四个方面,唯一性：指主键唯一和候选键唯一两个方面,一致性：指统一数据来源、冗余存储和统一口径的一致性,准确性：指计量误差、度量单位等方面的精确度,合法性：主要包括格式、类型、值域和业务规则的有效性,数据质量：,问题根源,45,缺乏明确、一致的数据需求定义,数据不正确,数据不完整,数据不一致,缺乏统一的数据规范,规范不完整,规范不一致,缺乏数据质量问题解决的组织和既定的流程,缺少合适的组织来解决质量问题,缺少制定合适的解决流程,数据质量：,解决框架,46,成立专门的数据质量管理团队,高层管理人员把控，协调不同部门，不同系统间关系。,制定数据质量规则,不定期发现质量问题及解决,建立统一的数据质量规则,统一术语规范,统一通用代码,禁止对数据的直接修改，以新记录方式修改数据。,建立并完善数据质量问题处理流程,质量问题报告,协调相关部门,形成数据问题处理建议和方案,执行方案，反馈结果,质量问题持续跟踪,数据质量长期治理,在治理的规范，流程支持下，建立数据质量管理平台,数据质量管理,物理架构,ETL,架构,数据架构,技术架构,逻辑架构,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,高阶设计,背景与需求,总体规划,运营管理,Q&A,48,系统运营管理,：实施工艺,48,49,运营管理,：系统运行管理,49,系统运维管理,定制日常标准操作流程和特殊标准操作流程,对系统资源的监控、对系统性能的分析,数据服务情况监控和干预（到数、作业加工和供数）,数据服务基线管理,源系统简称、目标系统简称、源最早来数时间、源最晚来数时间,文件就绪时间、数据处理结束时间、传输结束时间,供数基线时间、目标系统要求数据时间、数据平台服务时间,系统运行分析,制定分析的指标，系统定时收集运行信息阶段分析运行指标，持续调整和优化应用,50,运营管理：,安全管理,50,安全策略,机密性：确保信息不暴露给未授权的实体或进程。,完整性：只有得到允许的使用者才能修改数据，并且能够判别出数据是否已被篡改。,可用性：得到授权的实体在需要时可访问数据，即攻击者不能占用所有的资源而阻碍授权者的工作。,可控性：可以控制授权范围内的信息流向及行为方式。,可审查性：对出现的网络安全问题提供调查的依据和手段。,系统安全设计,应用与数据安全设计,身份验证,权限控制,验证登录客户机,数据传输安全,数据存储安全,51,运营管理：备份与恢复,51,制定数据备份策略,全备份：备份系统中所有的数据；,增量备份：只备份上次备份以后有变化的数据；,差异备份：只备份上次完全备份以后有变化的数据；,按需备份：根据临时需要有选择地进行数据备份。,制定数据恢复策略,全崩溃恢复机制,服务器崩溃恢复机制,磁盘阵列崩溃恢复机制,系统软件全崩溃恢复机制,操作系统崩溃恢复机制,数据库系统崩溃恢复机制,部分数据丢失恢复机制,单磁盘崩溃恢复机制,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介绍,总体架构,主题,Q&A,高阶设计,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,数据交换,ETLPLUS调度监控,综合报表应用,实施工艺促进,非功能性,Q&A,BIOFFICE报表平台,数据加工,54,数据交换,整体架构,54,55,数据交换：组件部署,55,数据传输客户端,查询某个节点上某个数据文件是否存在。,将本地数据文件安全，完整，快速的传输到指定的节点。,将指定节点上的数据文件安全，完整，快速的下载到本地。,数据接收服务端,提供安全认证。,提供数据传输服务,相关管理功能,56,数据交换,：数据采集,56,定向推送,源系统自行判断数据可以卸载的时刻，使用通用的卸载程序卸载文本。,卸载后处理调用传输客户端的传输命令,传输程序完成文件接收操作,记录数据的状态信息；,文件名称标准化,事件通知文件到达,传输程序结束文件传输操作。,触发调度流程、加工作业调起,主动抽取,系统扫描约定信号（数据库状态）或约定时间,触发就绪事件通知，进一步触发,ETL,抽取作业调度进行抽取,57,数据交换,：数据发布,57,数据发布触发方式,ETL,加工作业成功完毕,通过管控系统进行补发等干预,数据发布方式,直传,ETL,加工后传输,直接加载,直接下载（不建议）,数据发布接口,双文件发布,控制文件接口规范（,file-name,file-size,file-row,）,数据文件接口规范,文件名规范,$SOURCE_SYSTEM_$TARGET_SYSTEM_$TABLE$DATE_$BATCH.dat,文件内容规范,定长，分隔符，换行符,填充符,(,补空格方式,),码制,(GBK,ASCII),58,数据交换,全行数据交换通道,58,数据加工,数据源,核心系统,零售信贷,其他,数据源,EDW,ADM,FDM,ODS,分行数据平台,分行管理信息系统,分行,特色,系统,总行,分行,目标数据缓冲层,公,共,加,工,层,基,础,数,据,层,数,据,标,准,层,源,数,据,缓,冲,层,目标系统,分析型应用,BI,类应用,近实时类应用,操作数据服务,分行数据下发服务,业务快报服务,历史数据应用,总行批量数据服务,数据交换,数据采集,数据发布,数据管控,安全管理,数据治理,数据标准管理,元数据管理,数据质量管理,调度引擎,监控管理,工具集（ETL|SP|SCR）,自动化工程,59,59,数据交换,：配置示例（,1,）,60,60,数据交换,：配置示例（,2,）,基本选项：,传输任务名,输入端信息,目标信息,传输执行计划,传输日历,是否就绪文件,前置传输任务,高级选项：,分发模式：自动方式、手工方式,传输方式：,cp,拷贝,/ln,连接,/,文件传输程序,/,其他,压缩参数：,0:,不压缩，,1:gzip,压缩,拆分参数：按拆分参数的值对文件进行拆分，并生成拆分后的文件列表如：填,1073741824,表示把文件拆分成的若干个,1073741824,字节的小文件再传给目标。,优先级：按规范分为级：,80,（最低）、,55,、,40,、,20,、,1,（最高）,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,数据交换,ETLPLUS调度监控,综合报表应用,实施工艺促进,非功能性,Q&A,BIOFFICE报表平台,正常处理流程,ETL,过程框架,62,63,异常处理流程,63,错误数据处理,异常类型,异常小类,产生原因,处理方法,业务异常,Reject,文件,没有清洗规则,、,主键重复等,数据质量管理平台统一收集处理,基础平台异常,操作系统、数据库、网络异常,掉电、系统升级,通过统一管控平台恢复操作,主机资源不够,并发数过多,作业需要重新配置，或者减少并行度,表空间已满,磁盘资源不足,新增逻辑卷，扩大表空间,日志空间已满,事务过大,调整日志级别、扩大存储空间,操作异常,程序缺失,不明,从版本库恢复程序,64,ETL,加工组件示例常用组件,64,全量求增量,清洗检核,标准代码转换,ETL,加工组件示例,-,通用检核规则,65,规则名称,子规则名称,规则描述,所有,字段的长度检核,长度控制,1,、定长记录，长度不为指定的接口长度，直接,reject,这条记录，程序继续运行；,2,、不定长记录，长度超出指定的接口长度，直接,reject,这条记录，程序继续运行。,主键字段检核,主键空值,1,、参数中的,allowKeyNull,为,True,时,不对主键字段作任何特殊处理,2,、参数中的,allowKeyNull,为,False,时,对所有主键作空值判断，为空则,reject,这条记录，程序继续运行。,数值字段检核,空格处理,定长记录或不定长记录，数据全部为空格或者是出现,|,的空值情况：,1,、,schema,中若设置为,nullable,，正常输出,null,值；,2,、,schema,中没有设置,nullable,赋默认值,0,或,default,值，登记,warning,文件。,程序继续运行。,整型字段检核,长度控制,若,schema,中没有设置固定长度或是最大长度，则默认,int32,的最大长度是,10,，而,int64,最大长度是,20,。本长度包含符号位。,整型字段检核,大小控制,Int32,类型的，只能在,-2147483648,，,2147483647,区间，,Int64,类型的，只能在,-9223372036854775808,9223372036854775807,区间。,不在上述指定的区间内，若设置了,default,值，则登记,warning,并赋为,default,值；若没有设置,default,，则,reject,这条记录，程序继续运行,整型字段检核,非数值判断,该字段出现非”,0123456789,”,和空格“,”情况，若设置了,default,值，则登记,warning,并赋为,default,值；若没有设置,default,，则,reject,这条记录，程序继续运行,其他数值字段检核,非数值判断,该字段出现非”,0123456789.,”,和空格“,”情况，若设置了,default,值，则登记,warning,并赋为默认值；若没有设置,default,，则,reject,这条记录，程序继续运行。,其他数值字段检核,小数点处理,该字段只出现字符,.,，置为,0,，程序继续运行。,其他数值字段检核,大小控制,定长数据，不等于接口规定的长度；不定长数据，超出接口规定的最大长度,(,包含整数位超长或小数位超长），这两种情况都视为非法，若设置了,default,值，则登记,warning,并赋为,default,值；若没有设置,default,，则,reject,这条记录，程序继续运行。,日期字段检核,特殊字符处理,定长记录或不定长记录，数据全部为空格或者是出现,|,的空值情况，,1,、,schema,中若设置为,nullable,，正常输出,null,值；,2,、,schema,中没有设置,nullable,则赋值为,0001-01-01,或,default,值。,程序继续运行。,日期字段检核,不满足月日条件,数据不满足月日条件且不在上面所列情况的,如月份：不在,1-12,月之间,日期不在,1-31,之间，登记,warning,，赋值为,0001-01-01,或,default,值，程序继续运行。,时间、时间戳的检核,同日期字段的检核，时间的内部固有默认值为,12:00:00时间戳的内部默认值为,0001-01-01 12:00:00,。,66,ETL,加工组件示例,-,成熟组件支持,程序名称,类型,功能说明,H010_CCB_AcctConv.so.V1.1,DataStage,帐号转换,H010_CCB_CheckSort.so.V3.3,DataStage,清洗检核,H010_CCB_CodeConv.so.V1.4,DataStage,公共代码对照,H010_CCB_ConvNull.so.V1.1,DataStage,空值处理，用于支持,UDI,过渡,H010_CCB_Decode.so.V2.9,DataStage,转码,(ebcdic2asc),也可以是,asc,文件,H010_CCB_Delta.so.V1.3,DataStage,求增量,H010_CCB_MultiSource.so.V1.0.1,DataStage,多源取数（,oracle,、,sequencefile,、,teradata,）,H010_CCB_OrgMerg.so.V3.0,DataStage,增量机构拆并,libCCB_H010_routine.so.V1.1,DataStage,公用函数集,create_org_cfg,DataStag,生成,erpf,基线机构与,ODS,一级分行号的对应关系,H010_divide.V1.4,DataStag,按分行进行拆分,H010_inc_merge.V1.5,DataStag,文件增量合并全量,unordered_file_process.sh,DataStag,erpf,不定期来数的拆分传输,程序名称,类型,功能说明,H010_CCB_XmlSequence.so.V1.0,C,文件机构拆并,H010_CMMSCConv.V1.3,C,参数档转码（一对多转）,H010_inc_merge_multi.V1.0,C,可以合并一批文件,H010_AddDivsrc2cds.sh,、,H010_AddDivsrc2cds.ctl,shell,ODSH,公共代码维护（,src2cds,）,H010_AddDivsrc2std.sh,、,H010_AddDivsrc2std.ctl,shell,ODSH,公共代码维护（,src2std,）,H010_AddDivstd2cds.sh,、,H010_AddDivstd2cds.ctl,shell,ODSH,公共代码维护（,std2cds,）,H010_CCB_DB2File.sh.V1.0,shell,从全量库导出文件,H010_DBUtilities.sh.V1.1,shell,接口程序，用于返回某张表的记录个数,H010_DivTranFile.sh.V1.0,shell,大文件（大于,2G,）拆分传输,H010_FileMerg.sh.V2.0,shell,根据文件列表合并,H010_FileTran.sh.V1.1,shell,正常文件传输、文件不存在生成空文件传输目标、如果空文件不传输,H010_ImportJob.sh.V1.0,shell,根据数据库的结点表往主结点里面同步导入作业,H010_JCI_runcmd.sh.V3.1,shell,JCI,远程,SHELL,的,Agent,H010_JCI_check.sh.V1.1,shell,检查分行的,ds,环境是否正确,H010_genUpdateProjnameSQL.sh.V1.0,shell,通过读取文件（作业和工程名对应关系），产生批量修改,projname,的,sql,语句,H010_JCI_GetLinkInfo.sh.V1.0,shell,列出一个作业的全部,link,信息,H010_Loadsrc2std.sh.V1.0,、,H010_Loadsrc2std.ctl,shell,ODSB,公共代码维护（,std2cds,）,H010_PhysMerg.sh.V1.0,shell,文件物理合并,H010_TranByList.sh.V1.1,shell,按照文件列表进行传输,H010_Unloadsrc2std.sh.V1.0,shell,到制定目录下查找该分行需要的代码文件,H010_VerCtlFlagFile.sh.V1.2,shell,标志文件控制程序，用于产生，设置和删除控制文件，供参数文件同步使用,H010_WriteReadyFile.sh.V1.2,shell,生成就绪文件,OdsPutFile,shell,文件拷贝（可以只生成连接文件而不实际拷贝）,H010_JCI_TermCycle.sh.V1.0,shell,为新的调度产品使用，该,SH,除执行原来的,TermCycle,功能外，增加执行,ctm_ods_order.sh,。当,TermCycle,执行失败，,SH,失败退出，当,TermCycle,执行成功，,ctm_ods_order.sh,执行失败，,SH,失败退出，下次执行时,TermCycle,可以重复执行，不报错。,H010_JCI_GetRunningJobCount.sh.V1.0,shell,返回当前运行的作业个数,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,数据交换,综合报表应用,实施工艺促进,非功能性,Q&A,BIOFFICE报表平台,68,ETL PLUS,平台架构,68,69,ETL PLUS,调度逻辑架构,69,70,ETL PLUS,调度技术架构,70,71,ETL PLUS,调度功能,71,外部事件通知,主服务程序,事件接收进程池,事件处理进程池,作业调度进程池,定时事件处理进程,监控进程,资源管理模块,作业调度代理,JSI,作业调度接口,72,ETL PLUS,调度模式,72,作业调度时机,外部事件就绪：比如源系统文件到达，源系统库表就绪。,时间到：某个时刻到达。,作业完成：需要其依赖的作业完成。,作业调度通道,一般通道：大部分作业将在一般通道运行。,专用通道：指运行某一类作业的通道。比如大作业，运行在专用通道上，可使其不影响一般作业的处理。,VIP,通道：对于结息，年结这些特殊场景的处理，运用,VIP,通道，确保这些作业得到最优的资源进行处理。,异常处理,自动修复类：调度管理器会间隔一定的时间，自动尝试恢复。比如事件到达，但文件还没到（网络存储系统的延迟造成）。,人工干预类：则需要运维人员根据具体的异常类型，进行手工处理，此信息登记到全局异常表，通过管控平台展示。,73,ETL PLUS,调度示例：配置作业,73,加入一个新作业,加入作业来源,加入依赖作业,74,ETL PLUS,调度示例：并发调度配置,74,75,ETL PLUS,资源监控,75,资源监控,运行概况监控,到数、供数监控,作业,监控,76,ETL PLUS,故障干预与运维报表,76,故障干预,运维报表,BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,数据交换,综合报表应用,实施工艺促进,非功能性,Q&A,78,BI.Office,报表平台,逻辑架构,78,79,BI.Office,报表平台,功能架构,79,80,BI.Office,报表平台,功能,80,选择报表模板浏览报表,切换报表参数,获取报表原始数据刷新；,获取报表存档数据刷新；,数据回写（到用户指定的数据源）,实现报表存档及其回退（在中间数据库中保存报表数据）,实现审核及其回退,权限许可条件下自由汇总,数据转换（舍位问题的）,表内校验,表间校验,全局校验规则执行,表内取数,表间取数,全局取数规则执行,展示汇总下级数据,打印,导出,excel,等格式,81,BI.Office,报表平台,报表开发,81,82,BI.Office,报表平台,灵活查询定制,8283,BI.Office,报表平台,仪表盘,83,BI.Office,报表平台,表内,/,表间校验,BI.Office,报表平台,补录回写,BI.Office,报表平台,汇总,汇总定义,汇总结果,BI.Office,报表平台,SQL,查询,定制,BI.Office,报表平台,存储过程查询,定制,BI.Office,报表平台,跳转,查询,综合报表应用,BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,数据交换,实施工艺促进,非功能性,Q&A,统一报表平台,综合报表应用需求行长报表,综合报表应用需求部门报表,示例：行长报表,95,示例：某银行计财部报表,计财部表样,96,示例,某国有银行计财部报表需求,存款类报表,对公客户信息联动查询,存贷款余额结构分析,百大存款客户统计表,报告期客户存款比年初上涨和下降情况表,企业存款月度增减情况表,综,12,表企业存款余额分行业统计表,综,31,表各项存款余额分期限情况统计表,贷款类报表,百大贷款客户统计表,分行十大贷款户统计表,人民币贷款发放、回收及余额统计表,建设银行信贷资金贷款方式情况表,各项贷款逾期情况统计表,外汇贷款发放、回收及逾期情况统计表,表外业务情况统计表,中间业务类报表,中间业务基本情况表,信贷收支日报表,信贷收支分析总表,贷款明细情况表,分行各网点信贷收支日报,分行网点本外币存贷款变化情况表,分行各网点本外币存款完成情况表,本外币一般性存款增存排行榜,本外币企业存款增存排行榜,本外币储蓄存款增存排行榜,行长报表系列,资产总量结构表,负债总量结构表,主要业务指标表,百大存款客户情况表,百大贷款客户情况表,同业占比模块,部分一级分行城市行业务发展情况表,二类一级分行发展情况表,97,计财部需求示例,商业银行计财部报表需求,实施工艺促进,综合报表应用,BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,数据交换,非功能性,Q&A,99,实施工艺促进工具,100,自动化开发工具支持,DATASTAGE,自动化定制开发,DATASTAGE,自动化批量生成,存储过程自动化,模型客户化辅助工具,非功能性,实施工艺促进,综合报表应用,BIOFFICE报表平台,ETLPLUS调度监控,数据加工,高阶设计,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,实施方案,数据交换,Q&A,102,非功能性设计,：概述,102,高性能,系统需要作为企业级的数据整合系统，需要具备高性能，以满足服务基线时间窗口的需求。,可扩展性,保证项目根据业务要求合理配置，稳步发展，从业务架构、数据架构、技术架构、物理架构等四个方面考虑系统的可扩展性。,可管理性,具备高可管理能力，保证系统的生产运行，在出现异常的情况，可以快速定位并恢复。,高可用性,ETL,架构主要通过集群和负载均衡的角度充分考虑系统的健壮性，其它的核心服务模块，例如数据交换和调度服务，可通过,HA,双机热备的方式来保障高可用。,安全性,系统作为数据线的心脏，需要保证系统、数据安全加工，安全接入和分发。,可集成性,避免数据应用架构的重复投入，包括物理设备、系统软件、框架组件、规范方法等。,103,非功能性设计,：,高性能设计,103,高性能设计关键因素：,数据库性能,ETL,处理集群,调度性能保障,事件触发避免轮询等待,资源通道管理,优先级设置,ETL,过程高性能最佳实践：,减少落地,ETL,产品调优,ETL,作业调优,工具选型（,DataStage,、脚本）,开发流程规范,自动化开发工具,数据交换、分发性能保障,压缩传输,并行控制,基线时间窗口保障,非基线时间窗口划分,104,非功能性设计,：,可扩展性,104,硬件可扩展,Oracle 10g,的,RAC,集群,ETL,集群,-DataStage,集群,调度集群,数据交换集群,软件可扩展,调度层：可以扩展为,IT,架构体系中的调度中心，也可能用产品化的组件来期待调度层,交换层：组件化设计，既可以逐步扩充通讯协议；也可以整体作为今后南京银行,EAI/ESB,的一个批量传输组件。,加工层：通过,JSI,封装作业执行模块，提供统一的调度接口，可以方面扩展更多类型的,ETL,作业。,监控管理层：既可以作为本系统独立的监控平台，也可以和南京银行现有或将来更新的,IT,整体监控平台进行接口级甚至是事件级的交互。,105,非功能性设计,：,可管理性,105,统一调度监控,全服务过程监控,可视化的管理功能,灵活的作业执行过程干预,作业执行过程动态调整,统一日志体系,系统运行日志,用户操作日志,备份管理日志,有效的运行管理办法,流程化运维,标准操作方法,培训和文档,系统原理,日常工作流程,问题知识库,106,非功能性设计,：,高可用性,106,硬件配置容错,关键节点双机热备,Oracle10g,的,RAC,集群容错,ETL,集群,应用容错可干预和重复执行,提供人工干预的机制和重复执行的功能，来保障系统发生故障时也能够继续稳定的运行。,JSI,实现,ETL,作业的,ABC,功能,JSI,包含完整的审计（,audit,）、平衡（,balance,）和控制（,Control,）组件，实现,ETL,作业的,ABC,功能，保障系统的稳定运行。,Reject,、,Warning,机制,统一的,Reject,和,Warning,机制，对无法处理的数据以,Reject,方式提交出来，对字段赋缺省值等系统自动修改的数据以,Warning,的方式提交出来，保证数据在处理过程中有完整的可回朔性。,107,非功能性设计,：,安全性,107,数据传输安全性,向各目标系统系统进行数据分发前，需向各目标系统进行身份认证，确保数据接收对象的合法性。数据传输过程中，应根据南京银行银行安全等级要求，对有保密需求的数据进行加密传输。,系统权限控制,提供访问控制，可参数化配置多层次安全控制，可按照用户组定义安全策略。,数据备份清理机制,对于源系统供过来的数据设计适合的容错周期和存储策略。,公司介绍,高阶设计,实施方案,方案小结,最佳实践,公司介绍,总体架构,主题,Q&A,高阶设计,实施方案,公司介绍,公司介绍,总体架构,主题,方案小结,最佳实践,组织架构,实施计划,项目管理,售后服务,Q&A,实施关键点,110,组织架构,110,技术实现,规划管理,决