先进数通部分BI案例介绍.ppt

北京先进数通信息技术有限公司北京先进数通信息技术有限公司部分部分BI案例介绍案例介绍北京先进数通信息技术有限公司北京先进数通信息技术有限公司 2010年年2月月内容提要内容提要先进数通公司简介先进数通公司简介ADT数据项目个别案例介绍数据项目个别案例介绍q某大型国有商业银行某大型国有商业银行ODS系统介绍系统介绍q某全国性股份制商业银行某全国性股份制商业银行ODS系统介绍系统介绍q某省农信数据仓库项目介绍某省农信数据仓库项目介绍q某省农信综合报表平台介绍某省农信综合报表平台介绍先进数通公司先进数通公司BI整体解决方案整体解决方案公司概述公司概述业务方向业务方向q专注于金融应用软件开发及服务专注于金融应用软件开发及服务q专注于网络集成及服务专注于网络集成及服务组织结构组织结构q总公司总公司:北京先进数通信息技术有限公司北京先进数通信息技术有限公司q分公司分公司:上海上海,广州广州,成都成都,厦门厦门q办事处（办事处（21个）：武汉个）：武汉,深圳深圳,青岛青岛,济南济南q境外全资机构境外全资机构:先进数通先进数通(日本日本)株式会社株式会社q现有员工现有员工600余人余人业务规模：业务规模：2009年销售额超过年销售额超过5亿元人民币亿元人民币公司资质公司资质高新技术企业高新技术企业软件行业协会会员软件行业协会会员国家信息产业部一级系统集成商资质国家信息产业部一级系统集成商资质ISO9001质量体系认证质量体系认证2008年通过年通过CMMI-3评估评估纳税信用纳税信用A级企业级企业公司业务公司业务软件专业技术服务软件专业技术服务q软件研发体系软件研发体系n基础架构部基础架构部(FAD)n企业应用整合解决方案部（企业应用整合解决方案部（EAIS）n商业智能解决方案部（商业智能解决方案部（BIS）q国内国内-软件服务体系软件服务体系n企业应用整合企业应用整合(EAI)工程部工程部n商业智能应用商业智能应用(BI)工程部工程部n企业数据整合企业数据整合(EDI)服务部服务部n测试服务部测试服务部q国际国际-日本软件外包服务日本软件外包服务系统集成专业服务系统集成专业服务q网络基础建设专业服务网络基础建设专业服务软件体系架构软件体系架构ADT在数据应用领域的经验和优势在数据应用领域的经验和优势中国建设银行中国建设银行qUDI（统一数据交换池）（统一数据交换池）qODS系统，分行系统，分行ODSB(5家家)q历史数据归档管理系统历史数据归档管理系统q分行分行个人客户营销支持系统个人客户营销支持系统中国民生银行中国民生银行q数据转换平台数据转换平台中国交通银行中国交通银行qODS项目项目深圳发展银行深圳发展银行q企业企业ETL服务平台服务平台qODS项目项目中信实业银行中信实业银行q信用卡中心数据整合项目信用卡中心数据整合项目浦东发展银行浦东发展银行q汇聚平台汇聚平台广东农信广东农信q省农信综合报表系统省农信综合报表系统q佛山农信佛山农信ODS项目项目云南农信云南农信q统计报表平台统计报表平台q指标管理指标管理福建农信福建农信q数据仓库项目数据仓库项目锦州商业银行锦州商业银行qSAP ERP系统数据整合系统数据整合中国民生银行中国民生银行q基础数据平台基础数据平台中国进出口银行中国进出口银行q行长查询系统行长查询系统q信息共享平台信息共享平台ADT在数据应用领域的经验和优势在数据应用领域的经验和优势中国平安集团中国平安集团qETL服务管理平台服务管理平台q数据整合项目数据整合项目太平洋保险公司太平洋保险公司qODS系统系统深圳华为数据仓库项目深圳华为数据仓库项目q全球全球BI应用调度项目应用调度项目q数据仓库项目数据仓库项目信达资产管理公司信达资产管理公司qSAP管理会计系统数据集成服务管理会计系统数据集成服务。内容提要内容提要先进数通公司简介先进数通公司简介ADT数据项目个别案例介绍数据项目个别案例介绍q某大型国有商业银行某大型国有商业银行ODS系统简介系统简介q某全国性股份制商业银行某全国性股份制商业银行ODS系统介绍系统介绍q某省农信数据仓库项目介绍某省农信数据仓库项目介绍q某省农信综合报表平台介绍某省农信综合报表平台介绍先进数通公司先进数通公司BI整体解决方案整体解决方案案例案例1：某省大型国有商业银行：某省大型国有商业银行ODS系统系统目标和实现目标和实现q建立全行的企业级数据中心，统一为为全行的目标系统(OLAP,BI型应用)提供数据,屏蔽目标系统对源系统的直接数据需求，构建操作型应用(OLTP)和分析型应用(OLAP)之间的数据沟通桥梁;q采用统一的数据模型，集中管理全行的操作型应用系统的源数据,建立标准化的数据采集、数据整合、数据存储、数据交换和数据分发架构;q经过数据整合，提高数据质量、补充完善缺失数据、为全行提供准确、全面、可靠的数据资源，从而更大程度地实现数据资源的共享和利用;q采用国际领先的MPP/GRID计算模型，充分利用GRID机群的分布式处理能力和横向扩展能力，一方面提高效率，快速为目标系统提供数据，同时还可以应对数据规模不断扩大的挑战；q标准化全行的ETL过程；q建立一整套与数据项目有关的标准和规范；案例案例1：某大型国有商业银行：某大型国有商业银行ODS-系统环系统环境境硬件硬件qPC SERVER组成MPP/GRID（etl)q小型机组成Cluster(DB)软件软件qAIX操作系统qLinux操作系统qDataStage Enterprise Editon qOracle 10g案例案例1：某省大型国有商业银行：某省大型国有商业银行ODS-架构架构内容提要内容提要先进数通公司简介先进数通公司简介ADT数据项目个别案例介绍数据项目个别案例介绍q某大型国有商业银行某大型国有商业银行ODS系统简介系统简介q某全国性股份制商业银行某全国性股份制商业银行ODS系统介绍系统介绍q某省农信数据仓库项目介绍某省农信数据仓库项目介绍q某省农信综合报表平台介绍某省农信综合报表平台介绍先进数通公司先进数通公司BI整体解决方案整体解决方案实施案例实施案例2：某全国性股份制商业银行：某全国性股份制商业银行ODS系统状况系统状况qODS接入系统数量接入系统数量:42个个qODS服务系统数量服务系统数量:16个个数据量数据量q帐户数：存款帐户数：存款2450万，贷款万，贷款210万万q交易量：日均交易量约交易量：日均交易量约205万笔，日峰万笔，日峰值约为值约为285万笔万笔q源系统数据文件表数量：源系统数据文件表数量：1250q日增量数据日增量数据:30GBqODS存量数据：存量数据：.5TB(2年年)q每日每日ETL加工时间加工时间:4H资源配置资源配置qDB Server:P590 2台台,16C32Gq数据库：数据库：Oracle 10gqETL工具：工具：DSEE 32CPUqETL集群：台集群：台PC Server,4C8Gq文件传输：文件传输：C:Dq传输集群：台传输集群：台PC Server,4C8Gq全局调度产品：全局调度产品：ADT MOIA SEqOLAP/报表工具：报表工具：Cognas 8.0项目阶段一项目阶段一(10个月个月)q需求分析需求分析q架构设计架构设计q标准、规范和流程的建立标准、规范和流程的建立q企业级企业级ETL平台的搭建平台的搭建q源系统数据采集源系统数据采集q明细数据轻度整合明细数据轻度整合q客户信息整合客户信息整合(ECIF)q已有应用供数已有应用供数q综合报表系统开发综合报表系统开发项目阶段二项目阶段二(6个月个月)q明细数据深度整合明细数据深度整合q基础汇总模型的建立基础汇总模型的建立q新建目标应用供数新建目标应用供数项目阶段三项目阶段三(个月个月)q指标体系建立指标体系建立q指标服务平台指标服务平台q目标共性加工的整合目标共性加工的整合实施案例实施案例2：某全国性股份制商业银行：某全国性股份制商业银行ODS内容提要内容提要先进数通公司简介先进数通公司简介ADT数据项目个别案例介绍数据项目个别案例介绍q某大型国有商业银行某大型国有商业银行ODS系统简介系统简介q某全国性股份制商业银行某全国性股份制商业银行ODS系统介绍系统介绍q某省农信数据仓库项目介绍某省农信数据仓库项目介绍q某省农信综合报表平台介绍某省农信综合报表平台介绍先进数通公司先进数通公司BI整体解决方案整体解决方案总体架构总体架构数据架构数据架构平台建设的关键环节系统架构设计系统架构设计q架构的稳定性、扩展性和适用性q架构的前瞻性q合理的松耦合性q系统设计处理能力q异常处理能力和容错能力数据采集数据采集q所支持的数据采集策略q对异构数据的支持能力q数据采集的效率数据标准化数据标准化q字段标准化q代码标准化q标准代码的维护和扩充能力q统一机构号、产品代码和客户号数据存储数据存储q存储策略的有效性和扩展性q数据存储的效率q对多种数据访问方式支持的考虑q数据分区策略q数据生命周期管理q清理和备份策略q回溯和追数处理数据处理数据处理(ETL)qETL架构的合理性和效率q设计数据处理能力qETL处理的模块化(共性处理的抽取)q特殊处理(机构拆并、科目调整、结息日处理、定期处理)q对多种数据周期的支持q对作业重做的支持数据质量治理数据质量治理q数据质量问题的发现机制q数据补录q关键的业务性数据检查任务调度和应用集成任务调度和应用集成q支持的任务调度模式q与外部应用/系统的交互能力q对专业产品的集成能力q对大规模应用配置和部署的支持q动态的资源分配和负载均衡、并行控制数据服务数据服务q所支持的数据服务模式q数据服务的响应时间运行维护支持运行维护支持平台物理架构平台物理架构内容提要内容提要先进数通公司简介先进数通公司简介ADT数据项目个别案例介绍数据项目个别案例介绍q某大型国有商业银行某大型国有商业银行ODS系统简介系统简介q某全国性股份制商业银行某全国性股份制商业银行ODS系统介绍系统介绍q某省农信数据仓库项目介绍某省农信数据仓库项目介绍q某省农信综合报表平台介绍某省农信综合报表平台介绍案例案例4：某省农信综合报表平台：某省农信综合报表平台系统状况系统状况q接入系统数量接入系统数量:5个个数据量数据量q帐户数：存款帐户数：存款9094万，贷款万，贷款891万万q交易量：日均业务量约交易量：日均业务量约588万笔，万笔，日峰值约为日峰值约为766万笔万笔qSDM数据库空间：数据库空间：4TBq硬盘文件系统空间预计硬盘文件系统空间预计1TB(按一按一般文件在硬盘保留般文件在硬盘保留15天计算天计算)q每日处理时间每日处理时间 6H资源配置资源配置qDB Server:HP6460 2台台,32C64Gq数据库：数据库：DB2 8.5qETL工具：工具：DSEE 16CPUqETL集群：集群：4台台PC Server,4C8Gq文件传输：文件传输：FTPq传输集群：台传输集群：台PC Server,4C8Gq全局调度产品：全局调度产品：ADT MOIA 4.2qOLAP/报表工具：报表工具：Cognas 8.0项目阶段一项目阶段一(10个月个月)q需求分析需求分析q架构设计架构设计q标准、规范和流程的建立标准、规范和流程的建立q应用数据平台的搭建应用数据平台的搭建q源系统数据采集源系统数据采集q明细数据标准化明细数据标准化q现有业务报表开发现有业务报表开发案例案例4：某省农信综合报表平台：某省农信综合报表平台-总体架构总体架构案例案例4：某省农信综合报表平台：某省农信综合报表平台-逻辑架构逻辑架构案例案例4：某省农信综合报表平台：某省农信综合报表平台-集成方案集成方案源系统数据标准化数据按需加工数据可视化数据标准化按需加工报表生成报表展现DataStage+特殊编程Cognos覆盖全局的统一调度及监控ADT MOIA 4.2案例案例4：某省农信综合报表平台：某省农信综合报表平台q贷款类报表贷款类报表(25张张)q存款类报表存款类报表(43张张)q支付结算类报表支付结算类报表(36张张)q电话银行业务类报表电话银行业务类报表(14张张)q中间业务类报表中间业务类报表(40张张)q银行卡类报表银行卡类报表(25张张)qCIF类报表类报表(15张张)q手续费分润报表手续费分润报表(15张张)q财务总账财务总账(75张张)ADT提供的提供的BI整体解决方案整体解决方案ADT数据整合业务的方法论数据整合业务的方法论确定业务架构业务目标业务模型业务运作方式理解业务需求提供者的规格消费者的规格原料产品的加工过程技术实现技术架构的确定设计Job开发和单元测试业务验证数据测试业务测试投入使用ADT数据整合项目的实施过程数据整合项目的实施过程架构设计数据架构物理架构ETL架构数据分析源数据规格目标数据规格数据映射/转换规则设计/实现ODS数据存储方案设计ODS数据标准设计ODS数据交换方案设计处理流程逻辑设计编码/作业开发单元测试数据测试上线投产ADT数据整合项目的组织流程数据整合项目的组织流程数据架构师制定整体解决方案,确定ODS数据架构、物理架构和ETL架构项目经理负责项目的具体实施控制和管理质量管理员配合项目经理，对项目的每一阶段进行质量跟踪和控制数据分析师对源数据、目标数据进行深入分析应用设计人员数据标准、业务逻辑和流程设计专业开发人员编码、作业开发、单元测试数据测试人员数据质量和正确性测试感谢您的聆听！