银行历史数据管理方案省公共课一等奖全国赛课获奖课件.pptx

甘肃银行历史数据及应用管理甘肃银行历史数据及应用管理方案介绍方案介绍n甘肃银行甘肃银行n 7月月第第1 1页页目录目录1 我行历史数据应用与管理方案与架构23历史数据平台与ODS功效定位历史数据应用与管理面临问题与挑战第第2 2页页3银行对历史数据管理需求业务需求业务需求直观地搜索企业直观地搜索企业95%信息信息经营报表经营报表历史查询历史查询客户历史账单查客户历史账单查询询Fast,easy search Align business,legal and IT needs ITIT需求需求数据查询数据查询数据备份数据备份数据归档数据归档数据仓库系统数据仓库系统数据数据法规需求法规需求把更多电子发觉工作留把更多电子发觉工作留在企业内部在企业内部审计审计合规检验合规检验监管报送监管报送实施实施保留策略和保留策略和法律存法律存(Legal Hold)出于法规相关或特权查出于法规相关或特权查阅信息阅信息第第3 3页页怎样怎样优化存放控制成本优化存放控制成本 怎样确保可靠性和性能怎样确保可靠性和性能 怎样归档管理留存信息，怎样归档管理留存信息，确保无篡改，无丢失，满足确保无篡改，无丢失，满足未来需求未来需求格式格式 怎样提升响应时间或者确保怎样提升响应时间或者确保良好响应时间良好响应时间ITIT部门需要面临问题部门需要面临问题怎样怎样确保完整确保完整保留信息保留信息 怎样有效灵活怎样有效灵活统计统计，方便快速查询方便快速查询 预防信息泄露与审查预防信息泄露与审查方法方法来自业务需求挑战来自业务需求挑战满足满足银行各部门对银行各部门对信息风险监管高弹性、健壮性、高性能需求？信息风险监管高弹性、健壮性、高性能需求？合规合规审查审查保留审计保留审计各部门对数据问题与挑战各部门对数据问题与挑战提升响应时间或者确保良好响应时间第第4 4页页5IT部门对历史数据面临与挑战5趋势趋势挑战挑战信息数据海量增加IT 预算紧缩数据存放需求大于IT预算不停增加数据使用需求数据应用频繁信息无处不在信息无处不在内部数据丢失问题日益严重内部数据丢失问题日益严重数据要求严格、数据存放时间长严格数据管理安全数据完整性和可用性。信息审计和法规遵从信息难以审计信息统一法规遵从挑战第第5 5页页目录目录我行历史数据应用与管理方案与架构3历史数据平台与ODS功效定位历史数据应用与管理面临问题与挑战21第第6 6页页分析系统&业务系统区分第第7 7页页历史数据平台&ODS功效定位历史数据平台系统历史数据平台系统ODS系统系统系统定位1 用于交易明细查询,非结构化数据存放查询 等2 分流交易系统明细数据查询压力1 业务指标,报表展现2 数据交换面向用户1 柜面（柜员）2 客服中心(客服)3 网上银行(客户)4 手机银行等渠道(客户)业务管理层(报表平台)企业管理层(高管驾驶仓)下游数据消费系统(数据交换平台)响应能力1 高并发,高可用 1 批量,独占资源保留期限长久存在,3年以上1 接口文件保留13个月2 加工汇总后数据长久保留优点1 保留数据原样性2 满足了数据管理要求1 突出数据统一性2 满足了数据应用要求第第8 8页页OLTP&ODS数据结构对比第第9 9页页OLTP&OLAP系统对比比较项目比较项目OLTP(联机事务处理)OLAP(联机分析处理)ODSDW建设目标业务操作，事务处理事务处理，短时分析决议支持，分析功效服务对象生产层业务管理层企业管理层存放周期即时短期长久处理频率实时准实时(T+1)非实时数据容量小小非常大功效结构分散相对集中集中数据类型明细数据明细数据明细数据,汇总数据面向用户操作人员,低层管理人员业务管理人员决议人员,高级管理人员访问方式实时访问（增，删，改，查）准实时（增，删，改，查）非实时（主要是读操作）数据处理量100MB-GB100GB-TB100GB-TB数据简单事务（处理数据量小）复杂查询（数据量大）复杂查询（数据量大）第第1010页页11归档归档备份备份归档归档储存储存生产系统生产系统（OLTPOLTP）OLTP&OLAP数据处理流程第第1111页页引出问题Q1:数据仓库是否能够替换归档系统既突出数据统一性，又保持数据原样性Q2:数据备份是否能满足历史数据可用性，能否使用自动化归档系统加以改进Q3:数据仓库和归档系统二者即使都是针对数据进行操作但只能分别进行布署数据冗余大资源浪费严重。第第1212页页DW与归档系统相结合综合方案思索：假如能够将数据应用与管理进行综合规划那就既满足了数据应用要求又满足了数据管理要求对二者进行有机结合,是符合商业银行久远发展要求。处理思绪：1综合仓库和归档系统优势2 处理仓库单纯横向规划系统而不能将海量数据作为归档数据使用不足3处理归档系统单纯以数据生命周期存放为目标不能及时为商业分析提供综合数据不足。优势：1分流数据,减轻生产系统压力2减轻数据仓库大量查询压力第第1313页页目录目录1我行历史数据应用与管理方案与架构2历史数据平台与ODS功效定位历史数据应用与管理面临问题与挑战13第第1414页页数据归档系统架构图1 报表数据迁移只移植主要业务报表(如四表等)2 老报表平台作为备份库查询,新报表平台门户做统一入口第第1515页页数据仓库基本架构数据应用数据应用第第1616页页数据管理系统总体架构第第1717页页谢谢！第第1818页页