数据仓库建设专项方案.doc

1. 数据仓库概述经过多年IT建设，信息对于XXX日常管理已经日益关键，并逐步成为关键信息资产，信息资产管理已经成为日常管理中一个很关键步骤。怎样管理和利用好XXX内部纷繁数据也越来越成为信息管理一项关键工作。在过去相当一段时间内，XXX业务系统构建关键围绕着业务数据展开，应用构建多是自下而上构建，关键以满足某个部门业务功效为主，我们称之为业务处理时代。这么构建方法造成了一个个分立应用，分立应用造成了一个个静态竖井。因为数据隶属于应用，缺乏XXX全局单一视图，形成了一个个信息孤岛，分立系统之间缺乏沟通，一样数据孤岛造成只能取得片面信息，而不是全局单一视图。存放这些信息载体可能是多种异构或同构关系型数据库，也有可能是XML、EXCEL等文件。所以，构建新一代一体化平台提上了日程并最终促成全域数据管理方法，目标是覆盖XXX各个步骤关键业务数据，完善元数据管理，形成全局数据字典、业务数据规范和统一业务指标含义，能够灵活获取XXX业务数据单一视图（需要确保数据一致性、完整性、正确性和立即性）。数据交换和共享关键发生在上下级组织机构之间或同级不一样部门之间。最终，这些数据能够为部队分析、决议支持（多维分析、即席查询、数据挖掘）等应用提供更立即、正确、有效支持。数据仓库目标是实现跨系统数据共享，处理信息孤岛，提升数据质量，辅助决议分析，提供统一数据服务。同时，数据仓库构建也面临着多种挑战，比如信息整合在技术上复杂度、信息整合管理成本、数据资源获取、信息整合实施周期和整合项目标风险等。2. 全域数据库总体架构全域数据库总体架构全域数据库总体层次，最下面是基础架构层，关键包含支撑这一架构运行主机系统、存放备份系统、网络系统等内容。从下往上看，再上面是数据源层，既包含各个业务关系型数据源、内容管理数据源也包含半结构化数据源比如XML、EXCEL等，也包含各个总队、支队业务数据源。数据源层之上是“交换服务体系”，关键包含信息服务总线和服务总线两部分。信息服务总线关键实现数据层信息整合和数据转换，而服务总线关键实现应用层信息交换和整合。信息服务总线关键依靠联邦、复制、清洗、转换等技术实现，其关键包含信息整合服务和清洗转换加载服务两部分。经过信息服务总线信息整合服务（数据联邦、复制），能够透明、实时访问分布在总队和支队各个业务系统中多种同构、异构数据（前提是拥有足够权限）。信息整合服务在整个XXX层面确保了数据完整性和立即性。信息服务关键使用两种技术来完成这一功效：联邦和复制。经过联邦功效能够把关系数据、半结构化数据（如 Excel文件、XML 文件、Web 搜索引擎、MQ 查询和内容源）组成一个逻辑数据库，对这些数据源中表能够像操作当地数据库表一样进行操作，而无须关心我们操作这些数据底层是什么数据源，物理在什么位置。而针对大数据量数据访问或高并发访问，通常将源数据增量实时复制到当地，复制实现是基于对源数据库日志进行捕捉，获取增量数据，并基于消息机制将其复制到目标数据库，复制过程中能够实现数据合并、拆分、转换等操作。信息服务总线关键完成数据分析、清洗（标准化）、转换、加载等工作。数据清洗，关键是去除冗余数据，将零碎字段合并成全局统计，并处理重合和矛盾数据，然后经过添加关系和层次结构完善丰富信息。首先面临挑战就是怎样更有效识别现有业务系统，包含业务系统使用分类方法、层次结构、数据分布、数据字典等。假如数据字典不完整或缺失，就要经过方法找出其数据存放结构和各个表之间主外键关联、各表之间转换关系等，一样，数据分布情况一样能够使用分析功效来完成。在对现有数据足够了解基础上（完成了数据分析），接下来就要制订数据清洗规则和转换规则，其中，清洗规则又分为两种情况，一个清洗规则是明确，另一个清洗规则是模糊，比如不一样系统中存放地址信息，“南京市定淮门大街9号”和“江苏省南京市下关区定淮门大街9号”实际上是一个地址，但计算机会当成两个地址来处理。概率匹配功效和动态权重策略能够匹配创建高质量、正确数据，并在整个数据域中一致地识别关键业务信息，如人名、位置、和时间。数据清洗、转换、加载服务对保障数据正确性和一致性很关键。在不一样系统中，对同一业务会使用不一样分类方法，一样，数据类别和层次结构也会不一样。需要经过数据清洗、转换、加载层实现对这些信息格式转换，匹配成通用信息格式和分类方法，方便提供整个XXX业务层面聚合业务视图。实际证实一体化平台（一期）全域数据梳理中，手工统计能够完成这项工作但不够好，不够直观和没有扩展延续能力。数据清洗、转换、加载工作对未来数据使用很关键，即使有工具帮助，工作量仍然很大。即使，开始时候，这项工作看起来费时费力，但从长远来看，它使得基于这些数据业务步骤和统一数据视图实现自动化，并降低了人为干预不正确或不一致数据努力，从而节省了大量成本。XXX层面单一视图一经建立，其维护必将是一个连续进行过程。数据管理通常需要一个管理组织来对冲突或缺失数据进行决议，组织会通常需要各个业务部门人参与，而不仅仅局限于通技处或信息中心人。XXX单一数据视图维护，很多业务部门全部做不够好，时间一久，很多业务部门就变得厌倦，数据清洗转换工作没有坚持下去。一旦数据正确性出现问题，业务系统全局共享就无法再从中获益。交换服务体系中服务总线关键基于步骤服务、传输服务、交换服务等实现。经过使用总线，能够支持多种协议和数据格式数据交互。经过搭建一个基于标准、开发、易于集成、总线方法服务总线，经过以后对现有系统逐步升级改造，系统之间以一个成为“服务”接口方法统一经过总线方法进行交互，经过对服务管理，系统之间交互信息格式差异、传输协议差异、采取技术差异、物理位置不相同等这些问题全部由这个总线来进行屏蔽。深入经过步骤管理，将模块和系统之间服务根据业务步骤需要进行编排，做到了“随需而变”。数据存放区包含ODS、数据仓库/数据集市、共享数据库、特征库、模型库等，关键提供多种数据存放服务。其中，逻辑视图中ODS部分存放了整个XXX单位全局级明细数据，而数据仓库数据集市中存放了不一样等级汇总数据。特征库关键存放多种数据分群特征、业务分类特征等业务信息，模型库存放构建多种业务模型信息等。基础服务层关键包含“应用服务器”，“服务总线”，“工作流引擎”，“消息中间件”，“OLAP引擎”，“数据挖掘引擎”，“事件驱动”，“规则引擎”，“协同工作”和“空间地理数据引擎”。应用层包含多种应用，其中多维分析、即席查询、报表统计、图形展现等。右边信息治理层关键是为了确保数据完整性、一致性、正确性、立即性，确保历史数据正确归档并在需要时候能够和现有数据一起被联合访问，提供数据库安全、审计、监控和合规服务，从而预防内部人员偷窃，防范欺诈作假，保护数据隐私，强制实施安全规范，强制满足合规要求，预防外部攻击对数据破坏。而元数据管理会贯穿数据业务层面、业务系统、信息整合服务总线、ETL层、数据存放区、信息服务层、展现层等各个层面，当数据口径出现问题时，能够提供数据在各个层面正向/逆向追踪功效。元数据管理包含业务元数据和技术元数据两种。3. 数据仓库架构数据仓库总体架构1) 多维分析从数据全方位了解现实状况，管理人员往往期望从不一样角度来审阅业务数值，比如从时间、地域、类别、功效来看同一类数据总和。每一个分析角度能够叫做一个维，所以，把多角度分析方法称为多维分析。以前，每一个分析角度需要制作一张报表。由此产生了在线多维分析功效，依据用户常见多个分析角度，事先计算好部分辅助结构，方便在查询时能立即抽取到所要统计，并快速地从一维转变到另一维，将不一样角度信息以数字、直方图、饼图、曲线等等方法展现在您面前。2) 即席查询能够将数据进行查询分组，进行资源管理，能够设置查询优先级，能够自动控制，调度复杂查询和进行跟踪分析查询。能够根据以下关键方法进行使用，主动和动态地控制 数据库查询步骤，为不一样大小查询定义不一样查询类别，从而改善查询之间系统资源共享，避免较小查询被较大查询阻塞等。3) 数据挖掘数据挖掘正如在矿井中能够开采出珍贵矿石，在数据仓库数据里也常常能够开采出业务人员意想不到信息。它比多维分析更深入。比如，假如管理人员要求比较各个区域某类出入境特征数量在过去十二个月情况，能够从多维分析中找答案。不过，假如管理人员要问为何一个地域出入境特征情况忽然变得尤其好或是不好，或问该出入境特征在另一地域将会怎么样，这时数据挖掘知识能够作出解答。4) 数据仓库层数据仓库用于抽取、整合、分布、存放有用信息，数据信息往往分布在不一样部门和下级单位，管理者要综观全局、运筹帷幄，必需能快速地找到能反应真实情况数据，这些数据可能是目前现实数据，也可能是过去历史数据。所以，有必需把各个区域数据集合起来，去其糟粕、取其精华，将真实、对决议有用数据保留下来，随时准备管理人员使用。所以，数据仓库不仅仅是个数据储存仓库，更关键是它提供了丰富工具来清洗、转换和从各地提取数据，使得放在仓库里数据有条有理，易于使用。