资源描述
河北省工商银行
数据仓库系统建设方案
建
议
书
北京世纪明日网络科技有限公司
二零零零年三月
河北省工商银行数据仓库系统建设方案
目 录
第一章 前言
1.1 数据仓库发展史
1.2 竞争日趋激烈金融市场
1.3 中华人民共和国专业银行面临挑战
1.4 中华人民共和国专业银行实行数据仓库意义
1.5 中华人民共和国专业银行实行数据仓库已具备条件
第二章 数据仓库总体概述
2.1 数据仓库基本
2.2 数据仓库技术概述
2.3 一种可扩展数据仓库基本框架
2.4 一种数据仓库实行流程
第三章 系统体系构造设计
3.1系统设计指引思想
3.2 方案总体框架图
3.3 系统体系构造设计
3.4 系统方案构成
第四章 银行数据仓库建设
4.1 面向应用OLTP系统和面向主题OLAP系统
4.2 个性化服务定义
4.3 业务摸索/业务发掘
4.4 建立市场客户信息基本
4.5 运用数据仓库实现基本模块
4.6 更高层次开发应用
4.7 综合信息发布
第五章 方案实行建议
5.1 开发模式
5.2 组织机构
5.3 项目实行进程
5.4 项目进度筹划
第六章 产品报价
6.1 软件产品报价
6.2 硬件产品报价
6.3 项目开发实行费用
第一章 前言
1.1 数据仓库发展史
相对于许多行业而言,信息解决技术还是一门新兴技术,但是其发展速度却几乎是最快。随着计算机硬件技术飞速发展,软件技术也是日新月异。
许多公司和机构已经建立了相对完善OLTP(联机事物解决)系统。随着时间推移,这些系统中积累了大量历史数据,其中蕴含了许多重要信息。通过对这些历史数据分析和综合解决,可以找到那些对公司发展至关重要业务信息,从而协助关于主管和业务部门作出更加合理决策。70年代中期浮现MIS(管理信息系统)事实上就是在这种背景下产生。
但MIS具备极大局限性。一方面,它是按预先定义好流程对数据作相应解决,因而只能对预先描述好业务问题进行回答。另一方面由于开发工具限制,对它修改也不大以便,特别是业务流程发生变化,模型需要调节,这种修改更加困难。最后数据不断积累和数据量迅速增长,普通商用数据库(即OLTP数据库)难以解决,系统扩展存在很大限制。
在这种状况下MIS逐渐发展到了数据仓库。世界上最早数据仓库是NCR公司为全美、也是全世界最大连锁超市集团Wal*Mart在1981年建立,通过二十年发展,该系统已经非常完善,数据量扩展到27TB,成为迄今为止世界上最大数据仓库。
1.2 竞争日趋激烈金融市场
依照Tower Group公司1998年10月研究,1999年全球金融机构将投资54亿美金实行数据仓库系统,其中欧美地区占八成市场份额,另一方面为亚太地区,在美国实行数据仓库单位以大型银行为主,基本上启动资金为五百万美金以上;1998年在全球前500家银行中已有近九十家数据仓库数据量超过500GB,预测在1999年将有150家,有260家;数据仓库是金融机构实现客户关系管理(Customer Relationship Management)核心技术,也是金融业竞争优势来源,重要应用业务部门为信用卡部、信贷部、市场部和零售业务部等,应用领域是以客户为中心分销渠道管理、客户利润分析、客户关系优化和风险控管。
导致欧美地区金融机构采用数据仓库技术,提供以客户为中心个性化服务(One to One Marketing)背景因素如下:
1) 金融服务市场开放竞争。如AT&T电话公司电话卡可以透支打电话、福特汽车公司购车信用分期付款、零售业透支分会员卡和宾客卡、信用卡公司发行信用卡、ESD建立ATM网、GE公司贷款服务,保险公司储蓄型保险单和保单贷款等,容许银行业并购,影响银行业务收入和利润。
2) 上述开放市场,业者会推出多样化产品和服务,让顾客有更多比较和选取机会。导致顾客购买因素,除了价格以外,还应考虑以便性、可用性等,形成个性化服务需求。银行需要更进一步理解客户,才干满足客户需求,进而留住客户,增长利润。
3) 信息技术(如海量并行解决技术)突飞猛进,使得迅速地分析客户详细历史交易数据成为也许,从而可以更好地理解、模仿和预测客户消费行为、偏好等。此外移动通信技术进步,让客户访问信息服务方式不受时空限制。这些技术让银行业务顾客可以及时响应各种突发复杂经营问题。
4) 银行既有管理制度和业务流程,都是以产品(Product)为中心来进行客户服务,不同帐号信息分散在不同计算机系统内,缺少对客户统一全面理解。既有生产系统是银行营运和客户基本设施,无法提供多顾客对大量历史数据同步进行突发复杂决策分析,因此建立此外一套以客户为中心数据仓库决策支持系统是实现个性化服务必要手段。
1.3 中华人民共和国专业银行面临挑战
1984年人民银行成为中央银行角色,成立了四家国有专业银行:工商银行、农业银行、中华人民共和国银行和建设银行。日后又成立交通银行、中信实业银行、光大银行等十一家股份制商业银行。1996年改组都市信用合用社建立股份制都市商业银行。国有专业银行长期在筹划体制下运转,其经营行为和经营意识带有很强行政色彩,正向商业银行化进行过渡。随着经济增长和国民生活水平提高,社会保障制度改革,政府扩大内需政策等,国有专业银行和股份制商业银行零售业务,如住房贷款、退休养老金、消费贷款和信用卡业务等,将成为银行业务和利润增长点。如何争取零售业务市场机会,发掘信用好风险低客户已成为银行关注焦点。在将来零售业务迅猛发展,改进银行获利能力,将加速国有专业银行转型成为商业银行进程。
在现阶段,重要是国有专业银行和股份制商业银行、邮政银行之间竞争,其她服务业和外资银行尚未构成全面性威胁。虽然,国有专业银行具备覆盖全国营业网点优势,但受历史包袱影响,期待扩大零售业务,以提高获利能力;股份制商业银行规模相对小,只能提供地区性服务,零售业务是重要收入来源,从国有专业银行和邮政银行中争取更多新客户,将是重要经营方略;邮政银行优势在营业网点、客户基本和更多增值服务,竞争方略是留住有利润客户和争取新客户,因此邮政银行也将是现阶段国有专业银行和股份制商业银行重要竞争对手。
1999年11月15日,中华人民共和国与美国订立加入世界贸易组织双边合同,中华人民共和国将自加入世界贸易组织起,逐渐开放金融市场,入世两年后开放外资银行经营对公业务,五年后开放对私业务和设立营业网点。在可预见将来,国内金融机构将同世界级外资银行发生面对面激烈竞争。届时,客户有更多选取,竞争会更加激烈。世界级外资银行为加速获得和扩大在中华人民共和国市场份额,将引进其在国外实行近年以客户为中心数据仓库决策支持系统,推出更多样化金融产品和服务来争取高利润客户。因而,理解客户需求和客户对银行利润贡献度、提供有竞争性产品或服务、经由客户喜好渠道、在恰当时机对客户进行销售或服务,这种个性化服务方略将是国内商业银行在当前竞争优势来源,同步也是将来与外资银行竞争必备武器。如何建立个性化服务数据仓库系统,已经成为国内银行现阶段最重要课题。
1.4 中华人民共和国专业银行实行数据仓库意义
从当前和将来专业银行所面临市场环境来看,实行以客户为中心数据仓库决策支持系统,将对国内银行业当前和将来发展产生深远影响,且具备重大战略意义。
一方面是增强国内银行竞争力,在激烈竞争中维持获利。无论当前或是将来,银行将面临着一种激烈竞争态势,必要对市场多变需求作出及时响应,才干持续生存和发展。依照国外商业银行经验,在金融市场开放环境中,银行竞争优势来源是对每一位客户提供个性化服务。然而银行有数以千百万计客户,如何将客户细分到以客户为中心客户单一市场呢?也就是如何设计大量个性化产品或服务。银行只有通过以客户为中心(Customer Centric)决策支持系统,才干使用科学办法实现个性化服务。数据仓库系统存储每一位客户同银行往来详细历史交易明细数据,对客户有统一视图,能协助银行业务顾客以科学手段迅速地分析、模仿和预测客户个性化需求,进而设计符合客户需求产品或服务。通过客户喜好渠道完毕交易,是增强专业银行竞争能力最有效手段。
另一方面是提高专业银行整体运作与管理水平。数据仓库决策支持系统是专业银行管理模式发展成果。随着各个历史时期经济金融环境变化,专业银行经营管理模式在演变,最初强调资产管理,是由于来源比较狭窄,重要是活期存款,而工商公司资金需求也较简朴,采用会计记帐设备提高生产力;到了六十年代,产生负债管理理论,强调要通过负债管理保持银行流动性,积极从市场、银行业来调剂资金余缺,开始引进会计系记录算机化;七十年代末期,浮现了资产负债综合管理理论,重点在资产负债风险管理、信贷风险管理、投资风险管理和外汇交易风险管理,MIS和分行自动化成为核心系统;九十年代,金融市场开放,低利率和信用扩张刺激消费,零售业务成为银行重要业务和收入,客户对金融产品和服务规定越来越高,银行业务部门和管理层首要关怀问题在于如何减少风险和增长利润,以客户为中心数据仓库决策支持系统可以迅速地理解每一项交易、每一种帐号、每一种分销渠道、每一位客户风险和利润,让银行作出对的业务决策,及时响应每一位客户当前和将来需要,提高整体运作和管理水平。
最后是增强专业银行应变能力。订立金融市场开放时间表,让国内银行有充分时间准备来提高自己竞争实力,以应付外资银行在将来竞争。人民银行会逐渐放松管制政策和增长国内银行可以经营业务范畴,让国内银行熟悉市场经济运作规则。当外资银行可以在国内经营零售业务时,如果国内银行已经完全掌握客户行为和需求,理解各种金融产品操作和管理,那么对国内银行冲击就比较小。问题在于,国内银行如何在这样短时间内完毕这样多事情。如果没有足够公司和客户信息,国内银行如何理解人民银行推出新政策对银行影响呢?又如何向人民银行建议新业务和服务呢?或是对付外资银行竞争呢?公司级数据仓库系统,存储银行各种主题,如客户、帐号、部门、金融产品、商业活动、位置、渠道和交易事件等,可以迅速地分析、模仿和预测新业务和新政策对银行整体影响,让银行领导及时制定方略和战术,应变突发复杂经营问题。
1.5 中华人民共和国专业银行实行数据仓库已具备条件
近年来,中华人民共和国专业银行在管理上已逐渐形成了一套迅速适应市场变化、满足顾客需求内部运营机制。概括来讲,中华人民共和国专业银行实行个性化服务数据仓库系统具备了如下条件:
1) 公司有一支较高素质管理人才和技术队伍,具备参加信息建设丰富经验,为基本上实行提供了人才保证。
2) 完善信息技术基本设施,如ATM网络、电话银行、传真服务、呼喊中心、网上服务、POS系统、公司内部网、人行电子清算系统等,保证交易信息源能及时获得,数据仓库建成后使用以便。
3) 公司已建设或正在建设全行范畴业务系统,涉及储蓄、定期、贷款、汇款、外汇、信用卡、支票、信用证、国际业务等,已积累了完整并且详细客户交易记录,为数据仓库启动提供了基本数据来源。
4) 多数公司有实行先进管理制度和思想经验,如成立市场部统筹银行形象和市场定位宣传与规划、经营效益与员工收入挂钩、服务时效承诺、客户满意调查等,容易接纳新知识,对数据仓库实行和推广应用起到积极作用。
第二章 数据仓库总体概述
2.1 数据仓库基本
数据仓库概念
最早将数据仓库提高到理论高度加以阐述是知名学者、被尊称为数据仓库之父Bill Inmon。她对数据仓库所下定义是:数据仓库是面向主题、集成、稳定、随时间变化数据集合,用以支持管理决策过程。由此可见,数据仓库是一种综合解决方案,是对原始操作数据进行各种解决并转换成有用信息解决过程,它重要用来协助关于主管部门作出更符合业务发展规率决策。
数据仓库查询特点
针对生产系统查询都非常简朴,普通不会使用表连接操作,每次返回数据量很小,此类问题特点是懂得自己要找什么。数据库大小对系统性能影响不大。
数据仓库系统查询大都非常复杂,重要有两种:一种以报表为主,从数据库中产生各种形式业务报表。这种查询是预先规定好(Pro-defined Query)。另一种查询是随机、动态查询(Ad-Hoc query),对查询成果也是不能预料。
数据仓库中查询由于其复杂性,会经常使用多表联接、合计、分类、排序等操作,这些大都要对整个表进行搜索(Full Table Scan)。每次查询返回数据量普通很大,对于动态查询而言,经常需要依照上次查询成果进行进一步搜索,这个过程称为数据挖掘(Data Mining)。
依照这些特点,数据库大小对数据仓库性能影响很大。当数据仓库投入使用后,各业务部门规定会越来越多,使得数据仓库中数据量增长不久。因而设计数据仓库时,系统可扩展能力是必要考虑重要因素之一。
系统并行解决能力是另一种要考虑重要因素。由于查询复杂性,每个查询将占用诸多系统资源,如果系统资源不够、并行解决能力不强,当各种顾客同步发出事物祈求时,响应时间很长令人无法容忍。
数据仓库应单独建立。由于如果在生产系统上再实行数据仓库,由于数据仓库查询经常占用诸多系统资源,将严重影响生产系统运营
2.2 数据仓库技术概述
作为决策支持系统(DSS)一种有效、可行体系化解决方案,数据仓库涉及了三个方面内容:数据仓库技术(DATA WAREHOUSE,DW)、联机分析技术(ON-LINE ANALYTICAL PROCESSING,OLAP)、数据挖掘技术(DATA MINING,DM)
1) 数据仓库技术(DW)需要如下数据库技术支持:
高性能数据库服务器
数据仓库应用不同于老式数据库OLTP应用。老式数据库应用是操作型,而数据仓库应用是分析型,它需要高性能DBMS核心支持,以便较快地获得分析成果,这普通需数秒至数分钟时间。虽然比OLPT响应时间长某些,但由于分析型应用涉及数据量大,查询规定复杂,因而对DBMS核心性能规定更高,同步,DBMS必要具备良好查询优化机制
并行数据库技术
数据仓库中数据量大,并且随着时间增长,新数据还会不断进入,基本成指数增长。数据仓库中数据库普通是GB甚至TB级,可谓是超大规模数据库(VLDB)。而并行数据库技术是存储管理VLDB,并提供对VLDB复杂查询解决有效技术。
数据库互操作技术
数据仓库中数据大多来自公司或行业中业已运营OLTP数据库或外部数据源。这些数据库经常是异构,甚至是文献系统中数据。数据仓库必要从这些异构数据源中定期抽取、转换和集成需要数据,并把它们存入数据仓库中。因而,异构数据源之间互访和互操作技术是必须。
2) 联机分析(OLAP)技术
OLAP是一种实现多维分析工具。简朴地可以理解为它是位于数据仓库基本之上一种多维立方体,它面向分析决策所关怀综合性数据,以便从更高层次、各种维度来理解数据。它从逻辑上或物理上以多维方式从数据仓库里提取数据并组织数据,便于前端顾客进行多维数据分析。
依照实现技术和存储数据位置不同,又可分为多维数据库OLAP(MDB-OLAP)、基于关系数据库OLAP(ROLAP)和桌边形OLAP(DESKTOP OLAP)。OLAP目是为了提高多维分析速度。
3) 数据挖掘(DM)技术
数据挖掘是从数据仓库中发现并提取隐藏在其中信息一种新技术。目是协助决策者寻找数据间潜在关联,发现被忽视要素,这些信息对预测趋势和决策行为也许是十分有用。
数据挖掘技术涉及数据库、人工智能、机器学习和记录分析等各种技术。数据挖掘技术使决策支持系统跨入了一种新阶段。老式决策支持系统普通是在某个假设前提下通过数据查询和分析来验证或否定这个假设,而数据挖掘技术则可以自动分析数据,进行归纳性推理,从中发掘出潜在模式,或产生联想,建立新业务模型,协助决策者调节市场方略,并找到对的决策。
总结
数据仓库技术是以数据仓库为基本、以OLAP和数据挖掘工具备手段一整套可操作、可实行方案。
建立一种数据仓库是一种比较复杂过程,它需要精心规划、渊博知识、丰富行业管理经验、极强业务沟通能力和全面IT要素。建立数据仓库要选取适当数据仓库引擎、硬件平台、软件工具、应用程序和行业专业服务
2.3 一种可扩展数据仓库基本框架
操作数据
/源数据
提取 过滤 净化 家庭关系辨认 加载
公司中央
数据仓库
复制与传播
从属数
据集市
数据转换
数据挖掘 分类 记录 人工智能 决策树
信息存
储工具
业务
顾客
IT
顾客
数
据
装
载
数
据
管
理
信
息
访
问
整个框架构成某些
1) 数据装载:把所谓操作数据和源数据运用一定办法如提取、过滤、清理、家庭关系辨认等,从生产关系中转换到中央数据仓库中。这种转换分为逻辑与物理两某些,即先依照业务问题建立数据库逻辑模型,然后在此基本上构造物理模型,将操作数据加载到物理表中。逻辑建模应基于要解决业务问题进行,而不是基于当前系统能提供什么数据进行。换而言之,数据仓库出发点是解决业务问题,而不是单纯一种信息转换与访问工具。
2) 数据管理:这一某些是整个数据仓库心脏,依照数据仓库特点,它必要采用一种具备并行解决性能关系数据库管理系统。当数据仓库非常庞大时,为提高性能,可建立某些面向部门应用数据集市,这些数据集市中数据是从中央库中通过复制与传送等手段拷贝过来。
3) 信息访问:这一某些是前端工具,重要提供应关于业务部门访问数据仓库中信息使用,在这一某些普通都采用图形界面、交互功能强查询工具。
2.4 一种数据仓库实行流程
业务
摸索
数据仓
库征询
信息
采集
与
挖掘
逻辑
建摸
数据仓库构造设计
数据仓库解决方案就绪
知识探
索建模
物理模型设计
数据仓库管理
(过程与操作)
数据
转换
C/S应
用开发
数据挖掘与分析
数据仓库解决方案集成
系统支持
逻辑建
模回顾
物理建
模回顾
数据仓
库调节
数据仓库容量规划
数据仓库
审计
数据仓库规划
数据仓库设计与实行
数据仓库支持与完善
第三章 系统体系构造设计
3.1系统设计指引思想
1) 制定合理系统目的
在数据仓库建设规划阶段,不能求胜心切,应当制定切合实际系统目的,将扩大决策支持系统数据源、改进顾客获得信息手段、为顾客提供更加精确、可靠和全面信息作为系统建设主线出发点。
2) 循序渐进
在银行中使用数据仓库技术应本着循序渐进原则进行。一方面,在涉及某一类银行业务单项应用领域开展,逐渐发展到在涉及不同银行产品几种单项应用领域开展,最后,再建立全行数据仓库,将数据挖掘范畴扩展到多项银行活动。而不要一开始就但愿把银行所有数据都装载到数据仓库中,建立一种大规模全银行范畴内数据仓库,这样会使银行隐入逻辑、行政和财政困境而不能自拔。数据仓库不是越大越有效,初始时从建立较小数据集市入手,一方面可以减少开发成本,缩短实现周期,另一方面尚有助于为将来数据仓库全面启动培训IT人员。
3) 将有关信息集成到数据仓库中
80年代,美国曾做过一次对公司高层管理人员问卷调查,以研究高层管理人员获得经营管理信息途径。成果出人意料,管理人员级别越高,她就越少通过内部数据来获得经营管理信息:大型公司最高决策者95%经营管理信息来自公司外部。数据仓库系统不是简朴公司内部数据集成,而是为决策支持提供集成数据源,因而,必要在关注公司内部数据同步,将外部信息集成到数据仓库中;此外,与数据信息相比,图形、图像信息更为直观、易于理解,也应当集成到数据仓库中。
4) 当前目的与长远目的相结合
数据仓库建设不是一劳永逸事情,应当树立长远发展眼光。虽然在建立第一种面向特定部门或特定应用数据集市时,也一定要保证当前使用数据模型可以向将来所使用全银行范畴数据存储扩展,以便于将来其她数据集市和战略性数据仓库实现。必要在部门之间进行一致性数据定义,并通过这些定义上一致性合同使后来部门间数据联合成为有效、可行。记录成果显示,数据仓库数据量会以每年大概40%速率增长,由于在设计阶段很难精确地预料到系统初始和将来负载状况,因此,应当在设计开始时考虑系统可伸缩性,以便可以容纳更多客户、进程和存储,应尽量精确地选取与顾客需求相适应系统并恰本地留出余地,以免因系统过大而超过其合用范畴,白白挥霍投资。
5) 不追求尽善尽美
进行数据仓库建设时,在定义了系统目的、明确了核心成功因素、合理控制了数据仓库规模基本上,就应当尽快行动起来,尽快获取数据仓库投资带来回报。当客户需要更多信息和更详细细节时,就应及时着手进行数据仓库发展和扩建工作,不应拘泥于“完美”不放,应在不断修改同步不断发展。
6) 以不影响正常业务为前提
由于数据仓库查询是一种不规则查询运作,在考虑数据仓库方案时,应以不防碍正常银行业务解决为原则,可考虑把数据仓库系统平台与生产系统系统平台分隔开来,放在并行主从服务器上分别运营。
3.2 方案总体框架图
方式:浏览器 对象:信息发布、网上报表、各级领导网上查询
Web服务器
多维分析
数据挖掘
Red Brick
数据仓库
提取 过滤 条件 压缩 清理 家庭关系辨认
数据加载
……
信用卡
对公系统
储蓄系统
3.3 系统体系构造设计
为了实现各种功能,咱们建议分别采用了组件技术,WEB技术,OLAP技术,并在整个应用系统体系构造上采用了三层体系构造来进行设计。
三层体系构造
针对河北省工商银行数据仓库系统,咱们建议采用三层体系构造(BWD),即数据库,WEB服务器,浏览器体现层。
早在1980年第一种数据库管理系统浮现时,数据库世纪就已悄然开始。那时观念是由应用程序控制关系型数据库,这种数据解决模式普通称为单层构造(1-Tier)。由于这种构造数据库程序占用计算机资源较多,于是在80年代中期,数据库应用开始转向C/S构造,也就是所谓两层构造(2-Tier)。这种构造在近十年内不但得到了广泛运用,并且相称成功。然而,在两层构导致功背后却逐渐暴露出其构架上缺陷。其中最明显问题体当前应用程序伸缩性和维护方面。例如,如何把数据库管理系统及其应用程序分散到十分缓慢网络上,如何控制数据统一性和完整性;一旦应用程序有任何改动,维护人员就必要修改每一种客户端上应用。
新一代数据库管理系统在老式C/S构造中,增长了应用程序服务器――这种新构造就是所谓n—Tier或Multi-Tier。应用程序服务器涉及了统一界面、业务规则制定和数据解决逻辑规定等等。多层应用服务技术容许分割应用程序,本地计算机上不必安装一套数据库工具,就可以在另一台机器上存取数据。同步它容许对业务规则和进程进行集中管理,并在整个网络上分发、实现进程负载动态调节。
在三层体系构造第三层,即体现层,可以分为三大类,应用程序客户端,浏览器,第三方厂商提供前端体现工具。
1) 组件技术
在整个体系构造设计中,咱们注重了组件应用,采用积木法来进行设计。先构筑系统总体框架,然后构造各个构件,并依次把构件安装到系统中去。
大某些应用系统,在功能上有类似之处,因而运用软件重用技术就可以把开发过程大大简化。在拟定系统总体框架、构筑总体框架、构造构件以及修改构件等阶段,都同一种叫做“软构件集合”实体打交道,这个软构件集合也被称为“软件构件库”。在开发之初就应当着手准备这个软构件集合,例如可以收集某些已经开发系统总体设计、规范、局部流程以及某些人机界面、通用功能模块、简朴开发工具。每开发出一种组件,都要把该组件及其功能、调用接口等信息放入软构件集合。咱们采用ActiveX来完毕组件设计。
在应用程序客户端,浏览器上ActiveX用dcom合同或CORBA合同与应用服务器进行通信,由Dcom Server或CORBA Server负责向数据库提交请示,并获得相应数据。
2) WEB技术
WWW是Internet上发展最快、应用最广泛也最实用超文本信息通信系统。服务器端通过Web Server可以提供各种服务;客户端可以通过浏览器(Browser)访问各种合同多媒体信息,根据顾客需要组织和传递信息。人们可以通过WWW浏览器浏览和检索WWW站点信息,这就使得信息共享与交流越来越迅速、越来越以便,正由于如此,才成为了当前Internet/Intranet上信息发布与出版重要途径。
WWW最大特色在于为顾客提供良好信息查询界面。WWW把各种形式信息,如文本、图像、声音、视频等无缝隙地集成在一起,顾客只需要提出自己查询规定,详细到什么地方、如何取回信息都由WWW自动完毕。通过浏览器,顾客只需用鼠标点击显示屏上高亮度或有下划线词语,就可将与该词语有关联文献取回并显示在屏幕上,顾客无需关怀这些文献存储在Internet/Intranet上哪台计算机中。
3) OLAP技术
OLAP是On-line Analytical Process(在线分析)首字母缩写。OLAP是使顾客可以从各种角度对从原始数据中转化出来、可以真正为顾客所理解、并真正反映公司维特性信息进行迅速、一致、交互地存取,从而获得对数据更进一步理解一类软件技术。OLAP目的是满足决策支持或多维环境特定查询或报表需求,它技术核心是“维”概念,因而OLAP也被称为多维数据分析。
3.4 系统方案构成
该方案涉及:可扩展高性能系统硬件平台;适合复杂数据分析解决数据仓库引擎;数据抽取和转换工具;数据挖掘和分析工具;前端商业智能工具
IBM/RS6000
地市网点
Intranet
Web Server
NT Server:
IIS
Brio.OnDemand
FrontPage
数据分析/挖掘
数据仓库
操作系统:AIX4.3.3
数据库:Red Brick
软件:Datastage
省行中心机 房
RAID
Informix MetaCube 4.2
Brio.Query Designer
操作系统:Windows NT/95/98 浏览器:IE 、IIS
软件:Brio.Insight
系统软硬件配备图
3.4.1 数据仓库操作系统平台和数据库平台
1) 咱们选取IBM/AIX4.3.3作为数据仓库操作系统平台。
IBM作为世界范畴高质量服务UNIX系统提供商,它推出AIX操作系统重要特性:同步支持32-位和64-位应用多线索内核;Pageable Kernel(动态可互换内核);JFS(日记文献系统);LVM(逻辑卷管理);OS Level Mirroring(操作系统镜像);SMIT(易用型管理工具,支持图形和Web);Workload Manager(工作负荷管理)。
2) 咱们选取Red Brick Warehouse作为数据仓库数据库平台
Red Brick Warehouse是一种专门服务器技术,针对分析性数据集市解决方案、复杂查询、迅速加载性能、高容量/高性能以及超大数据库有效管理等方面进行了设计和优化。
核心特色:
Table Management Utility(TMU)完毕所有必要任务,以保证数据就绪,同步还支持数据转化和清洗、插入数据行、检查参照完整性、更新所有有关索引和创立汇集等功能,可以在单个加载过程中完毕所有操作。
Parallel Table Management Utility(PTMU)能用SMP并行机制来大大加速数据加载,并行机制来大大加速数据加载,并行地实现全面参照完整性检查和创立索引。数据库设计者加以选用STAR、TARGET、以及B-Tree索引来优化她们特定解决环境。
Auto Aggregate Load与TMU或PTMU共同使用,集成汇集表并在常规更新过程中生成。这种过程可以大大减少维护管理汇集记录成本。
STARindex将各种表连接起来,以实现最佳查询响应能力和高性能增量更新。STARindex采用了Informix Red Brick Warehouse独特高档算法,可以使每个索引占据更小磁盘空间。
STARjoin一种独特多表连接算法技巧,针对star模式优化,可觉得数据仓库查询多维分析提供更快反映速度。
TARGETindex可不断调节TARGETindex是一种位图索引技术,专门为以极迅速度从大型表中选取记录而设计。
TARGETjoin容许顾客在查询中对各种表并行地采用多套限制,提供更加聚焦、更具目的数据视图。
RISQL Extensions 使商务顾客可以以便地运用SQL表达常用业务问题,并进行涉及排序和排列各种形式比较。
Vista 一种汇集管理系统,集成于服务器内,提供了全面汇集创立、管理和查询优化功能。它可以使频繁访问数据更有强大功能。
Parallel on Demand防止过多并行解决,使顾客不必耗费宝贵时间去优化单个查询。
Dynamic Incremental Optimization动态增量优化 在查询执行过程中,运用从即时成果获得信息,重新评估和调节查询和执行筹划。
SuperScan使各种顾客运用同一种I/O流,大大减少大量顾客和查询时I/O操作。
Table Segmentation表分区 可以对一种表或索引进行物理上划分,使其分布在不同设备或文献系统上,同步保持单个表时在管理和可用性方面所有优势。
Time-Cyclic Data Management 通过将旧数据分区清除掉,用于存储新数据分区,协助顾客有效地解决时间敏感数据。
Informix Red Brick安全性功能 通过提供层次化,基于角色安全性和丰富日记来支持管理、优化和计费功能,以便了大规模数据库管理。
Query-Priority Concurrcy这种独特多任务机制专门针对决策支持环境设计,从而使查询执行在数据更新和加载操作中不受影响。
SQL Backtrack 提供全面和灵活解决方案,以迅速、简捷、安全地备份和恢复数据库。
Informix Red Brick Warehouse Administrator 一种图形化,基于Windows工具,可以简化管理并提高效率。它为学习如何管理Informix Red Brick Warehouse提供以便学习办法,并可引导有经验管理员完毕不常用任务。同步,它还支持“what if”实验和增量模式发展
3.4.2 数据抽取、转换、和装载软件----DtaStage
要想实行有效决策应用,应一方面必要拥有可以从不同数据源中抽取数据、净化数据、并把数据装入数据仓库环境中功能强大、技术成熟工具。
Informix Datastage是一套专门对各种操作数据源数据抽取、转换和维护过程进行简化和自动化,并将其输入目的数据库集成工具。
3.4.3 在线分析和数据挖掘工具---MetaCube
MetaCube 可以:提供有关数据仓库中数据直观、易于导航多维视图;提供多数据库平台支持;提供一整套高档管理工具集,简化数据仓库管理;提供全面、基于WebROLAP解决方案。
MetaCube优势:在数据仓库实行中使用MetaCube 能为顾客带来许多好处:增长数据仓库投资收益和回报;提高公司知识水平和生产力;协助决策着做出更明智决策;更迅速、更高效地把握不可预测、面向主题信息;实现分布式决策。
3.4.4 Web服务器
Windows NT提供了某些支持Internet和Intranet出版和访问服务工具,例如IIS(Internet Information Server、即Internet信息服务器),IE等 。
Internet上核心网络服务之一是World Wide Web(WWW或Web),它为顾客提供图形,易于浏览界面,使顾客可以拟定Internet上信息位置,这些网面连在一起构成了一种信息网。
IIS为基于Windows NT计算机了提供了Internet上发布资源和服务能力,使用IIS可进行发布服务,例如超文本网页,客户机/服务器应用程序等。使用超文本传播合同(HTTP),文献传播合同(FTP)在Internet和Intranet上提供发布信息和服务。使用这些网络服务,可以发布网页,交互式应用程序,客户目录,在WWW上读取数据库。
3.4.5 前端分析工具:Brio产品
在三层构造中体现层,可以运用第三方厂商提供产品实现简便,灵活查询,报表生成功能,并运用这些工具,对数据库中信息进行分析和查询。
Brio是提供前端表达工具,它们桌面OLAP分析建模工具,OLAP分析工具,及对库查询,报表生成。
Brio公司版服务器:OnDemand服务器是一种网络应用服务器。网上进行查询、集中管理客户、安全性和“适应性报表”(Adaptive Reports)。容许使用Web顾客以便并安全访问存在公司业务数据库、数据集市和数据仓库中商业信息
BrioClient/Server客户端工具:BrioQuery Desigener是查询、分析及报表工具。具备数据库管理功能、安全性、审计和“存储仓库”(Repository)设立(供信息技术部门使用)
BrioWeb/Intranet客户端工具:Brio.Insight是基于Web浏览器查询、分析及报表工具。依照报表信息和顾客安全需要而具备不同层次功能。
3.4.6 编程工具
Deliphi自从Borland推出了Deliphi之后,深受程序设计人员青睐。Deliphi每一种新版本都给顾客提供了更新、更好功能,。例如Deliphi1.0版本给顾客提供了一种全新可视化编程环境,使顾客能迅速开发Windows3.1应用程序。Deliphi2.0中增长了数据模块(DataModule)等各种高效数据重用功能。当前每三代版本Deliphi3,4---多层构造32位迅速开发工具又给开发人员带来了全新多层构造概念,并推出了开发多层构造所需技术和工具集。MIDAS是开发服务器级应用程序,即体系构造中应用服务器和体现层抱负工具之一
3.4.7 网页设计工具
InterDev是为有一定编程能力程序人员设计网页设计软件。它提供端到端调试功能,现场设计和管理工具,数据库连接工具,编程资源库,并可以便引入用ActiveX组件等功能。
Frontpage是美化页面工具
Photoshop用来完毕图片设计
第四章 银行数据仓库建设
数据仓库系统与老式OLTP系统有很大区别,因而需要丰富实践经验才干保证系统成功实行。北京天恩科技有限公司作为专门从事银行业务信息化公司,通过近年来对银行业务进一步研究,以其雄厚技术实力为客户提供从系统平台、网络方案到银行应用系统全套解决方案。天恩科技公司通过近年
展开阅读全文