数据仓库与数据挖掘UNIT1决策支持系统的发展省公共课一等奖全国赛课获奖课件.pptx

UNIT oneUNIT one决议支持系统决议支持系统发展发展1第1页学完本讲后，你应该能够了解：1.决议支持系统演化过程受硬件发展、软件技术、数据积累和应用需求影响2.自然演化体系结构阶段存在三大问题：数据缺乏可信性、生产率低下以及难以将数据转换为信息；3.OLTP数据&应用与DDS数据&应用之间差异；4.数据仓库体系结构设计中要考虑主要问题：结构层次划分、冗余、粒度和集成问题；5.数据仓库用户和需求特征；6.数据仓库开发生命周期特点；7.建立物理数据仓库好处；8.监控数据仓库环境两个主要内容：数据与数据使用，以有效地管理运行中数据仓库环境。本 讲 主 要 目 标2第2页一决议支持系统演化过程一决议支持系统演化过程二自然演化体系结构问题二自然演化体系结构问题三数据仓库体系结构设计环境三数据仓库体系结构设计环境四数据仓库用户及需求特征四数据仓库用户及需求特征五数据仓库开发生命周期五数据仓库开发生命周期六六.建立物理数据仓库建立物理数据仓库七七.监控数据仓库环境监控数据仓库环境3第3页决议支持系统决议支持系统演化过程演化过程4第4页决决议议支支持持系系统统演演化化过过程程1.信息需求改变 从信息检索到知识发觉Business usersBusiness usersWhat caused the What caused the What caused the increase in sales increase in sales increase in sales this year?this year?this year?AnalystsAnalystsWhat are my What are my What are my projected sales projected sales projected sales next year?next year?next year?What is the sum of What is the sum of What is the sum of sales in Vancouver sales in Vancouver sales in Vancouver this year?this year?this year?Clerks and ClientsClerks and Clients5第5页决决议议支支持持系系统统演演化化过过程程2.淹没于数据，但饥饿于知识Knowledge discoveryVLDBToo much dataValuable knowledge6第6页决决议议支支持持系系统统演演化化过过程程直接存放设备产生第四代程序设计语言技术7第7页决决议议支支持持系系统统演演化化过过程程3.演化过程进行到抽取程序阶段为何抽取程序受欢迎：u性能：用抽取程序能将数据从高性能联机事务处理方式中转移出来，所以，在需要总体分析数据时就与OLTP处理性能不发生冲突u控制：当用抽取程序将数据从OLTP内移出时，数据控制方式发生了改变。最终用户一旦开始控制数据，就最终“拥有”了这些数据8第8页自然演化体系自然演化体系结构问题结构问题9第9页自自然然演演化化体体系系结结构构问问题题1.自然演化体系结构贯通于企业或组织抽取处理模式很常见，这种由失控抽取过程产生结构被称为“自然演化体系结构”-当一个组织以放任自流态度处理整个软、硬件体系结构时，就会发生这种情况。组织越庞大，越成熟，自然演化体系结构问题就变得越严重10第10页自自然然演演化化体体系系结结构构问问题题1.自然演化体系结构对于决议者即时信息需求，直接从OLTP系统中产生汇报 使DBA忙乱不堪也使OLTP负载太重！汇报汇报汇报汇报决议者决议者决议者决议者生成平台生成平台生成平台生成平台Ad hoc Ad hoc 存取需求存取需求存取需求存取需求11第11页自自然然演演化化体体系系结结构构问问题题1.自然演化体系结构从OLTP中将决议者惯用数据抽取出来，单独物理存放，处理了OLTP系统负载太重问题抽取数据抽取数据抽取数据抽取数据OLTPOLTP决议者决议者决议者决议者12第12页自自然然演演化化体体系系结结构构问问题题1.自然演化体系结构抽取数据太多和太多层次，产生了蜘蛛网问题，由此造成了一系列问题抽取数据抽取数据抽取数据抽取数据OLTPOLTP决议者决议者决议者决议者13第13页自自然然演演化化体体系系结结构构问问题题2.自然演化体系结构问题u忙碌IT人员u蜘蛛网问题u数据缺乏可信性u生产率问题u从数据到信息转换不可行性14第14页自自然然演演化化体体系系结结构构问问题题3.忙碌IT人员15第15页自自然然演演化化体体系系结结构构问问题题4.蜘蛛网问题16第16页自自然然演演化化体体系系结结构构问问题题5.数据缺乏可信性17第17页自自然然演演化化体体系系结结构构问问题题5.数据缺乏可信性数据缺乏可信性原因：u数据无时基u数据算法上差异u抽取多层次u外部数据问题u无起始公共数据源18第18页自自然然演演化化体体系系结结构构问问题题5.数据缺乏可信性19第19页自自然然演演化化体体系系结结构构问问题题6.生产率问题管理者期望用多年来积累数据集合和众多文件生成一张企业报表，设计者为产生该报表需要做三件事：u定位报表需要数据并分析数据要进行数据定位，必须分析很多文件和数据布局，而且，数据名存在同名异义，异名同意现象u为报表编辑数据u为完成以上工作，召集程序员/分析员取得数据而必须编制程序很简单，但：u要写程序很多u每个程序必须是定制u程序涵盖了企业所拥有全部技术20第20页自自然然演演化化体体系系结结构构问问题题6.生产率问题21第21页自自然然演演化化体体系系结结构构问问题题6.生产率问题因为事先不知道未来企业报表需求，前面报表几乎不可能为未来别企业报表需求做出什么贡献22第22页自自然然演演化化体体系系结结构构问问题题7.从数据到信息转换不可行性考虑银行环境中一个经典需求：今年帐号活动与过去五年中各个年份帐号活动有何不一样？要满足该需求碰到很多困难：u集成化问题u从现存系统中寻求必要数据，需要碰到很多应用程序u缺乏应用程序之间集成u在应用程序中没有足够历史数据23第23页自自然然演演化化体体系系结结构构问问题题7.从数据到信息转换不可行性集成化问题24第24页自自然然演演化化体体系系结结构构问问题题7.从数据到信息转换不可行性历史数据问题：25第25页自自然然演演化化体体系系结结构构问问题题8.OLTP与OLAP差异26第26页自自然然演演化化体体系系结结构构问问题题9.数据仓库产生为决议者建立一个集成数据源 数据仓库数据仓库数据仓库数据仓库数据仓库内部数据和外部数据内部数据和外部数据内部数据和外部数据内部数据和外部数据决议者决议者决议者决议者27第27页数据仓库体系数据仓库体系结构设计环境结构设计环境28第28页数数据据仓仓库库体体系系结结构构设设计计环环境境1.数据仓库体系结构29第29页数数据据仓仓库库体体系系结结构构设设计计环环境境2.数据仓库体系结构需要考虑问题u多层次结构支持不一样查询需求u数据集成问题30第30页数数据据仓仓库库体体系系结结构构设设计计环环境境3.多层次结构支持不一样查询需求31第31页数数据据仓仓库库体体系系结结构构设设计计环环境境4.数据集成问题32第32页数据仓库数据仓库用户及需求特征用户及需求特征33第33页数数据据仓仓库库用用户户及及需需求求特特征征1.数据仓库用户uDSS分析员2.数据仓库需求特征uDSS分析员想法：给我看一下我说我想要东西，然后，我告诉你我真正想要什么uDSS分析员需求主要理由：u它是合理u它是广泛u它对数据仓库开发方式和系统怎样使用被开发数据仓库有深远影响34第34页数据仓库数据仓库开发生命周期开发生命周期35第35页数数据据仓仓库库开开发发生生命命周周期期1.传统系统开发生命周期是SDLC36第36页数数据据仓仓库库开开发发生生命命周周期期2.SDLC是经典需求驱动开发生命周期，CLDS是经典数据驱动开发生命周期u传统系统开发生命周期支持操作型环境，为建立系统，必须首先了解需求，然后进入到设计和开发阶段。uCLDS由数据开始，一旦数据到手，就集成数据，然后，假如数据有偏差，就检验看看数据存在什么偏差，再针对数据写程序，分析程序执行结果，最终，系统需求才得到了解37第37页数数据据仓仓库库开开发发生生命命周周期期3.数据仓库环境系统开发生命周期38第38页建立物理建立物理数据仓库数据仓库39第39页建建 立立 物物 理理 数数 据据 仓仓 库库u在同一台机器上把操作型环境和分析型环境混合在一起不可行u移走大量数据好处：u更易纠错u更易重构u更易监控u更易索引u减轻维护负担40第40页监控数据仓库监控数据仓库环境环境41第41页监监 控控 数数 据据 仓仓 库库 环环 境境1.监控数据仓库环境目标u识别发生了什么增加，增加发生在什么地方，增加以什么速率发生u识别正在使用什么数据u估算最终用户得到响应时间u确定谁在实际使用数据仓库u说明数据仓库中多少数据正在被使用u准确指出数据仓库何时被使用u识别数据仓库多少数据被使用u检验使用数据仓库层次42第42页监监 控控 数数 据据 仓仓 库库 环环 境境2.监控数据仓库活动需求u什么数据正在被访问？u什么时候访问？u由谁访问？u访问频率？u在什么细节层次？u对请求响应时间是什么？u在一天什么时间提出请求？u请求多大数据量？u请求是被终止还是正常结束？43第43页监监 控控 数数 据据 仓仓 库库 环环 境境3.在哪里进行监控？u最终用户终端u有很多空闲机器周期u对系统性能影响很小u但每个被监控终端需要自己管理员u服务器u轻易管理监控程序u可能造成系统性能下降44第44页学完本讲后，你应该能够了解：1.决议支持系统演化过程受硬件发展、软件技术、数据积累和应用需求影响2.自然演化体系结构阶段存在三大问题：数据缺乏可信性、生产率低下以及难以将数据转换为信息；3.OLTP数据&应用与DDS数据&应用之间差异；4.数据仓库体系结构设计中要考虑主要问题：结构层次划分、冗余、粒度和集成问题；5.数据仓库用户和需求特征；6.数据仓库开发生命周期特点；7.建立物理数据仓库好处；8.监控数据仓库环境两个主要内容：数据与数据使用，以有效地管理运行中数据仓库环境。本 讲 主 要 目 标45第45页