第03章--数据集成.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,系统集成与项目管理,周 苏,教授,Zs,QQ:,81505050,第,3,章 数据集成,数据集成的目的是运用一定的技术手段将系统中的数据按一定的规则组织成为一个整体，使得用户能有效地对数据进行操作,数据集成处理的主要对象是系统中各种异构数据库中的数据，而数据仓库技术则是数据集成的关键,5.1,数据集成的概念,数据集成有多种涵义,可以是指使用一套工具，将数据从多个数据库抽取到一个数据仓库或数据中心,可以指一个企业应用集成项目，在平台和集中数据之间进行交互,可以指一个,Web,服务项目，通过它一个应用可以去抓取和操作另一个应用的数据,有多种方法来集中、共享和分发数据，问题在于如何根据企业的实际需求去选择集成方式,数据库技术的发展,数据库系统是数据库和数据库管理系统,(DBMS),等的总称，是适合于大量数据的存储和管理的有效方法。作为数据处理的核心，,DBMS,是与应用密切相关的支撑软件,由于集成平台的出现，人们已经习惯于把,DBMS,纳入平台范畴，并称之为数据平台。,C/S,分布模式的流行，迫使传统的基于集中模式的,DBMS,正逐步调整技术方向,数据库技术的发展,1968,年，,IBM,研制的信息管理系统是层次型数据库系统的典型代表,1968,年,10,月，美国,CODASYL,数据库任务组提出网络数据库模型规范，,1971,年,4,月发表,DBTG,报告，确定了数据库设计的网络方法,(DBTG,方法,),，从而把数据库和文件系统区分开来，为数据库技术奠定了基础,1970,年,6,月,E.F.Godd,提出了数据库关系模型，开创了数据库的关系方法和数据库规范化理论研究,数据库技术的发展,20,世纪,80,年代以来，关系模型数据库理论日益成熟并得到广泛应用，数据库理论和技术主要发展,采用新数据模型,(,如面向对象、对象,-,关系,),构造数据库，将数据库系统从传统事务处理领域扩展到更广泛的领域，如应用在,CAD/CAM,、,CASE,和地理信息系统,(GIS),等领域中，满足对复杂对象的存储和处理要求,数据库技术与其他学科的发展高度结合，例如与分布处理技术结合导出的分布式数据库，与人工智能技术结合导出的演绎数据库、智能数据库和主动数据库，与多媒体技术结合导出的多媒体数据库等,数据库技术的发展,数据库市场的主要产品有,Oracle,，,SQL Server,、,Sybase,，,Informix,，,DB2,xBASE,如,FoxPro,ACCESS,传统数据库应用的局限,在数据库应用方面存在的普遍性问题包括,数据太多而信息不足。随着数据库技术的发展，各企业积累并存放了大量业务数据，但能够为企业提供辅助决策的信息太少,异构环境数据源。由于市场竞争激烈，新产品周期缩短，如何综合利用分散的异构环境数据源，及时得到准确的信息是取得成功的关键,事务处理环境不适宜,DSS,应用,传统数据库应用的局限,事务处理和分析处理的性能特性不同,事务处理环境中，数据存取操作频率高而每次操作处理的时间短；而在分析处理环境中，某个,DSS,应用程序可能需要连续使用几个小时，从而消耗大量的系统资源,数据集成问题：,DSS,需要集成的数据，全面而正确的数据是有效地分析和决策的首要前提，相关数据收集得越完整,得到的结果就越可靠。但是，大多数企业内的数据是分散的，主要是因为事务处理应用分散，数据不一致问题，外部数据和非结构化数据问题等,传统数据库应用的局限,数据动态集成问题：静态集成的最大缺点在于，如果在数据集成后数据源中数据发生了变化，这些变化将不能反映给决策者，导致决策者使用的是过时的数据。集成数据必须以一定的周期（例如,24h,）进行刷新，即动态集成。显然，事务处理系统不具备动态集成的能力,历史数据问题：事务处理一般只需要当前数据，在数据库中一般也是存储短期数据，而且不同数据的保存期限也不一样。但对于决策分析而言，历史数据相当重要，许多分析方法必须以大量的历史数据为依托。,DSS,对数据在空间和时间的广度上都有了更高的要求，而事务处理环境难以满足这些要求,传统数据库应用的局限,数据的综合问题：在事务处理系统中积累了大量的细节数据，一般而言，,DSS,并不对这些细节数据进行分析。在分析前，往往需要对细节数据进行不同程度的综合，而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而被加以限制,要提高分析和决策的效率和有效性，分析型处理及其数据必须与操作型处理及其数据相分离，必须把分析型数据从事务处理环境中提取出来，按照,DSS,处理的需要进行重新组织，建立单独的分析处理环境。数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术,数据仓库技术,20,世纪,80,年代中期开始，社会的信息化进程使信息量急剧增长，对数据库系统只停留在查询、检索、统计等几个方面的应用，已经远远不能满足信息系统用户的要求，他们更需要的是从这些数据中得到有用的信息，以便于进行决策支持。这种需求使得在,20,世纪,80,年代中后期出现了数据仓库思想的萌芽，为数据仓库概念的最终提出和发展打下了基础,数据仓库技术,1992,年“数据仓库,(DW)”,的概念正式提出，数据仓库的研究和应用得到了广泛的关注,在原有单一的数据库概念的基础上，开始演化出两种不同的数据组织体系结构,数据仓库,原有的业务数据库,这两个概念在用户环境、支持技术、数据量以及使用范围等方面存在着许多不同,数据仓库技术,人们设想专门为业务的统计分析建立一个数据中心,它的数据来自联机的事务处理系统、异构的外部数据源、脱机的历史业务数据等,这个数据中心是一个联机系统，专门为分析统计和决策支持应用服务,这个数据中心就叫做,数据仓库,即，一个作为决策支持系统和联机分析应用数据源的结构化数据环境，它所要研究和解决的问题就是从数据库中获取信息,数据挖掘技术,作为决策支持新技术，数据挖掘也和数据仓库一样，近年来得到了迅速发展,数据挖掘,(DM),是从大型数据库或数据仓库中发现并提取隐藏在其中的有用信息或知识信息的一种新技术，它主要是利用某些特定的知识发现,(KDD),算法，在一定的运算效率的限制内，从数据对象,(,例如数据库或数据仓库，也可以是文件系统或其他任何组织在一起的数据集合,),中发现有关的知识,数据挖掘技术,数据挖掘技术帮助决策者寻找数据间潜在的关联，发现被忽略的因素。数据挖掘方法的提出，让人们有能力最终认识数据的真正价值，即蕴藏在数据中的信息和知识。知识即意味着数据元素之间的关系和模式,数据挖掘,应用一系列技术从大型数据库或数据仓库的数据中提取人们感兴趣的信息和知识，这些知识或信息是隐含的、事先未知而潜在有用的，提取的知识表示为概念、规则、规律、模式等形式,数据仓库和数据库的关系,作为数据管理手段，传统的数据库技术是单一的数据资源，即以数据库为中心，进行从事务处理、批处理到决策分析的各种类型的数据处理工作,数据仓库对关系数据库的联机分析能力提出了更高的要求，采用普通关系型数据库作为数据仓库在功能和性能上都是不够的，它们必须有专门的改进,数据仓库和数据库的关系,数据仓库与数据库的区别不仅仅表现在应用的方法和目的方面，同时也涉及到产品和配置上的不同,数据仓库是一种新的数据处理体系结构和信息管理技术，它是企业内部各部门业务数据进行统一和综合的中央数据仓库。它为企业决策支持系统和行政信息系统提供所需的信息，为预测利润、风险分析、市场分析以及加强客户服务与营销活动等管理决策提供支持,数据挖掘和数据仓库的关系,数据仓库是一种存储技术，它的数据存储量是一般数据库的,100,倍，它包含大量的历史数据、当前的详细数据以及综合数据，它能为不同用户的不同决策需要提供所需的数据和信息,数据挖掘是从人工智能机器学习中发展起来的，它研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识,数据挖掘和数据仓库的关系,数据仓库完成数据的收集、集成、存储、管理等工作，数据挖掘面对的是经过初步加工的数据，使数据挖掘能更专注于知识的发现,数据挖掘为数据仓库提供了更好的决策支持，同时促进了数据仓库技术的发展,可以说，数据挖掘和数据仓库技术要充分发挥潜力,就必须结合起来,数据挖掘和数据仓库的关系,数据挖掘和数据仓库的联系可以概括为：,数据仓库为数据挖掘提供了更好的、更广泛的数据源数据仓库中集成和存储着来自异构信息源的数据，而这些信息源本身就可能是一个规模庞大的数据库。同时数据仓库存储了大量长时间的历史数据，这使得我们可以进行数据长期趋势的分析，为决策者的长期决策行为提供支持,数据挖掘和数据仓库的关系,数据仓库为数据挖掘提供了新的支持平台数据仓库的发展不仅仅是为数据挖掘开辟了新的空间，更对数据挖掘技术提出了更高的要求。数据仓库的体系结构努力保证查询和分析的实时性。数据仓库一般设计成只读方式，数据仓库的更新由专门的一套机制保证。数据仓库对查询的强大支持使数据挖掘效率更高，开采过程可以做到实时交互，使决策者的思维保持连续，有可能开采出更深入、更有价值的知识,数据挖掘和数据仓库的关系,数据仓库为更好地使用数据挖掘工具提供了方便数据仓库的建立充分考虑数据挖掘的要求。用户可以通过数据仓库服务器得到所需的数据，形成开采中间数据库，利用数据挖掘方法进行开采，获得知识数据仓库为数据挖掘集成了企业内各部门的全面的、综合的数据，使数据挖掘的注意力能够更集中于核心处理阶段数据仓库中对数据不同粒度的集成和综合，更有效地支持了多层次、多种知识的开采,数据挖掘和数据仓库的关系,数据挖掘为数据仓库提供了更好的决策支持基于数据仓库的数据挖掘能更好地满足高层战略决策的要求。数据挖掘对数据仓库中的数据进行模式抽取和发现知识，这些正是数据仓库所不能提供的,数据挖掘对数据仓库的数据组织提出了更高的要求数据仓库作为数据挖掘的对象，要为数据挖掘提供更多、更好的数据。其数据的设计、组织都要考虑到数据挖掘的一些要求,数据挖掘还为数据仓库提供了广泛的技术支持数据挖掘的可视化技术、统计分析技术等都为数据挖掘提供了强有力的技术支持,5.2 ODBC,标准与应用,WOSA(,Windows,开放服务体系,),提供了运行,Windows,的,PC,和企业内部的不同服务之间的一个系统级统一接口。利用,WOSA,接口，运行,Windows,的桌面应用程序不知道网络上可以使用的计算机类别等信息，也能够无缝地使用企业服务，如,DataBase,MailServer,、,RPC,等。这样，即使企业的计算机变了，桌面应用程序也可以不变,5.2 ODBC,标准与应用,ODBC(,开放数据库互连,),是,WOSA,的数据库组成部分，它规定“以统一的,API,存取异构”，得到了世界上数据库和应用程序开发商的广泛支持,ODBC可以满足如下应用需求,前台客户与后台服务器分工,多个客户与多个服务器经由网络连接,任一客户的应用可以访问多个服务器上的数据库,5.2 ODBC,标准与应用,Windows ODBC,是由,Microsoft,开发的一个应用程序接口标准,允许单个应用以,SQL,作为标准的数据存取语言，通过,ODBC,接口，存取多种多样的、带有,ODBC,驱动程序的数据源,ODBC,数据源驱动程序以动态连接库的形式实现,ODBC,函数调用。应用通过激发,ODBC,驱动程序存取特定的数据源,5.2 ODBC,标准与应用,ODBC,接口定义如下内容,一个,ODBC,函数调用库，函数分别完成对数据源的连接、,SQL,语句的执行、执行结果的返回,一种连接和登录到数据源的标准方法,基于,X/Open,与,SQL Access Group(SAG)CAE Specification(1992),的,SQL,文法,数据类型的标准表示,错误代码的标准集,思考题,3-01,浏览下列网站：,Sybase,中国,(,/),的“解决方案中心”,微软中国网站的,SQL Server,主页,(