课件厦门大学计算机科学系市公开课获奖课件省名师优质课赛课一等奖课件.ppt

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,分布式数据库 厦门大学计算机科学系 林子雨 ziyulin,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考!,厦门大学计算机科学系 新版,林子雨,厦门大学计算机科学系,E-mail:ziyulin,专题一 分布式数据库介绍,厦门大学计算机科学系硕士课程,分布式数据库技术,1/46,专题一 分布式数据库介绍,第0章 数据库研究内容与本课程设置,第1章 分布式数据库基本知识,第2章 分布式数据库系统体系结构,2/46,第0章 数据库研究内容与本课程设置,0.1 数据库理论与技术研究方向综述,0.2 分布式数据库技术讨论关键点,0.3 学习安排,0.4 参考书籍,3/46,0.1 数据库理论与技术研究方向综述,埃德加科德,Edgar Frank Codd,关系数据库之父,1981年图灵奖取得者,詹姆斯格雷,James Gray,1998年图灵奖取得者,数据库事务处理教授,查尔斯巴赫曼,Charles W.Bachman,网状数据库之父,1973年图灵奖取得者,4/46,0.1 数据库理论与技术研究方向综述,萨师煊(1922.12-.7),中国数据库学科奠基人之一,萨师煊，1922年12月27日出生于福州。福建闽侯萨氏家族源于山西雁门萨氏先祖，已经有六七百年历史。1941年9月考入厦门大学数理系。1950年中国人民大学成立,萨师煊伴随华北大学全体教员一起成为中国人民大学教师。,萨师煊是中国人民大学经济信息管理系创建人，是我国数据库学科奠基人之一，数据库学术活动主动提倡者和组织者。萨师煊以他人格魅力和渊博学识，团结了全国数据库工作者，成为我国数据库界有口皆碑组织者和带头人，为我国数据库学科人才培养和技术发展作出了开创性贡献。,5/46,0.1 数据库理论与技术研究方向综述,VLDBSIGMOD,ICDEEDBTICKM,DASFAAERPAKDD,WAIMAPWEB,NDBC,参见PPT“数据库学术会议”,本事域学术会议,6/46,0.1 数据库理论与技术研究方向综述,数据库实现新技术,云计算环境中数据管理,Web数据管理,查询处理与查询优化,数据流管理,XML和半结构化数据,数据仓库和OLAP,近似和非确定性数据库,内容与知识管理,数据挖掘和知识发觉,元数据管理,数据集成和迁移,嵌入式数据库与移动数据库,并行和分布式数据库系统,特定领域数据库系统,数据库自管理,智能用户接口技术,空间和时态数据库系统,多媒体数据库技术,数据隐私与安全,信息检索与数据库,协同工作技术,物联网数据管理,7/46,0.2分布式数据库技术讨论关键点,第一专题：分布式数据库概述,介绍分布式数据库系统定义、类型、特点和体系结构第二专题：数据分布,介绍分布式数据库数据分布理论，包含数据分片、数据分配、数据分布模式定义和分布透明性等内容；,第三专题：分布式查询处理,介绍怎样在分布式数据库系统中实现查询操作，包含分布式查询特点、全局查询转换、联接操作和综合性查询等内容；,第四专题：分布式数据库系统理论,介绍分布式数据库系统关键理论，包含分布式事务管理、分布式并发控制、分布式恢复、分布式数据库完整性和安全性、分布式数据库目录系统等内容；,第五专题：分布式数据库相关技术,介绍分布式数据库技术紧密相关一些其它技术。,8/46,0.3 学习安排,听课,读参考书,检索相关研究论文,期中作业,学期考,9/46,0.4 参考书籍,分布式数据库系统原理（第二版），清华大学出版社（外文影印版）,分布式数据库系统及其应用，科学出版社，邵佩英,分布式数据库，科学出版社，郑振楣 于戈 郭敏,分布式数据库技术，国防工业出版社，贾焰 等,数据库系统概论，高等教育出版社，萨师煊 王珊,数据库系统教程，高等教育出版社，施伯乐等,分布式数据库管理系统实现技术，科学出版社，周龙骧等,分布式系统设计，机械工业出版社，高传善等译,多层分布式数据库实战，清华大学出版社，王涛,10/46,第1章 分布式数据库基本知识,1.1,什么是分布式数据库,1.2,分布式数据库分类,1.3,分布式数据库特点,1.4,分布式数据库系统问题,11/46,1.1 什么是分布式数据库,（1）分布式数据库,（2）分布式数据库管理系统,（3）分布式数据库系统,12/46,1.1 什么是分布式数据库,（1）分布式数据库,分布式数据库是计算机网络环境中各场地（Site）或节点（Node）上数据库逻辑集合。逻辑上它们属于同一系统，而物理上它们分散在用计算机网络连接多个节点场地，并统一由一个分布式数据库管理系统管理,分布式数据库是一组数据集,针对全体用户数据库称全局数据库,各节点场地数据库称局部数据库,结论,：,分布式数据库是虚拟、逻辑，只有局部数据库才是物理数据库。,13/46,1.1 什么是分布式数据库,（2）分布式数据库管理系统,分布式数据库管理系统是,分布式数据库系统中,一组软件,负责管理分布环境下逻辑集成数据存取、一致性、有效性、完整性等,因为分布性，在管理机制上必须含有计算机网络通讯协议上分布管理特征,分布式数据库管理系统比集中式数据库管理系统愈加复杂,可能因为各个局部数据库有不一样模型，包括模型转换,14/46,1.1 什么是分布式数据库,（3）分布式数据库系统,分布式数据库系统是为地理上分散、而管理上又需要不一样程度集中管理企、事业单位提供数据管理信息系统。,分布式数据库系统,多处理机系统（非DDBS）,15/46,1.2 分布式数据库分类,当前对分布式数据库分类还没有标准定义，但有些提议也得到一定认同，即从局部数据库异同上加以划分：,同构异质,以结构相同、性质不一样局部数据库组成分布式数据库。所谓结构相同，指是组成局部数据库数据模型；即使结构相同，但不一样企业产品，其性质不尽相同，则称为异质。,同构同质,异构,结构、性质等都不一样分布式数据库系统。,16/46,1.3 分布式数据库特点,（1）,共享性与自治性,（2）,冗余可控性,（3）,事务管理分布性,（4）,存取效率,（附）,回顾数据库系统基本知识,（5）,数据模型,（6）,数据独立性,17/46,1.3 分布式数据库特点,（1）共享性和自治性,共享性,：在分布式数据库系统中，多个场地或节点局部数据库在逻辑上集成为一个集体，并为分布式数据库系统全部用户使用，这种应用称为分布式数据库全局应用，其用户为全局用户，亦称为共享性。,自治性,：分布式数据库系统还允许用户只使用当地局部数据库，这种应用为局部应用，其用户即为局部用户，甚至局部用户所使用数据能够不参加到全局数据库中去。这种局部用户独立于全局用户特征即是局部数据库自治性。,因为自治性，对于场地来说有两种数据，一个是参加全局数据局部数据，而另一个则不参加全局数据库但又为当地共享场地数据。,18/46,1.3 分布式数据库特点,（2）冗余可控性,集中式数据库降低冗余,分布式数据库适当冗余,节约开销,提升系统可用性,提升自治性,冗余不利影响,增加存放开销,增加完整性一致性控制代价,19/46,1.3 分布式数据库特点,3）事务管理分布性,一个事务（全局事务）执行将划分成在许多场地上执行子事务（局部事务），子事务执行结果合并而成全局事务结果。,例 某银行对地处不一样场地上两个帐户转移资金,对集中式数据库，A帐户资金100元转移到B帐户名下，事务：,TA,AA100,B,BB+100,则确保了事务正确性。,对分布式数据库也是一样要求，但A和B不在同一场地，A和B都有多个副本。假设A在S1、S2各有一副本，B在S3、S4各有一副本，用户请求在S5发出，即结果应回送至S5，则分布事务T：,T1,T2:A,A:A-100,T3,T4:B,B:B+100,T5 返回结果（或结束）消息,此时T由T1,T2,T3,T4,T5组成。,20/46,1.3 分布式数据库特点,（3）事务管理分布性,分布式事务处理复杂性：,（1）因为结构性改变，要确保分布事务操作结果含有语义完整性和全局数据库一致性,（2）与集中式数据库事务管理在处理策略上有本质上差异：确保可行性和有效性，以及并行能力,（3）各局部子事务必须在本场地是可串行化，同时全局事务对系统而言也是可串行化,（4）分布事务可恢复性变得复杂,21/46,1.3 分布式数据库特点,（4）存取效率,集中式数据库,层次模型、网络模型数据库，过程性查询，靠用户程序优化,关系模型，非过程性查询，靠查询优化处理部件进行优化,分布式数据库,全局查询被分解成等效子查询,优化分两级进行：全局优化和局部优化,22/46,（附）回顾数据库系统基本知识,数据模型,数据库模式,一个数据库只有一个模式,是数据库数据在逻辑级上视图,以某种数据数据模型为基础,数据库系统三级模式结构,数据独立性,逻辑数据独立性（外模式模式映像）,物理数据独立性（模式内模式映像）,1.3 分布式数据库特点,23/46,1.3 分布式数据库特点,（5）数据模型,在分布式数据库系统中，DDB是一个逻辑、虚拟数据库（被称为全局数据库（GDB）和实际分布在各场地局部数据库（LDB）（物理、实际存放数据库）这么两级数据库组成。,系统将数据库划分为四层：全局外层（即用户层）、全局概念层、局部概念层和局部内层。,24/46,1.3 分布式数据库特点,（6）数据独立性,数据独立性基本含意,是应用程序与实际数据组织相分离，即所谓系统透明性。,集中式关系数据库,逻辑数据独立性和物理数据独立性,分布式数据库,系统透明性：用户无须关心数据模型,位置透明性：用户无须关心数据实际存放位置,重复副本透明性：用户无须了解有多少个副本,25/46,1.4 分布式数据库问题,异构分布式数据库系统问题：不一样模型和语言,解决议略统一为一个公共模型和公用语言,模型转换两个性质：,（1）语义等价性,（2）实例相等性,实现技术问题,(1)全局模式集成（冲突解决）,(2)查询处理问题（防止数据库性能变差）,(3)更新处理问题,同构分布式数据库系统问题较少,语言转换,26/46,第2章 分布式数据库系统体系结构,2.1,分布式数据库模式结构及特点,2.2,分布式数据库系统体系结构,2.3,分布式数据库管理系统体系结构,27/46,2.1 分布式数据库模式结构及特点,（1）集中式与分布式模式结构图比较,（2）四层模式结构分析,全局外层、全局概念层、局部概念层、局部内层,集,中,式,三,层,模,式,结,构,图,分,布,式,四,层,模,式,结,构,图,28/46,2.1 分布式数据库模式结构及特点,全局外层,由多个用户视图组成，是分布式数据库特定全局用户对分布式数据库最高层抽象。,与集中式数据库不一样，它不是从某个详细场地上局部数据库中抽取，而是从一个虚拟、由各局部数据库组成逻辑集合中抽取。,对全局用户而言，在全部分布式数据库各个场地上，都能够认为全部数据库都在本场地，而且他们只关心自己所使用那部分数据。,假如是对完全透明关系模型分布式数据结构，则视图和集中式数据库视图一样，其定义方式也基本相同，所以，全局用户在使用视图时，无须关心数据分片和详细物理分配细节。,若为非完全透明分布式数据库，则在视图定义中，依据透明性支持程度给出各自所需指定条件，如所需数据细节，物理存取细节等。,29/46,2.1 分布式数据库模式结构及特点,全局概念层（1）,是分布式数据库整体抽象，包含了全部数据特征和逻辑结构。就像集中式数据库中概念视图一样，是对数据库全体描述。,对于全局用户含有分布透明特征分布式数据库而言，它全局概念层应含有三种模式描述信息：,（1）全局概念模式：描述分布式数据库全局数据逻辑结构，是分布式数据库全局概念视图。与集中式数据库概念视图定义相同，该模式包含全局概念模式名、属性名、每种属性数据类型定义和长度等。,（2）分片模式：描述全局数据逻辑划分视图。它是全局数据逻辑结构依据某种条件划分，即成为局部逻辑结构，每个逻辑划分即是一个片段。,（3）分配模式：描述局部逻辑局部物理结构，是划分后片段（或分片）物理分配视图。它与集中式数据库物理存放结构概念不一样，是全局概念层内容。,30/46,2.1 分布式数据库模式结构及特点,全局概念层（2）,分布式数据库定义语言，除了提供概念模式定义语句外，还必须提供分片模式和分配模式定义语句。,从全局模式到分片模式，再到分配模式，它们之间存在着映射。,全局概念模式/分片模式映射：一对多映射，即一个全局概念模式有若干个分片模式与之对应，而一个分片模式只能对应一个全局概念模式。,分片模式/分配模式映射：能够是一对多映射，也能够是一对一映射，由数据分布冗余策略决定。当一对多映射时，表明分片数据有多个副本存放在不一样场地上，且同一场地普通情况下不允许有相同副本存在。当一对一映射时，则是非冗余，即分片数据只有一个副本。,从全局概念层观察分布式数据库，它定义了全局数据逻辑结构、逻辑分布性和物理分布性，但并不包括全局数据在每个局部物理场地上物理存放细节。,31/46,2.1 分布式数据库模式结构及特点,局部概念层,是局部概念模式描述，它是全局概念模式子集（特殊情况下可能是全集）。全局概念模式经逻辑划分后，被分配在各局部场地上。在分布式数据库局部场地上，对每个全局关系有该全局关系若干个逻辑片段物理片段集合，该集合是一个全局关系在某个局部场地上物理映像，其全部则组成局部概念模式。假如两个场地上全部物理映像相同，则其中一个场地上物理映像必是另一个场地副本，所以，两个场地局部概念模式也必相同。,当全局数据模型和局部数据模型不一样时，则物理映像与各局部数据库数据模型之间还必须有数据模型转换。,32/46,2.1 分布式数据库模式结构及特点,局部内层,是分布式数据库中关于物理数据库描述，相当于集中式数据库内层。,33/46,2.1 分布式数据库模式结构及特点,分布式数据库四层结构及其模式定义和映射关系,表达了分布式数据库是一组用网络联结局部数据库逻辑集合。它含有以下特点(前面已经讨论了六个特点，这里再补充四点)：,将全局数据库与局部数据库分开,全局虚拟、独立于局部,局部概念层和局部内层是局部数据库,用户只需使用全局数据库操作语言,把数据库抽象成逻辑数据库和物理数据库,全局概念层是全局整体逻辑数据抽象,局部概念层是局部整体逻辑数据抽象,把分布透明中分片透明和分配透明相分离,系统还可提供比位置透明更低一级透明性管理，即数据冗余控制,34/46,2.2 分布式数据库系统体系结构,2.2.1,分布式数据库系统体系结构图,2.2.2,分布式数据库系统逻辑图,2.2.3,分布式数据库系统环境,35/46,2.2 分布式数据库系统体系结构,2.2.1 分布式数据库系统体系结构图,计算机,网络通讯软件,分布式数据库管理系统,分布式数据库,分布式数据库管理者,36/46,2.2 分布式数据库系统体系结构,2.2.2 分布式数据库系统逻辑图,37/46,2.2 分布式数据库系统体系结构,2.2.3 分布式数据库系统环境,分布式数据库系统环境是一个分布式环境，即由多个计算机设备彼此用通讯设施连接成计算机网络环境，而且把数据库系统内容渗透到网络环境中,节点（node）/场地（site）,通讯设施：,包含连接节点物理链路和一组通讯协议,网络开销,网络延迟,网络可靠性,网络通讯协议：,ISO/OSI标准，可自行设计,38/46,2.3 分布式数据库管理系统体系结构,2.3.1 分布式数据库管理系统,2.3.1.1,分布式数据库管理系统四个基本功效,2.3.1.2,分布式数据库管理系统三个主要成份,2.3.2,经典DDBMS 体系结构,39/46,2.3 分布式数据库管理系统体系结构,2.3.1.1 分布式数据库管理系统四个基本功效,*,应用程序远程数据库操作（包含查询和更新操作）支持分布式数据库系统完全或部分透明性,*,对分布式数据库管理和控制含有集中式数据库管理系统功效,*,支持分布事务并发和恢复,40/46,2.3 分布式数据库管理系统体系结构,2.3.1.2 分布式数据库管理系统三个主要成份,全局数据库管理系统（GDBMS）,负责管理分布式数据库（DDB）中全局数据,五种功效：链接、定位、策略、恢复、转换,局部数据库管理系统（LDBMS）,分布式数据库系统中各场地数据库管理系统,通讯管理程序（CM）,确保分布式数据库系统中场地间信息传送,41/46,2.3 分布式数据库管理系统体系结构,2.3.2 经典,DDBMS,体系结构,（1）,客户/服务器系统结构,2）,对等分布式数据库系统结构,42/46,2.3.2 经典DDBMS体系结构,（1）,客户/服务器系统结构,Server级,：场地局部数据管理,Client级,：负担分布式功效,通讯软件,：信息传递,Client级负担DDBS中GDBMS功效,生成对多场地查询分布执行计划,对Server发出命令后管理、监督分布执行,当使用分布并发控制时，应确保全局事务原子性,对数据多副本应该确保副本一致性,负担相关透明性任务,43/46,2.3.2 经典DDBMS体系结构,（2）,对等分布式系统,用户界面处理器,语义数据控制器,全局查询优化器,全局执行监视器,用户处理器,数据处理器,局部查询优化器,局部恢复管理器,运行时支持处理器,44/46,附件：主讲教师和助教信息,单位：厦门大学计算机科学系,E-mail:ziyulin,个人网页：of Computer Science,Xiamen University,Sep,46/46,