Chapter厦门大学林子雨大数据技术原理与应用第五.pptx

大数据技术原理与应用 厦门大学计算机科学系 林子雨 提纲5.1 NoSQL简介简介5.2 NoSQL兴起的原因兴起的原因5.3 NoSQL与关系数据库的比较与关系数据库的比较5.4 NoSQL的四大类型的四大类型5.5 NoSQL的三大基石的三大基石5.6 从从NoSQL到到NewSQL数据库数据库本章小结本章小结欢迎访问大数据技术原理与应用教材官方网站：http:/ 林子雨 编著，人民邮电出版社ISBN:978-7-115-39287-9大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.1 NoSQL简介通常，NoSQL数据库具有以下几个特点：（1）灵活的可扩展性）灵活的可扩展性（2）灵活的数据模型）灵活的数据模型（3）与云计算紧密融合）与云计算紧密融合大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.2 NoSQL兴起的原因1、关系数据库已经无法满足Web2.0的需求。主要表现在以下几个方面：（1）无法满足海量数据的管理需求）无法满足海量数据的管理需求（2）无法满足数据高并发的需求）无法满足数据高并发的需求（3）无法满足高可扩展性和高可用性）无法满足高可扩展性和高可用性的需求的需求2、关系数据库的关键特性包括完善的事务机制和高效的查询机制。但是，关系数据库引以为傲的两个关键特性，到了Web2.0时代却成了鸡肋，主要表现在以下几个方面：（1）Web2.0网站系统通常不要求严格的数网站系统通常不要求严格的数据库事务据库事务（2）Web2.0并不要求严格的读写实时性并不要求严格的读写实时性（3）Web2.0通常不包含大量复杂的通常不包含大量复杂的SQL查查询询大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.3 NoSQL与关系数据库的比较比较标准比较标准RDBMSNoSQL备注备注数据库原理完全支持部分支持RDBMS有关系代数理论作为基础NoSQL没有统一的理论基础数据规模大超大RDBMS很难实现横向扩展，纵向扩展的空间也比较有限，性能会随着数据规模的增大而降低NoSQL可以很容易通过添加更多设备来支持更大规模的数据数据库模式固定灵活RDBMS需要定义数据库模式，严格遵守数据定义和相关约束条件NoSQL不存在数据库模式，可以自由灵活定义并存储各种不同类型的数据查询效率快可以实现高效的简单查询，但是不具备高度结构化查询等特性，复杂查询的性能不尽人意RDBMS借助于索引机制可以实现快速查询（包括记录查询和范围查询）NoSQL没有索引，虽然NoSQL可以使用MapReduce来加速查询，但是，在复杂查询方面的性能仍然不如RDBMS表5-1 NoSQL和关系数据库的简单比较 大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.3 NoSQL与关系数据库的比较比较标准比较标准RDBMSNoSQL备注备注一致性强一致性弱一致性RDBMS严格遵守事务ACID模型，可以保证事务强一致性NoSQL放松对事务ACID四性的要求，而是遵守BASE模型，只能保证最终一致性数据完整性容易实现很难实现任何一个RDBMS都可以很容易实现数据完整性，比如通过主键或者非空约束来实现实体完整性，通过主键、外键来实现参照完整性，通过约束或者触发器来实现用户自定义完整性但是，在NoSQL数据库却无法实现扩展性一般好RDBMS很难实现横向扩展，纵向扩展的空间也比较有限NoSQL在设计之初就充分考虑了横向扩展的需求，可以很容易通过添加廉价设备实现扩展可用性好很好RDBMS在任何时候都以保证数据一致性为优先目标，其次才是优化系统性能，随着数据规模的增大，RDBMS为了保证严格的一致性，只能提供相对较弱的可用性NoSQL任何时候都能提供较高的可用性表5-1 NoSQL和关系数据库的简单比较（续）大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.3 NoSQL与关系数据库的比较比较标准比较标准RDBMSNoSQL备注备注标准化是否RDBMS已经标准化（SQL）NoSQL还没有行业标准，不同的NoSQL数据库都有自己的查询语言，很难规范应用程序接口技术支持高低RDBMS经过几十年的发展，已经非常成熟，Oracle等大型厂商都可以提供很好的技术支持NoSQL在技术支持方面仍然处于起步阶段，还不成熟，缺乏有力的技术支持可维护性复杂复杂RDBMS需要专门的数据库管理员(DBA)维护NoSQL数据库虽然没有DBMS复杂，也难以维护表5-1 NoSQL和关系数据库的简单比较（续）大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.4 NoSQL的四大类型 NoSQL数据库虽然数量众多，但是，归结起来，典型的NoSQL数据库通常包括键值数据库、列族数据库、文档数据库和图形数据库大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.4 NoSQL的四大类型 NoSQL数据库虽然数量众多，但是，归结起来，典型的NoSQL数据库通常包括键值数据库、列族数据库、文档数据库和图形数据库大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.4.1 键值数据库相关产品相关产品Redis、Riak、SimpleDB、Chordless、Scalaris、Memcached数据模型数据模型键/值对典型应用典型应用内容缓存，比如会话、配置文件、参数、购物车等优点优点扩展性好，灵活性好，大量写操作时性能高缺点缺点无法存储结构化信息，条件查询效率较低使用者使用者百度云数据库（Redis）、GitHub（Riak）、BestBuy（Riak）、Twitter（Redis和Memcached）、StackOverFlow（Redis）、Instagram（Redis）、Youtube（Memcached）、Wikipedia（Memcached）大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.4.2 列族数据库相关产品相关产品BigTable、HBase、Cassandra、HadoopDB、GreenPlum、PNUTS数据模型数据模型列族典型应用典型应用分布式数据存储与管理优点优点查找速度快，可扩展性强，容易进行分布式扩展，复杂性低缺点缺点功能较少，大都不支持强事务一致性使用者使用者Ebay（Cassandra）、Instagram（Cassandra）、NASA（Cassandra）、Twitter（Cassandra and HBase）、Facebook（HBase）、Yahoo!（HBase）大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.4.3 文档数据库相关产品相关产品CouchDB、MongoDB、Terrastore、ThruDB、RavenDB、SisoDB、RaptorDB、CloudKit、Perservere、Jackrabbit数据模型数据模型版本化的文档典型应用典型应用存储、索引并管理面向文档的数据或者类似的半结构化数据优点优点性能好，灵活性高，复杂性低，数据结构灵活缺点缺点缺乏统一的查询语法使用者使用者百度云数据库（MongoDB）、SAP（MongoDB）、Codecademy（MongoDB）、Foursquare（MongoDB）、NBC News（RavenDB）大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.4.4 图形数据库相关产品相关产品Neo4J、OrientDB、InfoGrid、Infinite Graph、GraphDB数据模型数据模型图结构典型应用典型应用应用于大量复杂、互连接、低结构化的图结构场合，比如社交网络、推荐系统等优点优点灵活性高，支持复杂的图形算法，可用于构建复杂的关系图谱缺点缺点复杂性高，只能支持一定的数据规模使用者使用者Adobe（Neo4J）、Cisco（Neo4J）、T-Mobile（Neo4J）大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5 NoSQL的三大基石NoSQLCAPBASE最终一致性大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.1 CAP所谓的CAP指的是：lC（Consistency）：）：一致性，是指任何一个读操作总是能够读到之前完成的写操作的结果，也就是在分布式环境中，多点的数据是一致的；lA:（Availability）：）：可用性，是指快速获取数据，可以在确定的时间内返回操作结果；lP（Tolerance of Network Partition）：）：分区容忍性，是指当出现网络分区的情况时（即系统中的一部分节点无法和其他节点进行通信），分离的系统也能够正常运行。大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.1 CAP CAP理论告诉我们，一个分布式系统不可能同时满足一致性、可用性和分区容忍性这三个需求，最多只能同时满足其中两个，正所谓“鱼和熊掌不可兼得”。大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.1 CAP（a）初始状态）初始状态一个牺牲一致性来换取可用性的实例一个牺牲一致性来换取可用性的实例 大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.1 CAP（b）正常执行过程）正常执行过程一个牺牲一致性来换取可用性的实例一个牺牲一致性来换取可用性的实例 大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.1 CAP(c)更新传播失败时的执行过程更新传播失败时的执行过程 一个牺牲一致性来换取可用性的实例一个牺牲一致性来换取可用性的实例 大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.1 CAP当处理CAP的问题时，可以有几个明显的选择：1.CA：也就是强调一致性（C）和可用性（A），放弃分区容忍性（P），最简单的做法是把所有与事务相关的内容都放到同一台机器上。很显然，这种做法会严重影响系统的可扩展性。传统的关系数据库（MySQL、SQL Server和PostgreSQL），都采用了这种设计原则，因此，扩展性都比较差2.CP：也就是强调一致性（C）和分区容忍性（P），放弃可用性（A），当出现网络分区的情况时，受影响的服务需要等待数据一致，因此在等待期间就无法对外提供服务3.AP：也就是强调可用性（A）和分区容忍性（P），放弃一致性（C），允许系统返回不一致的数据大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.1 CAP图5-5 不同产品在CAP理论下的不同设计原则 大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.2 BASE说起BASE（Basically Availble,Soft-state,Eventual consistency），不得不谈到ACID。一个数据库事务具有ACID四性：lA（Atomicity）：原子性，是指事务必须是原子工作单元，对于其数据修改，要么全都执行，要么全都不执行lC（Consistency）：一致性，是指事务在完成时，必须使所有的数据都保持一致状态lI（Isolation）：隔离性，是指由并发事务所做的修改必须与任何其它并发事务所做的修改隔离lD（Durability）：持久性，是指事务完成之后，它对于系统的影响是永久性的，该修改即使出现致命的系统故障也将一直保持大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.2 BASE BASE的基本含义是基本可用（Basically Availble）、软状态（Soft-state）和最终一致性（Eventual consistency）：l基本可用基本可用 基本可用，是指一个分布式系统的一部分发生问题变得不可用时，其他部分仍然可以正常使用，也就是允许分区失败的情形出现l软状态软状态 “软状态（soft-state）”是与“硬状态（hard-state）”相对应的一种提法。数据库保存的数据是“硬状态”时，可以保证数据一致性，即保证数据一直是正确的。“软状态”是指状态可以有一段时间不同步，具有一定的滞后性大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.2 BASE BASE的基本含义是基本可用（Basically Availble）、软状态（Soft-state）和最终一致性（Eventual consistency）：l最终一致性最终一致性 一致性的类型包括强一致性和弱一致性，二者的主要区别在于高并发的数据访问操作下，后续操作是否能够获取最新的数据。对于强一致性而言，当执行完一次更新操作后，后续的其他读操作就可以保证读到更新后的最新数据；反之，如果不能保证后续访问读到的都是更新后的最新数据，那么就是弱一致性。而最终一致性只不过是弱一致性的一种特例，允许后续的访问操作可以暂时读不到更新后的数据，但是经过一段时间之后，必须最终读到更新后的数据。大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.3 最终一致性 最终一致性根据更新数据后各进程访问到数据的时间和方式的不同，又可以区分为：l因果一致性因果一致性：如果进程A通知进程B它已更新了一个数据项，那么进程B的后续访问将获得A写入的最新值。而与进程A无因果关系的进程C的访问，仍然遵守一般的最终一致性规则l“读己之所写读己之所写”一致性一致性：可以视为因果一致性的一个特例。当进程A自己执行一个更新操作之后，它自己总是可以访问到更新过的值，绝不会看到旧值l单调读一致性单调读一致性：如果进程已经看到过数据对象的某个值，那么任何后续访问都不会返回在那个值之前的值大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.5.3 最终一致性 最终一致性根据更新数据后各进程访问到数据的时间和方式的不同，又可以区分为：l会话一致性会话一致性：它把访问存储系统的进程放到会话（session）的上下文中，只要会话还存在，系统就保证“读己之所写”一致性。如果由于某些失败情形令会话终止，就要建立新的会话，而且系统保证不会延续到新的会话l单调写一致性单调写一致性：系统保证来自同一个进程的写操作顺序执行。系统必须保证这种程度的一致性，否则就非常难以编程了大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.6 从NoSQL到NewSQL数据库图5-6 大数据引发数据处理架构变革 大数据技术原理与应用 厦门大学计算机科学系 林子雨 5.6 从NoSQL到NewSQL数据库图5-7 关系数据库、NoSQL和NewSQL数据库产品分类图 大数据技术原理与应用 厦门大学计算机科学系 林子雨 本章小结本章介绍了NoSQL数据库的相关知识NoSQL数据库较好地满足了大数据时代的各种非结构化数据的存储需求，开始得到越来越广泛的应用。但是，需要指出的是，传统的关系数据库和NoSQL数据库各有所长，彼此都有各自的市场空间，不存在一方完全取代另一方的问题，在很长的一段时期内，二者都会共同存在，满足不同应用的差异化需求NoSQL数据库主要包括键值数据库、列族数据库、文档型数据库和图形数据库等四种类型，不同产品都有各自的应用场合。CAP、BASE和最终一致性是NoSQL数据库的三大理论基石，是理解NoSQL数据库的基础本章最后介绍了融合传统关系数据库和NoSQL优点的NewSQL数据库大数据技术原理与应用 厦门大学计算机科学系 林子雨 主讲教师和助教单位：厦门大学计算机科学系E-mail:个人网页：http:/ 厦门大学计算机科学系 林子雨 Department of Computer Science,Xiamen University,June,2015