1、数据库原理及应用,电子科技大学,-,张凤荔,数据库系统原理与开发,7.1 NoSQL,数据库概述,数据库管理目标与内容,关系数据库局限,分布式大数据处理,【,本节学习目标,】,一、数据库管理目标与内容,数据类型多样化，数字、字符、文本等，还需要视频、音频、图形、图像、动画、HTML/XML、流数据等更复杂的数据类型,数据结构需要结构化、半结构化、非结构化等各种结构,数据存储方式多样化（列式存储、键值存储、图存储、文档存储等）,存储位置,-,分布透明，存储量,-,海量,查询要求多层次：时空、关联、分析、挖掘等,自定义操作、各种数据统计分析、分类、聚类、预测、离群点发现等操作,数据库的发展必须满
2、足不断发展的新的领域需求,二、关系数据库局限,用二维表的方式来存储数据和数据之间的关系，OLTP（On Line Transaction Process在线事务处理）提供了数据处理平台,数据库高并发读写需求,海量数据的高效存储和处理,数据库高扩展性和高可用性需求,在处理,WEB2.0,网站，特别是超大规模和高并非的,SNS,类冬天网站：,Hign Perfprmance-,主从分离，分库、分表，缓解写压力，增强读扩展,Huge Storage-,海量存储,-,分库、分表，缓解数据增长压力,High Scalability and Hign Avbailability-,高扩展和高可用,-,主从
3、复制等,三、分布式大数据处理,分布式文件系统,分布式数据库,大数据,分布式大数据,1.,分布式文件系统,分布式文件系统（Distributed File System：DFS）是指文件系统的物理存储资源不在本地节点上，通过计算机网络与节点相连。,DFS,-,单个访问点和一个逻辑结构，用户透明访问系统中的任何文件,DFS将统一网络中的不同计算机上的共享文件夹组织起来，形成一个单独的、逻辑的、层次式的共享文件系统。,分布式文件系统,特点：,高可靠性,高访问性,在线迁移、复制,自动负载均衡,元数据和数据分离,2.,分布式数据库,分布式数据库,=,数据库,+,网络技术,思想：将数据分散存储，海量数据
4、逻辑分片，存储容量大，并发访问量高,分布式,数据库特点：,数据的物理分布性,数据的逻辑整体性,数据的分布独立性,场地自治和协调,数据的冗余及冗余透明性,3.,大数据,大数据就是海量数据+复杂计算。,5V,特征：超量Volume、高速Velocity、异构Variety、真实Veracity、价值Value,Volume,Velocity,Variety,Veracity,Value,4,.,大数据处理挑战,数据的异构性和不完备性,数据处理的时效性,数据的安全与隐私保护,大数据的能耗问题,大数据管理易用性问题,5.,分布式大数据,海量数据存储的关键技术包括数据划分（分布式）、数据一致性和可用性、
5、负载均衡、容错机制、虚拟存储技术、云存储技术等。,要求在分布式数据库的基础上，具有更高的数据访问速度；更强的可扩展性；更高的并发访问量。,对应可用性、一致性、高并发、高容量等的平衡？,6.,大数据时代,NoSQL,Nosql,数据库,-,易扩展，灵活的数据模型，高可用，大数据量、高性能,分布式数据库必须具有高可扩展性、高并发性、高可用性等特征，即动态增添存储节点,(,容量的线性扩展,),，响应大规模用户的读/写请求，对海量数据进行随机读/写；,提供容错机制，实现对数据的冗余备份，保证数据和服务的高度可靠性。,7.NoSQL,特点,面对海量大数据的存储和管理，需要对关系数据库进行补充,数据模型简单-增强可扩展性，避免复杂对象操作,元数据和应用数据分离：高水平扩展和低端硬件集群,弱一致性-减少副本同步开销,本节学习结束！,
浙ICP备2021020529号-1 | 浙B2-20240490 
