分布式存储对象存储概述PPT学习课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,分布式存储对象存储,-CEPH,概述,1,分布式存储,对象存储,CEPH,2,2025/4/19 周六,分布式存储系统,3,1.1:,分布式存储历程,.DAS,4,用于操作系统和应用程序的本地存储。,缺点：,1,对,1,，单点,数据无法再服务器之间共享。,2025/4/19 周六,5,1.2:,分布式存储历程,.SAN,多对,1,。,数据大集中在,SAN,存储。,缺点：,性能,好,横向扩展,性受限,。,不能共享。,成本,高,2025/4/19 周六,6,1.3:,分布式存储历程,.NAS,实现不同服务器之间传统文件系统,数据共享,。,多对,1,。,数据集中。,缺点：,多,台服务器不能同时访问修改，性能有限,横向扩展,性受限,。,成本,高,2025/4/19 周六,1.4:NAS.SAN,网络存储方式,7,目前主流的存储方式,2025/4/19 周六,8,1.5:,分布式存储历程,.,分布式存储,性能优越,。,扩展性很好,。,成本低廉。,缺点：,平台稳定性需要考虑。,技术支持的问题,。,2025/4/19 周六,9,个人理解分布式存储就是多,台横向连接的计算机,同时运行，共同处理完成同一件,client,的应用工作请求任务。可灵活的增加，或减少节点，,性能优越,。,扩展性很好,。,成本低廉。,1.6:,分布式存储优势,2025/4/19 周六,10,对象存储,Object-Based Storage,2.1,对象存储技术,11,对象存储是综合了,NAS,和,SAN,的优点，同时具备了,SAN,直接高速访问和,NAS,的数据共享等优势。,提供了具有高性能，高可用性，跨平台，以及安全的数据共享的存储体系结构。,2025/4/19 周六,2.2,对象存储解释优势,12,对象存储就是分布式系统，也可理解为依托于分布式存储架构的一个特性，高级功能,1,）,传统的,块存储读写快而不利于共享，,2,）,文件存储读写慢但利于共享,对象存储则集成二者优点，是一个利于共享、读写快的“云存储”技术。作为一种分布式存储，最重要的一点是能解决对非结构化数据快速增长带来的问题。,2025/4/19 周六,13,2.3,对象存储结构,2025/4/19 周六,14,2025/4/19 周六,15,2.4,对象存储组件,对象(Object),包含了文件数据以及相关的属性信息，可以进行自我管理,OSD,（Object-based Storage Device),一个智能设备，OSD 为存储对象数据的设备，它是一个智能设备，包括处理器、RAM 内存、网络接口、存储介质等以及运行在其中的控制软件,MDS,元数据服务器(Metadata Server),系统提供元数据、Cache一致性等服务,2025/4/19 周六,16,2.5,：传统存储数据存储过程,传统文件储存过程。,2025/4/19 周六,17,2.6,：对象存储数据储存过程,对象文件储存过程。,2025/4/19 周六,18,2.7,：,Inodes vs Objects,2025/4/19 周六,2.8,：对象存储模式用于海量数据存储的优势：,19,高性能数据存储：访问节点有独立的数据通路和元数据访问通路，可以对多个OSD 进行并行访问,跨平台数据共享：由于在对象存储系统上部署基于对象的分布式文件系统比较容易，所有能够实现不同平台下的设备和数据的共享。,可伸缩性：对象存储模式具有分布式结构的特性。由于OSD 是独立的智能设备，可以通过增加OSD 数量，使存储系统的聚合I/O 带宽、存储容量和处理能力得到提高，这种平衡扩展模式使得存储系统能够具有良好的可伸缩性。,2025/4/19 周六,2.9,：与传统存储的对比：,20,存储接口,存储系统,优点,缺点,块级存储,块,块存储设备,S,如,:AN,提供高性能的随机,I/O,和数据吞吐率,可扩展性和可管理性较差、价格较高、不能满足成千上万,CPU,规模的系统,文件储存,文件,块存储设备,文件系统,如,:NAS,扩展性好、易于管理、价格便宜,开销高、带宽低、延迟大,不利于高性能集群中应用,对象存储,对象,块存储设备,文件系统,定位逻辑,应用程序,支持高并行性、可伸缩的数据访问,管理性好、安全性高、适合高性能集群使用,处于发展阶段,相应的硬件、软件支持有待进一步完善,2025/4/19 周六,21,CEPH,概述,3.1,：,ceph,简介,企业级存储产品的需求,22,2025/4/19 周六,3.2:Ceph,可提供：,23,2025/4/19 周六,3.3:Ceph,架构图,24,底层,Rados,-Ceph,实现分布式存储的根本，所有存储接口都是基于,Rados,实现的,-Rados,本身就是一个对象存储接口，维护了一个,集群,状态和实现了,数据分发,的要求,2025/4/19 周六,(2),基础库,librados,-,对,RADOS,进行抽象和封装，并向上层提供,API,，以便直接基于,RADOS,（而不是整个,Ceph,）进行应用开发,(3),高层应用接口,-,这一层包括了三个部分：,RADOS GW,（,RADOS Gateway,）、,RBD,（,Reliable Block Device,）和,Ceph FS,（,Ceph File System,），其作用是在,librados,库的基础上提供抽象层次更高的上层接口，分别对应,对象存储、块存储和文件存储,。,（,4,）应用层,这一层就是不同场景下对于,Ceph,各个应用接口的各种应用方式，例如基于,librados,直接开发的对象存储应用，基于,RADOS GW,开发的对象存储应用，基于,RBD,实现的云硬盘等等。,25,2025/4/19 周六,3.4:,传统,VS ceph,传统：,Ceph:,26,2025/4/19 周六,-,Monitor:,维护集群的成员和状态,(cluster map),，提供强一致性的决策,-MDS,metdata,数据服务器,-,OSD:,每一个,disk,、,SSD,或者,RAID group,或者其他一个物理存储设备都成为一个,OSD,，主要负责存储和查找对象，并且负责向该对象的复制节点分发和恢复。,3.5:Rados,组件,27,2025/4/19 周六,3.6,：,Ceph,使用场景举例,-Rados GW,RadosGW,位于,Librados,之上，它主要提供,RESTful,接口并且兼容,S3,、,Swfit,的接口。,28,2025/4/19 周六,3.7,：,S3,使用案例,29,2025/4/19 周六,3.8,：性能检测,rootcephclient#rados bench-p cephfs_data 10 write-no-cleanup,Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objects,Object prefix:benchmark_data_cephclient_8322,sec Cur ops started finished avg MB/s cur MB/s last lat(s)avg lat(s),8 16 247 231 115.464 108 0.357958 0.53742,9 16 274 258 114.633 108 0.449163 0.539057,10 16 301 285 113.968 108 0.551572 0.543629,Total time run:10.595630,Total writes made:302,Write size:4194304,Object size:4194304,Bandwidth(MB/sec):114.009,Stddev Bandwidth:41.2795,Max bandwidth(MB/sec):,228,30,2025/4/19 周六,3.9,：,ceph,优势：,Ceph,是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。,“统一的”意味着,Ceph,可以同时提供,对象存储、块存储和文件系统存储,三种功能，以便在满足不同应用需求的前提下简化部署和运维。,“分布式的”在,Ceph,系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。在实践当中，,Ceph,可以被部署于上千台服务器上。,31,2025/4/19 周六,32,欢迎您和我一起讨论,！,NetApp Confidential-Internal Use Only,