信息存储与管理(可编辑ppt文档).ppt

信息存储与管理第二章第二章存储系统环境主机、连接、存储设备块级别和文件级别访问存储介质和设备磁盘部件逻辑块寻址2存储系统环境的组成存储系统环境由主机、连接、存储设备三部分组成。物理部件：总线、接口、电缆、光纤等逻辑部件（协议）：PCI、IDE/ATA、SCSI 连接存储设备内存外存RAMROM硬盘、软盘、磁带（磁性介质）CD-ROMDVD-ROM（光学介质）3物理磁盘的结构磁盘以N级、S级表示0、1不同于数据流以高低电平表示0、1磁头悬浮4物理磁盘的结构磁道：一组同心圆环，一个盘面可容 纳几千个磁道。扇区：存储系统中可单 独被寻址的最小 单位，容量为512k。5磁盘定位CHS编号：早期的磁盘利用物理地址，包含了柱面（Cylinder）、磁头（Head）、扇区（Secor）的编号，在磁盘上进行定位。以扇区为寻址单位LBA（逻辑块寻址）：使用线性地址访问逻辑块的数据，简化寻址过程。逻辑块：将几个扇区组合成整体并编号作用操作系统掌握LBA，磁盘控制器负责将LBA转化为CHS6磁盘驱动器的性能磁盘服务时间寻道时间 +旋转延迟 +数据传输速率7寻道时间 读写头在盘面上移动（沿着盘面半径方向）进行定位的时间，也就是移动驱动臂将读写头移动到正确的磁道上所需要的时间。平均寻道时间为315ms8旋转延迟盘片旋转，定位读写头下方的数据（扇区）所消耗的时间转速5400r/min的磁盘，平均旋转延迟约5.5ms转速15000r/min的磁盘。平均旋转延迟约2.0ms9数据传输速率Data Transfer Rate，指每个单位时间内磁盘能够传输到主机总线适配器（HBA）的平均数据量数据传输ATA的传输速率：133MB/s10公式分析寻道时间：ms级旋转延迟：ms级外部数据传输：ns级要提高IOPS，需在寻道时间上下功夫11如何提高IOPS传统的磁盘写操作：先将一张磁盘写满，然后写下一张。RAID 0 的思路：肉夹馍法。将一串磁盘看作整体，先将最外层的扇区填满数据，然后磁头往里推进。就像肉夹馍，先将最外层肉剐下来，接着往里剐。减少磁头移动的次数，从而减少寻道时间。12数据访问方式块级别访问（Block-level Access）是磁盘访问的基本机制。数据通过指定逻辑块地址进行磁盘存储和数据查询。文件级别的访问（File-level Access）是块级别访问的一个抽象。通过指定文件名和路径来访问数据。它通过底层进行块级别访问，对上则为应用程序屏蔽了逻辑块编址（LBA）的复杂性。对象级别访问（Object-level Access）是数据访问向智能化发展迈出的第一步。这里的对象是访问和存储数据的基本单位。数据通过分类的方式来组织和管理，并通过唯一的对象标识符加以区别13第三章第三章数据保护：RAID硬件和软件RAID分条、数据镜像、奇偶校验RAID的写代价热备用14RAID的实现软件RAID：在操作系统层次上实现对RAID阵列的管理优点：成本低，实现简单缺点：带来额外的CPU开销 无法支持所有的RAID级别 存在兼容性问题硬件RAID：通过集成在主机或存储阵列上的专用硬件控制器（Controller）来实现（如右图）15分条一个RAID集由一组磁盘构。我们将磁盘上一块由若干地址连续的磁盘块构成的、大小固定的区域定义为条带（Strip）。位于RAID集所有磁盘上相同位置的条带构成了分条（Stripe）条带深度（Stripe depth）：描述了构成条带的磁盘块数目。分条尺寸：是条带深度与硬盘数量的乘积（剐下来的肉馅总量）分条宽度：一个分条所包含的数据条带的数目，其值与硬盘数量相等16一个典型的RAID0系统17RAID级别比较级别级别简要描述简要描述RAID0无容错性的分带阵列RAID1磁盘镜像RAID2条带深度为1bit，已淘汰RAID3带专用校验校验磁盘的并行访问阵列RAID4带独立磁盘和专用校验校验磁盘的分带阵列RAID5带独立磁盘和分布式校验校验的分带阵列RAID6带独立磁盘和双重分布式校验校验的分带阵列嵌套的以上RAID级别的组合，如RAID10、RAID0118第四章智能存储系统前端命令队列缓存镜像和跳跃逻辑设备编号（LUN）LUN屏蔽高端存储系统中档存储系统19组成部分前端命令队列算法：FIFO：命令队列的默认算法，性能最差寻道时间优化：重新安排命令的执行顺序访问时间优化：综合考虑寻道时间和旋转延迟以达到最佳性能智能存储系统前端缓存后端物理磁盘20缓存数据保护缓存管理：最近最少访问算法（LRU）：假设：如果一个页面很久未被访问，那么以后也不会被访问，于是释放它。最近访问算法（MRU）：假设如果一个页面已经被访问过，那么在之后一段时间可能不会再被访问，于是释放此页面。缓存镜像：每次写入缓存的数据都被保存在互相独立的内存条的不同位置上缓存跳跃：停电时，将缓存中的数据暂存到某固定磁盘，而不是将数据存到难以计数的目标磁盘，在有限时间内保存所有数据。等恢复供电后再将数据写入目标磁盘21逻辑设备编号Logical Unit Number（LUN）：作用：提高物理磁盘利用率。举例：如果没有LUN，一个只需要200G的主机可能被分配一个1T的物理磁盘；而使用了LUN后，只有一个200G的逻辑磁盘会分配给主机，物理磁盘上另外800G可以分配给其他主机。就像揉面团，将所有物理磁盘揉成一团，主机需要多少空间，就从面团里摘出多少面给它。将摘出的小面团用LUN编号。LUN屏蔽：一种数据访问控制，针对数据安全性而设。做饺子的面团不能拿去做包子，财务部的数据不能被销售部获得。22第五章直连存储和SCSI介绍23DAS直连存储（DAS）是一种存储器直连到服务器的架构.。优点：前期投资少、配置简单、容易部署缺点：不易扩展DAS使用的协议：IDE/ATA、SATA、SAS、SCSI、FC等磁盘驱动接口IDE/ATA：IDE部分定义了连接到主板上的控制器的规范，用于与连接的设备进行通讯；ATA部分规定了连接存储设备到主板的接口。常见的有40针、34针。SATA：IDE/ATA的串行版本，目标是取代并行ATA技术SCSI：指并行SCSISAS：串行连接SCSIFC:Fibre Channel,网状通道。一台只有最基本功能的8端口FC交换器起价就要30万元，使用者也必须具备FC协议相关知识才能有效管理24SCSISCSI：小型计算机系统接口。SCSI的演化SCSI和IDE的比较：SCSI占用CPU很小，性价比很低，适合多任务、传输大量数据的场合IDE占用CPU 很大，性价比高，适合普通用户25SCSI通信模型SCSI通信模型：应用层（SAL）：包含了客户端和服务器的应用程序，通过SCSI应用程序协议发起和处理SCSI的I/O操作。传输协议层（STPL）：包含发起方和目标方进行通信的服务和协 议。互联层：实现发起方和目标方之间的数据传输功能。互联层也被称作服务交互子系统，包含服务、信号机制和互联数据传输等。26SCSI指令模型 比特比特字节字节765432100分组码，确定指令指定参数的长度（字节数）指令码，确定SCSI指令，如READ、WRITE1指令指定参数n-1n厂商指定保留NACA已废弃链接字段CDB结构操作码控制码27第六章信息存储与管理的介绍存储整合光纤通道（FC）结构FC协议栈FC端口FC寻址全球唯一名称分区FC拓扑28SAN组件SAN节点端口：全双工传输模式MMF：500m以内传输SMF：10km光纤铜缆：线缆互联设备存储阵列SAN管理软件用于短距离的后端连接集线器：交换机：控制器：节点共享带宽比集线器强大，节点有专用信道比交换机强大29FC连接FC互联方案点对点：FC仲裁环（FC-AL）：fabric（FC-SW）：最简单，两个设备直接相连，与SAN一样设备连到一个共享的环，争用信道fabric是一个虚拟空间，可通过交换机网络构建，作用是在源和目标之间进行帧的路由转发30FC协议栈FC-4高层协议FC-3未实现FC-2传输层FC-1传输协议FC-0物理接口定义了应用程序接口和高层协议（ULP）映射到底层FC协议层的方式。本层的协议包括：SCSI、HIPPI组帧协议、企业存储连接（ESCON）、ATM、IP等包含有效载荷、源和目的地址、链路控制信息提供光纤通道编址、结构和数据组织形式（帧、序列和交换）定义fabric服务、服务类、流量控制以及路由等定义了传输协议，包括串行编码和解码规则：将8位字符编码成10位字符，然后传输到目的地定义了物理接口、媒介（电气/光学）和原始比特的传输规则指定线缆、连接器等参数31FC端口N端口节点端口NL端口节点端口，支持仲裁环拓扑E端口扩展端口用于交换机之间的连接F端口fabric端口，用于连接N端口，不能用于FC-AL中FL端口fabric端口，可用于FC-AL，连接FC-AL环上的NL接口G端口通用端口，可用作E端口和F端口32FC地址端口接入fabric时分配232221201918171615141312111098765432102322212019181716151413121110987654321023222120191817161514131211109876543210域ID分区ID端口IDN端口FC地址环IDAL-PA ID未使用AL-PA ID端口公共环端口私有环33FCSAN的演化孤立SAN FC-AL互联SANFC交换Fabric企业SANFC交换Fabric34第七章网络连接存储NAS设备远程文件共享NAS连接和协议NAS性能和可用性MTU和Jumbo帧35NAS设备通用服务器可运行任何应用程序NAS设备只用于提供文件服务NAS的优点：支持全面信息存取提高效率：将通用服务器从文件服务操作中解放出来增强灵活性：兼容Unix和Windows系统集中式存储：降低客户工作站的数据冗余管理简单化：提供一个集中化的控制平台，使文件管理更高效可扩展性：兼容不同的商业应用类型高可用性：提供高效的备份和恢复选项安全性：工业标准安全模式36NAS组件网络接口NFS CIFSNAS设备OS存储接口NAS头存储阵列NAS组件UNIXWindowsIPNFSCIFS37NAS文件共享协议NFS：基于UNIX，使用与机器无关的模型来描述用户数据使用远程过程调用（RPC）实现通信。支持以下操作：查找文件和目录；打开、读取、写入和关闭文件；修改文件属性；修改文件链接和目录。目前使用的NFS版本：NFSv2、NFSv3、NFSv4。CIFS：基于Windows，文件名用unicode字符集进行编码。确保数据完整性的措施：1、使用文件锁和记录锁，来避免用户覆盖另一个用户正在写的文件或记录；2、运行在TCP上；3、支持容错，可自动恢复连接，重新打开中断之前已经打开的文件。38NAS的IO操作IO过程：1、请求者将一个IO请求 封装成TCP/IP报文，通过网络协议栈进行转发。NAS从网络上进行接收2、NAS设备将IO请求转换为块级IO请求，然后对物理存储池进行操作。3、当数据从物理存储池返回时，NAS设备对其进行处理并封装为相应的文件协议响应。4、NAS设备将这个响应封装为TCP/IP报文，通过网络转发给用户。应用程序操作系统IO重定向NFS/CIFSTCP/IP栈网络接口存储接口网络协议NAS操作系统NFS/CIFSTCP/IP栈网络接口IP网络客户端NAS设备存储阵列39在NAS上创建和共享文件操作1、创建存储阵列卷：在存储阵列上创建卷，为卷分配LUN，然后提交新创建的卷到NAS设备上；、创建NAS卷：在NAS设备上进行探测工作，识别出新的阵列卷，并创建NAS卷（逻辑卷）。存储阵列上的多个卷可以合并为一个更大的NAS卷；、创建NAS文件系统：在NAS设备上创建NAS文件系统；、挂载文件系统：在NAS设备上挂载新创建的NAS文件系统；、访问文件系统：将新挂载的文件系统用NFS或者CIFS协议发布到网络上，使得客户可以对其进行访问40SAN与NAS的比较NAS：简易、低成本SAN：高性能，可扩展性强SAN与NAS的融合已成必然正在发展中的技术：IPSAN41号外篇系统架构进化过程42434445464748495051第八章IPSAN协议本地与倩姐模式协议52IP SAN的概念TCP/IP凭借其扩展性强大，与FC竞争，占领了盘阵前端接口的阵地；但盘阵后端不需要高可扩展性，而是需要速度，故还是由FC统治。人们将以ISCSI为代表的以TCP/IP作为传输方式的网络存储系统称作IP SAN。注意：IP SAN并不一定要用以太网作为链路层，也可以用任何支持IP的链路层，比如ATM（IPoA），PPP，HDLC，甚至是Fibre Channel。就使得IP SAN的可扩展性变成无限大，可以扩展到世界任何一个有Internet网络接入的地方，这也是ISCSI名称的由来。53iSCSIiSCSI使用SCSI协议封装SCSI命令和数据，然后使用TCP/IP数据包进行发送iSCSI的物理连接设备：1、标准NIC（网卡）：不具备数据处理能力，需要主机CPU执行所有TCP/IP和iSCSI转换工作，增加CPU的负担。最简单，最便宜。2、TOE NIC：可以完成TCP/IP协议栈的工作，主机CPU完成iSCSI的解析和处理。3、iSCSI HBA：独自承担TCP/IP协议栈和iSCSI功能。最昂贵。54iSCSI的连接拓扑本地模式：其拓扑结构中没有任何FC-SAN组件，所有通信通过IP网络来进行桥接模式：需要FC组件，iSCSI HBAIP网络FCSANFC端口本地iSCSI端口IP网络FCSANFC端口iSCSI网关服务器服务器iSCSI和FC组合使用，不借助桥接设备，部署iSCSI复杂度低，但存储阵列需同时处理FC、iSCSI流量阵列本身没有以太网端口不具iSCSI功能，必须用桥接器、路由器或网关实现从IP网络到FCSAN之间的协议转换和通信55iSCSI其他信息1、iSCSI名称iSCSI认证名称（IQN）扩展的唯一标识符（EUI）网络地址授权（NAA）2、iSCSI会话：会话ID（SSID）标识一个会话会话过程中会增加、删除TCP连接数每个iSCSI连接会话都有唯一连接ID（CID）3、iSCSI PDU（协议数据单元）：iSCSI发起方和目标方使用iSCSI PDU进行通信4、iSCSI的错误检测和恢复：Level 0=会话恢复Level 1=消息摘要故障恢复Level 2=连接恢复56FCIPFCIP是一种隧道协议，是分散的FC SAN孤岛通过现有的IP网络进行互联。使用TCPIP作为底层协议。当两个光纤网络合并时，所有交换机和路由器都要有各自的唯一的域名ID，而且网络需要包含唯一的分区集合名，否则整个光纤网络将被分割。57第十章存储虚拟化内存虚拟化网络虚拟化服务器虚拟化存储虚拟化带内和带外的虚拟化方案块级与文件级虚拟化58虚拟化的形式n内存虚拟化n网络虚拟化n服务器虚拟化n存储虚拟化59内存虚拟化在一个虚拟内存实例中，内存地址空间被分为固定大小的页面毗连区块。一种称之为分页的处理方式将不活动的内存页保存在磁盘上，当需要使用时就读回物理内存。虚拟内存管理器（VMM）所使用的磁盘空间被称为交换空间，即虚拟内存。虚拟内存使得应用程序好像拥有自己的、独立于现有物理内存资源的连续逻辑内存。60网络虚拟化网络虚拟化是指建立虚拟的网络，从而使每个应用程序将其自身的逻辑网络独立于物理网络。VLAN的划分：1、根据端口划分：建立在物理层，最常用2、根据MAC地址划分：建立在数据链路层，对每个MAC地址的主机都配置它属于哪个组3、根据网络层划分：建立在网络层4、根据IP组播划分：效率不高，适用于广域网5、基于规则的划分：最灵活的方式6、按用户定义、非用户授权划分61VSANVSAN的功能：1、在VSAN中，主机的光纤通道编号（FCID）可以在不同的VSAN中的不同主机之间复用，提高了SAN的可扩展性；2、每一个VSAN都各自运行一些必要的协议，如FSPF、域管理器、分区；3、不同VSAN中的流量都互相隔离；4、在VSAN中，因为事故对该VSAN造成的影响不会传播到其他VSAN。62存储虚拟化SNIA（存储网络工业协议）的存储虚拟化分类虚拟存储化带外虚拟化带内虚拟化基于主机的虚拟化基于网络的虚拟化存储设备的虚拟化磁盘虚拟化磁带虚拟化数据块虚拟化文件系统虚拟化其他设备虚拟化创建什么在哪里实现如何实现63带内和带外带内存储网络虚拟化中，虚拟化设备部署在原来的数据通道上，是基于软件的解决方案。缓存数据包，增加响应时间。系统增加了虚拟化层，大大提高复杂性，其扩展能力亦受限制。适用于系统负荷稳定和可预测的环境。带外存储网络虚拟化：虚拟化设备配置在数据通道之外，基于硬件。不缓存数据，响应速度快，易扩展。64存储虚拟化的类型块级存储虚拟化：在SAN的主机和存储阵列之间提供一个转换层。主机使用虚拟化LUN，虚拟化设备在虚拟化LUN和阵列的物理LUN之间转化文件级虚拟化：致力于消除NAS环境中的文件访问和文件级存储位置之间的依存关系，这为优化存储利用率、整合服务器和执行不间断文件迁移提供了实现的可能性65第十一章业务连续性概述业务连续性信息可用性灾难恢复灾难重启动BC规划业务影响分析66业务连续性（BC）BC涉及一些主动性的措施（如：业务影响分析和风险评估、数据保护、安全性等）以及一些在故障发生时采取的补救措施（如灾难恢复和重启动等）。BC方案的目标：确保那些至关重要的业务操作所要求的信息可用性 67BC术语灾难恢复：对以前的数据备份的恢复，并且应用日志或者其他方式将备份恢复到一个已知一致性位置的过程；灾难重启动：利用基于镜像的数据和应用的备份重新启动业务操作；恢复点目标（RPO）：中断后系统和数据必须恢复到的时间点；24小时RPO：该方案每天午夜在外置磁带驱动器上生成备份；1小时RPO：该方案每小时将数据库日志传送到远程站点；零RPO：该方案将关键任务数据同步镜像到远程站点；恢复时间目标（RTO）：中断后系统、应用、功能用于恢复的时间；热站点：当灾难发生时企业业务可以转移到这个站点上，该处具备满足业务需求的条件；冷站点：同热站点，但该处仅具有最小的基础架构和环境设备，并处于未激活状态。68信息可用性（IA）可靠性：在特定条件下以及一定时间内部件无故障运行的能力可获性：此状态下信息能够在正确的位置提供给正确的用户。系统处于可获性状态的时间称为系统的正常运行时间，处于不可获状态称为系统停机时间合时性：定义信息可用的确切时刻或者时间窗（即时间范围）。信息不可用因素：新硬件的安装、集成、维护；软件升级、补丁、备份；数据恢复等；天灾人祸。信息可用性度量MTBF（mean time between failures）MTTR（mean time to restoration）69故障分析单点故障：能够终止整个系统或者IT服务可用性的单个部件的故障，比如：服务器、网络、交换机、存储阵列等。容错：为缓解单点故障，采用了冗余方式多路径软件：IO路径单路故障时，该软件能辨识和使用另外的数据通路70第十二章备份和恢复可操作备份归档留存周期裸机恢复备份体系结构备份拓扑虚拟带库71备份的目的灾难恢复可操作恢复归档：基于RPO基于RTO增量式备份差值备份CAS（内容寻址存储）是归档的主要方式，但中小企业也会使用备份进行归档。72感谢观赏感谢观赏73