企业私有环境下的云平台存储架构设计关键技术.docx

企业私有环境下的云平台存储架构设计关键技术 相对于其他云计算技术来讲，私有云平台应该算是最早进入企业的IT基础架构当中的。分解来看，计算、网络、存储是其三个核心元素，越来越多的私有云平台开始支持各类存储架构，如何选择可以融入私有云平台的存储架构成为关键问题。企业私有环境下的云平台存储架构设计需要考虑哪些关键技术？企业私有云平台下的存储架构规划设计方法需要有整体的思路框架，始终将数据的梳理和分析作为支撑规划设计的基本前提。同时在具体细节规划的时候，还需要针对技术维度和管理维度区分各自领域当中需要保持的基本原则和关键问题，该借鉴的借鉴，该放弃的放弃，求同存异，最终实现适合企业自身的存储架构设计方案。一、引言相对于其他云计算技术来讲，私有云平台应该算是最早进入企业的IT基础架构。越来越多的私有云平台开始支持各类存储架构，如何选择可以融入私有云平台的存储架构成为关键问题。二、总体规划设计思路存储本身是用来承载数据，对于存储架构的设计，必然离不开数据的分析。所以在企业私有云平台下对存储架构的规划和设计也同样需要一个以数据分析为起点的整体规划思路。总结下来，笔者认为从数据分析到技术架构分析的完整闭环思路，如图1所示：图1：数据分析到技术架构分析完整闭环思路图按照图1所示，存储架构的规划需要分三个步骤进行。首先，需要从企业内部业务数据层面进行梳理和分析，包括业务数据的数据类型、数据当前的规模以及膨胀的速度、数据读写分布的比例以及随机顺序的相关特征、数据访问的并发量问题、数据重要性分级以及数据保存的安全性要求等；其次，根据数据梳理的结果进一步分析存储架构的规划设计，在通过对数据的结构类型、数据规模、并发需求、读写特点综合分析之后可以确定分布式架构和集中式架构的选型和拓扑规模，对数据分级和安全需求进行综合分析之后，可以决定架构当中的冗余性设计策略和备份归档策略，读写特点和并发量的分析又可以定位架构当中存储介质以及性能平衡的一些策略；最后，我们通过对底层架构选型和规划分析，再结合管理维度所需要达到的目标，来确定应用接口层、中间功能层以及运维层面需要达到的一系列对数据的使用、监控、加工、分析、报告等各方面的存储管理指标。三、数据业务梳理分析1. 按照业务维度为前提的原则存储是私有云当中核心的三大资源之一，存储资源的分配需要秉承着以合适合理的性价比原则进行分配。而对于企业来讲，所有的业务系统是有着重要性、安全性等业务方面的区分的，而这些属性维度的判断是与每一个业务系统精密绑定的，因此数据分析的第一步就是要根据应用系统的业务特性需求进行分级划分，并且针对每一个业务系统进行其他维度的梳理和细分。例如，在银行业当中，企业的所有应用系统会参照银监局以及人民银行的相关要求（业务连续性、数据安全、数据审核等）并且结合自己企业的实际业务需求情况（核心、交易、渠道系统）进行细化分级，这些细化分级之后的标准是进行数据梳理分析的前提条件。2. 数据梳理常规指标在明确了企业数据业务分级标准的前提下，我们在对企业存量数据和未来数据进行梳理和分析的时候，需要对所进行分析的业务系统数据定义一系列梳理的指标，包括数据类型、规模、读写特点、最大并发、访问要求等。就金融行业而言，笔者认为有以下几个必须要采集分析的指标：1） 类型：企业存量数据都有哪些类型？这里的类型从广义上看是指结构化和非结构化类型，具体分析的时候针对结构化和非结构化进行细分，比如非结构化的又可以按照数据的功能维度区分为日志、备份、图片、视频、镜像等等，那么日志又分为账务日志、业务日志、运维日志等。划分的越细，后续的基础架构匹配就会越契合。2） 规模：规模是指数据存量规模以及膨胀的规模，不仅仅需要判断目前的情况，还需要预测未来的发展，所以这个指标的分析是要分两部分（存量和未来）来进行的。3） 重要性：重要性主要是根据前边我们对数据业务分级标准制定的。4） 读写分布：这个指标主要是希望明确数据业务的读写类型和比例，它是指导我们进行存储技术架构选型的重要指标。具体细分可以分为顺序读、顺序写、随机读、随机写，同时分析出各自的大概比例。5） 性能要求：性能要求体现在业务层面对客户层的反馈快慢需求上，比如银行的交易系统对性能的要求非常高，同样映射到数据访问的要求也必须是高性能的读写。6） 事务性：事务性主要是业务对数据的完整性和一致性要求。例如银行的交易系统和账务系统要求的是数据的强一致性，不允许任何脏读、脏写，而电子商务类的购物车数据要求的是弱一致性，可以包容某些程度的脏读。四、存储架构选型思路1. 分布式与集中式的选择其实每一种存储技术架构最初的诞生和应用都是与契合它的业务场景密不可分的，互联网企业在特定业务场景下对业务需求使得互联网企业在存储架构的选择中，最终选择了分布式架构。不是集中式架构长得不漂亮，互联网企业才最终拥抱了分布式架构，而是集中式在互联网的特定业务场景下无法解决其业务需求，互联网企业才最终选择了分布式，这个拥抱过程一定融入了太多的无奈。所以我们金融行业企业今天选择存储技术架构的初衷和源动力也应该从业务场景需求出发。接下来，我们来看看对各种主流存储技术架构特性的概括性描述：集中式架构最大的优点在于其对业务事务性的保护和其稳定的架构，这也是它长期在金融行业交易业务场景下占据核心存储架构地位的主要原因。但是它的不足在于它对大规模并发支持显得无能为力，无论它的控制器扩展能力如何，毕竟是有限的，这也是互联网企业放弃它的主要原因。恰恰相反，分布式架构对大规模海量数据的并发访问有很好的契合性，但同样有着对业务的强烈的事务性保护不够或者需要付出很大的代价等不足之处。看看业内对特定存储技术产品的评价，例如“GFS是一种适合大文件，尤其是GB级别的大文件存储场景的分布式存储系统”、“GFS非常适合对数据访问延迟不敏感的搜索引擎服务”、“GlusterFS是可以代替NAS的通用分布式文件系统存储技术，可配置性较强”、“对于并发读写操作的性能稳定性上，Ceph远胜于Swift”，“在4K-128K数据大小的范围内，Ceph和Swift的读性能表现都是最佳的”、“对于并发写操作，Ceph的并发量越高其性能表现越接近Swift，并发量越少其性能表现会明显逊色于Swift”。从以上摘录的一些对特定产品的分析来看，每一种存储技术架构都有其特定的优势和劣势。我们不仅仅需要根据数据梳理分析的结果确定什么样的数据放在集中式架构上，什么样的数据需要放在分布式架构上，我们更需要根据这些架构的优劣分析确定应该放在什么样的集中式和什么样的分布式上。2. 存储资源类型的选择存储资源类型包括Object、Block、FS这些资源类型，如何将这些资源匹配到合适的场景上？可能对于Block来讲，大家比较容易做判断，一般会把企业业务系统当中关系数据库的结构化数据放在Block资源上，根据业务性能需求在Block资源上再做个细分。例如我们根据数据梳理结果当中的性能要求、并发访问、重要性等方面的综合分级与Block资源池当中的性能分级对应并做分别对应。同时，我们需要考虑其中的变化因素，因为数据业务访问的指标是动态的，原有的匹配很可能会与实际的变化产生冲突，这个时候就需要缓冲资源的设计以及自动化平衡策略的利用，例如集中式存储当中的分层策略。对于Object和FS来讲，可能有些人容易混淆。比如对于图片数据，似乎放在FS资源池和Object资源池没有太大区别。对于小规模的数据量来讲，如果应用接口没有限制，那么确实底层存储资源池类型的选择没有那么清晰。但是如果考虑到存量和未来的数据量规模、数据平均大小、数据访问特点等因素，就需要做一个准确的判断了。FS存储资源的访问是要依赖树状的索引，而Object存储资源的访问是靠哈希计算的支持。当数据量到达一定规模之后，索引的扫描显然要差于哈希的计算。从访问特点适应性来看，索引的随机性也会差于哈希的随机性。因此，虽然很多存储架构可以在上层进行接口的整合，比如Ceph可以基于Object实现Block和FS，但是从技术架构的选择上来讲，准确直接更有效。五、存储资源管理设计1. 数据应用接口说到数据应用接口，其实主要是借用公有云思维的产物。无论是腾讯云还是阿里云，几乎都可以看到公有云上的一些特殊存储产品，它们是基于特定应用场景数据设计出来的优化存储服务产品。比如针对云盘、备份数据、视频数据、图片数据、镜像数据等专门设计的存储资源服务。用户不再需要关心底层基础架构的规划、配置、优化等方面的事宜，因为这些事情已经被整合到存储资源池的设计当中了。作为企业来讲，其实是有一些特定场景下的数据可以如此设计的，尤其是对一些书库类型单一、数据膨胀速度较快、数据量规模较大的场景：比如金融企业的影像平台数据，可以考虑将对象存储资源和文档数据库整合形成一个完整的闭环存储资源服务接口。2. 云化管理思维虽然存储技术架构会有精准的选型匹配要求，但是基于未来膨胀式的数据发展规模以及不断变化的基于互联网模式的业务革新，对于数据的管理也不可能依靠有限技术工程师的精准管理了，需要在资源管理、配置优化、运维管理等方面实现相应的标准化、自动化以及智能化。这一点也需要向公有云借鉴。首先，从资源的注册请求、创建配置、分配发布到资源的注册销毁、对象消除、回收控制都需要基于统一的平台接口实现应用标准化调用，我们只需要在管理应用中定义符合企业标准的资源管理流程；其次，从动态性管理来讲，无论是虚拟资源的增加减少以及物理资源的拓扑变化，都应该以运维数据为支撑建立自动化的控制标准，同样以管理应用调用的方式来实现全自动化，而不是传统虚拟化模式下的半自动化。再有，从运维角度来看，一方面运维采集的数据不再应该是设备日志了，采集的数据应该扩展到外部访问和内部系统变化相关的系列数据体系上，不仅仅要具备采集能力，更需要具备对数据的加工和分析能力，从而为自动化的资源配置调整做决策支持。六、结语简言之，企业私有云平台下的存储架构规划设计方法需要有整体的思路框架，始终将数据的梳理和分析作为支撑规划设计的基本前提。同时在具体细节规划的时候，还需要针对技术维度和管理维度区分各自领域当中需要保持的基本原则和关键问题，该借鉴的借鉴，该放弃的放弃，求同存异，最终实现适合企业自身的存储架构设计方案。老谷 某股份制银行系统架构师：云环境下银行业务系统、数据和运维的应用特性催生出了对于存储的不同需求，结合虚拟化、容器等业务需求、结构与非结构化数据的占比与增量变化、运维智能化与容灾的需求，企业可以针对性地选择企业存储与分布式存储，构建云平台存储架构。云平台存储架构和云平台存储相关的技术，为银行未来业务发展提供了先进的技术支撑，为架构持续演进奠定了基础。一、银行 IT 基础设施发展趋势如今，随着银行业越来越重视其IT的投入和建设，而在这过往三十年间，银行的信息系统架构经历了电子化、区域互联、数据大集中几个阶段，2010年以后各大行开始尝试向互联网+数据驱动转型。对于银行IT存储建设来说，由于新的应用系统规模变得越来越大，将所有业务单元集中部署在一个或者若干个大型机上的体系结构，已经不能满足当今的业务需求。这种部署模式，造成了每套硬件与所承载应用系统的“专机专用”，多套硬件和应用系统构成了“竖井式”部署架构，使得整体资源利用率不高，占用过多的机房空间和能源。应用系统的增多，IT资源的效率、扩展性、可管理性都面临很大的挑战。由此云的时代在银行业正式开启序幕，由于各大银行都努力基于云架构来构建新的分布式应用，并持续开展主机下移进程，这就形成了银行业务系统独有的集中式（大机上的集中式架构核心系统）+分布式（云上的分布式架构应用系统）架构体系，并结合云计算、大数据等新技术手段，不断优化改进应用架构、扩展节点弹性计算能力、增强系统高可用性，大大提升了业务推陈出新的快速组合创新能力。银行业务系统对架构有怎样的需求，并基于这种创新能力，未来云化服务化的存储架构又当如何发展？二、银行业务系统、数据、运维对存储的需求针对金融行业应用的特性，结合应用的具体技术形态，对于存储的需求基本有以下几类：1. 银行业务应用对存储的需求 虚拟机应用的IO特性及对存储的需求随着云计算、虚拟化技术的推广使用，金融行业不管是交易类系统还是分析类系统，大量应用节点，包括Web服务器、业务处理的App服务器、通讯服务器，及部分体量较小的数据库基本都运行在虚拟机上。为了保证虚拟机的高可用，往往会构建虚拟化集群，并使用共享存储。虚拟机存储的数据和数据访问的特点是：数据存储量大，通常一个虚拟机需要的存储空间在几十GB到数百GB不等；数据的重复量大，可压缩的空间大;对IO性能的要求中等，对于应用节点，IO时延在10ms(毫秒)左右基本可满足要求，如果虚拟机上运行数据库，则IO时延通常要求小于5ms。金融行业虚拟机通常通过共享存储实现虚拟化的高可用，因此，对存储的稳定性有较高的要求。 容器应用的IO特性及对存储的需求容器上运行的主要是无状态应用和轻量数据库。容器应用对存储的需求，基本与虚拟机的需求类似。由于一些应用没法完全做到无状态，因此，容器应用往往需要共享存储，通常通过NAS来提供共享能力。 数据库应用的IO特性及对存储的需求数据库系统一直处于金融业务系统的核心位置，几乎所有的应用系统都离不开数据库，数据库系统的性能问题常常是应用系统性能问题的关键。存储系统又在数据库中起着决定性作用。数据库按其处理业务的类型可分为OLTP(On-line Transaction Processing)、OLAP(On-LineAnalytical Processing)和混合型。OLTP主要处理的是前面所述的交易类系统，这类数据库系统对存储的IO时延极为敏感，并且都是随机读写，通常对存储的IO时延要求在2ms以内，应用系统的并发量越大，对存储性能的要求越高。高IOPS(Input/Output OperationsPer Second)、低时延是OLTP数据库对存储的共性要求。OLAP主要处理的是前面所述的分析类的应用，这类数据库对存储的吞吐量要求高、IOPS要求高，对IO时延也要求高，通常对存储的IO时延要求在数ms之内，由于OLAP可以容忍数据库的单个SQL响应时间略长，但对应用任务整体处理时间还是有一定要求，因此IO时延也不能太长。还有一类是OLTP与OLAP混合的数据库，对于混合型数据库，对存储的要求是最高的，既要求IO时延短，又要求存储数据的吞吐量大。但是在高并发的应用系统设计中，通常会将应用拆分，尽量避免使用此类混合型数据库。 文件共享类应用的IO特性及对存储的需求有些应用系统的服务器节点之间，需要共享数据库，常见的是文件共享。这类系统对存储的要求是IO时延在几个ms左右，并且随着文件数量的增加，时延不能增加。2. 银行不同数据类型对存储的需求 非结构化数据和归档数据的IO特性及对存储的需求非结构化数据和归档数据的特点是文件数量大，文件数量通常在数亿及以上;对存储的时延要求不高，要求在几十ms左右，但是要求存储在容量增加时，性能不能降低。 结构化数据的IO特性对存储的需求关系数据库：用于主业务数据存储，提供事务型数据处理，是应用系统的核心数据存储。需要高速缓存，对复杂或操作代价昂贵的结果进行缓存，加速访问。3. 银行运行维护对存储的需求 运维智能化对存储的需求基于多设备、甚至是多设备多厂家管理的复杂情形下，金融企业数据中心需要有新型的管理方案，能够按需分配存储资源服务，自动化数据运维管理，支持开放架构、多云链接和融合，支持未来金融业务走向全场景智能、多云融合。 容灾对存储的需求在移动互联网已普及、用户对业务实时性需求越来越高的今天，保障业务连续性是重中之重，做好完备的灾备方案规划和实施，实现业务不中断、数据不丢失、操作无感知。在数据中心中，完整的数据保护的过程应该是一个数据加热的过程，热数据应该全部做容灾保障7x24H的业务连续;对温数据来说则需要做热备份，这样当故障发生时，备份数据就能够快速转变成我们需要的生产数据;对于冷数据或是归档数据，当它们转变为温归档数据则能够快速地被调用发挥价值。所以我们说，“热数据全容灾，温数据热备份，冷数据温归档”，这样整个数据的访问效率也会得到大幅度提升。三、针对不同的业务需求，如何选择存储企业存储是金融业常见的存储设备，不管是SAN存储还是NAS存储，在金融行业都已使用了二十年。很多银行构建了庞大的SAN存储网络或NAS网络，并且运行稳定。近些年随着云计算技术的发展，互联网企业开始大规模使用分布式存储，分布式存储给银行传统的企业存储带来了冲击。很多金融企业面临分布式和企业存储的选择难题。对于这个问题，其实不用纠结，不管是企业存储还是分布式存储都有其各自的特点和使用范畴。1. 企业存储和分布式存储的特点企业存储功能完善，稳定性好，运维简单，监控、运维体系健全，技术成熟，可选择的范围也很广，从中低端到高端产品齐全。不足是：单体容量有限，可扩展性较差，一次性投入大。分布式存储，通常使用多台PC服务器，构造一个软件定义的存储，其特点是：IO吞吐量大，扩容方便，可以组成大规模的存储池。采购成本可分批次、分阶段投入，设备可以分批次折旧。但是由于分布式存储的成熟度不足，以及分布式存储本身网络连接的条件不如企业存储，导致稳定的性能表现不足，运维相对复杂，配套的监控、运维体系不足。2. 企业存储和分布式存储的选择在选择上，如果系统对延时要求高，对性能的稳定性要求高，那么最好的选择是企业存储。如果系统对IO吞吐量的要求高，而对性能要求没那么高，分布式存储是较适合的选择。对于大容量的对象存储的选择，基本上分布式存储是不二的选择。在云计算环境、虚拟化平台所用的存储，如果虚拟机本身没有承载高IO性能要求的应用(如数据库应用)，那么分布式存储是较好的选择，服务器的扩容和存储的扩容可以根据实际存储的用量同步进行。未来随着分布式技术的发展，伴随着云计算技术的发展，分布式存储也将逐步在一段时间内有一定的发展。四、私有云环境下，不同架构存储如何适配云架构1. 何为云平台存储云平台存储，作为一种云计算领域存储服务方式，底层构建在分布式存储基础之上，上层通过Internet形式提供存储服务，除了具备分布式存储基础特性外，更兼具灵活性。2. 云架构下存储的实现存储向云架构的适配通过分布式文件系统的支撑和统一云管平台的调度。现有的云平台存储分布式文件系统包括GFS、HDFS、Lustre、FastDFS、PVFS、GPFS、PFS、Ceph和TFS等。我行现有一套私有云环境，由同一套存储系统为上层应用提供块、文件和对象三种数据服务，满足银行业务对结构化和非结构化数据的存放需求，例如：在高性能、高读写速率要求，数据密集型应用场景下：NoSQL/关系型数据库（超高IO存储类型），需通过云平台存储对外提供的集中式块存储服务来实现。在大容量、读写速率要求不高、事务性处理较少的应用场景下：企业办公应用 （通用IO存储类型），则通过云存储对外提供的分布式块存储服务来实现。具体的实现逻辑实际是基于：云硬盘，是一种基于分布式架构的，可弹性扩展的虚拟块存储设备。可以在线进行操作，可以对挂载到云服务器上的云硬盘做格式化、创建文件系统等操作，并对数据持久化存储。同时，云硬盘具有更高的数据可靠性，更高的I/O吞吐能力和更加简单易用等特点。而对于影像存储，非结构化数据备份归档需求则通过OBS，一个基于对象的海量存储服务，来提供海量、安全、高可靠、低成本的数据存储能力。云平台存储内置数据保护功能，例如：备份、容灾等，分布式存储提供多种企业级特性，包括快照、精简配置、备份、加密、压缩、QoS等。通过云管平台对计算，存储，网络等多种云服务进行统一的的申请发放，帮助我行轻松应对业务快速变化时的信息灵活、可靠存取的需求。保障银行云平台存储系统的数据安全性，超强的可扩展性。五、云环境下的存储服务化如何实现未来银行的IT以全行资源池化的私有云为基础，通过云平台存储实现虚拟化存储资源的管理和使用。云存储采用可扩展的分布式文件系统，它将存储作为服务，通过应用软件进行业务管理，统一的应用接口对外提供数据存储和业务访问功能。并通过集群应用、网格技术等技术，将网络中大量类型各异的存储设备整合起来。通过OpenStack的标准接口，对服务器、虚拟化平台、存储、网络、容器等基础设备及软件进行统一的管理。1. 针对于不同需求的存储服务化 对象存储服务OBS一项面向Internet访问的服务，提供基于HTTP/HTTPS协议的Web服务接口，银行业务系统在使用时需要该服务可以随时随地连接到Internet的电脑上，以OBS管理控制台或各种OBS工具访问来管理存储在OBS中的数据。此外，OBS需要支持SDK和OBS API接口，可在使用时方便管理银行自己存储在OBS上的数据，以及开发多种类型的上层业务应用。 文件存储服务SFS弹性文件服务（Scalable File Service，SFS） 提 供 按 需 扩 展 的 高 性 能 文 件 存 储（NAS）。对于银行不中断应用和文件共享的需求，文件服务需要实现同一区域跨多个可用区的云服务器可以访问同一文件系统，从而满足多台云服务器共同访问和分享文件。弹性文件服务要根据使用需求，在不中断应用的情况下，增加或者缩减文件系统的容量。性能随容量增加而提升，保障高可靠性和高可用性，同时保障数据的高持久度，满足业务增长需求。弹性文件服务应同时支持NFS和CIFS协议。通过标准协议访问数据，无缝适配主流应用程序进行数据读写。兼容SMB2.0/2.1/3.0版本，Windows客户端可轻松访问共享空间，从而满足银行业务应用的高效。 块存储服务云硬盘应具有更高的数据可靠性，更高的I/O吞吐能力，以满足银行核心数据的存储与使用。六、小结综上所述，云平台存储架构和云平台存储相关的技术，为银行未来业务发展提供了先进的技术支撑，为架构持续演进奠定了基础。面向互联网的数字银行 IT 系统设计越趋复杂，在业务需求快速变化的情况下，微服务的数量也呈指数级增长，传统的模式支撑如此大规模的分布式服务变得艰难，云平台存储架构简化了业务系统基础设施，更利于构建自动化的管理体系。陈萍春 利安人寿资深工程师：对于企业私有环境下的云平台存储来说，数据中心对存储高性能、高可靠性、弹性扩展、易管理的技术需求会存在一定的差异；其关键技术元素也不尽相同，因此实事求是的考量来看，企业存储、分布式文件系统、分布式对象存储都有其独特的优势与适用场景。一、关键技术需求金融行业机构对于数据中心存储都有着高性能、高可靠性、弹性扩展、易管理的技术需求。对于企业私有环境下的云平台存储来说，这些技术需求又会存在一些差异： 高性能云平台的弹性伸缩特性可支撑超大规模的计算节点部署，也带来了超大规模的数据访问请求，这就给存储系统带来了相当大的负载压力；而不同的业务系统对存储设备的性能又有着明显的差异，如何承接这些存储负载，如何存储分级分层、保障存储服务质量是云平台存储架构设计的首要目标。 高可靠性云计算的虚拟化特性极大提高了IT资源的使用效率，也带来了很高的耦合性，极易造成问题群发，故障影响半径往往更大。而金融数据安全的重要性不言而喻，有着严格的RTO、RPO要求，那么如何做好数据隔离，如何满足存储系统的高可用和容灾恢复需求成为云平台存储架构设计最关键目标。 弹性扩展云平台存储可以有效提高存储使用效率，存储精简配置和自动供给能一定程度满足存储资源的弹性供给。随着业务规模的增加、业务数据增量巨大，云平台存储资源池也不可避免地需要频繁调整。另外，云计算技术也处于蓬勃发展阶段，技术更迭速度较快，因此一个支持平滑升级适配、平滑扩容、无需中断业务即可无缝扩展的云平台存储架构也是迫切需求。 易管理云平台存储的易管理性体现在两个方面，一方面是统一存储管理，另一方面则是存储自动化和可视化能力。统一存储管理既能对外提供丰富的标准接口，如文件系统接口、块存储接口或对象接口等，又能异构存储纳管，将各类存储资源统一管理、灵活配置；自动化可简化部署，对日常工作进行自动化管理，可视化可深入洞悉存储与应用的关系，掌握存储使用情况和容量增长趋势。二、关键技术元素图2：云平台存储架构图云平台存储主要是数据存储层、存储抽象层、存储接口层和存储资源管理这样的分层架构，包括如下的关键技术元素：底层数据存储：可分为企业存储、分布式对象存储和分布式文件系统这三种类型；存储资源虚拟化：存储资源虚拟化是通过虚拟化技术将底层数据存储虚拟化为存储资源池，对云平台屏蔽底层数据存储实现细节；存储接口：存储接口包括提供给业务应用的数据访问接口和存储资源管理接口。其中底层数据存储是云平台存储的基础，与其他技术元素的实现方式息息相关，下文将分别剖析不同的底层数据存储及其适用场景。三、企业存储及其适用场景分析企业存储使用专用硬件和存储控制器，存储控制器采用双控或多控互联架构，包含Raid功能和大容量Cache。控制器后端连接到磁盘柜，磁盘柜包含了多个Raid组，每个Raid组又包含多块磁盘，这就组成了磁盘阵列，如图3所示。图3：企业存储硬件架构示意图企业存储一般可提供块存储或文件存储接口服务，其优点可总结为： 性能：IO分片粒度小，数据IO传输路径短，表现为低时延和高IOPS； 可靠性高：专有硬件和存储控制器的可靠性高，基于RAID和硬件冗余等技术也较成熟； 数据强一致性：控制器、磁盘间的集中式互联架构最大限度地保证了数据的强一致性。一般来说，企业存储在私有云平台的适用场景如下： 云主机硬盘：通过iSCSI接口对接云平台，为云主机提供存储； 文件共享：提供NFS或CIFS的文件系统接口，满足业务系统的文件共享存储需求； 关键业务系统和交易类数据库：由于企业存储具有优异的IO性能和高可靠特性，可以很好地契合关键业务系统和OLTP数据库。四、分布式对象存储及其适用场景分析分布式对象存储（Key-Value）是一种无中心化架构，通过数据布局算法均衡分布在不同节点上。Ceph是一种典型基于分布式键值的存储系统，其object数据分布采用的是crush算法，是在一致性hash算法基础上，充分考虑多副本、故障域隔离等约束设计而来，其实现原理如图4所示。图4：分布式对象存储底层原理示意图分布式对象存储可以支持更好的扩展性，其适用场景如下： 云平台硬盘：Ceph可通过RBD、iSCSI方式对接OpenStack云平台，支持大规模部署； 海量数据存储：由于分布式对象存储的高扩展性，可以很好地满足海量数据存储需求。五、分布式文件系统及其适用场景分析分布式文件系统遵循着map-reduce的设计思路，分而治之再合并。分布式文件系统（DFS）本质上是一种虚拟文件系统，本身有着文件目录结构特征。而DFS对外提供的存储单元则是由文件组成，这些文件又会被逻辑分片，再按照多数据副本分布算法分布到不同数据节点上，如图5所示。图5：分布式文件系统的存储底层原理示意图基于DFS的云存储逻辑清晰，也有着比较广的应用范围，比如GFS、HDFS等典型应用，包括部分超融合方案的底层存储也是基于DFS来实现的。通过IO性能优化，分布式文件系统具有较好的存储IO性能、扩展性，其适用场景如下： 云主机硬盘：可通过iSCSI接口对接云平台，为云主机提供存储； 文件共享：可提供NFS或CIFS的文件系统接口，满足业务系统的文件共享存储需求。结束语综上所述，企业私有云平台下的存储架构规划设计方法需要有整体的思路框架，基本的选型原则以及把握关键技术才能求同存异，并最终实现适合企业自身的存储架构设计方案。-全文完-