云平台存储项目实施前的规划.docx

云平台存储项目实施前的规划 通过传统数据中心存储项目和云平台存储项目的对比分析，阐述云平台存储项目实施前的规划思路，帮助同行们在进行类似项目实施前，可以预先做好准备。如何做好云平台存储项目实施前的规划？一、前言随着金融行业的迅速发展，基于互联网业务的办理方式逐步替换传统的柜面方式。鉴于互联网业务系统的多并发和多扩展的特点，云平台架构方案逐步成为金融行业考虑的架构方案之一。云平台是将物理资源（计算资源、存储资源、网络资源等）进行整合池化，灵活调用软硬件资源，按需为用户提供服务。在运行过程中通过实时监控数据中心业务量和并发量可以进行资源的动态调整和在线扩容，进而达到以较小的资源成本来提供较高质量服务的目的。在云平台分支项目的存储资源云平台化中，前期的存储项目设计规划是云平台搭建的重要组成部分。二、方案实施整体架构规划按照业务系统的种类类型及数据特点，设计相应的云平台存储架构，以下为按照不同的业务场景进行设计的详细架构图：1. 集中式SAN云存储架构（见图1）图1:集中式SAN云平台存储架构（信贷业务系统设计图）2. 分布式云平台存储架构（互联网业务，如图2）三、云平台存储架构的分类如图所示，图1、2分别是根据不同业务系统场景和需求所制定的云平台存储架构设计。根据业务的类型选择SAN云平台存储架构和分布式存储架构。另外我们也可以根据数据类型进行分类。数据按照不同的定义划分的类型不同。如：结构化数据与非结构化数据；交易类数据与非交易类数据；重要系统数据与非重要系统数据等。按照不同的数据类型可以选择相应的云平台存储架构，比如大数据平台因后续需要进行存储资源的灵活扩展，选择分布式云平台存储设计。图2:互联网业务分布式云平台存储架构四、云平台存储中的数据分布集中式存储和分布式存储的架构不同，也决定了集中式存储和分布式上的数据分布有所不同。集中式存储数据信息主要分布在单物理位置的存储设备介质上，存储设备通过iSCSI、NAS、FC等协议连接，数据安全保护采用了RAID技术使用冗余的存储空间条带化存储，存储的可靠性高，存储设备及介质集中布放，易于管理维护；分布式存储是将数据信息分布在多个不同物理位置的多个服务器存储设备上，服务器存储设备可以存放到不同的位置且彼此互联，使用多个服务器将数据存储在一起，数据使用EC（纠删码）或多个副本方式存储在不同的服务器上。五、总结云平台存储架构规划需按照现有业务系统类型和数据结构类型而确定。建议分步骤分阶段完成整体规划，第一阶段为测试开发类型的业务系统；第二阶段为管理和办公类的业务系统；最后在技术以及人员熟练度完备的情况下，将重要的业务系统逐步迁移至云平台存储中。李威 某金融机构 架构师：云平台存储架构规划设计与传统数据中心存储规划设计实践思路可以求同存异，都应该始于业务需求，而云平台存储架构规划设计更是需求目标与设计实践的一一对应，一般分为存储选型、空间布局、性能优化、故障容灾等多个阶段。但其规划的基础始终应该是项目前对业务系统的调研与分析。云平台存储架构规划及设计，可以与传统数据中心存储的规划实践思路求同存异。同，是规划与设计的方向相同。都是始于业务需求，着眼于存储类型、数据量级、业务场景，于空间布局、增容扩展以及故障容灾上进行精细配置。异，则是详细设计的方向不同。传统数据中心存储的规划与实践注重于对存储网络、品牌性能、高级特性优化的着墨，一般对存储架构及性能的配置、调整、优化重点关注，系一种架构思维去推动产品实践的模式。而云平台的存储规划，是鉴于云架构的服务化与平台化的能力，云平台存储类型、规格、性能、扩缩容以及计费等模式一览无余，即开即用无需繁杂的设计与规划。云平台存储的规划与设计，更像是“连连看”，将实际的业务需求、业务场景和与之最佳匹配的云存储做连线，尽可能的将云下存储服务的能力融入到业务多维度的数据需求，形成全方位的部署。因此，云平台存储的规划与设计，几乎是需求目标与设计实践一对一的业务驱动科技的现实演绎。云平台存储架构规划与设计的维度，一般分为存储选型、空间布局、性能优化、故障容灾等多个阶段。在进行云平台存储的细致设计之前，架构师首先会对云上业务系统的数据存储需求进行调研与分析，在前期的摸排阶段重点关注业务系统的量级、负载、可用性等关键业务指标，转化成对云平台存储的需求，即存储类别选型、初始空间评估、关键压力性能、数据保护。存储选型一般先做粗略分类，将结构化与非结构化存储区分，然后在非结构化与结构化存储上做细致分类。数据的存取形式与云平台存储的选型也存在很强的集联关系：结构化云平台存储基于其关联业务几乎是在线业务或高负载业务，因此其选择搭配范围较为固定。生产ECS存储一般业务选择普通云盘、高负载业务优先选择读写密集型高效云盘。云数据库存储通常为高效型SSD；非结构化数据多为企业的归结数据如证件材料图片、视频、交易报文等，此类数据的存储选型很大程度取决于业务对数据的存取策略及性能要求，持续在线数据使用计算型存储，低频回访数据使用归档存储，IO频繁则使用热存储，反之则选择冷存储。非结构化云存储的选型上，通常推荐复合选择以达到最佳实践，这是因为非结构化数据在业务的不同时期其存取需求各异，在线生产经营周期内需要随存随取，不定时访问进行业务生产并可能形成持续压力，此时数据建议配置在对象存储上。当超过生产经营周期，数据由热转冷，不需要频繁访问，在此期间此类数据则建议由生产的对象存储归档至低频冷存储上。冷热数据存储单独配置，既适配了业务的负载特性又方便独立管理，同时在云平台的整体开销上也形成了良性的优化导向。在云平台存储空间布局上，通常使用年度测算法评估业务数据需求总量。例如以月度或季度统计业务的数据单位数据量，以一年为时间长度统计业务数据年度基础量，评估出该业务正常经营一年的数据量预估值。以三年为实时间长度模拟业务数据量的增长，最终评估出业务数据需求总量。云平台存储初始空间大小约等于最终业务数据需求总量除以经典压力负载常数（经典值为70%）。云平台存储的空间通常宜多不宜少，尤其对于正处于发展期（经营超过一两年）的业务，空间测算时预估的年度增长值通常会低于业务实际增长。尽管云平台存储的空间分配与传统存储不同，模糊淡化了LUN的概念，但在云平台存储空间布局上仍要保持传统存储上LUN分配的几个原则-“独立不集中、宜多不宜大”。以ECS存储配置为例，在分配ECS云盘资源时，系统盘与数据盘推荐独立配置（独立不集中），方便系统故障无法开启可以将数据盘迅速挂载到其他ECS快速恢复业务数据。ECS不同数据盘之间，推荐多盘部署分摊业务IO、避免单盘过大造成恢复困难或触达云盘性能瓶颈（宜多不宜大）。云平台存储除了满足业务的基本需求，对云平台存储性能敏感的业务、难以抉择云平台存储最佳选型的情况，均强烈推荐进行性能压测，模拟真实业务运行监测云存储的实际运行效能，云平台存储服务标定的存储规格及性能标定无法真实反映业务的实际运行情况。常见的云平台存储测试大致可分为三类：1. FIO类工具的复合云存储测试，通过指定IO块大小、IO深度、各IO百分比等参数模拟云存储的裸盘性能。此类工具的测试结果可作为业务初步模拟的基础参考，结果符合业务运行要求后再进行后续应用测试。2. 真实业务模拟测试，通常部署业务应用集群，选择核心业务流程，填充业务模拟数据进行低、中、高负载的多轮持续压测，结合裸盘性能测试报告，持续变更云平台存储的配置进行业务适配性优化。3. 数据库类应用测试，数据库类测试工具非常多，如Sysbench、Swingbench、BenchmarkSQL等，选择合适工具进行OLAP或OLTP测试。数据库类测试结果的优化往往需要DBA反复调试数据库参数，以及云平台存储工程师对存储布局进行适配。在云平台存储的性能问题上， 我们常常面对一个选择-云平台存储的高级特性（如智能预读、冷热分层、重复数据删除等）是否可以开启利用？虽然高级特性带来的存储性能提升显而易见，但是否是其业务运营发展需要？其次高级特性的方案成熟度是否完善、是否经过时间的检验？最后开启高级特性的副作用场景我们也应同步考虑，如智能预读中部分场景的读放大、冷热分层特性中的缓存击穿、重复数据删除中元数据故障数据重构等问题。云平台存储事故无大小，一旦发生，其影响的点和面将相当广。对于成熟的高级特性可适当计划在生产实践中开启引用，但一切的前提均是在性能持续压测中进行充分验证。云平台存储的故障容灾手段是相当丰富的，大多可实现数据的快速恢复，比如ECS云盘的快照、OSS的跨域同步、NAS的快照备份等。在项目实践中如何做好合适的规划呢？首先业务系统重要等级和数据完整性高低是云平台存储的数据保护基准也是核心参考，因此进行云平台存储项目前的业务调研报告就相当重要。核心等级越高、完整性要求越严格的业务数据启用的云平台存储数据保护越全面，尽可能减少RPO和RTO。同时也要牢记一个原则所有云平台业务数据至少配置一种数据保护手段。在常规实践中，云平台存储上的故障容灾推荐以云服务数据保护为主，传统备份恢复软件为辅，云保护主要实现数据的迅速恢复，备份恢复软件突出对数据的长期保存或异地离线需求。若以项目场景为例，ECS的云盘数据一般要求通过快照保护，若项目允许辅以备份恢复系统对ECS进行完整性备份或离线导出异地保存等，实现更高精度的备份恢复。OSS和NAS除了本身的复制、快照手段，还可以进行跨区域同步等能力实现多份数据的冗余，利用集中备份恢复系统实现周期性的合成全备份实现细粒度的恢复需求。云数据库存储的数据保护，物理备份、逻辑备份、沙箱保护等多种技术可进行多元组合，同时还可以结合备份恢复系统进行云数据库的离线出库等等。以上是云平台存储项目规划的一点经验之谈，或者说是项目规划的纲要原则。云平台存储项目的规划是一个实践性的话题，不同的业务场景、不同的业务需求给出的规划设计完全不同，并没有一份标准的公共答案。但有一点是可以明确的，那就是项目前对业务系统的调研与分析，这才是云平台存储项目规划的基础。王金东 大连银行系统工程师：云计算的急剧扩张与数据的急速增长需求，使得我们在进行云平台存储项目规划时，要先从数据类型出发，将业务类数据、应用类数据、备份归档类数据与不同的存储类型进行有机组合，设计出适合的云平台存储规划。随着互联网技术的深入发展，移动互联网、大数据、云计算和人工智能等新技术、新业务和新生态也得到加速推进发展，使得各种数据正迅速地膨胀并变大，数据呈爆炸性增长的趋势。特别是近几年，疫情深刻影响着各行各业，为了提供更加丰富的、面向互联网体验良好的无接触服务场景，由此产生的多媒体格式的数据更加速了数据的增长态势。面对IT领域的变革日新月异，云计算的急剧扩张，各类数据的急速增长需求，我们该如何做好云平台存储项目实施前的规划？一、存储数据类型分析为适应存储规划的需求，我们对常用的数据按照产生或使用的维度不同大致分为业务类数据、应用类数据和备份归档类数据：1. 业务类数据业务类数据主要指应用系统运行产生的过程类或结果类数据，包括结构化数据、半结构化数据和非结构化数据。其中，结构化数据主要指存储于关系型数据库的数据，该类数据通常具有数据量较少、增速较慢等特点，同时对读写性能和可靠性的要求较高。半结构化数据主要指基于NoSQL/NewSQL数据库的数据，该类数据通常具有数据量较大、增速较快等特点，同时对读写性能和可靠性的要求较高。非结构化数据主要指文档、日志、票据、影像、视频等归档数据，该数据通常具有数据量较大、增速较快等特点，同时对读写性能的要求相对较低。2. 应用类数据应用类数据主要指应用系统、虚拟化、容器、VDI等数据，该类数据通常用于支撑系统运行，数据量相对较小，且增长速度较慢，对读写性能的要求相对较高。3. 备份归档类数据备份数据主要指为防止业务，或者应用类数据损坏导致的数据丢失制定的数据副本，仅在数据恢复的时候才会被读取；归档类数据是满足数据的长期存储需求而保存的数据，通常仅在偶发的查询历史归档数据的时候才会被读取。备份归档类数据对读写的性能要求不高，同时具有数量大、数据增速较快等特点。二、存储的实施规划不同类型的数据和不同的存储技术在实际应用中有多种不同的组合方式方式。一般下内容暂以结构化数据存储于集中存储，应用类数据、非结构化数据和备份归档类存储于分布式存储，介绍存储的实施规划。1. 集中存储规划集中存储设备作为非结构化数据集中存放的核心设备，通常情况下将多个（或全部）应用系统存放于单台或者有限的几台存储设备中，一旦设备出现异常将会对其数据存取产生极大的影响，进而产生大面积的系统故障，引发严重生产运行事件。因此，存储设备自身的可靠性必须得到保障，存储设备自身的高可用主要考虑几方面：1）磁盘组的RAID级保护 支持多种RAID水平，包括RAID5、RAID6、RAID10、RAID50、RAID60等； 支持针对高水平RAID数据保护的缓存加速选项，以优化性能； 支持大型、高度可扩展驱动群，以简化存储扩张和管理。2）组件的高可用保障组件的高可用硬件设计主要考虑几方面，支持针对单点物理硬件故障应用访问无感知的需求，支持双引擎及双控制平面设计等。当前主流厂商的存储设备均能满足单设备组件高可用的需求。3）存储设备间的高可靠性存储设备间的数据存储也是存储设备可靠性设计的重要环节，存储设备自身的可用性的依靠磁盘的RAID组和组件的高可用保障，但存储设备运行在数据中心中，依赖于数据中心的风、火、水、电等基础设施，一旦这些基础环境出现问题也将导致存储设备不可用。为避免此类故障对数据中心运行产生的影响，可考虑多存储冗余设计，即存储架构规划。设备间的数据复制采用存储层复制、存储层双活或者数据库层复制的技术来满足设备间数据存储的需求，下图（图3）为两地三中心存储复制架构示例。图3：两地三中心存储复制架构示例图2. 分布式存储规划分布式存储是近年来新兴的存储形态，且应用越来越广泛，实际实施过程中考虑以下几个方面。1） 架构实施规划分布式存储在实施过程中架构比较灵活，可以考虑存算一体架构或是存算分离架构。存算一体适合面向业务负载较低的场景，业务种类比较固定、系统规模较小的场景，而不适合业务负载较重，需要高计算性能的场景；存算一体也适合业务配比比较固定，而非业务种类差异比较大的场景。而存算分离适合面向高弹性和高负载业务，可支撑多种类型差异较大的业务，系统规模较大的存储资源池，比较适合面向云化的场景。不适合较小规模场景下，因为存算分离架构成本比较高，计算与存储都需单独部署，因此并不适合简单场景。针对简单的应用类数据场景，我们可以考虑存算一体的架构，以便充分利用节点的计算资源。若企业的应用类型较多，差异较大，可以考虑存算分离的机构。针对非结构化数据存储和备份归档类数据存储主要考虑存储容量，通常采用存算分离的架构。2） 可靠性规划分布式存储系统中没有使用传统的RAID模式来保证数据的可靠性，而是采用了多副本备份机制，即同一份数据可以复制保存多个副本，可以设置跨服务器、跨机架、跨机房等不同维度。在数据存储实施前，对数据进行分片，分片后的数据按照一定的规则保存集群节点上。从可靠性的角度出发，业界常规采用三副本方式运行。3） 性能规划分布式存储可按需配置缓存，将数据缓存于速度更高的SSD磁盘，若追求极致的性能也可以采用全闪盘设计，根据实际的使用场景可采用不同的磁盘配置方案。应用类分布式存储性能要求相对较高，可实施过程中配置SSD磁盘缓存，针对备份归档类数据场景，规划过程可以考虑仅以普通磁盘为主，暂不配置缓存。综上，本文仅是对存储实施规划的简单表述，实际在实施过程中还需要根据具体场景做详细的、分类的具体规划设计。结束语可见云平台存储项目确实和传统数据中心存储项目有很多差异。在实施前做好规划设计非常重要。不同数据类型选择不同云平台存储服务，云平台存储服务和云平台整体性能测试等方面值得同行们在实施前着重关注。-全文完-