系统备份的前期规划设计实践.docx

典型问题与案例分析系统备份的前期规划设计实践 目前很多企业中备份环境存在的困境，大部分都是在前期的规划设计方面存在不足，导致后期问题频出，后期在运维或升级等方面都会显得比较吃力。所以备份的前期规划设计显得尤为重要，本文针对社区会员提出的典型问题和场景案例，围绕备份需求相关问题、备份设计相关问题、备份容灾相关问题和场景案例四方面进行了分析解读。本文问题和解读内容由多位社区会员贡献，汇总整理：王巧雷。1.备份需求相关问题1.1 如何界定自己的备份需求指标？【分析解读】数据备份需求指标依据业务系统的特点和行业类数据保护管理的要求特点，容灾备份较容易化管理量化指标RPO和RTO。数据系统按照等保管理规定的要求而制定备份相关指标。RPO ：Recovery Point Objectives， 恢复点目标，可以理解为从丢失事件到最近一次在前备份的时间度量RTO ：Recovery Time Objectives，恢复时间目标，理解为可以中断或关闭多少时间而不会对业务造成重大损害1.2 对所有的企业数据做备份代价较高，现实中也不具备条件，那么如何评估哪些数据需要做备份？数据规模越来越大，数据种类也多种多样，除了存量系统的数据增长外，新增的IT系统或新采用的技术架构也会产生各种各样的数据。对所有的企业数据做备份代价较高，现实中也不具备条件，那么如何评估这些数据是否需要做备份以及如何备份？【分析解读】这个实际上还是备份需求的分析，需要在调研的时候对不同的应用数据做一个区分，个人总结了以下几点：1.先区分下目的，一般情况下业务数据的使用都有冷热特性。备份数据同样也是，有的数据副本是为了应对数据丢失，这种是备份，特点是数据经常发生变化，保留周期相对较短，备份的频率相对较多；有的副本是为了法规遵从，或者很小概率使用的历史数据，这个对应归档，特点是基本不发生变化，保留周期长，备份频率很少。2. 对数据类型分类，大体上我觉得可以是三种情况。数据库（核心数据），非结构化数据（比如程序代码，图片，文档），应用环境（应用业务的操作系统和应用配置环境），然后 根据数据的重要性和可以接受丢失的程度来决定怎样的备份手段 。所数据都备份肯定是不现实的，备份目的是为了恢复，反向推，如果业务出现数据丢失，按最坏的情况算，都需要哪些数据，就备份哪些数据。然后再根据数据的特点设计，以Oracle为例，归档日志备份的频率最高，数据文件次之，基础环境最少，甚至可以不用备份。2.分类后的数据按照rto和rpo的指标设计备份策略即可，既要避免备份无法覆盖需求，也要避免过度设计，浪费资源。3.根据业务数据实际需求进行分类，可以进行分级存储存放设计，比如长期保存，且使用频率极低的归档数据存放到磁带库，定期出库离线保存，保证备份数据有效可查即可中长期保存的备份数据，使用频率较低的数据，可存放磁带存储、对象存储或大容量低速磁盘存储。短期保存视频频率较高的备份数据可存放到性能较高的磁盘池，后期酌情迁移到磁带库。1.3 存储备份系统按前端容量设计好，还是后端容量设计好？另外，备份带宽的选择如何确定比较好？【分析解读】备份系统的规划涉及到数据存量和增量的分析，数据类型的分析，备份窗口的分析以及未来发展的分析。建议：1.以业务系统出发，对备份内容，每天增量，备份策略，时间，都要有一个系统的评估，以此设计后端容量。备份存储最终是存放备份后的业务数据的，数据在前端是一份，备份以后的容量受备份方式和保留策略影响，如果完全按前端容量对等设计后端，肯定是放不下的。设计时还要考虑其他因素，比如预留容量、后端是否采用了压缩或去重等技术，这些都会影响最终的容量值。另外如果做了数据分层，需要根据各业务系统的分类做针对性设计，最终的目的存储（比如带库）一定要满足最终容量要求，或者满足一次出库周期。中间层的备份存储（如vtl或重删池）满足一次迁移周期即可。2.带宽方面，最低要求是在给定的窗口内完成数据备份。在这个前提下，根据实际环境和规划来做带宽设计，新环境有条件的可以按照规划一步到位，老环境的升级改造可以按照长远规划，分批实施的原则来做。-备份作业和生产作业错峰运行-采用高速网络：万兆ip网，16G或以上FC网-生产网络和备份网络隔离-设计或预留足够的IO通道（如多网卡，多hba卡，多驱动器）-备份存储的性能也是制约带宽的一个因素，如有必要需升级或更换备份存储2.备份设计相关问题2.1 备份体系建设如何适应未来五年的发展？传统的备份体系，包括基于文件、数据库、操作系统、虚拟机的备份；容器、大数据、微服务、各种云等新技术层出不穷。传统的备份还能适应新时代的发展吗，传统的Symantec、TSM、Netwok等还能满足现实需求不？备份体系建设如何适应未来五年的发展？在数据保护方面现在都有哪些新技术、新产品？【分析解读】传统备份软件灾备体系继续可使用，发挥数据保护的作用。国内外灾备服务商备份软件继续发布新的版本，新功能。比如云原生，容器，虚拟化，超融合，混合云，信创相关领域。1.时代和数据中心都在发展，备份的核心目标没变，在给定的允许时间内，安全高效的创建数据副本。2.围绕备份目标的工作还得做：需求分析、存储规划、调度规划、容灾规划这些本质上没太大变化。3.基础架构方面，老的技术不断增强，比如现在的万兆网、16G的san，40G的infiniband，闪存存储，甚至LTO9的驱动器；新的技术不断涌现：压缩、重删、分布式存储，云存储、cdp等等4.传统的备份产品在逐步兼容新技术，各大备份软件都增加了对云存储的支持，还有一些公有云、重删、cdp等特性，模块上也开始兼容更多的产品，比如nbu都已经支持openstack、容器、超融合等新技术的备份。5.也有新的产品和解决方案出现解决新的痛点 ，比如veeam，通过虚拟化备份做大后，一方面开始支持传统unix平台、nas、hana等场景，一方面也在收购kasten，做容器平台的数据保护。6.综合数据备份平台很重要，覆盖不到的新型业务也可以通过其他新技术来解决，后期再整合。综上，备份体系本身也是随着数据中心的发展而发展的，如果底层构建做的好，最大的问题可能就是多样化的支持，这个一方面可以通过现有软件的升级来完成，一方面可以引入新的解决方案，通过并行的方式来覆盖所有的数据保护需求。2.2 数据备份是否需要建本地备份服务器？是否需要根据本地的数据量大小和RTO的要求建立一个备份服务器用来保留最近几天的数据？而不是数据直接落到磁带库。【分析解读】可以，两种实现方式1.库不大的情况下，有的dba想自己备份， 技术实力可以，先从脚本化方式或开源备份软件bacula2.已经存在备份软件。大多数的备份软件都有分层存储功能，备份的数据先落在磁盘存储上，然后根据策略，在一定的时间后迁移到磁带库。这样既保证了短期用到备份集时的效率，又能保证数据的长期存放。具体需要和备份管理员商量着来就行2.3 怎样制定合理的备份策略？【分析解读】备份策略的规划要从实际需求出发，参考自身的RPO和RTO指标来完成设计。要避免设计不足，达不到恢复需求；同时也要避免过度设计，浪费宝贵的存储资源和计算资源。1.制定合理备份策略需求前期进行详细的需求收集和需求分析，了解业务系统的详细信息，包括数据量、数据类型、备份窗口等信息。2.需求分析完毕后对各业务系统进行分类，然后备份软件按照分类将业务数据划分到不同的策略，进行集中备份管理。一般情况下，策略的内容会包含备份主机、备份内容、备份频率，备份保留周期等内容。在分类上可以基于以下维度：-基于相同的业务数据类型-基于相同的业务系统类型-基于相同的业务数据保留周期-相关联、相依赖的业务系统组合3.调度规划指的就是业务系统备份作业的发起窗口。不同的业务系统有自己的特性，在调度设计时要充分考虑备份作业对业务系统的影响。在调度规划时要从多方面综合考虑，要确保在不影响业务正常运行的情况下，在给定的备份窗口内完成数据备份，一般情况下规划调度时，需要考虑如下因素：-业务主机备份的数据量和给定的备份窗口-备份服务器的资源负载程度-备份网络环境的负载程度-业务方面的其他特殊要求总结：调度的规划要根据实际业务做好平衡，整体上来要根据调研的结果尽量去满足各个业务系统的备份要求，但如果这个需求超出了整个备份系统的能力，需要从其他方面做出考虑。2.4 怎样进行备份存储和备份网络的规划设计？【分析解读】可以从以下几个点来考虑：1. 通过备份需要调研，确定存储空间的用量。首先应该先调研并汇总，确认整个环境中当前要需要备份的系统有多少，各大概有多少数据量，最终得到1个初步的数据总量。其次，应该了解并估算整个备份环境的增长量，以及规划的年数。比如，初步估算所有的备份数据总量为5T，每年增长20%，规划5年周期。最后的总量应该是12.5T左右最后，要确认保存的周期或保存的副本数。比如，初步按3个副本保存，40T的有效容量应该是没问题的。2. 根据存储空间初步确定设备选型。根据需求选择存储，目前可供选择的有磁盘存储、一体机、云存储（含本地对象存储、私有云和公有云、磁带库等，比如有离线保存需求，则一定要使用物理带库。存储选型时，可以优先考虑含高级特性的存储或一体机，比如重删、快照等技术。3. 备份窗口的确定通过和业务系统的负责人的沟通，了解每个要备份的业务系统的最大备份窗口，根据备份窗口选择合适的备份方式，最终获取备份速度指标。4. 备份网络需要独立设计要求和生产网络隔离，前端网络尽量使用万兆网络，采用独立的网络设备；后端san网络也要独立使用，和生产存储的分开，尽量使用较新的16G网络，根据备份速度要求，做好预留，使用多通道技术提升备份速度。3.备份容灾相关问题3.1 如何进行备份容灾设计，如何与已有的灾备系统匹配？【分析解读】常见有以下几种模式：1.主中心备份到磁带库，定期做磁带出库，将磁带运输到备中心保存，备中心可选设计一套备份系统用来做恢复验证。严格意义上来讲，这只能算是备份介质的异地存放，不能算容灾。2.主备中心独立部署备份系统。在主备中心已经基于业务或数据层面做了数据同步的情况下，这种方式实际上是部署了两套独立的备份系统，两套备份软件在数据和架构上都是独立的。3.主备中心采用了相同备份存储，并且基于备份存储层面做了数据同步。备份软件直接使用同步后的数据。这种方式下，备份软件独立部署，但是备份数据存在复制关联。4.主备中心采用了相同的备份软件平台，并且做了基于备份软件的数据同步，一般情况下，同步会基于重删和压缩技术来减少数据传输量。比如TSM的node replication复制，NBU的air等。具体使用哪种容灾备份模式，并没有一定的成例。需要结合企业自身的实际情况，选择最合适自己的。另外，备份容灾的规划可以放长远一些，分阶段逐步完成，没有必要一蹴而就。3.2 数据容灾设计和容灾备份是基于何种备份？数据容灾设计和容灾备份是基于何种备份？是基于网络存储、虚拟化、还是云备份？安全性、可靠性和智能纠错方面如何？【分析解读】容灾备份是容灾设计的一部分，通常我们说的容灾大部分情况下都是指业务系统的容灾。容灾备份指的是备份系统在容灾系统中的实现。这个目前没有统一的标准和要求，一般有如下几种方式，企业可以结合自己的实际情况来实现。1.生产和备份中心的备份系统各做各的，没有关联。因为业务系统已经做了容灾，所以也可以认为备份数据有两份，只是从备份系统的角度来，是各自独立的，备份发生了两次。2.通过备份存储实现备份容灾。两个数据中心都使用了相同品牌的存储，并且存储直接具备数据复制功能，可以确保一个中心的备份数据传送到另一个中心，备份数据也是两份，备份发生了一次。3.通过备份软件实现，现在很多备份软件自身都有容灾选项，比如nbu的air，tsm的node replication等，也可以实现一次备份，两中心的副本。4.在上述3点的基础上，结合分级存储或者磁带出库，可达到更灵活的设计方式。3.3 commvault做异地2copy 吞吐量一直上不去？用commvault做从北京硬盘到广州的2 copy操作，专线带宽300M，一直占用100M，吞吐量80G/小时。问一下社区专家，commvault是不是有限制带宽使用的参数？如何充分利用专线带宽？【分析解读】1. 首先抛开备份软件，单独做一下普通文件的复制，看一下带宽能到多少 ，排除一下带宽本身的问题。2. 再从CV的角度来看， commvault的异地拷贝一般是DASH拷贝方式，从 源磁盘库只传输变化的数据块到目标端磁盘库，有两种模式：网络优化：源端 MA 读取需要拷贝数据块的 Hash 值，先与本地 SSDB 比对，没有匹配项再与目标 端 MA 的 DDB 比对。可以降低 Hash 在网络中的传输，减少网络流量，适用于低带宽 环境下的数据拷贝。磁盘读取优化：源端 MA 读取需要拷贝数据块的 Hash 值，再将 Hash 值通过网络传到目标端 MA 进行 比对，适合高速网络环境下的数据拷贝。你这种情况应该是网络优化模式，确认一下是否源或目标端的MA服务器处理器或磁盘读取性能压力比较大4.场景案例4.1如何备份有共享盘的VMware虚机?我使用networker 备份虚机，但有一点，一旦VMware 虚机有共享盘，则无法备份，连快照都不能做，只能通过rman 备份数据库，但系统就无法备份。哪位兄弟备份过有共享盘的VMware虚机，兄弟指点一下?【分析解读】首先， VMware的共享盘设置必须是独立持久的, 否则用不了，但却无法做快照。而包括networker在内的大部分备份软件，备份VMware都是调用VMware的接口，如果无法做快照是没办法备份的。需要按照物理机的方式去备份。至于系统和文件可以采用下面几种方式：1.通过文件备份备份系统内的重要文件，也就是在虚拟机里安装备份软件客户端，当物理机那样备份。2.通过networker的homebase插件备份系统3.做个vm的克隆备用。4.2 CDP连续数据保护的技术原理是什么？和快照的区别是什么？在实际业务生产环境中应该怎样选择？【分析解读】快照实际上还是只能做某一时间点的数据保护，并且快照的只是某一时间点的状态记录。和真正的备份还是有所区别。以VMware的快照技术来说。快照会生成一个新的磁盘文件。快照过多时候反而会出现问题 。快照的工作原理：快照功能主要有两大类：全复制或差别复制。全复制快照复制通过镜像分离的流程来实现整个数据集的复制，例如1TB 数据库的全复制快照就需要占用额外的1TB磁盘空间。差别复制快照仅处理上次快照之后出现的增量，占用较少的磁盘空间，但是需要更多的系统处理开销，对生产端系统开销影响大。另外，因为全复制快照不依赖于主数据，所以这种方法往往使某些类型的数据损坏更容易恢复。CDP主要是类似针对磁盘卷进行镜像的方式实现数据的实时保护。可以做到任意时间点的回退。CDP的工作原理：“持续数据保护”中的关键词是持续，是实时备份的经典应用之一。它可以通过将生产端数据发生的变化，实时传输到备端服务器，然后通过在不同路径进行存储备份，能够将应用恢复到任意时间点（如中勒索病毒）之前，而不是恢复到预先确定的时间点上，恢复点在事件发生后选定并动态重建。除此之外，CDP可通过在备端设置多个文件目录和主备端采用不同操作系统等，让勒索病毒感染备端的数据，或无法感染所有的备份数据。-全文完-