面向大数据的归档解决方案样本.doc

面向大数据归档解决方案同步为在线和归档数据服务: 通过Isilon系列节点集群使用，单个Isilon NAS群集可以同步被各种工作负载使用，涉及目录、虚拟化文献存储和归档库，而不用紧张对性能影响以及对长期数据保存特殊解决。除此之外它尚有如下核心优势：提供在线存储级性能归档服务：对大数据归档，Isilon瞬时访问速度可以扩展到超过每秒100 GB吞吐量。自动管理和自我修复功能：单个Isilon群集可以以便地扩展至超过20 PB容量。系统自我管理和分派功能可以监控系统并自我修复系统内任何故障。消除数据迁移风险：当新存储节点、更新或更有性价比（存储效率）硬盘被加入到系统中时，可以提供自动迁移功能。它不会有磁带介质退化问题，使得长期归档服务成为了也许。高可用和数据保护： IsilonOneFS操作环境通过FlexProtect技术提供横向扩展数据保护。区别于老式RAID技术，FlexProtect采用特定于文献办法来实现数据保护，为每个文献单独存储保护信息。这种独立保护容许将保护数据连同文献数据一起散布在整个群集中，从而在需要时大幅提高数据访问和重建潜在并行度。在Isilon存储系统中存在节点或驱动器故障时，FlexProtect可以拟定文献哪些某些受故障影响，并让各种节点仅参加受影响文献重新构建。 IsilonSmartLock技术添加了一种安全层，保护归档数据不会由于意外、提前或恶意变更而被删除。SmartLock公司版（Enterprise Edition）符合最严格SEC-17a4法规，它能和IsilonOneFS操作系统完整结合并无缝地与其他OneFS应用整合，例如SmartPools自动存储分层、SnapshotIQ和SyncIQ本地和远程数据复制和劫难恢复技术。关于Isilon数据保护方面内容可以参看论坛之前文章：OneFS操作系统软件概述之数据保护（一）OneFS操作系统软件概述之数据保护（二）详解Isilon数据保护和备份技术减少大数据归档存储成本： Isilon横向扩展NAS为非构造化数据提供了最有效空间使用效率，提供明显资本和运营支出结余。它提供开放、原则NAS和基于RESTful对象接口合同。为您公司内部应用选取适当归档方案提供了便利。一旦数据从主存储归档，Isilon会使用一系列功能保证归档文献尽量有效率地存储：单文献系统和单存储卷简化使得其存储利率用超过80%。和老式归档系统不同，Isilon群集存储效率、可用性和性能会在容量提高时同步提高。SmartPools技术提供自动化、基于方略分层方略。依照有关性和权值，数据会被放入高性能存储池或高容量存储池中。简朴、横向扩展架构可以整合文献数据，减少整个组织内文献存储位置。从而减少管理成本和归档操作流程。OneFS操作系统软件概述之数据保护电源故障 Isilon存储系统在将数据写入磁盘前，会将数据日记Journal写入NVRAM非易失随机存取存储器中。数据日记Journal用于保存变更信息到文献系统，当Isilon存储系统遭遇电源故障时，通过数据日记Journal中保存变更信息可以保证系统可以迅速从故障中恢复。如果系统设计未采用Journal机制，那么文献系统将需要检测所有潜在文献系统变化，然后才干将文献系统恢复正常。 OneFS是一种日记文献系统，每个节点都拥有单独电池供电NVRAM卡。在特殊状况下，NVRAM卡可以完毕未提交写操作。在不充电状况下，NVRAM卡电池可以持续使用多日。当一种节点恢复后，系统会检查数据日记Journal。 OneFS操作系统在保证所有未解决操作已经被记录状况下，才加载文献系统。如果顾客没有遵循对的关机程序，NVRAM电池没有充电，并且Transactions已经丢失状况下，节点是不会加载文献系统。 Quorum机制 为了保证集群可以正常运营和数据可以写入，节点必要符合quorum机制。Quorum机制定义是：当一种集群拥有N个节点，那么在（N2）+1个节点在线状况下客户端才干对集群正常写入数据。例如：一种7节点群集，必要有4个节点在线才符合quorum机制。如果一种节点或者群集工作正常，但是群集节点都不符合quorum机制，那么这个群集将处在只读状态。 Isilon存储系统quorum机制是为了保护处在“split-brain”状态群集数据安全。“Split-brain”是指一种群集被暂时分割成二个小群集。符合quorum规则时，系统可以保证无论多少节点故障或者恢复联机，系统可以保证写操作和之前写操作数据一致性。 通过Quorum机制可以算出指定数据保护下需要节点数目。对于以N+M擦除码为基本保护级别，群集必要包括2M+1个节点。例如：七个节点群集至少需要N+3配备，这样可以保证在群集丢失3个节点状况下依然可以保持正常运营。如果一种群集不符合quorum规则，那么该群集只能处在只读状态。节点硬件故障 OneFS操作系统组管理合同用于保证集群全局性，并保证整个集群中所有节点状态一致。当一种或各种节点无法通过内部连接访问群集时，这些节点在集群中将会被删除。当集群被分裂成二个不同节点群体，符合Quorum机制节点群体将可以继续被客户端读写，不符合Quorum机制节点群体上数据也可以继续为客户端提供读操作服务。在集群处在“分裂”状态时，文献系统中所有数据都将处在可读状态。 如果Isilon故障节点恢复后，这些节点将被重新添加回群集中，节点恢复过程不需要重建和重新配备。这个过程比硬件RAID阵列故障恢复更加高效，由于硬件RAID阵列恢复需要重建磁盘阵列。在故障节点重新加入群集后，AutoBalance会对分裂过程中被覆盖保护区重新做条带以提高读写效率。 OneFS操作系统collect进程会扮演orphan数据收集者角色。Orphan数据是在群集分裂时产生数据块。当群集在存在写操作时发生分裂，某些分派给文献块会被重新写入符合Quorum机制节点群体，那么在不符合Quorum机制节点群体中就会产生Orphan数据。当群集重新合并后，collect进程将标记这些orphan数据块，并回收它们在群集中可用空间。 数据重建 OneFS操作系统不依赖RAID阵列来分派数据或者故障后重建数据。在故障发生后，OneFS操作系统将直接管理文献数据保护，并通过并行方式重建数据。OneFS可以直接侦测到受故障影响文献、读取节点数据和关闭磁盘。通过集群节点上Job引擎，受影响文献将会被分派给一组相应线程。工作节点会通过并行方式修复文献。这种数据重建机制意味着群集规模越大，数据重建消耗时间将越小。 虚拟热备份技术 在基于RAID阵列老式存储系统中，热备用驱动器被用于代替RAID硬件阵列中故障磁盘。如果在热备用驱动器代替RAID阵列中故障驱动器前，系统浮现其他故障驱动器，系统将面临极大数据丢失风险。OneFS操作系统没有使用热备用驱动器技术，而是运用系统中可用空间来进行虚拟热备。虚拟热备份让系统具备了完全自愈，无需人工干预恢复机制。存储管理员可以通过创立一种虚拟热备份存储空间，保证系统在顾客持续写入时可以自我修复。详解Isilon数据保护和备份技术数据保护是指在不影响重要数据运营前提下，可以实现持续捕获或跟踪目的数据所发生任何变化，并且可以恢复到此前任何时间点办法。备份则是指为防止系统浮现操作失误或系统故障导致数据丢失，而将所有或者某些数据集合到应用主机硬盘或阵列复制到其他存储介质过程。RTO和RPO是用于衡量数据保护和备份成功与否重要指标，RTO是指信息系统从劫难状态恢复到可运营状态所需要时间，RPO是指业务系统所容许在劫伤心程中最大数据丢失量。在Isilon上重要使用如下几种数据保护和备份技术：FlexProtectFlexProtect数据保护技术，该技术是OneFS独有数据保护方式。通过自动搜索未受保护文献并且修复这些文献，在集群上定义数据保护级别，数据保护可以应用到单个集群、单独目录、子目录或者单个文献，灵活数据保护级别设立让管理员可觉得重要数据设立更高数据保护级别，以便获得更小RPO。FlexProtect数据保护技术使用Reed Solomon算法，该算法跨集群中各种节点解决数据，使客户在丢失各种磁盘或者节点状况下仍可以访问所有数据。更多FlexProtect信息，请参照文档OneFS 6.0.x User Guide和OneFS 6.5.x User Guide中章节“OneFS data protection”和“Modify protection settings”或者文档OneFS 5.x User Guide中章节“Managing Protection Levels”。SmartConnectSmartConnect应用软件为顾客提供了业界领先高可用性和性能，来满足永远在线、永不中断业务规定。通过使用单一主机名，SmartConnect支持客户端连接负载平衡和客户端连接在存储节点上动态NFS故障切换和故障恢复，提供了最佳集群资源运用率。Windows客户端使用别节点来加载CIFS共享也非常以便，无需安装客户端驱动程序，管理员就能容易地管理不断增长众多客户端，保证虽然发生了一种系统故障，所有读写操作也能成功完毕。默认状况下，OneFS涉及SmartConnect基本版应用软件，SmartConnect高档版软件需要付费购买。更多SmartConnect信息请参照文档OneFS 6.5.x User Guide“SmartConnect management”和“Configure connection balancing”章节或者文档OneFS 6.0.x User Guide“Connection balancing with SmartConnect”章节。SnapshotIQSnapshotIQ快照技术是OneFS中需要license可选功能，该功能在激活后，可以通过Isilon网页管理端口或者命令行来配备。SnapshotIQ快照技术以简便、可扩展和灵活方式，为集群存储提供公司级保护和顾客驱动数据恢复。SnapshotIQ支持在高度可扩展单一集群存储池内对数据不限量快照，和在任何单个目录内对数据高达1024个快照，显示出SnapshotIQ在老式快照技术基本上巨大进步。Isilon快照技术是对数据瞬间只读影像，能可靠地将不限量快照分布到各种高度可用Isilon IQ集群存储节点上。SnapshotIQ具备如下优势：1、SnapshotIQ创立在目录层，相对老式快照技术（创立于卷层）能提供更好颗粒度；2、支持windows卷快照管理，windows客户端可以恢复到之前版本；3、SnapshotIQ技术拥有更灵活制度和定义筹划；4、新快照命名更以便管理快照；5、单目录最多支持1024个快照，集群级别无快照数限制；6、快照支持COW和pointer-based二种方略。更多SnapshotIQ信息，请参照文档OneFS User Guide章节“Isilon SnapshotIQ module”。SyncIQSyncIQ复制软件为劫难恢复、业务持续性、磁盘到磁盘备份和远程磁盘归档提供强大、灵活和易于管理数据复制。SyncIQ具备独特复制性能使得Isilon群集上每个节点都可以发送和接受数据，因而，它事实上会随着数据存储增长而加迅速度，并且可以对其进行配备以充分运用所有可用网络带宽。由于源和目的都可以扩展到数PB容量，而不需要划分为各种卷或文献系统，因而数据复制在开始时很简朴，并且随着系统扩展将保持简朴性，从而为劫难恢复提供坚实基本。简朴而直观Web界面使您可以轻松组织SyncIQ复制作业频率和优先级，以符合您业务持续性优先级。普通，将建立SyncIQ重复性作业以保护公司劫难恢复筹划中各个重要恢复点目的需要数据 每6小时同步一次客户数据，每2天同步一次HR数据等等。依照业务重要限度，配备目录、文献系统甚至特定文献以进行频率较高或较低复制。为需要保存停用数据创立远程归档副本，以便回收生产系统中宝贵容量。复制不应引起中断，而SyncIQ具备无中断特性；正好占用您指定或高或低系统资源和网络带宽。默认状况下，SyncIQ将占用所有空闲系统资源和网络资源。为了获得更高灵活性，您可以限制SyncIQ系统或网络资源运用率，并将同步作业安排在非高峰时段进行。更多SyncIQ信息，请参照文档OneFS 6.x User Guide章节“The Isilon SyncIQ module”、文档OneFS 5.5 User Guide章节“The Isilon SyncIQ v2.5 Module”和文档OneFS 5.0 User Guide章节“The Isilon SyncIQ v2.0 Module”。NDMP网络数据管理合同(NDMP)是一种应用广泛且技术成熟原则，可运用熟悉备份和还原应用程序（例如，CommvaultGalaxy、SymantecNetBackup和BakBoneNetVault等）备份已连接网络存储(NAS)。NDMP使备份服务提供商可以支持各种NAS存储，而无需为每个设备开发专用软件。Isilon IQ集群存储当前支持NDMP规范版本3和4。NDMP使运营兼容NDMP应用程序备份服务器可以控制网络存储设备备份和恢复操作。软件应用程序为了初始化备份和还原进程，使用NDMP向存储设备发送祈求。在备份操作过程中，已备份文献信息会从集群发送到在备份服务器上运营备份应用程序。Isilon支持完全、增量和差别NDMP备份，以及直接访问还原(DAR)，通过向备份设立中提供索引大大提高了单个文献还原性能。这样，咱们就无需扫描整个磁带来查找要还原文献。值得注意是，Isilon IQ不支持直接连接磁带库（普通称为“双向”NDMP拓扑）。更多NDMP信息，请参照文档OneFS 6.5 User Guide章节“NDMP backup management”或者文档OneFS 6.0 User Guide章节“Managing NDMP Backup”。