亚细亚产品介绍及数据存储管理解决方案-MSP.doc

数据处理和数据存储管理子系统方案

北京亚细亚智业科技有限公司
产品介绍及数据存储管理解决方案

北京亚细亚智业科技有限公司
http：//
2009年6月

目 录
第1章 公司产品介绍 4
1.1 Mars Storage Platform海量数据存储平台 4
1.1.1 产品优势 4
1.1.2 Mars Storage Platform功能描述 5
1.1.3 管理模块 5
1.1.4 附加模块 7
1.1.5 系统管理功能 8
1.2 企业级跨平台备份软件——Mars Backup Advanced 9
1.2.1 产品特点与优势 10
1.2.2 软件架构与功能 11
1.3 Mars VTL虚拟磁带库 14
1.3.1 产品优势 15
1.3.2 技术参数 17
第2章 解决方案 18
2.1 基于磁带库的海量数据存储管理解决方案 18
2.1.1 系统整体框架 19
2.1.2 方案中采用的关键技术 21
2.1.3 关键技术点 22
2.1.4 实际案例配置 25
2.2 基于虚拟磁带库的海量数据存储管理解决方案 26
2.2.1 系统整体框架 27
2.2.2 方案中采用的关键技术 29
2.2.3 关键技术点 30
2.3 容灾备份中心建设方案 32
2.3.1 容灾技术的用户需求 32
2.3.2 几种典型容灾技术选型 33
2.3.3 实用型容灾中心建设方案分析 35
2.3.4 异地数据备份的关键技术 36
第3章 实际案例 39
3.1 中国资源卫星中心陆地资源卫星DIMS分系统 39
3.1.1 数据归档与信息管理分系统简介 40
3.1.2 系统整体架构 40
3.1.3 MSP软件应用优势 42
3.1.4 用户评价 43
3.2 中联部政党外交系统容灾备份系统 43
3.3 第二次全国农业普查存储项目 45
3.3.1 项目整体架构 45
3.3.2 农普数据存储管理的实现 46
3.3.3 Mars软件的技术特色 47
3.4 北京市科委数据备份项目 48
3.4.1 方案实施 49
3.4.2 技术特色 50
3.5 北京印钞厂、上海印钞厂监控存储系统 51
3.5.1 系统简介 51
3.5.2 数据量统计 52
3.5.3 数据归档/恢复时间 52
3.5.4 应用效果 53
3.6 南京第十届全运会IBC系统 53
3.6.1 存储需求及设备选择 54
3.6.2 存储系统性能 54

第1章 公司产品介绍
1.1 Mars Storage Platform海量数据存储平台
Mars (Multi Channel Multi Tier Archive &Restore System)海量存储平台软件全部由我公司自主研发，在磁带库机械手控制、磁带机读写、冗余容错校验、集群式架构、双机高可靠性热切换等技术方面均具有完全的自有知识产权，是一套功能完善、性能优异的存储管理软件。
Mars Storage Platform海量存储平台是根据海量数据存储的特性而开发设计的一个通用存储软件系统平台，在体系结构上，采用了以 SAN为核心、LAN为辅助的网络架构；在软件层面上引入虚拟化存储的全新概念，以数据在线、离线等相配合的多级存储方式来进行管理，实现以数据归档与数据备份技术相配合的对象化存储方式；提供多种数据存储策略；支持开放的磁带记录格式；提供磁带数据的纠错保护功能；提供功能全面的应用开发接口(API)，可根据不同的行业用户需求进行二次开发，也可以方便的与其它软件进行衔接。
该海量存储平台软件全部由我公司自主研发，在磁带库机械手控制、磁带机读写、冗余容错校验、集群式架构、双机高可靠性热切换等技术方面均具有完全的自有知识产权，是一套功能完善、性能优异的存储管理软件。其中，数据流磁带的冗余容错校验机制采用了我公司的专利技术——可移动存储介质冗余数据保护方法。
1.1.1 产品优势
Mars的设计思想充分体现了多级存储和多通道存储的理念。与其它竞争产品相比，我公司自行研发的Mars选择了多项先进技术，从而具备许多其它软件所没有的关键技术优势：
1、 对多级存储体系的支持
2、 采用多通道存储的架构
3、 面向对象的存储方法
4、 采用通用标准直接控制带库机械手
5、 可以良好的配合磁盘共享软件
6、 完善的管理策略
7、 独特的容错冗余处理
8、 良好的数据传输带宽控制
9、 开放的磁带记录格式
10、 最佳的性价比
1.1.2 Mars Storage Platform功能描述
Mars软件系统由管理模块与附加模块组成，各软件模块与底层硬件系统的逻辑关系请参见下图：

1.1.3 管理模块
Ø Mars服务器
“Mars服务器”的主要作用是接受应用层的指令，并把将数据文件在不同存储设备间迁移的工作任务下达给 “Mars迁移器” ，由“Mars迁移器”完成最终的数据迁移工作。当系统中存在多个“Mars迁移器”的时候，“Mars服务器” 还负责在这多台工作站之间进行任务的分配及调度等工作，使其能够互相协同的并行工作，这样，中心存储库的数据迁移、调度等处理工作能够并发进行，从而保证存储系统高效、稳定的运行。其主要功能包括：接受外部指令、任务调度、下达迁移指令、反馈提示信息、系统设置及管理等等。
Ø Mars迁移器
“Mars迁移器”接受服务器的命令，主要完成把数据从原始存储位置迁移到目标位置的工作，安装有“Mars迁移器”的工作站通过光纤分别连接SAN的磁盘阵列、磁带库以及其它存储设备。“Mars迁移器”负责整个归档/恢复过程的执行与完成，可以完成磁盘阵列、磁带库以及专用服务器之间的数据归档与恢复。
Ø Mars收发器
用来自动收集各种文件组成归档对象，并将从磁带中恢复的存储对象分发到相关的应用系统中去。
Ø Mars带库控制器
“带库控制器”负责操作控制自动磁带库的机械手，配合相应的归档/恢复命令，来操作机械手抓取磁带并放入相应的驱动器，从而与“Mars迁移器”配合来完成具体的归档/恢复任务。本模块可以通过底层指令直接控制机械手，也可以通过带库厂商提供的软件来控制。
Ø Mars系统管理中心
“Mars系统管理中心”完成系统中各种相关参数及用户组设置，主要包括如下方面：对象路径监视、对象的设计组成、策略条件监视、数据分类设置、存储位置设置、迁移器设置、磁带库设置、以及冗余纠错设置等等。
Ø Mars对象管理中心
用于发送手动的对象归档、恢复任务，由Mars服务器进行任务的调度，最后由迁移器来执行任务。
Ø Mars维护中心
负责系统的整体维护，显示各种维护信息，主要包括：可以随时方便的获得整个系统的相关介质运行状态、磁带驱动器的使用状态、所有数据流磁带的使用状态、以及所有归档对象的存储状态等等。管理员可以根据相关信息来进行系统各方面的维护。
1.1.4 附加模块
Ø Mars服务器高可用性附件
“Mars服务器”是整个系统的控制、调度中心，其运行的稳定性至关重要。本模块的作用就是建立两台“Mars服务器”之间的双机热备，在一台主机发生故障的情况下，备份主机能够及时接替其工作，以保障整个系统的不间断正常运行。
Ø Mars冗余模块
存放在数据磁带中的数据经过一段时间后可能会出现问题，从而导致数据损坏，为了解决这种问题，Mars提供专用的纠错冗余模块。
冗余模块采用了专用的可移动存储介质冗余数据保护方法，来保证每盘数据磁带在受到损坏的情况下，能够及时的将受损数据进行纠错、恢复，避免数据的丢失。本模块使Mars具有极高的磁带数据冗余、纠错功能，最大程度的避免因数据磁带受损而可能给用户带来的损失。
Ø Mars磁带管理中心
“Mars磁带管理中心”的重要作用就是对离线的出库磁带进行管理。因为Mars还包括离线数的管理扩展选项，这个选项允许当数据量达到一定程度，超出在线和近线存储设备所能够容纳的容量的时候，不经常使用的数据流磁带可以自动从机械手磁带库中吐出来，管理员可以人工将其保存到离线的带架上，但是这盘磁带的离线保存位置以及其数据对象信息已经被软件系统所记录，即Mars同样可以方便的管理离线的数据。
另外，用户通过本模块还可以方便的查询、浏览离线带架上的各种磁带状态与数据信息。
Ø Mars单机读取模块
出库离线保存的磁带可能分布在不同的物理位置，不同的物理带架可能距离中心带库较远，为了方便不同物理位置的离线磁带数据进行及时恢复，Mars提供“单机读取模块”，本模块允许在带架所处库房安装独立的磁带机，专门恢复本库房中的数据磁带，可以在不同物理位置的库房中安装多个Mars单机读取模块，方便的进行多处离线带架数据的回迁，而不必再次访问中心带库。
Ø 开发接口——API
Mars提供功能全面的二次开发接口（API），用户可以按照自己的实际需求进行二次开发，或者与其它软件系统进行对接。
利用这些二次开发接口，可以帮助用户实现多种归档、恢复策略，也可以与多种应用系统衔接。
1.1.5 系统管理功能
Ø 系统管理
完成系统中各种相关参数及用户组设置，主要包括如下：对象的设计组成、策略条件监视、数据分类设置、存储位置设置、迁移器设置、磁带库设置、系统维护设置、以及冗余纠错设置等等。
Ø 任务管理
浏览各类数据归档/恢复任务的执行状态，包括正在执行任务、已完成任务、出错任务等等，能够查看各类任务的详细信息，支持手工发送数据向磁带库的归档/恢复任务。
Ø 内容查询
支持按文件、对象、磁带条码等条件对已经归档到磁带中的数据进行查询检索，能够准确定位到任一检索对象，并对数据进行恢复。
Ø 磁带管理
完成对离线出库磁带的管理。系统允许当磁带数据量达到一定程度，超出磁带库所能够容纳的容量的时候，不经常使用的数据流磁带可以自动从磁带库中取出来，管理员可以人工将其保存到离线的带架上，系统同样可以检索与管理离线的磁带数据。
Ø 磁带复制模块
磁带复制模块有自动和手动两种实现方法。自动磁带复制只需在策略中进行设置，一旦设置完成，当数据从在线盘阵归档到带库的过程中，系统可以自动写到两盘不同的磁带上，互为备份。手动磁带复制即磁带对磁带的复制，通过操作界面人工选择要复制的磁带，发送磁带复制任务，MSP自动从磁带池找空白的磁带进行磁带“拷贝”操作，复制完成后，两盘磁带互为备份。当其中一盘磁带上的对象由于磁带介质不能进行恢复，可以从备份磁带上进行恢复，确保数据安全。
1.2 企业级跨平台备份软件——Mars Backup Advanced
今天，计算机技术的发展给人们的日常生活提供了很多便利，然而，人为的操作错误、系统软件或应用软件的缺陷、硬件的损毁、电脑病毒、黑客攻击、自然灾难等诸多因素都有可能造成计算机中数据的丢失。而企业核心业务系统中的数据又极其重要, 这些业务数据的实际价值往往会远超过用户固定的有形资产，甚至难以用金钱来简单估量。而要保证系统稳定可靠地运行，除了要利用高可用的应用解决方案，另外一个关键的要素是要保护基于计算机的信息，也就是存储在计算机内的数据。
目前，对于很多用户来说，数据就是企业的生命，所以这些数据必然需要得到安全完好的保护。因而，如何保护好计算机系统里存储的数据、保证系统稳定可靠地运行、并且为业务系统提供快捷可靠的访问，就成了系统建设中最重要的问题之一。所以，为了保护企业用户系统的关键业务数据，我们必须对这些数据进行有效的备份，并支持快速恢复。对于自然灾难的防范需要有远程的数据备份与恢复。
北京亚细亚智业科技有限公司基于对存储管理领域多年的研究，完全凭借自己的研发力量，针对现阶段我国数据保护市场的需求特征，隆重推出了企业级跨平台的旗舰级备份软件产品——Mars Backup Advanced。该产品是为由跨越异构平台的服务器和客户端组成的企业级网络环境而设计的整体数据保护解决方案，提供了灵活的升级能力，优秀的可管理性和可用性，同时支持Unix、Linux和Windows平台。用户通过增加软件中的模块，可以实现远程数据的备份与恢复，可以为整个企业中所有的系统、数据库、以及正在运行关键业务应用的服务器提供快速、可靠和完全的数据备份和恢复服务。
1.2.1 产品特点与优势
Ø 企业级跨平台的备份软件产品
Mars Backup Advanced可以在用户多服务器、多备份源点、跨平台的复杂环境中有效地实施备份和恢复工作，并且能够对SAN环境的良好支持，更能实现跨平台LAN-Free和磁盘驱动器共享等高端备份应用需求，是一套真正意义上的企业级备份软件。目前，Mars Backup Advanced广泛支持Windows、Unix、Linux等多种操作系统平台，并且可以完好支持跨越上述平台的复杂环境的备份和恢复作业。
Ø 远程数据备份恢复
Mars Backup Advanced提供远程数据备份与恢复功能，支持远程的数据库备份和文件系统备份，支持一对一的灾难备份；多对一的集中式备份。通过采用数据压缩处理技术、断点续传技术、流量控制技术和双向缓冲技术，减少了网络通信流量，提高了数据传输的稳定性和高效性，最大限度地增加数据吞吐量。
Ø 多通道存储架构
Mars Backup Advanced采用多通道的数据备份、恢复架构，保证了系统能够稳定、安全的运行，又保证了数据存储工作的高效率进行，还为今后平滑升级做好了充分的准备。
Ø 虚拟磁带库
Mars Backup Advanced可以为多个服务器/客户端提供硬盘虚拟磁带库或者磁带机（Virtual Tape Library）。VTL不但为没有磁带库的用户提供了和真实磁带库一样的备份方式。
Ø 离线磁带管理
Mars Backup Advanced能够对离线数据存储介质（数据流磁带）进行有效地管理。允许系统管理员将磁带拿出磁带库单独保存，但同时仍然可以方便地查询到离线磁带中的数据并顺利发起恢复操作。Mars Backup Advanced提供对磁带通过条形码和电子标签的识别功能，在外部标签脱落时仍能有效识别磁带。
Ø 完善的管理策略
Mars Backup Advanced中提供了非常丰富和完善的数据备份策略，包括定时备份、完全备份、增量备份、差分备份等，以便最大限度的满足用户对数据备份的需要。同时，软件还支持对已经备份的文件进行检索并选取单个文件恢复，支持根据时间点选择恢复数据库，选择的文件恢复时间点不论进行的是完全备份还是增量备份均自动实现数据合并，恢复该时间点的完整数据。
Ø 广泛的开放性
Mars Backup Advanced支持大多数主流操作系统平台（Windows、Linux和Unix系列操作系统），支持磁带库、自动装载机、单驱动器和虚拟磁带库等各种磁带存储设备，也支持各种典型的数据库应用（如Oracle、Sybase、SQL Server等）。同时，Mars Backup Advanced作为完全自主知识产权的国产备份软件，更提供了对国产数据库（如TRS、人大金仓、武汉达梦、神州Oscar、南开数据库等）的完整支持。
Ø 强劲的本土化力量
Mars Backup Advanced是基于完全自主知识产权的成熟存储技术优势研发而成的软件产品，在底层平台与应用层功能上既对中国用户的实际情况给与充分地重视，也可以根据特殊需求提供量身订制的修正，更为涉及数据安全和信息保密的国防、军事、政府等关键部门的需要提供完整的本土化支持。
Ø 快速地实施
Mars Backup Advanced的自动安装和设备配置特性使企业的备份工作变得非常的简单。全部中文的操作界面以及完全符合国内使用习惯的界面设计，使用户的实施变得更加简便和快捷。
1.2.2 软件架构与功能
Mars Backup Advanced软件采用灵活的系统架构，可以根据用户的实际备份环境和备份需求，选用各种不同的系统模块和功能，其主要结构如下图所示：

从上图可以看出，软件主要由主服务器、数据迁移器和设备控制器构成的核心模块，跨平台的数据库和文件代理模块，以及远程备份、SAN支持、打开文件支持等选件共同组成。Mars Backup Advanced正是采用这些模块的不同组合，实现下列主要功能：
Ø 文件系统备份和归档
Mars Backup Advanced支持对UNIX、Linux和Windows等各种文件系统的离线和在线备份，支持完全、增量、差分等备份类型。能够自主地设定文件备份和恢复策略，更能通过Mars Archive软件完成文件的归档，用户可以设定不同的备份策略，在数据出错时可以将数据恢复到原位置或指定位置。软件具有灵活的数据分类手段，使用户的数据存放更加有序。
Ø 数据库的备份
Mars Backup Advanced支持各种流行的数据库系统的备份，包括Oracle、Sybase、SQL Server和多家国产数据库产品，提供数据库的离线和在线备份，支持全备份、增量备份、差分备份等类型。可以在不需要停止数据库上的任何应用的前提下实现备份，为企业不间断重要业务的使用做出必要的保证。
Ø 远程备份恢复
Mars Backup Advanced提供远程数据备份与恢复功能，通过采用源数据压缩处理技术，减少了网络通信量，实现了最大化备份和恢复性能，最大限度地增加数据吞吐量。其主要技术特性包括：双向数据传输缓冲机制、断点续传机制、传输信道数据压缩技术、可靠的数据校验和纠错机制、先进的传输流量控制机制。

Ø 跨平台开放磁带格式
Mars Backup Advanced选择了先进的开放式磁带存储格式，能够给系统以充分的开放性，可在不同操作系统平台下被多种软件识别。此外，还提供磁带交换的功能，可以将不同Mars备份环境甚至其它备份软件中创建的磁带进行自动扫描，得到认可后即可重新在当前的系统数据库中记录并使用该磁带中的各种数据。
Ø 硬盘虚拟磁带库
系统管理员可将硬盘分级，将特定的硬盘/分区完全仿真成磁带库或者磁带机，可大幅度缩短备份/恢复时间，同时减少高峰期对网络资源的占用。
Ø 操作系统备份
软件可支持将用户使用的操作系统在线备份至磁带设备，保证用户在操作系统受到损害时在最短的时间内及时恢复，大大缩短停机时间将损失降低到最小。
Ø 短信或邮件报警
Mars Backup Advanced提供了完备的备份作业监控工具，备份作业信息可以通过Email或者手机短信通知管理员。
Ø 数据认证
经过认证的数据在恢复时需要通过验证才能使用，否则系统拒绝处理操作请求。最大程度地确保用户的数据安全问题。
Ø 磁带离线管理
不管磁带是否有条码,用户都可以方便地对磁带进行离线管理：对于有条码的磁带，系统能够自动记录每盘磁带的索引信息；对于没有条码的磁带，可以人工配合系统共同实现索引信息的记录，从而达到准确寻找所需磁带的目的。
Ø 磁带数据压缩
在软件向磁带写数据的时候，可以调用磁带机的压缩功能，根据不同类型的备份内容，磁带机能达到平均50%的压缩率，为用户节省磁带资源，降低备份成本。
Ø 完善的系统管理
Mars Backup Advanced用简单有效的手段实现系统管理：可以自由设定用户权限、提供方便的查询手段、提供灾难恢复特性、支持系统自身数据的备份及恢复、具有完整的系统日志。这些完善的系统管理功能可以帮助您将数据和系统的恢复工作简化，保障了系统的安全性。
1.3 Mars VTL虚拟磁带库
传统的磁带库的构成包括磁带机驱动器、磁带存储槽、机械手系统、控制器、机械手、条码扫描系统、磁带入库和磁带出库装置等，磁带库的可靠性不仅仅是机械手的磁带交换次数、磁带驱动器的平均故障间隔时间等几个参数的简单运算结果，与磁盘存储设备相比，磁带库具有更多的精密机械、电子元器件，任何元器件的故障均可能会导致整个磁带库运转异常，甚至无法正常工作，直接影响到用户备份业务应用的连续性。
Mars VTL虚拟磁带库技术，省去了物理磁带库挂载、倒带等初始化时间，大大缩短了备份窗口和数据恢复时间；通过虚拟多个驱动器和采用RAID技术，大大提高了多任务流的并发处理能力，提供优异的备份/恢复性能。同时，采用高性能、大容量的磁盘，提供了比传统磁带高数倍的介质读写速率。
1.3.1 产品优势
ü 提供透明的数据访问，用户端看到的是物理磁带库：将磁盘虚拟成磁带库，使备份服务器对此磁盘的操作如同操作一个磁带库一样，提高了备份性能，而且不会改变原有备份环境。
ü 优越的可靠性：基于磁盘技术来进行备份，具有RAID、热备盘等磁盘阵列固有的硬件容错保护措施，相对于物理磁带库，降低了设备的故障率，避免了磁带因为受潮发霉、介质失效带来的数据丢失。由于不存在机械手臂、磁带驱动机等机械组件，进一步消除了介质磨损和介质错误
ü 卓越的仿真能力和无缝的备份接入：针对应用环境的不同，Mars VTL能够仿真QUANTU M、HP、IBM等主流厂家的数十种磁带库，能够仿真Quantum DLT系列、HPUltrium系列、STK T9840等多种类型的磁带机。Mars VTL提供iSCSI接口，可接入 IP SAN存储环境中，满足不同客户的备份需求。Mars VTL仿真的各种磁带/磁带机，在备份服务器上显示为真实的物理磁带/磁带机，整个备份和恢复的过程和物理磁带库完全一致。因此，可以在不更改现有备份配置的情况下，将Mars VTL无缝地整合到用户的备份环境中。
ü 按需分配磁盘空间：物理磁带的容量是固定的，而Mars VTL2.0中虚拟磁带的容量是按需分配的，随着磁带上数据的增加，动态分配磁盘空间，加强了磁带数据的可管理性，还大大提升了磁盘的空间使用率，减少资源的浪费。
ü 便捷的安装和管理：集成和安装都非常简单。在管理界面上，用户只需轻点鼠标，就能完成磁带库的虚拟化过程。一般情况下，Mars VTL的部署几乎不必改变现有的备份策略，因此可以在很短的时间内实施完成并实现常规备份
ü 与现有备份环境无缝整合，无需改变硬件架构、备份软件及管理策略
ü 支持并行数据流、多进程备份模式，备份恢复效率更高：可以同时模拟多个磁带机读写头，同步处理来自多台备份服务器的备份数据流，使备份工作迅速完成，极大的缩短了备份时间，彻底解决了备份窗口不足的难题。
ü 利用先进的磁带仿真技术，将高速磁盘阵列仿真为各种主流磁带机/库，省去了物理磁带库上带、定位、退带等机械动作时间，也不用担心机械手臂故障、磁头耗损或磁带受潮等问题。VTL配合高速磁盘存储系统，支持并行数据流、多进程备份，大幅提升了备份恢复的性能与可靠性，可以持续的为数据中心提供高速、稳定的备份/恢复服务。
ü 虚拟磁带库对于操作系统、备份软件来说，就像真实的、自动化的传统物理磁带库设备一样，差别仅是数据存储在磁盘上。使用物理磁盘来加速数据备份并避免传统备份介质的缺点，达到了真正意义上的备份系统的革新，取代了数据存储起始阶段的基于磁带备份的机制。
ü 虚拟磁带库产品可以虚拟出多达8个包括ADIC、STK、Quantum|ATL、HP、IBM在内的众多型号的磁带库库体以及64个DLT、LTO、9840等型号的磁带驱动器，可以支持Windows、Linux、Solaris、AIX、HP-UX操作系统；用户完全可以根据现有系统的环境以及自身的使用习惯定制自己的磁带库系统。虚拟磁带库产品可以支持所有主流的备份软件，包括Veritas、CA、Legato、BakBone、CommVault、Tivoli等。考虑到保护用户现有投资，虚拟磁带库产品支持将虚拟磁带库中的数据导出到物理磁带库的功能，用户可以根据实际情况进行优化配置。
1.3.2 技术参数
功能特性
Mars VTL 2.0
支持的备份软件
Mars MBA2.5；MBA3.0；MSP
Veritas netbackup6；netbackup6.5；Backup Exec 12；Backup Exec 11
Legato Networker 7
Commvault Galaxy Data Protection 7.0
Bakbone NetVault Backup 8.0
CA BrightStor ARCserve Backup
支持的操作系统
Microsoft Windows 2003/2000/XP
Red Hat 7.3/8.0/9.0
Red Hat Advanced2.1/3.0/4.0
Red Hat Enterprise5
SUSE Professional 9.3
SUSE Linux Enterprise9/10
可虚拟的磁带库
Quantum/ADIC ADIC Scalar 24、Scalar 100、Scalar 1000、Scalar i500、Scalar i2000
IBM 03584L32、ULT3583-TL
SUN/STK L40、L80、L180、L700、9710、9714、9730、SL500
Spectra Logic GATOR 12000、GATOR 20000、GATOR 64000
可虚拟的磁带驱动器
ULTRIUM-TD1、ULTRIUM-TD2、ULTRIUM-TD3、ULTRIUM-TD4
ULT3580-TD1、ULT3580-TD2、ULT3580-TD3、ULT3580-TD4
支持虚拟带库数量
4（可升级扩充到64个）
支持虚拟驱动机数量
32（可升级扩充到512个）
支持虚拟磁带槽数量
256个（可升级扩充到4096个）
可连接备份主机数目
8（可升级扩充到128个）
最大并发备份恢复进程
32（可升级扩充到64个）
支持备份接口
2-16 X iSCSI

第2章 解决方案
2.1 基于磁带库的海量数据存储管理解决方案
为了有效地保存和应用海量的数据，根据数据类型多，管理分散的特点，依据数据中心的概念模型，按照集中和分级存储管理的基本原则，配合源数据中心的建设，在数据更新、传输、集成、存储与管理模式方面进行了有益探索，认为采用Mars Storage Platform海量数据多级存储管理软件 + Mars Backup Advanced数据备份是解决卫星遥感、石油勘探、国土资源、视频监控等数字化基础工程中海量数据存储管理与数据安全的有效方案。
本方案我们采用多级存储的方式来满足大容量存储和永久保存的要求，在线存储满足实时接收、在线处理、在线编目的要求，近线存储和离线存储则满足业务应用和永久保存的需要。整个系统采用高带宽光纤传输技术满足高带宽传输、大数据量处理的特点。同时，系统采用成熟软硬件设备、支持高速备份等措施以达到高可靠性的目的。
根据数据中心上百TB数据归档存储的需要，本系统的数据归档体系设计采用在线、近线、离线相结合的多级存储结构。多级存储根据各种存储设备的性能特点，进行存储体系的有效组合，使用户既能存储海量数据，又能降低存储成本，以充分满足用户的需求。软件层面，采用Mars Storage Platform(MSP) 存储软件中间件，完成数据的多级归档迁移，并基于MSP，为用户定制开发生命周期管理等应用层软件，使系统的基础软硬件配置与业务应用密切配合，形成统一整体；对主业务数据库的备份，采用自行研发的Mars Backup Advanced 软件，每天自动将数据库向磁带库备份。
综上，通过软硬件的集成与配合，本方案将为用户设计一个合理、高效、可靠、先进的海量数据存储中心。
2.1.1 系统整体框架
本方案提出以存储体系为核心、以多种数据接口为主要功能的数据归档和信息管理的基本架构。该架构的核心技术要点是构建以SAN技术为主的、实现智能管理的、大容量高带宽分级存储体系，其主要访问界面是利用数据封装技术提供多种形式的数据访问接口。同时系统还实现了生命周期管理、数据属性管理等功能。方案架构示意如下：

系统的主要组成和关系为：
n 存储体系：存储体系主要由在线存储设备（多个磁盘阵列）、近线设备（多个磁带库）、离线设备（磁带和磁带架）、光纤网络设备和数据多级归档迁移软件中间件软件（以下简称：MSP）组成。其中，MSP提供数据移动的软件工具和离线磁带的管理。存储在各种设备的数据在MSP的管理下通过光纤网络进行调度。同时MSP还接收生命周期管理软件、异地备份服务的功能调用以完成数据的归档、迁移、备份等业务功能。
n 数据生命周期管理软件：根据实现定制的策略实现数据的归档、迁移、清理等功能，同时把数据状态同步到数据库中，其中归档策略可由人机界面进行管理和定制。
n 数据管理服务：主要通过高性能的关系型数据库提供对数据属性、数据状态进行存储并提供检索功能。通过设计和开发阶段的数据规划，把各种基本属性进行直接保存或把扩展属性通过XMLSQL技术进行封装进行保存。该子系统接收生命周期管理软件、数据服务（接口服务）子系统的数据检索、保存和更新服务。其基本要求是提供检索和数据操作的快速响应，可满足千万数量级的数据管理要求。
n 数据服务软件：主要提供数据的接口服务功能。该子系统对外提供访问服务时对所有数据（实体数据及其属性）进行封装，其它业务分系统访问属性数据时必须通过本子系统提供的接口进行。主要的访问服务包括状态数据和各种元数据的检索、更新和增加等。当其它业务分系统需要访问视频监控实体数据时，通过本子系统的接口获得数据ID（数据索引），该子系统同时通过存储体系的MSP使指定ID的数据进行迁移（从近线、离线设备回迁到在线设备），然后该子系统把所需的数据访问位置（文件路径）通过接口告知业务分系统，业务分系统通过数据的访问位置对数据进行直接访问。这种处理方式可以仅使属性数据的传递穿过访问接口，实体数据则通过光纤网络直接传输，其优点是既对数据进行了有效封装，又不造成数据访问的瓶颈。
n 异地容灾备份：可以在异地设置同样规模的异地备份系统并在数据归档与信息管理部分中定制异地备份服务，可以实现系统的容灾功能。由于考虑到目前广域网带宽的瓶颈，本方案采用数据库数据异地备份，大数据量的视频数据利用磁带复制技术进行数据保护。
2.1.2 方案中采用的关键技术
n 建立以SAN架构为核心的大规模多层次存储体系，满足自动化海量数据存储管理要求。方案采用MSP多级归档迁移软件中间件，并针对具体项目定制开发数据生命周期管理软件，在多个大容量磁盘阵列存储设备、光纤网络交换设备、大容量的磁带库、离线数据磁带的管理软件的支持下，实现每天高达TB级的数据归档、保存。
n 本方案在对存储中心各项需求充分理解的基础上，提出高性能在线FC盘阵、近线磁带库、海量离线存储组成的核心多级存储架构，通过企业级双光纤交换机与各类业务服务器组成双冗余的SAN网络，在归档迁移管理软件平台的统一指挥调度下，实现各类高性能存储设备的有机集成，充分满足对存储中心的各项业务需求。
n 为确保海量数据长期存储的安全可靠，除主存储中心外灾难影响不到的异地，另外建立的远程数据容灾中心，这样可以在通常的灾难影响范围之外保存一份最新或比较新的数据备份，确保在灾难发生后企业的数据信息仍然能够得以保全、业务得以继续。
n 采用了专利技术的可移动存储介质冗余数据保护方法（RARM：Redundant Array of Removable Media），“可移动存储介质冗余数据保护方法”专利在数据流磁带冗余容错方法上，采用了独特的n+1冗余容错算法。当一个磁带的数据损坏时，从校验磁带中取出校验数据，通过与形成容错磁带相反的顺序逐一对各磁带数据按位异或运算，恢复损坏磁带的数据。此专利保证每盘数据磁带在受到损坏的情况下，能够及时的将受损数据进行纠错、恢复，避免数据的丢失。
n 采用磁带复制功能实现磁带数据的双份保存，磁带复制功能通过两种技术实现。一种是当数据从在线盘阵归档到带库的过程中，可以自动写到两盘不同的磁带上，互为备份；一种支持磁带对磁带的复制，可以从界面上选择要复制的磁带，发送磁带复制任务，MSP自动从磁带池找空白的磁带进行磁带“拷贝”操作，复制完成后，两盘磁带互为备份。当其中一盘磁带上的对象由于磁带介质不能进行恢复，可以从备份磁带上进行恢复，确保数据安全。
n 采用对实体数据和属性数据的封装和多种接口形式，提供对多种数据处理业务的数据访问支持。系统对数据进行合理封装，以保障数据状态的一致性和安全性；系统提供多种接口形式（如Web Service、EJB、API接口等），满足不同数据处理系统的接口要求。
2.1.3 关键技术点
Ø 科学的归档迁移软件中间件，充分满足海量数据存储的要求
为了有效管理成千上万TB的数据量，本方案设计了在线、近线、离线三级存储体系，各级别海量数据需要合理、安全的被存储到多级存储体系中，本方案使用北京亚细亚智业科技有限公司自行研发的Mars Storage Platform存储软件中间件，Mars Storage Platform适应各种网络环境，统一实现数据在各级存储设备间的归档和迁移。同时系统可满足用户可扩展性要求，对于日后增加监控点而产生的数据量，可方便地实现数据存储容量的扩充。Mars Storage Platform的可靠性已经在北京印钞厂等多家大型企业的海量数据管理中得到了验证，本方案考虑到系统运行模式、业务处理的复杂性，单独设计了生命周期管理模块负责多级存储管理软件的策略管理，以适应具体项目数据处理的高要求。
Mars Storage Platform的数据迁移策略支持用户自定义原则，并提供定制开发的数据生命周期管理软件，从应用层实现策略的灵活管理，实现对各级数据，根据需要进行不同策略的归档、恢复。当有紧急情况时，Mars Storage Platform可以通过控制数据访问的级别、数据访问的流量，以保证紧急情况对数据处理、数据迁移等要求。一旦遇到紧急情况，系统就可以优先满足其对带宽、数据迁移、数据处理的要求，第一时间去查询需要的数据，当其在光纤盘阵上时通过优先供应的带宽即时反映，当其在近线磁带库上时优先将所需数据迁移到光纤盘阵上及时反映，充分应对突发性事件对数据的要求。
Mars Storage Platform存储软件中间件全部由北京亚细亚智业科技有限公司自主研发，在磁带库机械手控制、磁带机读写、冗余容错校验、集群式架构、双机高可靠性热切换等技术方面均具有完全的自有知识产权，对我国安全数据处理领域的信息安全体系建设，提升我国安全数据处理领域在信息安全关键技术领域的自主可控能力具有深远的意义。其可靠性已经得到最终用户得检验，由于拥有自主知识产权，可以充分满足用户个性化改造的需要。
Ø 先进的磁带数据保护技术
Mars Storage Platform通过两种技术实现磁带数据的保护，一是采用了专利技术的可移动存储介质冗余数据保护方法（RARM：Redundant Array of Removable Media），来保证每盘数据磁带在受到损坏的情况下，能够及时的将受损数据进行纠错、恢复，避免数据的丢失；另外采用磁带复制功能实现磁带数据的双份保存，确保数据的万无一失。
北京亚细亚智业科技有限公司于2005年12月获得“可移动存储介质冗余数据保护方法”专利。本发明涉及一种存储数据的保护方法，特别是一种可移动存储介质冗余数据保护方法。在数据流磁带冗余容错方法上，采用了独特的n+1冗余容错算法----首先将其中两盘数据磁带的数据按位相关处理，得到一组冗余数据；用该组冗余数据与下一盘数据磁带的数据按位相关处理，得到另一组冗余数据；对其余数据磁带的数据分别重复与上述步骤类似的相关处理，直至得到第n-1组数据磁带的总冗余数据，把所述第n-1组冗余数据作为n个数据磁带的总校验数据。当一个磁带的数据损坏时，从校