XXXX存储系统设计方案--StoreVirtual.doc

XXXX公司存储系统设计方案

XXXX有限公司

存储系统设计方案

二零一四年二月

17
XXXX公司
目 录
第1章 前 言 1
第2章 需求概述 2
2.1 客户现状 2
2.2 需求分析 2
2.3 设计原则 2
第3章 存储设计方案 4
3.1 系统整体拓扑图 4
3.2 方案介绍 4
3.3 存储产品特点 5
3.4 存储内置软件功能 6
3.5 系统配置清单 9
第4章 产品介绍 10
4.1 HP StoreVirtual存储系统 10
4.1.1 功能 10
4.1.1.1 简化虚拟化环境的存储管理 10
4.1.1.2 快速扩展阵列容量和性能，无需中断应用 11
4.1.1.3 卓越的数据高可用性和灾难恢复功能 11
4.1.1.4 经济实惠的企业级功能和全面的特性集 11
4.1.2 产品规格 12
第5章 技术解析 13
5.1 集群存储架构介绍 13
5.1.1 传统存储架构 13
5.1.2 StoreVirtual 4000存储架构 14
5.2 iSCSI技术 16
5.3 IP SAN技术 16

第1章 前 言
大中型企业电子信息化系统的建设，不仅仅是为了保存数据信息，而且要使用这些数据信息，为企业产生效益。虽然我国信息化程度与发达国家相比有不小的差距，但日益蓬勃的信息化建设，使得国内对存储的需求量迅速增长。
由于电子数据爆炸性的膨胀，企业正面临前所未有的数据存储和数据安全的挑战。对于一个企业来说，数据存储的安全性是极为重要的，一旦重要的数据被破坏或丢失，就会对企业运营造成重大的影响，甚至是难以弥补的损失。
为了充分利用资源，减少重复投资，存储作为构成计算机系统的主要架构和电子数据存储的基础设施之一，不再仅是充当外围设备的角色，逐步从数据生产子系统（计算系统）中独立出来，成为具有数据存储，备份容灾，数据迁移等独立功能的存储子系统。
本文将以存储子系统在企业中的信息化系统中的应用为起点，讨论数据存储系统在XXXX有限公司的应用设计原则与应用方式。
第2章 需求概述
2.1 客户现状
客户目前IT系统主要的应用业务共有两个：1）数据库系统、2）企业内部文件共享系统。硬件设备上，客户的应用服务器为两台 380服务器，每种应用分别使用一台服务器。两个应用系统的数据全部存储于服务器自带的存储之中。
2.2 需求分析
a) 数据安全性
客户目前的所有数据全部存储于两台服务器之中。如果服务器出现故障，或者服务器硬盘出现故障，则有可能造成数据的丢失。所以存储系统在设计上要最大限度的保证存储数据的安全性，防止出现存储故障造而成数据丢失的情况。
b) 业务的连续性
存储系统作为未来客户存储数据的平台，其连续稳定的工作能够保证客户公司的整体业务的连续性，避免因为不必要的业务中断而造成损失。
c) 能够满足未来企业发展对存储容量与存储性能提升的需求
做为企业，IT系统的建设要能够满足现有需要的同时，还需要考虑未来企业发展对于存储系统提升的要求。IT基础架构具有高度的灵活性与动态扩展能力，如可在线扩充的硬件体系，弹性的容量管理，可动态调节的性能配置等。同时未来如果存储系统无法满足需求如何进行数据迁移，也是许多企业为之头痛的地方。
d) 方便的应用与管理
存储系统作为企业常用的系统之一，在整体应用上要能够满足客户方便管理与使用的目的，所以存储设备要求能够方便操作，IT管理人员能够轻松上手。通时管理工具能够对存储的性能、负载等有直观的图形化显示也会方便IT管理人员对存储系统进行规划与维护。
2.3 设计原则
1) 先进性：在经费许可的范围内，引进、吸收和应用先进技术。方案推荐的产品性能和功能不仅满足当前的需求，而且要考虑未来的应用发展和数据扩展。
2) 安全性：系统具有成熟的安全保护机制，关键设备均采用冗余链路的设计，消除单点故障。设计结构中考虑数据备份和恢复功能。
3) 稳定性：任何计算机信息系统，其设备的稳定性都是需要重点考察的问题。设备的硬件是否可靠，内部是否有冗余的电源，控制设备是否是国际先进的技术和工艺生产的产品等。这一系列因素都会影响整个系统的稳定性。
4) 开放性：系统采用的各种硬件设备和软件系统均遵循国际标准或工业标准及国际流行标准，符合开放性设计原则。一个开放性好的系统会具有良好的兼容性和灵活性，对于减少系统故障和今后的平滑升级奠定了良好的基础。
5) 可扩展性：根据经验，约有90％的存储系统将在建成后15个月内需要升级或扩展，其中35%只能够重新设计，其原因就是在最初搭建存储系统时没有考虑好扩展性。系统的扩展性直接关系到今后的投资保护问题。
6) 可行性：系统设计方案中所有涉及到的技术、设备、实施方法等都必须经过实际工程案例的应用或是在模拟的实验环境中经过验证，具备实际的可操作性。
第3章 存储设计方案
3.1 系统整体拓扑图

图3.1
3.2 方案介绍
如图3.1所示，根据对客户的实际情况与需求的分析，本方案设计采用集群存储系统解决方案。将客户数据库系统和文件共享系统集中整合到两台HP StoreVirtual 4530存储设备上。
存储硬件配置：每台HP StoreVirtual 4530存储设备配置裸存储容量为48TB(可用容量40TB)。主机连接接口上HP StoreVirtual 4530存储系统配置4个千兆以太网接口与2个万兆以太网接口，因为客户同时使用有数据库与文件共享系统，所以在此建议客户采用万兆以太网接口进行IP-SAN组网。两台HP StoreVirtual 4530存储设备与服务器通过交换机进行连接。
存储系统配置：两台HP StoreVirtual 4530存储产品之间通过管理软件配置为网络RAID 1，以实现数据而达到存储系统实施容灾的目的。而数据卷的分配，根据客户两台服务器的需求，按需分配存储空间。同时在文件服务器上安装HP StoreVirual FOM管理软件，对故障卷进行自动切换以减少发生故障造成业务中断。
其他可用功能：HP StoreVritual产品同时内置快照功能，客户可以将重要的数据进行本地快照备份。防止因为人为原因，造成数据出错或篡改。
3.3 存储产品特点
结合客户实际业务，我们为客户推荐了集群架构存储解决方案，配置的产品为HP StoreVirtual 4530存储系统。而方案中存储产品的特点为：
1. 高性能企业级虚拟化磁盘存储系统
HP StoreVirtual支持万兆以太网接口，通过万兆以太网络进行IP-SAN组网，能够最大限度的提高存储的性能，满足数据与文件共享对于后端存储系统性能的需要。同时建议客户在服务器与主机的连接上采用专用（独立使用）的以太网交换机进行存储区域的网络设备，也可设定独立的网段或VLAN来避免由于广播风暴导致的网络堵塞以及提升存储网络的数据安全性。
2. 高安全性存储系统
通过HP StoreVirtual存储内置网络RAID 1功能，实现两台存储系统的实施容灾功能，最大限度的保证客户数据的安全性与业务的稳定性。
3. 高扩展性：最高支持大容量存储空间，降低扩容成本
HP StoreVirtual产品为集群架构存储，通过集群架构客户未来随着存储容量的增加，存储性能也可与之提高。满足未来客户企业发展的需要。同时HP StoreVirtual存储产品目前最大存储容量为1500TB，能够满足未来各种大容量数据存储的需要。
4. 管理工具提供简便的管理方式，降低人员维护复杂度
HP StoreVirtual产品配置的管理界面为全中文化界面，客户IT管理员可以方面快捷的对存储进行管理。同时内置的存储性能监控工具，可以让管理员实时了解存储工作状态。
5. 丰富的软件功能，软件功能免费
HP StoreVirtual存储产品支持集群存储、网络RAID、快照/克隆、自动精简配置、本地/远程数据容灾备份功能。而这些软件功能在其他存储产品均是需要花钱购买的不同，HP StoreVirtual所有软件功能均免费。这样可以为客户降低IT投入。
3.4 存储内置软件功能
本方案推荐的StoreVirtual 4000具备5大功能优势，包括：
Ø 存储聚合
Ø 网络RAID
Ø 多站点容灾
Ø 自动精简配置
Ø 数据快照与复制
下面我们将针对这五大特性进行介绍
a) 存储聚合
每个StoreVirtual 4000节点内部都配备独立的硬盘，这些硬盘受控于各自节点的控制器，由于每个控制器控制的空间有限，同时处理能力有限。因此，为了发挥虚拟化存储的优势，StoreVirtual 4000支持存储的聚合能力。通过存储聚合，将几个甚至几十个存储节点进行虚拟化的统一管理，形成一个大的存储池。存储池内的空间可以被任意地使用，用户可以根据实际需求进行空间划分。这样，原来只有一个控制器才能处理的数据将有几个或几十个控制器同时控制，存储性能将成倍的提升。
b) 网络RAID
为了提升用户数据的可靠性，StoreVirtual 4000支持一种基于网络进行的RAID数据保护。即：用户数据可以跨越存储节点进行数据的同步复制，用户可以将某个空间的数据复制2份、3份甚至4份。这样，及时用户的某些节点宕机，数据依然完整的存在，客户端可以进行正常的数据访问。
这点是本方案中的第二个亮点，通过网络RAID提供了数据的高可靠性。
c) 多站点容灾
如果用户在同城内拥有超过2个以上的数据中心或主机房，我们可以将StoreVirtual 4000放置于多个数据中心，通过同步数据复制实现跨站点的数据容灾。本方案在较低的成本上实现了数据容灾功能，为用户的数据保护提供了增值的服务能力。

d) 自动精简配置
我们发现，很多用户在初期购买存储设备是通常会预期的额外购买一部分额外空间，这部分空间主要用于未来的数据增长。但数据的增长量随着业务的发展充满着不确定性。因此，用户往往为了存储空间的初始化配置头疼不已。StoreVirtual 4000提供功能强大的存储空间精简配置，用户在系统初期只要分配很少的真实空间给应用系统，随着应用系统数据量的增长，精简配置工具会自动的进行空间调整，从而避免了用户空间的浪费，降低了用户在磁盘上的过多投资。同样，通过精简配置可以大量降低用户日常的维护工作。
e) 数据快照与复制
随着用户数据量的暴涨，数据快照可以帮助用户减少数据备份的压力。StoreVirtual 4000可以提供基于分钟级的数据快照，因此，数据快照使得传统磁带或虚拟带库每日数据备份的周期骤然降低，用户在数据出现问题时的恢复能力将更强。
StoreVirtual 4000同样可以提供远程的数据复制，可以实现在全球范围内任意站点的数据复制，从而为用户提供了更好的异地容灾保护能力。
需要说明的是，以上5大功能和特性都已经包含在StoreVirtual 4000中了，用户无需对以上任何一个功能进行单独付费。因此，用户在使用StoreVirtual 4000后得到的不仅仅是一台在线存储设备，它还提供了性能提升、数据保护、精简配置、数据容灾的能力。
3.5 系统配置清单
序号
产品号
描述
数量
1
F3J69A
HP StoreVirtual 4530 4TB（总容量48TB） SAS存储系统
硬件架构：
12个SAS 4TB 7,200转3.5寸硬盘
单颗Intel Xeon ZE5-2620 2.0 GHz处理器
64GB 缓存
750W冗余热插拔电源
2GB备份缓存
节点内支持RAID 6,10
4个1Gb以太网端口
2个10Gb以太网接口
iLO4 Management
Smart Array Advanced Pack 2.
软件特性包括:
LeftHand Storage Clustering （存储集群）
LeftHand Network RAID （网络RAID）
LeftHand Thin Provisioning （自动精简配置）
LeftHand Snapshots （快照保护）
LeftHand Remote Copy （远程复制）
2
2
455883-B21
万兆以太网SFP模块
4

第4章 产品介绍
4.1 HP StoreVirtual存储系统

您需要一款专门为虚拟化基础设施而设计的经济实惠的存储产品，它不仅易于管理，而且支持数据持续增长，并确保您的业务始终正常运行。 HP StoreVirtual 4000 存储设备以 LeftHand 操作系统为基础，是一款横向扩展的存储平台，旨在满足虚拟化环境不断变化的需求。 它拥有直观简洁的通用管理功能和存储联合功能，可满足当今虚拟数据中心的简便性和灵活性需求。 它支持数据跨越层和地点、在虚拟存储和物理存储之间移动。 HP StoreVirtual 是当今市场上功能最齐全的存储平台。 它提供了软件定义的存储 VSA 软件、ProLiant 机架以及基于 BladeSystem 的硬件机型供您选择，可适应任何基础设施和预算。 StoreVirtual 内置企业级的存储软件功能和领先的虚拟化软件。因此，它已成为支持所有各个阶段的虚拟化增长的理想平台。
4.1.1 功能
4.1.1.1 简化虚拟化环境的存储管理
l 平台与 VMware 和 Microsoft 的集成，可显著提高存储的功能和易用性，而应用集成则可简化应用的存储管理。 凭借适用于虚拟化平台和 Windows 应用的快照和远程复制集成功能，简化备份和恢复过程。
l 管理您环境中的数百个节点有如管理前两个节点一般简单， 无论这些节点是位于同一站点、还是不同站点均是如此。 集中化的管理控制台支持您轻松配置、管理和监控存储设备，使日常运维变得简便而高效。
l HP StoreVirtual 可简化产品的更新和升级，只需一个单击操作即可轻松升级软件。 将数据在线迁移到另一个存储硬件集群。 在集群内交换节点，这样可在不停机的情况下进行维护，或升级到新一代技术。
4.1.1.2 快速扩展阵列容量和性能，无需中断应用
l HP StoreVirtual 横向扩展的架构提供可线性扩展容量和性能的存储。 快速调整和响应不断变化的需求： 扩展存储和向集群添加节点一样简单，允许您随业务增长无缝不间断地增加存储容量。
l 网络 RAID 技术将所有资源和容量汇聚到一个存储池，使集群中的每个卷均可访问所有可用容量和性能，并利用所有集群资源提高性能： CPU、RAID 控制器、NIC、缓存和磁盘轴数。
l 网络 RAID 功能还分割和保护存储集群的多个数据副本，从而消除所有单点故障。 冗余逐卷管理，可提高存储利用率，并根据应用的需求保护卷的数据。
l 现在，利用 iSCSI 和可选的光纤通道连接，混合协议环境可从一款适用于所有地点的灵活存储解决方案中获益良多。 为未来发展做好充分准备，无需重新设计或更换现有存储设备，即可从一个协议迁移至另一个迁移。
4.1.1.3 卓越的数据高可用性和灾难恢复功能
l 凭借久经验证的、高达 99.999% 的高可用性和可靠性，存储集群可在同时出现多个故障时，仍使数据保持在线状态，且可由应用访问。 利用这款解决方案，您无需再为集中式数据中心和远程办公室和分支机构的存储担忧。
l 经 VMware 认证的多站点灾难恢复可提供业务持续性，并向用户和应用提供透明的故障转移。 多站点配置旨在利用单个物理或逻辑站点维护数据的可用性，并验证是否与 VMware HA 功能完全兼容。
l LeftHand 远程复制允许您在主要地点和远程地点之间异步复制精简配置的无预留快照。 该功能可逐卷进行集中备份和灾难恢复，并利用应用集成快照加快恢复速度。
l LeftHand Peer Motion 是一项在线数据移动技术，支持在所有部署的 HP StoreVirtual 节点中移动卷，无论平台或驱动器为哪种类型均是如此。 HP StoreVirtual 是唯一一款能够跨越层和地点、在虚拟存储和物理存储之间移动数据的产品。
4.1.1.4 经济实惠的企业级功能和全面的特性集
l HP StoreVirtual 包括所有许可，如企业级的存储功能、管理和增值工具，且无需购买额外的软件。 这款平台十分经济实惠，您仅需购买当前所需的存储设备，将来可在不中断业务的情况下进行扩展。
l HP StoreVirtual 是市场上功能最齐全的存储平台，可从软件定义的存储 VSA 软件扩展至 ProLiant 机架和基于 BladeSystem 的硬件型号。 混合并搭配最适合您基础设施的产品型号，可提高管理简便性与功能一致性。
l 将现有 vSphere 和 Hyper-V 服务器的内部存储转变为功能完整的共享存储。 市场领先的 HP StoreVirtual VSA 创建了一款卓越的融合基础设施，支持在各虚拟化服务器、各站点以及虚拟和物理存储平台之间高效移动数据。
4.1.2 产品规格

StoreVirtuan 4530
单节点高度
2U
每套存储节点数量
1~32
最大节点数量
32
每节点配置硬盘数量
12
最大磁盘数量
384
配置硬盘类型
4TB 7.2K SAS
最大存储容量
1536TB(4TB Disk)
各节点主机接口
1GbE iSCSI(4)端口/10GbE iSCSI(2端口)
Lefthand系统具有功能
存储集群，网络RAID 5/6/10，精简配置功能，集成应用的快照，RemoteCopy，SmartClone
存储协议的支持
1GbE iSCSI/ CIFS (SMB 2.0)/ NFS / HTTP/ FTP（需配置StoreEasy支持）
兼容的操作系统
Apple OS X
Citrix XenServer
HP-UX
IBM AIX
Microsoft Windows Server 2008
Microsoft Windows Server 2012
Novell NetWare
Oracle Enterprise Linux
Red Hat Linux
Oracle Solaris
SUSE Linux
Vmware
第5章 技术解析
5.1 集群存储架构介绍
5.1.1 传统存储架构

图5.1
传统的存储架构如图5.1所示，存储采用双控制器架构，配置2台交换机与前端的服务器进行连接。这种连接的方式的好处在于：
a) 整体存储链路采用冗余架构
b) 多台服务器可以使用同一台存储
c) 存储配置双控制器，防止因为一个控制器出现故障而造成存储的应用中断
但是此种连接方式还是存在很大的安全隐患：
a) 如果存储设备突然出现故障（突然断电或者存储硬盘连接背板出现故障等）这样整个存储就无法正常工作
b) 如图5.2所示，数据写入是按照顺序数据写入的方式，也就是一个数据写入后再写下一个数据，这样网络带宽就会变成整个存储性能的瓶颈所在。同时一个数据一个数据的进行写入也会使得整体性能有所降低。

图5.2
c) 双控架构存储在内部数据写入机制上采用的是双缓存镜像写入磁盘技术，通过此种方式可以防止其中主控制器出现故障，在切换到备份控制器时的数据一致性。同时双控制器同时工作的情况下写入数据的整体性能也会更高。但是如果其中一个控制器损坏，这样就无法做到双缓存镜像。存储系统会自动变成直写硬盘模式，这样就会造成性能的大幅度下降。影响存储的正常使用。
5.1.2 StoreVirtual 4000存储架构

图5.3
如图5.3所示，StoreVirual 4000存储产品采用的是存储集群架构，它是按照存储节点来进行的存储架构。每个节点配置一个存储控制器，这种架构可以避免因为单台存储出现故障，而造成的数据访问中断。
StoreVirtual 4000存储产品的存储为网络RAID模式，他会将每个节点的存储空间进行整合，同时通过网络RAID的方式可以防止存储数据因为单台存储的故障造成数据丢失或者业务中断。
同时采用网络RAID 1的方式，做可以做到存储级的实时数据容灾。传统的存储在进行数据容灾的时候，如果出现一台存储故障，需要手动进行数据卷的切换挂载。而StoreVirtual 4000存储产品因为采用网络RAID 1的方式进行了存储的整合。当其中一台存储古县故障，也不会造成前端应用服务器对于数据卷的访问中断。实现故障自动切换。
而随着存储容量的增加，整个存储网络的性能也会随着增加。因为HP StoreVirtual 4000为存储集群架构，其除了会将存储容量进行整合外，还会将前端主机端口进行整合，使得整体的存储带宽变大，而增加存储系统的整体性能。
如图5.4所示，为HP StoreVirtual上一代产品的测试报告，可以看到随着节点的增加，整体的IOPS也是随之不断的增加。所以StoreVirtual可以满足客户现在对于存储容量与存储性能要求的同时，也能够满足客户未来发展对于存储容量和存储性能增长的需要。
图5.4

5.2 iSCSI技术
iSCSI（互联网小型计算机系统接口）是一种在Internet协议网络上，特别是以太网上进行数据块传输的标准。它是由Cisco 和IBM两家发起的，并且得到了IP存储技术拥护者的大力支持。是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。
SCSI（小型计算机系统接口）是以一种广泛使用的连接硬盘和计算机的技术标准，iSCSI这种技术则是将该技术应用到网络连接上，iSCSI技术的性价比要高于基于光纤的产品。iSCSI是基于IP协议的技术标准，是允许网络在TCP/IP协议上传输SCSI命令的新协议，实现了SCSI和TCP/IP协议的连接，该技术允许用户通过TCP/IP网络来构建存储区域网（SAN）。
iSCSI技术重要的贡献在于其对传统技术的继承和发展上：其一，SCSI（Small Computer System Interface，小型计算机系统接口）技术是被磁盘、磁带等设备广泛采用的存储标准，从1986年诞生起到现在仍然保持着良好的发展势头；其二，沿用TCP/IP协议，TCP/IP在网络方面是最通用、最成熟的协议，且IP网络的基础建设非常完善。这两点为iSCSI的无限扩展提供了坚实的基础。
通过iSCSI，用户可以穿越标准的以太网线缆在任何地方创建实际的SAN网络，而不再必须要求专门的光纤通道网络在服务器和存储设备之间传送数据。iSCSI让远程镜像和备份成为可能，因为没有了光纤通道的距离限制，使用标准的TCP/IP协议，数据可以在以太网上进行传输。而从数据传输的角度看，目前多数iSCSI的网络传输带宽为千兆即1Gbit，如果实现全双工能够达到2Gbit，第二代产品能够达到2Gbit带宽，在未来第三代通用iSCSI标准中，带宽将达到10Gb，也就是说，采用iSCSI构建远程异地容灾系统已不存在任何问题。
5.3 IP SAN技术
SAN（Storage Area Network，存储局域网络）的诞生，使存储空间得到更加充分的利用以及安装和管理更加有效。SAN是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。SAN本身就是一个存储网络，承担了数据存储任务，SAN网络与LAN业务网络相隔离，存储数据流不会占用业务网络带宽。
在SAN网络中，所有的数据传输在高速、高带宽的网络中进行，SAN存储实现的是直接对物理硬件的块级存储访问，提高了存储的性能和升级能力。
早期的SAN采用的是光纤通道（FC，Fiber Channel）技术，所以，以前的SAN多指采用光纤通道的存储局域网络，到了iSCSI协议出现以后，为了区分，业界就把SAN分为FC-SAN和IP-SAN。
iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。
iSCSI标准在2003年2月11日由IETF（互联网工程任务组）认证通过。iSCSI继承了两大最传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。
基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。
在实际工作时，是将SCSI命令和数据封装到TCP/IP包中，然后通过IP网络进行传输。具体的工作流程如下：
1) iSCSI系统由SCSI适配器发送一个SCSI命令。
2) 命令封装到TCP/IP包中并送入到以太网络。
3) 接收方从TCP/IP包中抽取SCSI命令并执行相关操作。
4) 把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方。
5) 系统提取出数据或命令，并把它们传回SCSI子系统。