金融领域存储专项方案设计.doc

金融领域存储方案设计殷 擎俞彦琪近年来计算机网络信息系统在社会生产和生活中发挥着越来越大作用。基于计算机技术网络信息系统在很大限度上变化了社会对信息解决能力，因而得到了广泛应用。对于金融公司来说，信息高度共享、数据安全可靠是系统建设中优先考虑问题，基于此，建设高性能数据存储网络意义重大。第一章 领域简介和数据存储需求分析1.1领域简介“十八大”提出将金融改革列为将来十年发展重中之重，中华人民共和国重要金融公司也都制定了“十二五”发展规划，将依托构建智慧型数据分析体系（MIS）充分挖掘业务规律，以支持业务创新与服务创新。从将来发展看，中华人民共和国金融行业在“十二五”时期将重点实现发展方式转型：一，中华人民共和国金融行业将建立全面风险管理体制，向严监管转型；二，从粗放式管理向精细化管理转型，信息化重点也将从业务信息化向管理信息化转变；三，从“利润为中心”和“保单为中心”向“客户为中心”转型。由此，将来几年中华人民共和国金融行业IT投资规模将会持续增长。1.2数据存储需求分析1.2.1金融大数据需要可扩展性开放架构做支撑。大数据量必然规定金融公司IT基本设施更易于数据整合与集中、扩展与伸缩，以及管理与维护，同步还必要具备良好可靠性、可控性、安全性 。大数据在加强风险管控、精细化管理、业务创新等业务转型中将起到重要作用。一方面，大数据可以加强风险可审性和管理力度，支持业务精细化管理。当前中华人民共和国银行业利率市场化改革已经起步，利率市场化必然会对银行业提出精细化管理新规定。另一方面，大数据支持服务创新，可以更好地实现“以客户为中心”理念，通过对客户消费行为模式进行分析（例如事件关联性分析），提高客户转化率，开发出不同产品以满足不同客户市场需求，实现差别化竞争。在高频金融交易、小额信贷、精准营销等领域加速推动。当前大数据应用已经在金融业逐渐推开，并获得了良好效果，形成了某些较为典型业务类型，如高频金融交易、小额信贷、精准营销等。 高频金融交易重要特点是实时性规定高和数据规模大。最后，大数据在金融机构精准营销方面也有着巨大价值。基于以上需求，金融行业对于大数据存储和应用有着很大需求。1.2.2灾备需求银行业已经基本完毕了省级业务和数据大集中，具备了比较强容灾能力，但各地分行存储备份系统还需要进一步加强。一旦全国这个数据中心发生劫难事件，那么全国范畴内分支机构和开户公司、个人都将失去自己存款记录、贷款记录，不能开展业务，这样影响不是在一种市、一种省，而是在全国范畴，后果难以想象。国外某些发达国家，如：美国，在银行业存储网络建设上起步早，早在上个世纪70年代就有劫难备份概念和服务。在信息技术发达欧美国家均对银行在保证数据完整性及业务持续性责任上作出了明确规定，在新加坡、中华人民共和国香港金融管理局也对劫难备份提出了规定，由此可见银行业数据安全存储对于银行生存至关重要。由于使用ATM机取款和刷卡消费越来越普及，这就规定银行必要保证24X7不间断运营，以满足超大量顾客实时访问，一旦宕机或者系统发生故障，不但严重影响银行业务运营，更将严重影响客户满意度。因此建议租用网络存储空间，保证您24X7在线服务。当前，银行缺少足够网络维护人员。因而，高效网络存储建设十分必要。构建网络式存储，避免了巨大额外支出，大大提高了存储系统运用率。1.2.3详细需求1、 应用数据全自动备份：减少系统管理员工作量；增长备份效率、压缩备份时间；使数据备份工作形成制度化、科学化；消除备份过程因操作不当导致严重损失；声称远程保存为劫难恢复目介质。2、 对介质有效管理：增长软件对介质存储限制，防止读写操作错误；保存介质内容电子记录；对数据形成分门别类介质存储，使数据管理更加细致、科学；自动校验介质，保证介质上数据安全无误。3、 实现数据集中管理：按备份服务器形成数据中心，对各种应用系统及其她信息数据形成集中备份，减少每个应用业务人员工作承担，免除客户端备份投资；形成数据管理方略，保证数据安全性。4、 实现数据自动恢复：业务人员可容易地自动恢复文献误删除；维护人员可以自动恢复损坏整个文献系统。5、 建立历史数据归档：保存大量历史数据到电子介质，为商业竞争和公司发展保存第一手分析和历史资料；有规范地归档，清除系统中被占用空间以保证主机处在运营状态。6、 实现数据分级存储管理（HSM）。7、防毒安全备份管理。第二章 数据特点分析和数据访问特点2.1数据特点分析1、 及时性有效性2、 精确性可靠性3、 持续性可扩性4、 开放性多功能性5、安全性保密性2.2数据访问特点迅速增长金融行业不光面临着市场变化快，产品更新快、营销方略变化快、业务运作变化快等挑战，还面临这信息安全存储和及时访问、信息集中化存储信息存储整合、信息和数据有效备份、及时恢复、信息和数据归档等技术应用层面难题。相比其她行业，她们要在一种集中点上，管理全国乃至全球极大交易数据需要瞬间数据访问、高安全性和异地存储等功能，金融机构对于灾后恢复时间容忍度是所有行业中最小。第三章 存储系统设计3.1磁盘选取选用DELL MD3600f磁盘阵列其规格为 3.5英寸 - 7,200 RPM近线SAS硬盘，容量规格为2 TB3.1.1接口类型由于采用近线SAS硬盘，因此其接口为串行SCSI接口。3.1.2盘块个数由于该领域某单位或公司当前实际数据量为2TB，预测该系统数据每年增长量是30%按将来5年需求设计，因此五年后数据量增长到2*(1+30%)5=7.5TB 。考虑到此项目咱们考虑使用RAID10存储，因此应增长磁盘数量，因此数据量增到7.5*2=15TB因此此处在只考虑存储数据，而不考虑业务持续性设计方案状况下，应购买MD3600f数量为8个3.2选取RAID级别3.2.1 RAID10和RAID5比较RAID10和RAID5对比，这里拿同样多驱动器磁盘来做对比(4个相似磁盘)，RAID5可以选取3D+1PRAID方案，RAID10则可以选取2D+2DRAID方案。从读写性能比较，读方面两者差别不大，但在写性能方面，RAID5写代价为4，而RAID10写代价只有2，写性能角度RAID10要好于RAID5.从安全性角度考虑， RAID10安全性高于RAID5。例如当盘1损坏时，对于RAID10，只有当盘1相应镜象盘损坏，才导致RAID失效。但是对于RAID5，剩余3块盘中，任何一块盘故障，都将导致RAID失效， 在恢复时候，RAID10恢复速度也快于RAID5。 规定较高空间运用率，对安全性规定不是特别高、大文献存储系统采用RAID 5比较好。相反，安全性规定很高，不计成本，小数据量频繁写入系统采用RAID 10方式比较好。此处RAID10更加贴近于金融数据存储，由于金融服务类领域小数据量频繁写入，并且其数据对安全性规定更高。综上：选取RAID103.3网络存储架构选取3.3.1 SAN简介SAN（Storage Area Network 存储局域网络）采用光纤通道（Fibre Channel）技术通过光纤通道互换机连接存储阵列和服务器主机，建立专用于数据存储区域网络。在iSCSI浮现后来，用以IP技术搭建存储区域网络应运而生。以光纤搭建存储网络是FC SAN，以iSCSI技术搭建存储网络叫IP SAN。IP SAN基于十提成熟以太网技术，使用原则TCP/IP合同，数据在以太网上进行传播。新建立SAN不但可以连接光纤通道设备，并且可以连接SCSI设备，这样保护了顾客此前投资。数据可靠性和安全性在实际应用中十分重要。在SAN中可以采用双环方式，建立存储设备和计算机之间多条通路，提高了数据可用性；建立虚拟专用网络可以提高数据可靠性和安全性；同步在SAN中也可以通过建立双机容错、多机集群，实现RAID校验等方式进一步保证数据安全性和作业持续性。3.3.2 FC-SAN优缺陷1. 采用光纤通道（Fibre Channel）技术，通过光纤通道互换机连接存储阵列和服务器主机，建立专用于数据存储局域网络。2. 专用存储网络合同，传播速率高且稳定性好，高扩展性，配备灵活。3. 热插拔性、高速带宽、远程连接、连接设备数量大。4.成本高，不能提供跨平台文献共享。3.3.3 IP-SAN与FC-SAN比较1）数据传播性能方面比较在实际对比测试中表白在同样1Gbps光纤链路（FC）与1Gbps千兆以太网（IP）中进行数据传播时，FC实际运用率在70%80%左右，最高可达90%；而在千兆以太网中，其实际运用率平均在20%左右，最高也只能达到30%左右。在以太网中并不能提供针对存储大数据量以及I/O应用中所需要好性能。这也是在存储局域网设计之初没有考虑IP存储因素，虽然TCP/IP传播合同浮现较FCP传播合同浮现得早。2）存储设备构造比较普通来说IP-SAN存储设备磁盘控制器不是采用FC-SAN存储设备中硬件RAID芯片+中央解决器构造，而是每个磁盘柜中分为各种磁盘组，而每个磁盘组有一种微解决芯片控制所有磁盘RAID操作（采用软件计算，效率较低）和RAID组管理操作。这样一来，每一次磁盘I/O操作都将通过IP-SAN存储内置一种类似互换机设备从前端众多主机端口中读取或写入数据，而这些操作都是基于IP互换合同，其合同自身就规定每一种微解决芯片工作时需要大容量缓存来支持数据包队列排队操作，具备海量存储时候，不也许所有数据均载入到系统缓存中这个时候就需要大量磁盘I/O操作来查找数据，而IP-SAN存储所采用SATA磁盘在这一块性能非常弱，并且还涉及到一种在IP网络上流动ISCSI数据向ATA格式数据转化效率损失问题。也就是说IP-SAN存储存在一种缓存Cache到磁盘数据I/O和数据解决瓶颈。而采用FC磁盘FC-SAN存储设备就不存在这样问题。通过2条甚至4条冗余后端光纤磁盘通道，可以获得一种非常高磁盘读写带宽，并且FCP磁盘读写合同不存在一种数据格式转换问题，由于她们内部采用都是SCSI合同传播，避免了效率损失。并且FC-SAN存储设备由于光纤互换和数据传播高效性，并不需要很大缓存就可以获得一种好数据命中率和读写性能，普通2Gb或者4Gb即可满足规定。此外由于具备专门硬件RAID校验控制芯片，因此磁盘RAID性能将比软件RAID性能好诸多，并且可靠性更好。3.）从存储可以相应并发操作能力来看从应用上来说，相对于IP-SAN，FC-SAN可以承办更多并发访问顾客数。当并发访问Storage顾客数不多状况时，FC-SAN对比IP-SAN两者性能相差无几。但一旦当外接顾客数呈大规模增长趋势时，FC-SAN就显示出其在稳定、安全以及高性能传播率等方面优势，不会像IP-SAN由于自身传播带宽瓶颈而导致整个系统被拖垮。面对大规模并发访问，无论是从外接顾客数规模来说还是从传播性能和稳定性来说，FC-SAN均有着IP-SAN不可比拟优势。综上：选取FCSAN，由于金融服务业数据并发性强，且数据价值量大，采用IPSAN无法满足对于速度、并发性、安全性规定，相比之下，FCSAN使得数据传播过程受外界影响小，对大规模数据祈求也可以迅速响应，满足金融服务领域规定，因此选取FCSAN.3.3.4存储架构设计图示第四章 业务持续性保障设计，给出备份及恢复方案4.1方案选取选取“两地三中心”方案方略。4.1.1一方面消除单点故障4.1.2依照国家规定以及银行业灾备原则选取RPO/RTO此项目设计采用本地备份与远程备份相结合方略同城灾备场景中采用FC SAN实现数据同步复制，可以达到PRO=0，RTO较小，由于采用光纤通道，数据传播速度快，可以尽快恢复数据。异地灾备场景中采用FCIP技术，此技术是可以封装本地FC SAN合同包，从而可在IP上传播，远程则有一FCIP网关，将包转换成FC合同包，此处选取PRO=0.5 hours，RTO=2 hours。因此可以满足两地三中心规定。4.2本地备份4.2.1基于FC SAN网络容灾架构图4.2.2相应备份和恢复方案从上图中可以看到，备份恢复管理服务器处在主SAN应用服务器与容灾SAN应用服务器之间。其功能重要有如下两点。4.2.2.1数据备份：当主SAN所属磁盘数据变化时，主应用服务器给备份恢复管理服务器发出备份命令，然后备份恢复管理服务器给主SAN发送备份指令，同步给容灾应用服务器发出接受指令。主SAN收到备份指令后，通过FC备份通道把变化了数据传播到容灾SAN中，然后再存储在容灾SAN所述磁盘上。备份恢复管理服务器加入，使得在备份数据时主应用服务器不再从事备份工作，而只是提供备份数据信息。整个备份工作带来负载从主应用服务器上剥离，备份恢复管理服务器完毕了整个备份数据传播过程。从而避免了备份数据流对正常LAN应用影响，解决了在进行备份工作时业务网络数据拥塞问题。其备份流程如下图所示。4.2.2.2数据恢复：当主SAN所属磁盘中数据遭到破坏时，主应用服务器给备份恢复管理服务器发出恢复命令。然后备份恢复管理服务器再把恢复命令传递给容灾应用服务器，接着容灾应用服务器发送确认信息给备份恢复管理服务器。备份恢复管理服务器收到确认信息后，向容灾SAN发恢复指令，然后容灾SAN通过FC恢复通道把备份数据传送给主SAN，如此就完毕了数据恢复。其恢复流程如下图所示。4.3远程备份4.3.1架构图4.3.2相应备份和恢复方案采用异步备份，即定期同步更新两地数据。由于此前咱们拟定RPO=0.5 hours，因此每隔半个小时定期更新远程数据。恢复方案，本地FC SAN发出恢复祈求，通过IP网络传递给远程FC SAN，远程备份响应祈求，发出数据传播信号，本地接受信号后，准备接受数据。远程将数据打包通过IP传播给本地存储阵列。4.3.3采用FCIP好处综合了光纤与IP好处，保存了光纤网低延迟、高可靠性长处，又运用IP网络对于传播距离优势，解决了FC网络只能一定范畴传播缺陷，从而满足远程备份对于长距离规定。第五章 方案阐明5.1选用了戴尔/DELLMD3600F磁盘阵列1、 与高性能、高容量存储相整合2、减少管理数据所用时间3、运用可选PowerVault软件，保护您数据4、使用全新PowerVaultMD3660f，高效地存储更多数据5、运用动态磁盘池，加快恢复速度5.2选用了RAID5在金融服务数据量极大、对空间运用率规定较高，并且写操作频繁前提下，比原则RAID6配备更快地恢复故障硬盘中数据。5.3选用了FCSAN金融服务业数据并发性强，且数据价值量大，FCSAN能满足对于速度、并发性、安全性规定，并且在数据传播过程中受外界影响小，对大规模数据祈求也可以迅速响应，满足金融服务领域规定。5.4选用了“两地三中心”容灾方案1、 同城范畴有效保证了数据安全性和业务持续性；2、异地复制数据依照劫难情形，尽量减少数据丢失机率；3、同城双中心为同步复制，数据实时同步，RPO=0；4、异地无距离限制，保证数据一致性，保证了数据有效保护；5、异地容灾带宽规定低，先进复制机制提高带宽运用率。第六章 总结此方案采用了DELL MD3600F存储阵列，其中使用RAID5存储数据。在服务器与存储阵列连结方式采用FC SAN保障迅速性和安全性，在业务持续性方案中采用两地三中心方略，同城基于FC SAN实现同步复制，异地通过FCIP网关达到远距离传播，有效地保护了数据，保障业务持续性。