oracle备份专项方案.docx

新华人寿用户管理平台一期用户分析系统技术方案书吉贝克信息技术（北京）11月r 修订历史版本生成时间修订人修订内容审阅人目录1概述71.1背景71.2系统实现标准71.3目标读者及用途81.4名词解释82项目了解及需求分析92.1用户关系管理体系建设总体目标92.2ACRM系统定位和边界92.3ACRM系统建设路线图计划122.4ACRM业务用户132.5一期需求分析132.5.1用户数据标准142.5.2用户分层需求162.5.3用户分析需求182.5.4技术需求分析203系统架构设计213.1功效架构213.1.1架构概述213.1.2架构设计213.2逻辑架构233.2.1架构概述233.2.2架构设计233.3技术架构273.3.1用户分层模型设计273.3.2ETL架构293.3.3接口设计343.4数据架构（左家维、王建波）373.4.1数据架构层次计划373.4.2数据模型说明383.4.3数据存放计划413.5物理架构423.5.1存放分析423.5.2性能分析433.5.3物理架构图444系统安全性设计464.1概述464.2网络安全管理464.3系统安全管理464.4数据安全管理474.5用户权限管理484.6防病毒管理484.7对安全产品技术要求484.8备份软件数据管理495系统备份恢复策略495.1备份和恢复范围495.2备份和恢复策略505.2.1数据库备份和恢复策略505.2.2操作系统备份和恢复555.2.3Portal备份555.2.4Microstrategy备份555.2.5Informatica备份566项目实施过程566.1项目开启576.2需求分析586.3系统设计596.4系统开发616.5上线和维护627项目管理过程637.1范围管理637.1.1目标设定647.1.2工作范围647.1.3WBS（工作分解结构）647.1.4资源分配657.1.5范围变更控制管理657.2组织结构657.2.1项目实施团体组织架构657.2.2项目实施团体人员667.2.3项目实施中角色描述677.3团体组成687.3.1关键实施人员697.3.2参与项目关键人员简历及项目经验697.4进度管理747.5质量管理757.5.1系统交付品质量管理757.5.2关键工作质量管理757.6风险管理767.6.1风险识别777.6.2风险分析787.6.3风险应对787.6.4风险监控797.7问题管理797.7.1问题/风险管理步骤807.7.2问题/风险列表837.8变更管理837.8.1提出变更申请847.8.2分析评定847.8.3审批变更857.8.4实施变更857.8.5变更跟踪867.8.6变更结束867.8.7变更申请表和变更申请跟踪表867.9沟通管理887.10交付物管理917.10.1项目交付物管理917.10.2交付物清单928培训和售后服务要求938.1培训要求938.1.1培训内容938.1.2知识转移对象948.2总体服务说明958.2.1现场技术支持服务958.2.2GBICC技术支持中心支持服务（工作时间外紧急服务）958.3岗位和人员安排969附录-数据模型设计979.1前期准备979.2项目组交流研讨989.3分析数据源999.4统一业务定义1009.5模型和用户化1009.6模型验证1019.7模型交付1011 系统备份恢复策略1.1 备份和恢复范围按备份内容分，备份范围关键包含：l 操作系统l 应用程序和配置l 数据按备份系统分，备份范围关键包含：l 用户管理系统数据库l 应用程序和配置l Web服务器l 应用中间层服务器等恢复范围关键包含：l 对给定时间点能对用户管理系统数据库进行完整数据恢复l 将应用程序恢复到最新状态l 将 Web 服务器恢复到最新状态l 对给定时间点能对应用中间层服务器进行完整数据恢复并将程序恢复到最新状态等1.2 备份和恢复策略1.2.1 数据库备份和恢复策略1.2.1.1 数据库备份和恢复策略考虑 （一）新华人寿用户管理系统备份考虑数据库备份和恢复是用户分析系统设计一个关键方面，不一样应用环境可能会采取不一样备份策略，备份策略和以下原因相关：l 批处理或数据维护时间窗口及特点l 实时数据装载特点l 系统及系统组件可用性要求l 系统恢复时间要求l 系统备份性能和系统可用性数据库系统备份是为了保护：l 数据逻辑损坏（比如：用户或系统管理员经过 insert/delete/update 造成数据意外损坏）l 系统硬件故障造成数据物理损坏，存放系统硬件冗余设计将提供这类潜在问题最好保护l 已删除数据库对象恢复数据库系统备份和恢复设计需要考虑这些事件发生频率、造成影响及其业务优先级，在整体设计时需要考虑这些原因。（二）数据库全备份还是表空间级备份数据库备份目标是为了保护数据库或数据库对象损坏。备份策略设计是为了保护而不是阻止或延迟任何应用程序或前端应用程序对数据库访问。另外，备份设计需要同时考虑恢复（故障点恢复）性能和数据库完整恢复或灾难恢复。数据库全备份可能会阻止或延迟数据库装载实施，因为数据库备份和装载操作会存在数据库锁争用。数据库全备份将备份数据库分区类全部对象，包含：l 缓冲区临时表相关数据库对象（Staging Tables）l 存放 ETL、应用处理等过程中存放临时数据临时表，这些表每次处理前需要清空l 索引这些对象备份是不值，会浪费大量存放，数据库全备份因为备份了额外数据造成备份和恢复成本增加。表空间级备份策略提供了更细粒度数据库备份和恢复方案。表空间级备份策略目标是能够恢复丢失或损坏数据，降低没有损坏数据恢复量。增量备份将备份改变过数据页，不管是该页中其中一行或是多行数据发生了改变。使用增量备份策略取决于不一样表空间数据页预期改变量。增量备份在仅仅数据库一个子集发生改变情况下是个不错选择。假如全部表发生改变、表大部分数据发生改变，或是数据库是动态、数据量更新很频繁，则不太适合采取增量备份方法。（三）数据库备份设计考虑和方法经典用户管理系统备份方法是定时对数据库做全备份（比如生产系统新增加表空间或表空间数据发生更新），每七天两次在线对数据表、表空间和大索引表空间进行备份。备份速度是影响别工作负荷实施唯一问题，因为锁争用，数据库全备份会阻止或延迟装载操作实施。恢复速度总是一个问题，尽管在线备份没有时间限制，不过恢复必需立即完成，因为全部对待恢复数据库对象访问全部将被阻止，直到恢复操作结束。好备份策略将恢复操作定位到能够在故障发生时将系统立即恢复到故障点，而且备份不会阻止其它进程或请求者对数据库访问。所以速度和关注焦点应该集中到恢复上面：修补丢失或毁坏数据页，将需求恢复数据降低到最少。通常情况下数据库恢复在应用清理时候会用到，十二个月一到两次恢复操作是合理；这些恢复中灾难恢复更少，往往可能好几年才能碰到一次。所以，设计最细粒度恢复策略，将系统定位到在出现问题时，最有可能地实施Restore 命令以恢复故障。在灾难恢复中，这种细粒度备份和恢复策略仍然有效，不过比起数据库全备份来讲需要更长时间。这种设计适适用于大部分场所，同时确保在灾难发生时系统可用性。1.2.1.2 OracleACRM备份方案分析方案一：DataGuardDataGuard是性价比最高备份和容灾方案，不过当归档超出一定规模以后，DG恢复就成为了瓶颈，天天产生归档无法立即恢复完，恢复瓶颈不在存放吞吐量，而在于standby恢复方法，因为恢复过程就是应用归档文件，RAC各个节点产生归档必需在一个节点恢复，这个过程必需是遵照一定次序，大大限制了恢复并发速度。方案二：传统RMAN备份采取传统RMAN备份，采取大吞吐量虚拟带库设备，一周全备一次，天天备归档日志。很多时候，我们在做备份方案时，只考虑了备份，却没有考虑恢复。这个方案最大问题就在于：对于每日归档数据量尤其巨大（达成T级）时候恢复代价很高，一旦数据库出现问题，恢复可能需要数天之久，这是无法接收；不过，对于天天归档比较小情况，能够考虑使用此方案。方案三：存放镜像数据库采取noarchivelog模式，采取ASM镜像两套存放。这个方案并不是备份方案，只是为了处理存放单点问题而提出，相当于对不一样存放做RAID 1。这个方案最大问题是无法处理数据库逻辑错误，比如误删除数据。因为主库和备库经过存放镜像来实现，无法实现异地备份和容灾。方案四：存放等级复制采取存放等级复制，各存放厂家全部有处理方案，比如EMC SRDF等。Veritas也有类似处理方案，比如卷复制(VERITAS Volume Replicator)。这种方案基础原理全部是经过捕捉底层存放IO，并经过网络同时到备份系统上。假如采取存放厂商方案，那么主备库就必需使用同一家企业产品，而且，能否承受天天4.5T数据改变量，我们并没有验证过。另外，软件license费用不菲。1.2.1.3 数据库备份和恢复策略1.2.1.3.1 NBU备份软件介绍及特点NetBackup(以下简称NBU)是世界上最好备份软件之一，是Symantec企业在存放管理领域关键一款针对于异构平台企业级备份和恢复软件。NBU平台能够提供基于磁盘和磁带统一数据备份和恢复管理，保护范围包含UNIX、Windows、Linux和NetWare等环境。从远程办公室到数据中心，从台式机到服务器，从文件到数据库甚至操作系统，NBU能够提供全方面保护，同时全部功效全部是经过一个控制台来管理和实现，简单方便。VERTAS NetBackup产品特征和优点特征优点多路备份和恢复能够从一个或多个用户/服务器端并行实施到一个或多个磁带读和写可扩展映象和介质目录分布式统计方法统计备份、恢复和复制。索引统计访问迅捷，分段式索引空间占用很小非专用磁带格式能够创建TAR兼容格式真正映象恢复依据布局智能重建数据，而不是重恢复全部数据Bare Meta Restore快速灾难恢复，最少人工干预，自动智能实施Vault功效同时备份到多份磁带保留，或离线进行磁带复制，弹出后放入远程保险柜保留数据加密选项备份时可对数据进行加密远端GUI管理能够从任何位置包含拨号线进行备份和恢复用户端安装灵活快速简便地经过网络进行用户端软件分布式安装用户开启备份和恢复为最终用户提供轻易使用接口，降低外界对系统管理员干扰图形策略设定界面定义策略简便，能设置备份窗口，可用有意义名称定义备份网络带宽控制提供选项控制NetBackup网络优先级控制能够对关键备份设置优先级独一无二多级结构同类产品第一个，能够建立主服务器、介质服务器、用户端等多级结构遍布世界用户支持中心二十四小时热线技术支持介质服务器热备份介质服务器故障时，用户端备份自动调整到其它服务器上磁带库共享多服务器共享磁带库，降低机械手开销完整磁带管理管理整个磁带设备运行支持广泛磁带库类型支持全部领先磁带机械手设备支持广泛磁带驱动器设备支持全部领先磁带技术备份进度显示条备份将结束和连续时间显示，便于决议优先备份图形界面便于抉择进行何种备份磁带卷、驱动器和磁带库情况显示汇报磁带利用情况和驱动器配置等具体日志信息便于诊疗问题历史汇报日志浏览进行深入方案前分析UNIX支持支持全部关键UNIX平台WINDOWSNT支持支持Inter和AlphaNovell NetWare支持支持NetWare环境EMC 磁盘阵列备份支持支持EMC BCV Third Mirror Breakoff 备份HP XP256磁盘阵列备份支持支持HP XP256 BC Third Mirror Breakoff 备份支持NDMP支持NAS数据备份数据库和应用选项支持全部领先数据库和应用：ORACLE, Microsoft SQL Server，Sybase，Informix, Microsoft Exchange和SAP R3等1.2.1.3.2 用户管理平台备份恢复方案数据库备份关键保障数据库系统稳定可靠，但因为ACRM存放海量数据库，数据库很庞大。假如根据传统备份恢复方法，需要备份恢复时间比较长，不能满足生产系统要求，而且管理不方便。基于以上情况，我们提议新华人寿用户管理平台数据库采取专业备份软件NBU，管理备份，辅以关键表数据和数据库对象单独备份混合备份恢复方案，方案物理架构图以下：图所表示，我们使用NBU备份软件管理备份和恢复文件，备份时NBU软件经过备份策略调用oracle备份脚本把数据库归档日志备份到磁带库；恢复时NBU软件把归档文件从磁带库恢复数据库：l 新华人寿用户管理系统数据库备份采取NBU调用oracle脚本方法，脚本采取oracle备份工具RMAN来实现l 每30天进行一次全量备份，每一星期进行一次累计增量备份，天天进行增量备份l 对于大数据量表天天进行单独备份l 对关键维表，数据库创建对象、创建用户脚本等，使用oracle数据泵，天天进行逻辑备份1.2.1.3.3 快速恢复机制恢复分为单表恢复和数据库瓦解恢复1单表恢复： 假如是单表恢复，能够经过从NBU恢复备份，然后再把数据库导入方法来实现2数据库瓦解恢复： 假如数据库瓦解，能够有两种方法来恢复数据库第一个，借助RMAN：l 创建数据库l 使用NBU备份RMAN备份来恢复数据库第二种，使用其它方法：l 创建数据库l 用导出脚原来创建用户、表空间等l 用创建对象脚原来创建数据库对象l 使用导出维表数据库恢复维表等小表l 使用NBU备份恢复大表数据1.2.2 操作系统备份和恢复AIX 全名为Advanced Interactive Executive，它是IBM 企业UNIX操作系统，整个系统设计从网络、主机硬件系统，到操作系统完全遵守开放系统标准。它是现在操作系统界最成功，应用领域最广，最开放第二代UNIX系统，尤其适合于做关键数据处理。 镜像备份是独立文件（数据文件、归档日志、控制文件）备份。它很类似操作系统级文件备份。它不是备份集或备份片，也没有被压缩。在新华人寿用户管理系统中使用AIX操作系统，考虑到安全原因，需要对操作系统进行备份：采取对rootvg进行镜像备份方法进行，达成快速恢复操作系统目标。1.2.3 Portal备份Portal是集成、可自定义、使用多个语言，在线OLAP处理方案基于.net三层Web应用程序。以下将是最好过程： 1. 备份整个 Portal 安装目录结构 2. 备份 oracle中 Portal 数据库3. 备份用户目录存放器1.2.4 Microstrategy备份Microstrategy 一直是GartnerMagicQuadrant评鉴中列为领先前五大BI工具和服务厂家。关键在以下各方面取得用户高度肯定：a) 企业级BI : 适合企业级BI利用, 基于ACRM理论概念而设计，拥有很高运行效能，能支持大用户数据量。美国最大ACRM企业也选择MSTR做为其战略伙伴，可见其处理大数据量能力。b) 年度最好移动BI ：支持移动终端如Ipad 和Iphone. 能够让用户灵活自己设计需要仪表盘，轻松做好管理驾驶舱项目，是这个领域最好BI厂家。c) 重视用户体验 ：能确保开发人员效率和生产力, 关键是因为参数化报表开发范例和面向对象开发环境。d) 开放独立平台 : 全部产品自行研发, 有机成长, 连续从用户体验角度做改善, 兼顾整合性、易用性、灵活性和弹性特点。e) 最强多维分析 : 强大Olap分析能力,拥有世界最强最快Olap分析引擎，能和自行开发Dashboard产品完美整合使用。f) OEM支持：完整SDK支持，提供超出4000个API接口，很多ISV或SI 在项目中，以MSTR作为中间件，为应用作最好组合和搭配。g) 良好产品售后服务和技术支持能力。MSTR关键是备份元数据，使用工具，进行天天备份。1.2.5 Informatica备份informatica PowerCenter 是Informatica企业开发世界级企业数据集成平台，也是业界领先ETL工具。Informatica PowerCenter使用户能够方便地从异构已经有系统和数据源中抽取数据，用来建立、布署、管理企业ACRM，从而帮助企业做出快速、正确决议。 此产品为满足企业级要求而设计，能够提供企业部门数据和电子商务数据源之间集成，如XML，网站日志，关系型数据，主机和遗留系统等数据源。此平台性能能够满足企业分析最严格要求。Informatica资料库备份方法和策略是：1. 使用界面备份登录Informatica PowerCenter Administrator Console,选中Repository后，在Actions下选择Back Up Contents，根据界面提醒进行备份。2. 使用pmrep命令备份，并能够结累计划任务，实现定时备份