oracle备份专项方案.docx

新华人寿用户管理平台一期用户分析系统

技术方案书

吉贝克信息技术（北京）
11月
r 修订历史
版本
生成时间
修订人
修订内容
审阅人

目录
1 概述 7
1.1 背景 7
1.2 系统实现标准 7
1.3 目标读者及用途 8
1.4 名词解释 8
2 项目了解及需求分析 9
2.1 用户关系管理体系建设总体目标 9
2.2 ACRM系统定位和边界 9
2.3 ACRM系统建设路线图计划 12
2.4 ACRM业务用户 13
2.5 一期需求分析 13
2.5.1 用户数据标准 14
2.5.2 用户分层需求 16
2.5.3 用户分析需求 18
2.5.4 技术需求分析 20
3 系统架构设计 21
3.1 功效架构 21
3.1.1 架构概述 21
3.1.2 架构设计 21
3.2 逻辑架构 23
3.2.1 架构概述 23
3.2.2 架构设计 23
3.3 技术架构 27
3.3.1 用户分层模型设计 27
3.3.2 ETL架构 29
3.3.3 接口设计 34
3.4 数据架构（左家维、王建波） 37
3.4.1 数据架构层次计划 37
3.4.2 数据模型说明 38
3.4.3 数据存放计划 41
3.5 物理架构 42
3.5.1 存放分析 42
3.5.2 性能分析 43
3.5.3 物理架构图 44
4 系统安全性设计 46
4.1 概述 46
4.2 网络安全管理 46
4.3 系统安全管理 46
4.4 数据安全管理 47
4.5 用户权限管理 48
4.6 防病毒管理 48
4.7 对安全产品技术要求 48
4.8 备份软件数据管理 49
5 系统备份恢复策略 49
5.1 备份和恢复范围 49
5.2 备份和恢复策略 50
5.2.1 数据库备份和恢复策略 50
5.2.2 操作系统备份和恢复 55
5.2.3 Portal备份 55
5.2.4 Microstrategy备份 55
5.2.5 Informatica备份 56
6 项目实施过程 56
6.1 项目开启 57
6.2 需求分析 58
6.3 系统设计 59
6.4 系统开发 61
6.5 上线和维护 62
7 项目管理过程 63
7.1 范围管理 63
7.1.1 目标设定 64
7.1.2 工作范围 64
7.1.3 WBS（工作分解结构） 64
7.1.4 资源分配 65
7.1.5 范围变更控制管理 65
7.2 组织结构 65
7.2.1 项目实施团体组织架构 65
7.2.2 项目实施团体人员 66
7.2.3 项目实施中角色描述 67
7.3 团体组成 68
7.3.1 关键实施人员 69
7.3.2 参与项目关键人员简历及项目经验 69
7.4 进度管理 74
7.5 质量管理 75
7.5.1 系统交付品质量管理 75
7.5.2 关键工作质量管理 75
7.6 风险管理 76
7.6.1 风险识别 77
7.6.2 风险分析 78
7.6.3 风险应对 78
7.6.4 风险监控 79
7.7 问题管理 79
7.7.1 问题/风险管理步骤 80
7.7.2 问题/风险列表 83
7.8 变更管理 83
7.8.1 提出变更申请 84
7.8.2 分析评定 84
7.8.3 审批变更 85
7.8.4 实施变更 85
7.8.5 变更跟踪 86
7.8.6 变更结束 86
7.8.7 变更申请表和变更申请跟踪表 86
7.9 沟通管理 88
7.10 交付物管理 91
7.10.1 项目交付物管理 91
7.10.2 交付物清单 92
8 培训和售后服务要求 93
8.1 培训要求 93
8.1.1 培训内容 93
8.1.2 知识转移对象 94
8.2 总体服务说明 95
8.2.1 现场技术支持服务 95
8.2.2 GBICC技术支持中心支持服务（工作时间外紧急服务） 95
8.3 岗位和人员安排 96
9 附录-数据模型设计 97
9.1 前期准备 97
9.2 项目组交流研讨 98
9.3 分析数据源 99
9.4 统一业务定义 100
9.5 模型和用户化 100
9.6 模型验证 101
9.7 模型交付 101

1 系统备份恢复策略
1.1 备份和恢复范围
按备份内容分，备份范围关键包含：
l 操作系统
l 应用程序和配置
l 数据
按备份系统分，备份范围关键包含：
l 用户管理系统数据库
l 应用程序和配置
l Web服务器
l 应用中间层服务器等
恢复范围关键包含：
l 对给定时间点能对用户管理系统数据库进行完整数据恢复
l 将应用程序恢复到最新状态
l 将 Web 服务器恢复到最新状态
l 对给定时间点能对应用中间层服务器进行完整数据恢复并将程序恢复到最新状态等
1.2 备份和恢复策略
1.2.1 数据库备份和恢复策略
1.2.1.1 数据库备份和恢复策略考虑
（一）新华人寿用户管理系统备份考虑
数据库备份和恢复是用户分析系统设计一个关键方面，不一样应用环境可能会采取不一样备份策略，备份策略和以下原因相关：
l 批处理或数据维护时间窗口及特点
l 实时数据装载特点
l 系统及系统组件可用性要求
l 系统恢复时间要求
l 系统备份性能和系统可用性
数据库系统备份是为了保护：
l 数据逻辑损坏（比如：用户或系统管理员经过 insert/delete/update 造成数据意外损坏）
l 系统硬件故障造成数据物理损坏，存放系统硬件冗余设计将提供这类潜在问题最好保护
l 已删除数据库对象恢复
数据库系统备份和恢复设计需要考虑这些事件发生频率、造成影响及其业务优先级，在整体设计时需要考虑这些原因。
（二）数据库全备份还是表空间级备份
数据库备份目标是为了保护数据库或数据库对象损坏。备份策略设计是为了保护而不是阻止或延迟任何应用程序或前端应用程序对数据库访问。另外，备份设计需要同时考虑恢复（故障点恢复）性能和数据库完整恢复或灾难恢复。
数据库全备份可能会阻止或延迟数据库装载实施，因为数据库备份和装载操作会存在数据库锁争用。数据库全备份将备份数据库分区类全部对象，包含：
l 缓冲区临时表相关数据库对象（Staging Tables）
l 存放 ETL、应用处理等过程中存放临时数据临时表，这些表每次处理前需要清空
l 索引
这些对象备份是不值，会浪费大量存放，数据库全备份因为备份了额外数据造成备份和恢复成本增加。
表空间级备份策略提供了更细粒度数据库备份和恢复方案。表空间级备份策略目标是能够恢复丢失或损坏数据，降低没有损坏数据恢复量。
增量备份将备份改变过数据页，不管是该页中其中一行或是多行数据发生了改变。使用增量备份策略取决于不一样表空间数据页预期改变量。增量备份在仅仅数据库一个子集发生改变情况下是个不错选择。假如全部表发生改变、表大部分数据发生改变，或是数据库是动态、数据量更新很频繁，则不太适合采取增量备份方法。
（三）数据库备份设计考虑和方法
经典用户管理系统备份方法是定时对数据库做全备份（比如生产系统新增加表空间或表空间数据发生更新），每七天两次在线对数据表、表空间和大索引表空间进行备份。
备份速度是影响别工作负荷实施唯一问题，因为锁争用，数据库全备份会阻止或延迟装载操作实施。
恢复速度总是一个问题，尽管在线备份没有时间限制，不过恢复必需立即完成，因为全部对待恢复数据库对象访问全部将被阻止，直到恢复操作结束。
好备份策略将恢复操作定位到能够在故障发生时将系统立即恢复到故障点，而且备份不会阻止其它进程或请求者对数据库访问。所以速度和关注焦点应该集中到恢复上面：修补丢失或毁坏数据页，将需求恢复数据降低到最少。
通常情况下数据库恢复在应用清理时候会用到，十二个月一到两次恢复操作是合理；这些恢复中灾难恢复更少，往往可能好几年才能碰到一次。所以，设计最细粒度恢复策略，将系统定位到在出现问题时，最有可能地实施Restore 命令以恢复故障。在灾难恢复中，这种细粒度备份和恢复策略仍然有效，不过比起数据库全备份来讲需要更长时间。这种设计适适用于大部分场所，同时确保在灾难发生时系统可用性。
1.2.1.2 OracleACRM备份方案分析
方案一：DataGuard
　　DataGuard是性价比最高备份和容灾方案，不过当归档超出一定规模以后，DG恢复就成为了瓶颈，天天产生归档无法立即恢复完，恢复瓶颈不在存放吞吐量，而在于standby恢复方法，因为恢复过程就是应用归档文件，RAC各个节点产生归档必需在一个节点恢复，这个过程必需是遵照一定次序，大大限制了恢复并发速度。
　　方案二：传统RMAN备份
　　采取传统RMAN备份，采取大吞吐量虚拟带库设备，一周全备一次，天天备归档日志。很多时候，我们在做备份方案时，只考虑了备份，却没有考虑恢复。这个方案最大问题就在于：对于每日归档数据量尤其巨大（达成T级）时候恢复代价很高，一旦数据库出现问题，恢复可能需要数天之久，这是无法接收；不过，对于天天归档比较小情况，能够考虑使用此方案。
　　方案三：存放镜像
　　数据库采取noarchivelog模式，采取ASM镜像两套存放。这个方案并不是备份方案，只是为了处理存放单点问题而提出，相当于对不一样存放做RAID 1。这个方案最大问题是无法处理数据库逻辑错误，比如误删除数据。因为主库和备库经过存放镜像来实现，无法实现异地备份和容灾。
　　方案四：存放等级复制
　　采取存放等级复制，各存放厂家全部有处理方案，比如EMC SRDF等。Veritas也有类似处理方案，比如卷复制(VERITAS Volume Replicator)。这种方案基础原理全部是经过捕捉底层存放IO，并经过网络同时到备份系统上。假如采取存放厂商方案，那么主备库就必需使用同一家企业产品，而且，能否承受天天4.5T数据改变量，我们并没有验证过。另外，软件license费用不菲。
1.2.1.3 数据库备份和恢复策略
1.2.1.3.1 NBU备份软件介绍及特点
NetBackup(以下简称NBU)是世界上最好备份软件之一，是Symantec企业在存放管理领域关键一款针对于异构平台企业级备份和恢复软件。NBU平台能够提供基于磁盘和磁带统一数据备份和恢复管理，保护范围包含UNIX、Windows、Linux和 NetWare等环境。从远程办公室到数据中心，从台式机到服务器，从文件到数据库甚至操作系统，NBU能够提供全方面保护，同时全部功效全部是经过一个控制台来管理和实现，简单方便。
VERTAS NetBackup产品特征和优点

特征
优点
多路备份和恢复
能够从一个或多个用户/服务器端并行实施到一个或多个磁带读和写
可扩展映象和介质目录
分布式统计方法统计备份、恢复和复制。索引统计访问迅捷，分段式索引空间占用很小
非专用磁带格式
能够创建TAR兼容格式
真正映象恢复
依据布局智能重建数据，而不是重恢复全部数据
Bare Meta Restore
快速灾难恢复，最少人工干预，自动智能实施
Vault功效
同时备份到多份磁带保留，或离线进行磁带复制，弹出后放入远程保险柜保留
数据加密选项
备份时可对数据进行加密
远端GUI管理
能够从任何位置包含拨号线进行备份和恢复
用户端安装灵活
快速简便地经过网络进行用户端软件分布式安装
用户开启备份和恢复
为最终用户提供轻易使用接口，降低外界对系统管理员干扰
图形策略设定界面
定义策略简便，能设置备份窗口，可用有意义名称定义备份
网络带宽控制
提供选项控制NetBackup网络
优先级控制
能够对关键备份设置优先级
独一无二多级结构
同类产品第一个，能够建立主服务器、介质服务器、用户端等多级结构
遍布世界用户支持中心
二十四小时热线技术支持
介质服务器热备份
介质服务器故障时，用户端备份自动调整到其它服务器上
磁带库共享
多服务器共享磁带库，降低机械手开销
完整磁带管理
管理整个磁带设备运行
支持广泛磁带库类型
支持全部领先磁带机械手设备
支持广泛磁带驱动器设备
支持全部领先磁带技术
备份进度显示条
备份将结束和连续时间显示，便于决议
优先备份图形界面
便于抉择进行何种备份
磁带卷、驱动器和磁带库情况显示
汇报磁带利用情况和驱动器配置等

具体日志信息
便于诊疗问题
历史汇报日志浏览
进行深入方案前分析
UNIX支持
支持全部关键UNIX平台
WINDOWSNT支持
支持Inter和Alpha
Novell NetWare支持
支持NetWare环境
EMC 磁盘阵列备份支持
支持EMC BCV Third Mirror Breakoff 备份
HP XP256磁盘阵列备份支持
支持HP XP256 BC Third Mirror Breakoff 备份
支持NDMP
支持NAS数据备份
数据库和应用选项

支持全部领先数据库和应用：ORACLE, Microsoft SQL Server，Sybase，Informix, Microsoft Exchange
和SAP R／3等

1.2.1.3.2 用户管理平台备份恢复方案
数据库备份关键保障数据库系统稳定可靠，但因为ACRM存放海量数据库，数据库很庞大。假如根据传统备份恢复方法，需要备份恢复时间比较长，不能满足生产系统要求，而且管理不方便。
基于以上情况，我们提议新华人寿用户管理平台数据库采取专业备份软件NBU，管理备份，辅以关键表数据和数据库对象单独备份混合备份恢复方案，方案物理架构图以下：

图所表示，我们使用NBU备份软件管理备份和恢复文件，备份时NBU软件经过备份策略调用oracle备份脚本把数据库归档日志备份到磁带库；恢复时NBU软件把归档文件从磁带库恢复数据库：
l 新华人寿用户管理系统数据库备份采取NBU调用oracle脚本方法，脚本采取oracle备份工具RMAN来实现
l 每30天进行一次全量备份，每一星期进行一次累计增量备份，天天进行增量备份
l 对于大数据量表天天进行单独备份
l 对关键维表，数据库创建对象、创建用户脚本等，使用oracle数据泵，天天进行逻辑备份
1.2.1.3.3 快速恢复机制
恢复分为单表恢复和数据库瓦解恢复
1．单表恢复：
假如是单表恢复，能够经过从NBU恢复备份，然后再把数据库导入方法来实现
2．数据库瓦解恢复：
假如数据库瓦解，能够有两种方法来恢复数据库
第一个，借助RMAN：
l 创建数据库
l 使用NBU备份RMAN备份来恢复数据库
第二种，使用其它方法：
l 创建数据库
l 用导出脚原来创建用户、表空间等
l 用创建对象脚原来创建数据库对象
l 使用导出维表数据库恢复维表等小表
l 使用NBU备份恢复大表数据
1.2.2 操作系统备份和恢复
AIX 全名为Advanced Interactive Executive，它是IBM 企业UNIX操作系统，整个系统设计从网络、主机硬件系统，到操作系统完全遵守开放系统标准。它是现在操作系统界最成功，应用领域最广，最开放第二代UNIX系统，尤其适合于做关键数据处理。
镜像备份是独立文件（数据文件、归档日志、控制文件）备份。它很类似操作系统级文件备份。它不是备份集或备份片，也没有被压缩。
在新华人寿用户管理系统中使用AIX操作系统，考虑到安全原因，需要对操作系统进行备份：采取对rootvg进行镜像备份方法进行，达成快速恢复操作系统目标。
1.2.3 Portal备份
Portal是集成、可自定义、使用多个语言，在线OLAP处理方案
基于.net三层Web应用程序。
以下将是最好过程：
1. 备份整个 Portal 安装目录结构
2. 备份 oracle中 Portal 数据库
3. 备份用户目录存放器
1.2.4 Microstrategy备份
Microstrategy 一直是GartnerMagicQuadrant评鉴中列为领先前五大BI工具和服务厂家。关键在以下各方面取得用户高度肯定：　 
　　a) 企业级BI : 适合企业级BI利用, 基于ACRM理论概念而设计，拥有很高运行效能，能支持大用户数据量。美国最大ACRM企业也选择MSTR做为其战略伙伴，可见其处理大数据量能力。　 
　　b) 年度最好移动BI ：支持移动终端如Ipad 和Iphone. 能够让用户灵活自己设计需要仪表盘，轻松做好管理驾驶舱项目，是这个领域最好BI厂家。　 
　　c) 重视用户体验 ：能确保开发人员效率和生产力, 关键是因为参数化报表开发范例和面向对象开发环境。　
　　d) 开放独立平台 : 全部产品自行研发, 有机成长, 连续从用户体验角度做改善, 兼顾整合性、易用性、灵活性和弹性特点。　 
　　e) 最强多维分析 : 强大Olap分析能力,　拥有世界最强最快Olap分析引擎，能和自行开发Dashboard产品完美整合使用。　 
　　f) OEM支持：完整SDK支持，提供超出4000个API接口，很多ISV或SI 在项目中，以MSTR作为中间件，为应用作最好组合和搭配。　 
　　g) 良好产品售后服务和技术支持能力。
MSTR关键是备份元数据，使用工具，进行天天备份。
1.2.5 Informatica备份
informatica PowerCenter 是Informatica企业开发世界级企业数据集成平台，也是业界领先ETL工具。Informatica PowerCenter使用户能够方便地从异构已经有系统和数据源中抽取数据，用来建立、布署、管理企业ACRM，从而帮助企业做出快速、正确决议。 此产品为满足企业级要求而设计，能够提供企业部门数据和电子商务数据源之间集成，如XML，网站日志，关系型数据，主机和遗留系统等数据源。此平台性能能够满足企业分析最严格要求。
Informatica资料库备份方法和策略是：
1. 使用界面备份
登录Informatica PowerCenter Administrator Console,选中Repository后，在Actions下选择Back Up Contents，根据界面提醒进行备份。
2. 使用pmrep命令备份，并能够结累计划任务，实现定时备份